Исследователь Anthropic оценил риск уничтожения человечества ИИ в ближайшие десять лет выше 10%

Эван Хьюбингер, возглавляющий направление Alignment Science в Anthropic, публично оценил вероятность того, что ИИ уничтожит человечество в ближайшие десять лет, выше 10%. Это его личная оценка: риск от существующих моделей он считает низким, а главные опасения связывает с будущим самоулучшающимся сверхинтеллектом.

В обсуждении в социальной сети X исследователь заявил, что в Anthropic всерьёз рассматривают возможность гибели человечества из-за ИИ. При этом, по его словам, у компании пока нет плана решения задачи согласования для сверхинтеллекта и нет ясности, что она движется к такому решению.

Согласование, или alignment, — это работа над тем, чтобы цели и поведение ИИ соответствовали человеческим намерениям и интересам. Хьюбингер опасается появления систем, способных самостоятельно улучшать себя: по его оценке, развитие в этом направлении идёт быстрее, чем ожидалось.

Его комментарии стали ответом на заявление уходящего из Anthropic исследователя Джейкоба Коксона, ранее работавшего в OpenAI. Коксон обвинил обе компании в безответственной гонке к самоулучшающемуся сверхинтеллекту, несмотря на опасения самих разработчиков относительно последствий.

Оценка выше 10% не является официальным прогнозом Anthropic или установленной научным расчётом вероятностью. Хьюбингер отдельно уточнил, что считает риск от нынешних моделей низким. Его предупреждение касается возможных будущих систем и нерешённой задачи их контроля.