OpenAI в июле расформировала отдельную команду Preparedness, оценивавшую риск катастрофических возможностей новых моделей. Financial Times связывает это с продолжающимися кадровыми перестановками и подготовкой компании к возможному IPO.
По данным источников издания, частые изменения обязанностей руководителей и уход сотрудников вызывают недовольство внутри компании. Функции безопасности не исчезли полностью: их перераспределяют между исследовательскими подразделениями, однако отдельная команда, задачей которой была независимая оценка особо опасных возможностей моделей, больше не существует в прежнем виде.
Preparedness Framework используется OpenAI для оценки рисков в кибербезопасности, биологических и химических угрозах, автономном поведении и других областях. Особое значение имеет то, насколько независимо специалисты по безопасности могут ограничивать выпуск модели, которую одновременно разрабатывает их же организация.
Перестройка происходит перед возможным выходом OpenAI на биржу и после ухода нескольких руководителей, связанных с безопасностью, согласованием целей и этикой ИИ. Компания заявляет, что продолжает совершенствовать структуру команд и сохраняет контроль рисков.
Документ OpenAI о системе Preparedness: openai.com/safety/preparedness
OpenAI расформировала команду Preparedness на фоне перестановок перед IPO
Источник: Financial Times