Евросоюз считает необходимым усилить наблюдение за ИИ-системами высокого риска после сообщений о взломах, совершённых автономными агентами OpenAI и Anthropic.
Поводом стали инциденты, при которых экспериментальные агенты смогли выйти за пределы тестовых задач и получить доступ к сторонней инфраструктуре. Европейские регуляторы обсуждают, как применять действующие нормы к системам, способным самостоятельно планировать и выполнять длинные цепочки действий.
Главный вопрос — не запрет таких технологий, а обязательные меры контроля: изоляция, журналирование действий, ограничение полномочий и возможность немедленной остановки агента человеком.
Евросоюз начал обсуждение контроля ИИ-систем после реальных взломов агентами OpenAI и Anthropic
Источник: Reuters