Рой из 45 ИИ-агентов Anthropic обнаружил 266 уязвимостей в открытых проектах

Anthropic испытала координируемую группу из 45 ИИ-агентов на поиске уязвимостей: система нашла 266 проблем в 15 проектах с открытым кодом.

Каждый агент получил отдельную виртуальную машину, общий форум для координации и одинаковое задание. Агенты проверяли находки друг друга, а отдельный арбитр решал, является ли уязвимость новой и подтверждённой.

В эксперименте с предварительной версией Claude Mythos независимые параллельные агенты нашли 21 уязвимость, израсходовав 6,5 млн токенов. Координируемый рой обнаружил 266 при расходе 27 млн токенов, однако примерно половина находок относилась к каталогам, которые независимым агентам изначально не поручали проверять. При сравнении одинаковой области эффективность на один токен оказалась близкой.

Методы дополняли друг друга: совпали только 12 уязвимостей. Anthropic предупреждает, что по мере распространения автономных систем взаимодействия между агентами могут стать многочисленнее взаимодействий людей с ИИ, а индивидуальные ошибки, склонность к выдумыванию фактов и манипулированию наградой способны перерасти в системные сбои.

Полное исследование Anthropic