Google удалила три примера рабочих процессов Agent Development Kit после демонстрации атаки через текст GitHub Issue. Недоверенное сообщение могло заставить привилегированного ИИ-агента выполнить команды с полномочиями подключённого процесса.
Проблема относится к косвенной prompt-injection. Рабочий процесс передавал агенту содержимое созданной пользователем задачи GitHub как данные для анализа. Однако модель могла интерпретировать инструкции внутри этого текста не как цитату, а как новую команду.
Риск становился серьёзнее из-за полномочий автоматизации. Если агент имеет токен репозитория, доступ к секретам, возможность изменять файлы или запускать другие действия, вредоносная инструкция способна превратить обычный Issue в точку управления привилегированным процессом. Для атаки при этом не обязательно взламывать учётную запись разработчика.
Удаление трёх примеров означает, что Google прекратила распространять небезопасные шаблоны, но общий класс проблемы остаётся актуальным для любых агентных систем, которые одновременно читают внешний контент и располагают инструментами для изменения данных. Фильтрация отдельных фраз не даёт надёжной защиты, поскольку формулировки можно менять.
Безопасная архитектура должна жёстко отделять недоверенные данные от системных инструкций, выдавать агенту минимальные права и исключать прямой доступ к секретам. Изменение кода, публикация пакетов и другие критические операции должны требовать отдельной проверки или подтверждения человеком. Разработчикам следует также считать содержимое Issues, pull request, комментариев и внешних документов потенциально враждебным.
Google удалила три рабочих процесса ADK после атаки через GitHub Issue
Источник: The Hacker News