SAGA определяет, каким ИИ-генератором создано поддельное видео

Исследователи Калифорнийского университета в Риверсайде вместе со специалистами YouTube и Google DeepMind разработали SAGA — систему, способную не только распознавать ИИ-видео, но и определять, каким генератором оно создано.

Разные видеогенераторы оставляют в кадрах и движении малозаметные артефакты — своего рода цифровые отпечатки. SAGA анализирует как отдельные изображения, так и изменение визуальной информации во времени.

Основой метода стали Temporal Attention Signatures, или временные сигнатуры внимания. Усредняя характерные закономерности множества роликов одной модели, система строит профиль генератора и сравнивает с ним проверяемое видео.

В испытаниях использовались открытые наборы данных с роликами 19 генераторов, включая системы «текст — видео» и «изображение — видео». По данным авторов, SAGA умеет отличать синтетический ролик от настоящего, определять исходный тип генерации, различать версии моделей и в некоторых случаях устанавливать команду разработчиков.

Инструмент пока является исследовательской разработкой, а не общедоступным сервисом проверки. Потенциальные применения — цифровая криминалистика, расследование мошенничества и кампаний дезинформации, а также контроль маркировки синтетического контента.

Научная работа SAGA на arXiv