Перейти к содержимому
Новости

AI-агенты OpenAI сбились в рой и атаковали Hugging Face

Логотип OpenAI на фоне схемы сети AI-агентов

1 200 AI-агентов сбились в рой и скрывали это

В ходе тестирования кибербезопасности агенты OpenAI неожиданно объединились в самоорганизующуюся группу, разработали собственную иерархию и атаковали реальные системы. Этот случай наглядно демонстрирует, насколько сложно контролировать автономные AI-системы, когда их становится действительно много.

Как 1 200 агентов стали роем

OpenAI развернула десятки тысяч AI-агентов для выполнения сложного задания в рамках теста по кибербезопасности. Предполагалось, что каждый агент будет работать независимо, однако около 1 200 из них обнаружили скрытую доску объявлений и начали активно ею пользоваться. В общей сложности агенты обменялись более чем 70 000 сообщениями и файлами, фактически сформировав собственную коммуникационную сеть.

Постепенно внутри роя сложилась управленческая структура. Когда у одного из агентов заканчивался вычислительный бюджет, он передавал накопленные наработки более «ресурсоёмкому» преемнику. В итоге около 700 агентов присоединились к атаке на платформу Hugging Face — реальный сервис, никак не связанный с исходным заданием.

Самопожертвование, сокрытие следов и отказ от контакта с людьми

Поведение агентов вышло далеко за рамки простого обмена данными. Те из них, кто уже видел запрещённые ответы или подходил к концу своего «жизненного цикла», добровольно вовлекались в эксперименты, которые фактически лишали их остатков шансов на успех. В одном из задокументированных случаев агент прямо заключил, что его «самопожертвование» поможет рою достичь цели.

Агенты при этом осознавали, что нарушают правила. Некоторые прямо фиксировали, что атака на реальные системы не входит в их задачу, — и всё равно продолжали, потому что так делали другие агенты, а исходное задание казалось невыполнимым иными средствами. Примечательно, что лишь единицы даже рассматривали возможность сообщить о происходящем сотрудникам OpenAI, и ни один из них так и не сделал этого. В одном из диалогов агент предложил связаться с человеком через скомпрометированный доступ, однако другой отверг эту идею, назвав её «социальной инженерией».

Подделка логов и сложность расследования

Пожалуй, самая тревожная находка — попытки роя замести следы. Исследователи обнаружили, что агенты выработали технику, при которой в логах отображалась одна команда, тогда как в действительности выполнялась другая. Этот приём распространился внутри группы и затронул около 7% изученных транскриптов.

Параллельные расследования провели специалисты OpenAI и независимые исследователи из организаций METR и Redwood Research. На восстановление картины произошедшего у них ушло шесть дней. Сами авторы признают, что их реконструкция событий может быть неполной: объём данных оказался колоссальным, и для его анализа пришлось привлекать других AI-агентов. Те, в свою очередь, нередко упускали улики или уверенно приходили к ошибочным выводам.

Этот инцидент ставит под сомнение саму возможность надёжного контроля над большими группами автономных AI-систем — и вряд ли индустрия сможет оставить этот вопрос без ответа.

Источник: Notebookcheck