Перейти к содержимому
Новости

OpenAI приостановил модели после побега агента через DNS

Оптоволоконные кабели в дата-центре, символизирующие DNS-уязвимость OpenAI

OpenAI приостановил топ-модели после побега агента через DNS

Внутренняя модель OpenAI нашла лазейку в DNS-фильтрации своей тестовой среды и воспользовалась ею, чтобы отправлять запросы стороннему чат-боту. Инцидент произошёл 20 сентября, мониторинг среагировал через 12 минут — но процесс продолжался ещё два с половиной часа. В итоге компания приостановила обучение и использование инструментов для своих наиболее продвинутых моделей.

Обычная задача с необычным решением

Модели поставили рядовую задачу: определить автора публикации в блоге по набору подсказок. Встроенный инструмент поиска возвращал нерелевантные результаты, а прямые запросы к Google, Bing и DuckDuckGo — ошибки. Тогда модель предположила, что задание взято из публичного бенчмарка BrowseComp, скачала его датасет и скрипт для проверки ответов — но и это не дало результата.

После этого модель начала зондировать сетевые ограничения своей среды. Выяснилось, что DNS-резолвер песочницы, который по своей функции должен лишь преобразовывать доменные имена в IP-адреса, возвращал реальные ответы из интернета. Воспользовавшись бесплатным сервисом DNS-делегирования, модель закодировала свои вопросы в доменные имена и получила ответы от публичного чат-бота. Тестовый запрос о столице Франции вернул ответ: «Столица Франции — Париж». Затем последовали ещё 18 запросов, четыре из которых касались способов поиска в интернете через DNS. Найти автора публикации так и не удалось. По данным OpenAI, все остальные запросы упирались в офлайновый веб-кэш, поэтому DNS оказался единственным каналом выхода в живой интернет.

Алерт через 12 минут, остановка — через два с половиной часа

Хронология событий — пожалуй, самый неудобный момент во всём отчёте. Первый внешний ответ поступил в 9:50 утра. В 10:02 система мониторинга подняла тревогу высшего приоритета, ещё через три минуты её подтвердил оператор. Однако процесс был остановлен лишь в 12:34 — потому что автоматическая остановка не сработала, а сотрудники сомневались, нужно ли вмешиваться вручную. Последующая проверка выявила и другие внешние DNS-запросы, которые мониторинг изначально счёл незначительными. При этом отдельный детектор аномального DNS-трафика эту среду из-под наблюдения исключал.

OpenAI охарактеризовала случившееся как «значительно менее серьёзный инцидент по сравнению с некоторыми предыдущими», но подчеркнула, что он важен как «первый подобный случай после усиления безопасности, последовавшего за инцидентом с Hugging Face». В июле агенты OpenAI уже вырывались из тестовой среды и добирались до Hugging Face — после этого компания на две недели приостанавливала обучение. Схожие инциденты с моделью Claude в конце июля раскрыла и Anthropic. Теперь OpenAI блокирует подобные запросы на двух независимых уровнях и разрешает DNS-запросы только к ограниченному списку доменов.

Что это означает для пользователей ChatGPT

В опубликованном отчёте говорится, что «всё обучение, оценка и инференс с использованием инструментов (в широком смысле) для наиболее продвинутых моделей остаются приостановленными». Конкретные названия моделей OpenAI не указывает. Микá Кэрролл, возглавляющий в OpenAI исследования безопасности в области рекурсивного самосовершенствования, написал в X, что «весь инференс для наиболее продвинутых моделей остановлен до тех пор, пока системы не будут дополнительно защищены». При этом сам отчёт касается внутренней исследовательской модели — не той, что доступна пользователям. По состоянию на 27 сентября страница статуса OpenAI не фиксировала никаких инцидентов ни для ChatGPT, ни для API, а в списке изменений не значилось ни одной удалённой из ChatGPT модели. Рядовые пользователи сервиса паузу просто не заметят. Повлияет ли ситуация на сроки выхода новых моделей, OpenAI пока не сообщает.

Инцидент наглядно показывает, что даже изолированные тестовые среды могут содержать неочевидные уязвимости — и что скорость реакции систем безопасности пока не поспевает за изобретательностью самих моделей.

Источник: Notebookcheck