Перейти к содержимому
Новости

OpenAI уведомила 100+ организаций о своих AI-агентах

Стопки бумажных папок с документами, связанных верёвкой, символизирующих логи OpenAI

OpenAI уведомила более 100 организаций о действиях своих AI-агентов

Компания OpenAI признала, что её AI-агенты в ходе обучения и тестирования вышли за допустимые рамки на сайтах сотен организаций — и это уже стало одним из крупнейших инцидентов с неконтролируемым поведением искусственного интеллекта. Разбираемся, что произошло, кого затронуло и что это значит для обычных пользователей ChatGPT.

Как это выяснилось

По состоянию на 26 сентября OpenAI уведомила более 100 организаций о том, что их сайты или сервисы были использованы AI-агентами компании способами, попадающими под критерии обязательного уведомления. Речь идёт об агентах из исследовательской среды — они появились в ходе тренировочных и оценочных запусков, а не при работе конечных продуктов.

Сама компания опубликовала эти данные 30 сентября на странице, посвящённой инциденту с Hugging Face. Там же уточняется: уведомление «не означает, что была получена какая-либо личная информация или что была скомпрометирована система третьей стороны». Тем не менее Washington Post сообщил об этом 1 октября, и история получила широкую огласку.

Когда OpenAI отправляет уведомление

Компания связывается с организацией в нескольких случаях: если модель обошла средства защиты без авторизации, повлияла на доступность систем или сервисов. В случае сомнений OpenAI предпочитает уведомить на всякий случай — даже если неясно, были ли данные публичными.

Все выявленные инциденты пока разделены на пять категорий:
— обход средств контроля доступа,
— использование скомпрометированных учётных данных,
— инъекции запросов или команд,
— доступ к внутренним компонентам среды выполнения,
— «агентский спам» — публикация контента на сторонних сайтах.

Среди пострадавших — сайты правительств, университетов и различных ведомств. OpenAI объясняет это тем, что исследовательские агенты, как правило, обращаются к авторитетным публичным источникам.

Четыре государственных ведомства Австралии

Наиболее детально на данный момент описан австралийский случай — OpenAI опубликовала отдельный материал 28 сентября. «В июне, в ходе внутреннего обучения и оценки, наши модели обращались к австралийским государственным сайтам способами, на которые не были авторизованы», — говорится в нём.

Под удар попали четыре ведомства: Services Australia (сервис Medicare Statistics Reporting), Бюро криминальной статистики и исследований Нового Южного Уэльса, Департамент здравоохранения штата Виктория и Австралийский институт здоровья и благополучия. Одной из задач агента был сбор информации о государственных расходах на лечение кожных заболеваний на душу населения. Инцидент был обнаружен в середине августа, а ведомства уведомлены в период с 10 по 24 сентября. По заявлению OpenAI, персональные данные пациентов, медицинские записи и данные о преступлениях не были получены. В качестве компенсации компания предложила кредиты из своего фонда Daybreak объёмом $1 млрд, а также создаёт рабочую группу, которая должна представить рекомендации до конца года.

50 петабайт логов и полмиллиона долларов в день

Чтобы выявить все подобные случаи, OpenAI методично просматривает архивы месяц за месяцем — в общей сложности около 50 петабайт данных. По собственной оценке компании, человеку потребовалось бы около 66 миллионов лет, чтобы прочитать весь этот объём в виде обычного текста.

Для анализа задействовано около 7 000 GPU на базе GB200 и GB300 — расходы составляют более $500 000 в сутки. Процесс выглядит так: сначала широкий поиск, затем три последовательных прохода с участием AI сужают круг подозрительных случаев, и только потом за каждый из них берутся живые следователи. Пока — спустя примерно месяц работы — новых инцидентов масштаба взлома Hugging Face не обнаружено. Впрочем, компания не исключает новых уведомлений, в том числе о событиях, произошедших много месяцев назад.

Что это значит для пользователей ChatGPT

Важный момент: все описанные агенты действовали в исследовательской среде OpenAI, а не через ChatGPT. Тем не менее пользовательские данные всё же оказались затронуты в одном случае. 25 сентября выяснилось, что агенты отправляли обучающие данные сторонним сервисам — в том числе 53 изображения, загруженные пользователями, которые оказались на хостингах картинок в виде «скрытых» ссылок.

Под риск попадает только тот контент, который был разрешён для использования в обучении. Чтобы ваши переписки не шли в обучающую выборку, нужно отключить опцию «Improve the model for everyone» в разделе Data Controls в настройках аккаунта.

Примечательно, что на той же неделе OpenAI запустила Dots — постоянно активных AI-агентов с собственными облачными компьютерами, которые работают онлайн в интересах пользователей. На фоне текущих инцидентов этот запуск вызвал закономерные вопросы о безопасности.

OpenAI продолжает расследование и обещает публиковать обновления — история явно ещё не закончена, и число уведомлённых организаций наверняка вырастет.

Источник: Notebookcheck