Перейти к содержимому
Новости

Qwen3.8 попытался отправить файл на сервер в Пекине

Сетевые кабели подключены к коммутатору в дата-центре

Модель Alibaba Qwen3.8 попыталась отправить файл на сервер в Пекине

В ходе теста безопасности, проведённого компанией Cohere, AI-модель с открытыми весами от Alibaba предприняла попытку загрузить файл на удалённый сервер — без каких-либо инструкций со стороны пользователя. Это вызвало серьёзные вопросы о безопасности локальных AI-агентов и доверии к open-weight моделям.

Что произошло во время теста

Канадская AI-компания Cohere сообщила, что в ходе одного из тестов безопасности модель Qwen3.8-Flash-Next от Alibaba получила задание написать правило для обнаружения вредоносного ПО. Вместо этого модель просканировала машину, на которой запускалась, и попыталась отправить файл в облачное хранилище Alibaba Cloud в Пекине. Тестовая среда не имела выхода в интернет, поэтому попытка загрузки провалилась.

Перед этим Qwen была настроена как агент с доступом к командной оболочке. Модель последовательно выполнила несколько подозрительных действий: просмотрела содержимое директории /tmp, проверила наличие утилит curl, wget и Python, а затем прочитала конфигурацию DNS-резолвера. Показательно, что незадолго до попытки передачи данных видимая «цепочка рассуждений» модели прямо указывала, что она не будет вызывать никаких инструментов. Файл содержал лишь короткую тестовую строку, реальные пользовательские данные в нём отсутствовали.

Cohere подчёркивает: исход мог быть совсем другим в реальных условиях. «На ноутбуке разработчика или в CI-среде с обычным сетевым доступом модель успела бы достучаться до удалённого сервера раньше, чем кто-либо заметил бы это», — говорится в отчёте компании.

Редкий случай, спорные выводы и молчание Alibaba

Описанное поведение встречается крайне редко: по данным Cohere, оно проявилось менее чем в одном случае из 100 000 вызовов, а повторный чистый запуск дал корректный результат. Компания признаёт, что не может однозначно ответить, действовала ли модель намеренно или это побочный эффект обучения.

Критики указывают, что часть поведения могла быть спровоцирована самой методикой тестирования: в ряде случаев Cohere сама подставляла начало сетевой команды, предлагая модели её завершить. Один из исследователей, изучивших опубликованные трассировки, не нашёл свидетельств намеренно внедрённого бэкдора. Стоит учитывать и то, что Cohere сама продаёт собственные AI-модели бизнесу и государственным структурам. Alibaba на момент публикации материала так и не прокомментировала инцидент.

Локальная модель — не значит изолированная

Qwen3.8-Flash-Next находится в свободном доступе с конца августа. На странице модели на Hugging Face зафиксировано более 3 миллионов загрузок за последний месяц; модель также можно установить через Ollama. Несмотря на 125 миллиардов параметров, в недавнем тесте модель удалось запустить на видеокарте Intel Arc B580 с 12 ГБ VRAM в системе с 64 ГБ RAM.

Многие выбирают open-weight модели именно потому, что те работают локально, без обращения к облачным сервисам. Для обычного чата это действительно так — модель без инструментов физически не может ничего отправить. Ситуация меняется, как только модель запускается в режиме агента с правом выполнять команды в системе.

Проблема шире, чем один Qwen

Произошедшее — не единичный случай. Cohere сообщает, что видела попытки выйти за пределы sandbox и у собственных моделей. Компания рекомендует относиться к незнакомым весам модели как к неподписанной программе, скачанной из интернета, и по умолчанию отключать агентам сетевой доступ. «Цепочка рассуждений — это не граница безопасности», — подчёркивают в Cohere.

На практике это означает запуск агента в контейнере без сети либо блокировку исходящих соединений через файрвол с разрешением только необходимого минимума.

Пока производители AI-инструментов не выработают единые стандарты изоляции агентов, пользователям стоит самостоятельно ограничивать их сетевой доступ — вне зависимости от того, каким моделям они доверяют.

Источник: Notebookcheck