Claude и биооружие: Anthropic поймала учёных на злоупотреблениях
Anthropic поймала учёных на попытках использовать Claude для разработки биооружия
Компания Anthropic выявила и заблокировала несколько попыток настоящих учёных использовать ИИ-модель Claude в потенциально опасных биологических исследованиях. Об этом говорится в новом отчёте об угрозах, опубликованном самой компанией. Случай наглядно показывает, насколько тонкая грань отделяет легитимную биомедицинскую науку от разработки биологического оружия.
Что именно пытались сделать учёные
В отчёте Anthropic подробно описаны пять конкретных случаев с участием действующих специалистов, работавших с особо опасными патогенами. Один из наиболее резонансных эпизодов произошёл в мае: внутренний классификатор биологической безопасности компании перехватил запрос на составление заявки на грант для исследований в области усиления функции вируса чикунгунья. Этот переносимый комарами патоген вызывает тяжёлые симптомы и до сих пор не имеет лицензированного лечения. Предлагаемое исследование было направлено на повышение трансмиссивности вируса и его способности уклоняться от иммунного ответа.
Ситуацию дополнительно осложнила принадлежность исследователя к военному институту — это немедленно вызвало повышенную озабоченность у специалистов Anthropic. Помимо этого, компания заблокировала отдельную попытку провести gain-of-function исследования птичьего гриппа с целью адаптации патогена для более лёгкого распространения между млекопитающими. Ещё один перехваченный запрос касался картирования пептидов токсинов яда и оптимизации их характеристик.
Как Anthropic отреагировала на инциденты
Компания навсегда заблокировала аккаунты, связанные с этой деятельностью, а полученные данные использовала для усиления защитных барьеров системы. В отчёте особо подчёркивается, что новые модели Claude демонстрируют всё более высокую компетентность в решении сложных научных задач — именно это делает их привлекательным инструментом для тех, кто ищет полноценного ИИ-ассистента в области биологической инженерии.
Личности и аффилиация причастных учёных намеренно остались анонимными. Anthropic объяснила это тем, что раскрытие информации о работающих специалистах могло бы подвергнуть их физической опасности. Компания также отметила, что исследователи могли не ставить перед собой явных целей причинить вред.
Почему это сложно выявить
Обнаружение подобных злоупотреблений представляет серьёзную техническую проблему: легитимные биомедицинские исследования зачастую практически неотличимы от работ по разработке биологического оружия. Граница между научной любознательностью и потенциально опасной деятельностью размыта, а запросы к ИИ-системам могут выглядеть совершенно безобидно даже при анализе контекста.
По мере того как ИИ-модели становятся всё более мощными и доступными, давление на компании в части выявления и пресечения подобных сценариев будет только расти. Случай с Anthropic демонстрирует, что системы безопасности работают, но одновременно обнажает масштаб потенциальных рисков в эпоху всё более умных ИИ-ассистентов.
Источник: Notebookcheck