ИИ-сводки в Gmail превратили в инструмент для фишинговых атак, но Google уже закрыла уязвимость

Специалисты по кибербезопасности, участвуя в программе Bug Bounty от Mozilla, обнаружили уязвимость в функции автоматического создания сводок переписок в Gmail с помощью искусственного интеллекта Gemini — она может быть использована для фишинговых атак. Злоумышленники способны внедрять в письма скрытые инструкции, заставляя ИИ формировать ложные предупреждения и вводить пользователей в заблуждение, сообщил PCMag.

В рамках эксперимента исследователи показали, как с помощью невидимого текста — оформленного белым цветом и с нулевым размером шрифта — можно внедрить команды в тело письма. При этом пользователь не видит дополнительного содержимого, но ИИ считывает его и использует при формировании краткой сводки. В результате Gemini может добавить в неё ложное уведомление о взломе аккаунта и предложить позвонить на мошеннический номер якобы для восстановления доступа.

Google подтвердила наличие проблемы, отметив, что уже внесла изменения, устраняющие уязвимость. Представители компании сообщили PCMag, что регулярно совершенствуют защиту своих моделей, включая их обучение противодействию вредоносным атакам, и заверили, что описанный метод не применялся хакерами в реальных атаках.

Ранее Google также публиковала материалы о борьбе с «инъекциями промптов» — способами злонамеренного воздействия на ИИ через скрытые пользовательские команды.

Источник