Дипфейк-приложения прошли модерацию App Store
Дипфейк-приложения с скрытым контентом прошли модерацию App Store
Более 400 AI-приложений с замаскированными функциями создания сексуальных и жестоких дипфейков успешно прошли проверку в App Store и Google Play Store. Журналисты Wired выяснили, что за всей этой сетью, судя по всему, стоит одна китайская организация.
Как приложения обходили модерацию
Схема работала по принципу подмены контента. Приложения при обычном запуске демонстрировали безобидный функционал — помощь в изучении языков, AI-тренировки или, например, добавление одежды на фото домашних животных (как в случае с приложением Viefur). Однако при определённых условиях — в частности, после перехода по рекламе в Meta — серверная часть активировала скрытый веб-интерфейс. Через него пользователи получали доступ к десяткам порнографических шаблонов фото и видео, а также могли за внутреннюю валюту генерировать дипфейки из загруженных снимков реальных людей. В числе доступных сценариев — материалы с явным насилием, в том числе с угрозой ножом.
Сеть из более чем 400 доменов
Расследование Wired зафиксировало взаимосвязанную сеть из более чем 400 доменов и приложений. Для привлечения аудитории использовались тысячи видеорекламных объявлений, размещённых прямо на Facebook и Instagram — то есть сеть, по сути, не скрывалась. Ряд приложений присутствовал в магазинах уже около года, успешно проходя модерацию Apple, Google и Meta, несмотря на то что у каждой из этих компаний есть чёткие правила, запрещающие вредоносный дипфейк-контент.
Реакция Apple и Meta
После того как редакция Wired передала Apple подробности расследования, компания удалила 19 приложений. В своём заявлении Apple объяснила ситуацию так: приложения соответствовали правилам на момент проверки, однако после одобрения разработчики подменили источник контента — заменив одобренные материалы порнографическими — и продвигали их через рекламу на сторонних платформах.
Компания уже успела обновить правила App Store, ужесточив защиту от подобных схем подмены контента. Meta, в свою очередь, сообщила, что заблокировала более 10 000 рекламных аккаунтов, связанных с доменами из этой сети.
Почему это важно
Описанная схема наглядно показывает: даже закрытые экосистемы с обязательной модерацией уязвимы перед методами подмены контента на стороне сервера. Стандартная проверка приложения при загрузке попросту не позволяет выявить функциональность, которая активируется удалённо и только при определённых условиях.
Этот случай — серьёзный повод для Apple, Google и Meta пересмотреть подходы к мониторингу уже опубликованных приложений, а не ограничиваться лишь проверкой на этапе публикации.