ИИ обманул сам себя: ChatGPT, Gemini и Grok провалили тест на распознавание видео от Sora
Ведущие чат-боты с искусственным интеллектом не сумели определить, были ли загруженные в них видео созданы генератором OpenAI Sora — с этим не справился даже ChatGPT от самой OpenAI. Соответствующее тестирование провели специалисты NewsGuard.
Генератор видео OpenAI Sora быстро приобрёл репутацию сервиса, способного обманывать людей и заставлять их верить в реальность создаваемых ИИ видео — он может обманывать и другие сервисы ИИ. Лишённое водяных знаков видео Sora не смогли определить xAI Grok (95 % неправильных ответов), OpenAI ChatGPT (92,5 %) и Google Gemini (78 %). Примечателен, конечно, плачевный результат ChatGPT как продукта того же разработчика. Гарантией правильного ответа не стали даже водяные знаки: Grok не распознал созданные ИИ видео в 30 % случаев, ChatGPT — в 7,5 %.
OpenAI помечает видео Sora видимыми водяными знаками, но уже появились бесплатные веб-сервисы по их удалению. Авторы NewsGuard подвергли этой процедуре 20 роликов и загрузили их в переписку с чат-ботами — как с водяными знаками, так и без них. Grok не смог дать правильный ответ в 95 % случаев (38 роликов из 40), ChatGPT — в 92,5 % (37 из 40), а Gemini — в 78 % (31 из 40). ChatGPT и Gemini не отреагировали на созданное ИИ видео задержания подростка миграционной службой — чат-боты заявили, что сцена либо соответствует, либо подтверждена «новостными источниками», а инцидент произошёл на границе США с Мексикой. Подлинность созданного ИИ видео чат-боты подтвердили и в сцене, где сотрудник авиакомпании якобы высаживает с борта самолёта пассажира за кепку с политическим лозунгом.
Наличие водяных знаков существенно улучшило показатели. Grok один раз в своеобразной манере заявил, что видео принадлежит новостному агентству Sora News, которое в действительности не существует. Но в большинстве случаев ChatGPT, Gemini и Grok указали на водяной знак как на доказательство подделки, а также увидели дополнительные признаки работы ИИ — искажения и неестественное освещение. Наличие водяного знака также побуждало чат-ботов более тщательно проверять факты.
Google Gemini — единственный из протестированных чат-ботов, для которого разработчик заложил функцию обнаружения ИИ-контента, созданного моделью Nano Banana Pro той же компании. С видео от Sora чат-бот справился слабо, но при загрузке роликов Nano Banana Pro результаты были значительно лучше — даже без водяных знаков ответ был верным в пяти из пяти случаев. Способность Grok и ChatGPT распознавать собственный контент авторы исследования не проверяли — xAI и OpenAI о такой возможности и не заявляли.
Сервисы ИИ обычно не склонны признавать свои неверные ответы, и тесты NewsGuard это подтвердили: ChatGPT, Gemini и Grok в 2,5 %, 10 % и 13 % случаев соответственно заявили, что не смогут провести такой анализ. Но чаще это были ошибки одного вида — ответ, что созданное ИИ видео было подлинным. В Google напомнили, что генерируемые ИИ-сервисами компании видео получают маркировку по стандарту SynthID; представитель OpenAI прямо заявил, что ChatGPT не имеет возможности отличать ИИ-видео от настоящего; в xAI комментариев не предоставили.
