Apple научила ИИ строить 3D-сцены по одному фото — быстро и без домыслов
Apple опубликовала исследование под названием «Чёткий монокулярный синтез изображения менее чем за секунду», в котором подробно описала, как обучила модель искусственного интеллекта выстраивать трёхмерные сцены по одному плоскому изображению, обеспечивая соответствующие реальным условиям расстояния и масштаб.
Задача модели ИИ — предсказывать трёхмерное представление сцены, которое отрисовывается с близлежащих точек обзора. Вместо привычных жёстких 3D-моделей сцена выстраивается из трёхмерных представлений функции Гаусса — небольших размытых пятен цвета и света, расположенных в пространстве. Объединив несколько миллионов таких пятен, можно воссоздать конкретное изображение, которое выглядит аналогично с той же точки обзора. Обычно для достижения этого результата требуются несколько десятков, если не сотен изображений, снятых с разных ракурсов — созданная Apple модель SHARP предсказывает полное трёхмерное представление с помощью гауссовской развёртки всего по одной фотографии и всего за один проход нейросети.
Чтобы добиться такого результата, инженеры Apple обучили SHARP на большом объёме синтетических и реальных данных, благодаря чему модель изучила общие закономерности глубины и геометрии в различных сценах. Получив новую фотографию, она оценивает глубину, уточняет её, используя имеющиеся знания, а затем составляет прогноз положения и внешнего вида трёхмерных «колоколов Гаусса» за один проход. Но есть у этого метода и слабое место: SHARP действительно в точности отображает близлежащие ракурсы, но не дорисовывает невидимые части сцены. То есть пользователь не сможет далеко отойти от точки обзора, с которой был сделан снимок.
За счёт этого исследователи Apple добились достаточно высокой скорости работы модели, которая получает результат менее чем за секунду с высокой стабильностью. Исходный код SHARP компания опубликовала на GitHub. Интересно, что в одном из примеров источниками трёхмерных моделей стали не статические изображения, а видеофайлы.
