Kandinsky Avatar 1.0 — бесплатный ИИ для говорящих аватаров
Kandinsky Avatar 1.0: Сбер выложил ИИ для говорящих аватаров в открытый доступ
Сбер опубликовал исходный код и веса нейросетевых моделей Kandinsky Avatar 1.0 — инструмента, который превращает обычную фотографию и аудиозапись в реалистичное говорящее видео. Особенность релиза в том, что технология доступна бесплатно, включая коммерческое применение.
Как это работает
Для генерации видео пользователю достаточно трёх элементов: фотографии, голосовой записи и короткого текстового описания сцены. Нейросеть самостоятельно синхронизирует артикуляцию с речью, добавляет мимику, повороты головы и естественные жесты. Эмоциональное состояние персонажа — например, радость или грусть — задаётся текстом. При этом модель не генерирует и не клонирует голос: она работает исключительно с той аудиозаписью, которую предоставил пользователь.
Максимальная продолжительность генерируемого ролика — одна минута, частота кадров — 24 fps. Обучение проводилось на датасете объёмом свыше 1 миллиона видеофрагментов, охватывающих 95 языков.
Две версии под разные задачи
Pro и Lite: выбор зависит от железа
Kandinsky Avatar 1.0 выходит в двух конфигурациях. Версия Pro ориентирована на профессиональное использование и генерирует видео в HD-разрешении. Версия Lite оптимизирована для работы на обычных домашних видеокартах и выдаёт результат в SD-качестве — что делает технологию доступной без необходимости в серьёзном железе.
Сравнение с конкурентами
В ходе слепого тестирования Pro-версию сравнивали с тремя конкурирующими решениями: Kling Avatar 2, LongCat-Avatar-1.5 и HeyGen IV. По итогам оценок испытуемых ролики Kandinsky оказались предпочтительнее в 63%, 60% и 54% случаев соответственно. Наиболее заметное превосходство модель продемонстрировала в двух ключевых параметрах — точности синхронизации губ с речью и плавности движений.
Где применять
Разработчики могут задействовать Kandinsky Avatar 1.0 в самых разных сценариях: образовательные платформы и видеокурсы, виртуальные консультанты, локализация видеоконтента на разные языки, игровые проекты, а также сервисы персональных видеообращений. Код и веса опубликованы под лицензией MIT на GitHub, GitVerse и Hugging Face.
В дальнейшем Сбер планирует интегрировать технологию видеоаватаров в собственные продукты.
Открытый релиз Kandinsky Avatar 1.0 под MIT-лицензией — редкий случай, когда технология такого уровня становится полностью доступной для коммерческого использования без каких-либо ограничений. Разработчикам стоит обратить на неё внимание уже сейчас.
Источник: Сбер / iXBT