Видеоредактор Captions запустил бесплатную программу для дубляжа Lipdub — с поддержкой 28 языков, но пока только для iOS

Как и новая ИИ-функция ElevenLabs, приложение позволяет переводить аудио с сохранением голоса и синхронизацией губ.

ИИ-стартап из Нью-Йорка, которому принадлежит видеоредактор для субтитров Captions, запустил бесплатное приложение для устройств iOS, которое позволит озвучивать или переводить аудио на 28 языков, включая французский, хинди, испанский, итальянский, португальский, японский и т.д. Кроме иностранных, Lipdub добавил такие варианты, как техасский сленг и язык зумеров, а также пиратскую и детскую речь.

Чтобы воспользоваться программой, нужно записать видео продолжительностью до 1 минуты на свой телефон, так, чтобы хорошо было видно лицо. После загрузки ролика приложению понадобится несколько минут, чтобы перевести аудиосопровождение.

На демонстрации показано, что Lipdub также может менять движения губ в соответствии с выбранным языком. Однако иногда между звуком и движением губ возникает определенная задержка.

Мисра сказал, что Captions четко обозначает видео, сделанные с помощью Lipdub, как сгенерированные ИИ.

В компании также считают, что в будущем генеративный искусственный интеллект сможет обеспечивать перевод в реальном времени для трансляций или видеоконференций.

ИИ-стартап Captions, в котором работает 25 человек, наиболее известен созданием одноименной программы, добавляющей автоматические субтитры на видео с помощью технологии преобразования языка в текст OpenAI. Компания утверждает, что этим продуктом пользуются более 100 000 человек ежедневно для создания более 2 миллионов видео ежемесячно.

Captions основана в 2021 году Гауравом Мисрой, возглавлявшим инженерный отдел Snap. В июне компания получила $25 миллионов в раунде серии B под руководством Kleiner Perkins с участием Sequoia Capital, Andreessen Horowitz (a16z) и SV Angel. На сегодня стартап собрал $40 миллионов финансирования.

В июне YouTube объявил, что тестирует ИИ-инструмент, который позволит автоматически дублировать видео на других языках, а на днях платформа для генерации голоса ElevenLabs выпустила свой инструмент дубляжа с поддержкой 29 языков, в том числе и украинского. По данным Rest of World, компании-поставщики услуг дубляжа зарабатывают миллионы долларов, переводя контент для таких популярных пользователей YouTube, как MrBeast.

Источник: Axios, Techcrunch