Meta запускает инструмент автоматического перевода Reels голосом автора в Facebook и Instagram

Meta в своем блоге сообщила о расширении доступа к инструменту Meta AI Translations, который позволяет автоматически переводить, дублировать и синхронизировать движения губ в Reels. Технология создана для того, чтобы авторы контента могли охватывать глобальную аудиторию и общаться с подписчиками на их языке, сохраняя аутентичность звучания.

По данным компании, Meta AI Translations воспроизводит тембр и тон голоса самого креатора, а система синхронизации согласовывает движения губ с переведенным аудио, создавая эффект, будто автор на самом деле говорит на другом языке. Пользователи полностью контролируют процесс: могут включать и выключать переводы, просматривать и удалять их в любое время.

Сейчас функция доступна для перевода с английского на испанский и с испанского на английский, однако в Meta заявили, что в будущем будут добавлены и другие языки. Воспользоваться нововведением могут креаторы в Facebook с более 1000 подписчиков и все публичные аккаунты в Instagram.

Перед публикацией видео автор может нажать кнопку "Translate your voice with Meta AI", активировать перевод и по желанию - синхронизацию губ. Опубликованные ролики автоматически будут показываться зрителям на их языке, с соответствующей пометкой, что перевод осуществлен с помощью Meta AI. При этом пользователи имеют возможность в настройках выбирать, видеть перевод или нет.

Meta также ввела новую статистику для авторов - количество просмотров в разрезе языков. Это позволяет отслеживать, на каком языке пользователи чаще всего просматривают Reels и оценивать эффективность переводов.

По словамMeta, лучший результат функция AI Translations обеспечивает для видео с одним или двумя участниками. А для повышения качества перевода компания рекомендует авторам придерживаться нескольких правил:

• записывать видео с прямым обращением к камере;
• говорить четко и не закрывать рот;
• избегать наложения голосов нескольких спикеров;
• минимизировать фоновые шумы и музыку.

Кроме автоматического перевода, пользователи Facebook получили возможность загружать собственные дублированные аудиодорожки. Теперь к одному Reels можно добавить до 20 переведенных аудиотреков на разных языках, чтобы охватить более широкую аудиторию. Загрузить файлы можно через Meta Business Suite в секции "Closed captions & translations". Дорожки разрешается добавлять, заменять или удалять как до, так и после публикации видео.

Американская студия XYZ Films представила шведский фильм "Наблюдать за небом" с визуальным дубляжом на английском языке, полностью созданным с помощью искусственного интеллекта. Эта технология, разработанная компанией Flawless, синхронизирует движения губ и мимику актеров с новой языковой дорожкой, сохраняя эмоциональную составляющую их игры. Это первый полнометражный фильм с подобным дубляжом.