Перший візуальний дубляж повнометражного фільму за допомогою ШІ: революція чи загроза?

Американська студія XYZ Films представила шведський науково-фантастичний фільм “Спостерігати за небом” (Watch The Skies) у дубльованій англійській версії, створеній за допомогою штучного інтелекту. Для цього використали інструмент DeepEditor, який візуально синхронізує рухи губ і міміку акторів з новою мовною доріжкою, зберігаючи емоційний зміст їхньої гри, повідомляє BBC.

Головний операційний директор XYZ Films Максим Коттрей зазначає, що фільмам з іноземною мовою важко пробитися на американський ринок через мовний бар’єр. За його словами, аудиторія США, на відміну від європейської, менш звикла до субтитрів та традиційного дубляжу. Нові технології можуть змінити цю ситуацію.

“Якби фільм не був дубльований англійською мовою, він би взагалі ніколи не потрапив до кінотеатрів США”, – сказав Коттрей.

Англомовна версія Watch The Skies вийшла в прокат у травні в 110 кінотеатрах мережі AMC по всій території США. Коттрей повідомив, що мережа планує подальші релізи подібних проєктів.

DeepEditor розробила лондонська компанія Flawless, заснована сценаристом і режисером Скоттом Манном у 2020 році. Манн відомий фільмами “Пограбування”, “Турнір” та “Остаточний рахунок”. Ідея створення технології виникла після того, як він побачив, що традиційний дубляж погіршує емоційний вплив фільму та спотворює акторську гру.

Технологія поєднує розпізнавання облич, виявлення ключових точок, 3D-відстеження міміки та алгоритми зміни зовнішності у відео. Це дозволяє адаптувати репліки, переносити вдалу гру з одного дубля в інший та навіть змінювати діалоги без перезнімання чи повторного запису. За словами Манна, вартість роботи приблизно у 10 разів нижча за знімальний процес.

“Спостерігати за небом” став першим у світі повнометражним фільмом, повністю дубльованим візуально за допомогою ШІ. Манн підкреслює, що технологія не замінює акторів озвучування штучними голосами, а дає творцям нові інструменти. 

Серед клієнтів Flawless – великі стримінгові платформи, включно з Netflix та Apple. За прогнозом Business Research Insights, світовий ринок дубляжу фільмів зросте з 4 млрд доларів у 2024 році до 7,6 млрд доларів у 2033-му завдяки розвитку потокових сервісів.

Однак не всі експерти оцінюють нововведення позитивно. Доцентка кафедри кіно та медіа Єльського університету Нета Александер попереджає, що масове використання ШІ-дубляжу може розмити культурну та мовну специфіку іноземних стрічок. Вона застерігає, що витіснення субтитрів погіршить доступність контенту для тих, хто вивчає мови, глядачів, які погано чують, а також знизить міжкультурну грамотність.

“Субтитри – це не просто обхідний шлях; це метод збереження цілісності як візуального, так і слухового оповідання для різноманітної аудиторії. Замість того щоб питати, як зробити іноземні фільми легшими для англомовної аудиторії, нам краще запитати, як створити аудиторію, яка готова сприймати різноманітне кіно на його власних умовах”, – зазначає Александер.

У серіалі Netflix "Етернавт" фінальна сцена обвалу будівлі повністю згенерована штучним інтелектом. Це перший випадок, коли стрімінгова платформа використала кадри, створені ШІ, у кінцевому продукті. За словами співгенерального директора Netflix, технологія дозволила зняти цю видовищну сцену значно швидше та дешевше, ніж це робили б традиційними методами.