Миры в реальном времени: Google Genie 4 держит сцену до 2 минут и добавляет звук на лету

Мировая модель Google теперь озвучивает собственные миры, а сцену можно изменять с помощью текстовой команды прямо во время симуляции.

Google DeepMind представила Genie 4 — новую глобальную модель для интерактивной симуляции в реальном времени. По данным компании, она сочетает в себе повышенную реалистичность со встроенным аудио: мир генерирует фоновые звуки, музыку и интерактивные диалоги на лету. Пользователь управляет сценой с помощью слов: перемещает камеру, меняет погоду, добавляет персонажей. Как пишет TechCrunch, модель была выпущена во вторник в качестве предварительной тестовой версии.

Как Gemini управляет ситуацией в глобальной модели Google

Модель опирается на возможности Gemini. В блоге Google поясняют: Gemini Omni привязывает симуляцию к реальному виду и поведению объектов, а другие модели Gemini обеспечивают рассуждения для согласованности сцены. По данным TechCrunch, Gemini выполняет роль режиссёра: планирует шаги и проверяет кадры, пока Genie создаёт визуальную часть.

Есть и прикладной эксперимент, связанный с Gemini Robotics. Модель Gemini разбивала задачи на шаги, а Genie 4 моделировала их в реальном времени. Так можно опробовать сценарии для роботов до того, как, как они проявляются в реальном мире. Директор по исследованиям Google Теяс Кулкарни заявил на брифинге, что в будущем будет появляться всё больше гибридных моделей мира: Gemini пишет код и текст, а Genie преобразует их в симуляцию на разных уровнях абстракции.

Сравнение с предшественницей показательно. По данным TechCrunch, сцена остается согласованной до двух минут, что в два раза дольше, чем у Genie 3, которую Google выпустила чуть больше года назад. Издание также отмечает улучшенную физику и более человечных персонажей.

Конкуренты Google: Runway, World Labs, Decart

Несколькими месяцами ранее стартап Runway выпустил вторую глобальную модель GWM Worlds 2 с функцией генерации аудио. TechCrunch пишет, что отрасль начинает консолидироваться: World Labs Фэй-Фэй Ли покупает AMD, Amazon ведет переговоры о покупке Decart, а Rivian приобрела Third Dimension, чтобы перенести симуляции для тестирования беспилотных автомобилей внутрь компании.

Инженер Google DeepMind Диего Ривас видит наибольшую ценность в ранних творческих этапах, таких как идеация и раскадровка, где важно не терять творческий поток. У Google уже есть Veo — видеомодель с синхронизированным звуком, которая, по данным TechCrunch, становится всё более популярной среди кинематографистов. Преобразование от прототипов до готовых материалов с помощью Gemini Omni, по словам Риваса, пока что является отдаленной перспективой.

Команда признает ограничения: детали и объекты могут «плыть» в длительных симуляциях, а точность звука и читаемость текста внутри мира ещё не отработаны.

Что это означает для Украины

Для украинских игровых студий, продакшенов и команд по робототехнике эта модель пока остаётся в перспективе: сейчас её могут увидеть только доверенные тестировщики. По данным Google, вскоре она станет доступна подписчикам Google AI Ultra в Project Genie, а также партнерам по раннему доступу через Gemini API и AI Studio. Тогда студии смогут сами проверить, ускоряет ли она раскадровку, а разработчики роботов — оценить симуляцию сценариев.

Источник: Android Authority