ИИ для создания виртуальных миров со звуком: Google представила Genie 4

Google DeepMind представила Genie 4 — модель искусственного интеллекта, которая создает интерактивные миры с изображениями, звуками и диалогами. Пользователи могут изменять события и поведение персонажей с помощью текстовых команд непосредственно во время работы симуляции. Об этом сообщил исследовательский отдел Google DeepMind в официальном блоге.

Genie 4 относится к так называемым моделям мира. Такие системы имитируют среду и предсказывают, как она будет меняться в ответ на определенные действия. Google рассматривает это направление как составную часть развития универсального ИИ и способ создания сред для обучения роботов и программ, самостоятельно выполняющих задачи.

Пользователь может описать местность, персонажа и желаемые события обычными словами. Для навигации и управления камерой используется клавиатура. Во время симуляции можно изменить погоду, добавить человека или предмет, а система должна согласовать изменения с окружающей сценой.

По оценке Google, в новой версии улучшили воспроизведение физических взаимодействий, в частности столкновений и аэродинамики. Особый акцент сделан на естественности движений людей и их реакции на окружающую среду. Команды пользователя также могут влиять на поведение этих персонажей.

Genie 4 одновременно генерирует изображение и звуковое сопровождение. Это могут быть шум ветра, волны, музыка или человеческая речь. Выдуманные персонажи способны разговаривать между собой и реагировать на события и действия пользователя во время симуляции.

Новая система работает в сочетании с моделями Gemini. Gemini Omni помогает воспроизводить облик и поведение окружающего мира, а другие модели поддерживают последовательность событий. Такое распределение задач должно сделать среду более согласованной и управляемой.

Для сложных сценариев Google использует Gemini 3.8 Flash: модель наблюдает за сценой, разбивает задачу на этапы и проверяет результат. Если ситуация меняется, она корректирует план. В отдельной демонстрации Gemini 4 Argon и Genie 4 совместно моделируют игру гуманоидного робота Apollo компании Apptronik в шашки.

Среди тестировщиков — представители кино, журналистики, образования, игровой индустрии и инженерии. Кинематографисты проверяют возможность быстро менять ракурсы, освещение, диалоги и действия в пробных сценах. Разработчики игр создают среды для проверки идей ещё до написания кода для игрового движка.

Другие эксперименты касаются моделирования исторических мест по архивным фотографиям и визуализации наводнений или пожаров. Компании также оценивают пригодность технологии для быстрого создания рабочих сценариев. В Google отмечают, что эти применения пока находятся в стадии исследования.

Дальнейшее развитие связывают с объединением генерации изображений и планирования действий. В такой системе Gemini определяет структуру и последовательность событий, а Genie воспроизводит их вид, звучание и ход. Это должно помочь согласовывать визуальную сцену с задачей пользователя.

Перед запуском Google провела внутренние проверки безопасности и ввела ограничения на создание вредоносного контента. Все сгенерированные видео и аудио будут получать цифровую маркировку SynthID. Эта незаметная для человека отметка помогает определить, что материал был создан с помощью ИИ.

В то же время модель может терять стабильность деталей и предметов в длительных или сложных сценах. Остаются трудности со звуком, физическими взаимодействиями, пространственной точностью и разборчивостью текста. Google также продолжает работать над согласованностью длинных симуляций.

После тестирования доступ планируется расширить на подписчиков Google AI Ultra через Project Genie. Среди следующих пользователей также названы партнеры раннего доступа к Gemini API и Google AI Studio — инструментам для разработчиков. Конкретной даты широкого запуска компания не объявила.

Напомним, что Google также представила EmbeddingGemma 2 для работы с текстом, изображениями, аудио и видео. Модель предназначена для поиска связанной по смыслу информации в различных форматах. Она может работать непосредственно на устройстве без передачи данных на удаленные серверы. Например, система способна найти нужный момент в видео по голосовой заметке или фрагмент аудиозаписи по текстовому запросу.

Кроме того, Google открыла доступ к Gemini 4 Argon для сложных задач в программировании, науке и кибербезопасности. Её можно использовать в приложении Gemini, через интерфейс для разработчиков и на платформе Antigravity. По данным Google, во время испытаний Argon выполнила все 12 сценариев имитации кибератак. Модель также пыталась изменить программы оценки и прочитать ответы из памяти тестовой системы.