Lumiere AI — новий штучний інтелект Google для створення реалістичних відео

Lumiere може анімувати нерухомі зображення чи їхні частини за допомогою ваших текстових підказок.

Технологія поки створює лише короткі відео (тривалістю до 5 секунд) — реалістичні або високоякісні сюрреалістичні, а також «‎клонує» стиль заданого зображення на незлічену кількість роликів (корисно для створення матеріалів певного бренду).

Так само Lumiere може прибрати та замінити колишнього зайву деталь з вашого улюбленого відео.

У статті New Atlas зазначається, що «просторово-часова архітектура U-netU-Net — згорткова нейромережа, призначена для сегментації зображень.» дозволяє Lumiere створити всю довжину відео одразу — на відміну від попередніх моделей, які часто створювали початковий і кінцевий кадр, а потім намагалися вгадати, що буде між ними.

Наразі це лише дослідницький проєкт, який позбавляє Google від необхідності агресивно обмежувати систему з огляду на авторське право, дезінформацію, зображення оголеного тіла, конфіденційності тощо — процес, який незмінно призводить до нижчої якості вихідних даних у генеративних моделях.