MY.UAНовости
Ретро в HD. Как нейросети улучшают архивные кадры и сколько на этом можно заработать
Ретро в HD. Как нейросети улучшают архивные кадры и сколько на этом можно заработать

Ретро в HD. Как нейросети улучшают архивные кадры и сколько на этом можно заработать

Денис Ширяев из neural.

love – о том, как работает улучшение ретро-хроник и зачем.

Энтузиаст машинного обучения Денис Ширяев улучшает кадры исторических хроник с помощью нейросетей.

Со временем эксперимент перерос в настоящий бизнес – Денис основал компанию neural.

love, которая представляет услуги по улучшению видео.

Редакция Liga.

Tech пообщалась с Денисом Ширяевым, чтобы узнать, как нейросети улучшают видео, почему это не нравится историкам и сколько на этом можно заработать.

Расскажи, как именно нейросети позволяют тебе улучшать старые видео.

Как работает колоризация, апскейл и повышение FPS? На каких данных обучались алгоритмы и как они меняют оригинальные кадры?.

Мы используем пять разных нейросетей, при этом у некоторых из них под капотом другие нейросети, так всего их около десяти.

Нейросеть для колоризации изображения обучена на фотографиях.

Она работает не идеально — она лишь предполагает, каким может быть цвет объекта в кадре, исходя из тех фото, на которых ее обучили.

Вторая нейросеть делает апскейл.

Мы используем модифицированную нейросеть SRGAN.

Она обучается на парах обычных фотографий, где одно изображение — маленькое, зашумленное, размытое, а второе — в хорошем разрешении и качестве.

Это улучшение тоже нельзя назвать исторически аккуратным, так как нейросеть дорисовывает пиксели, которых никогда не существовало.

Визуально это красиво, но гарантировать, что, например, спицы у машины выглядели именно так, мы не можем.

Есть нейросеть, которая повышает количество кадров в секунду (у нее внутри еще четыре нейросети).

Она строит карту глубины сцены, анализирует разницу между двумя соседними кадрами и пытается понять, как двигались объекты.

Затем дорисовывает фон с учетом глубины сцены, так чтобы это выглядело натурально.

Вообще так можно сделать слоу-мо версию любого видео, например в 120 FPS.

Чем лучше исходное качество, тем лучше будет результат.

Отдельная нейросеть, обучена на множестве фото с Flickr, улучшает лица.

Она анализирует изображение, детектит на нем лицо и генерирует в хорошем разрешении сегменты лица, которых там не хватает.

С какими сложностями сталкивался при обработке видео? Какие кадры заставляли алгоритмы работать некорректно?.

Очень много сложностей.

Многие ретро-кадры были сняты в оригинале в 14-15 FPS.

На ютуб их заливают, замедляя до 30 FPS, чтобы картинка не дергалась.

Сделать из таких кадров 60 FPS нереально.

Наши разработчики написали алгоритм, который определяет, есть ли в видео дублирующие кадры, какой его настоящий FPS.

Вторая проблема — интерлейсинг, черезстрочная развертка, при которой на изображении бывает искажение в виде "гребенки".

Это встречается и в более современных видео.

Еще одна проблема — шумы.

Их мы тоже убираем из кадра, но без машинного обучения, просто математическим алгоритмом.

Мерцание, когда соседние кадры сильно отличаются по яркости – все эти нюансы усложняют работу с видео.

К примеру, возьмем старое видео, снятое в оригинале в 14 FPS.

Из-за ограничений технологии такое видео не может фиксировать быстрые движения.

Поэтому, к примеру, у движущейся лошади на видео будет смазана нога.

Нейросеть, добавляющая кадры, не сможет дорисовать эту ногу — в обучающем датасете не было таких данных.

Поэтому на каких-то кадрах эта нога просто исчезает, а затем вновь появляется.

Колоризация — тоже сложный процесс, который нельзя контролировать.

Алгоритм не всегда правильно красит объекты, особенно флаги.

Может принять воду за газон.

Это большое пространство для работы, будем в следующем году над всем этим работать.

Что с авторскими правами? Нет ли проблемы с использованием оригинальных кадров? Защищены ли твои видео копирайтом или их можно свободно перезаливать?.

Законы насчет авторских прав работают непредсказуемо.

Мне приходили жалобы на авторские права на видео, снятое сто лет назад, You.

Tube его заблокировал (правда, после апелляции все вернули).

А вот видео, снятое в июне 1945-го, не стали блокировать после жалобы.

Мне это, конечно, не нравится.

Я считаю, что история не должна кому-нибудь принадлежать.

У нас не так много кадров тех лет.

Людям интересно их смотреть.

Я на них не зарабатываю, начал делать просто, потому что мне нравятся эксперименты.

Мне часто пишут с просьбой использовать мои видео.

Американский юрист, с которым я консультировался, говорит, что мои видео подпадают под защиту авторским правом.

Там есть часть моего интеллектуального труда: апскейл, колоризация, добавление половины кадров, которых не было в оригинале.

То есть это как бы ремикс оригинала.

Я не продаю эти видео, разрешаю использовать их бесплатно.

Если кто-то пожалуется, это будет сложный кейс — суду придется разобраться, как все эти алгоритмы работают.

Похожая ситуация с колоризацией старых фото и фильмов — художник, который раскрасил фото, считается обладателем прав на него.

Как правильно воспринимать результаты работы алгоритма? Ведь если быть точным, то он дорисовывает кадры, а не восстанавливает исторически достоверное изображение.

Как развлечение! Через 20 лет алгоритмы станут совершеннее, и те же ретро-видео из Нью-Йорка после улучшения будут выглядеть так, будто их пересняли.

Видео у меня на канале содержат визуальные данные, которых не было в оригинале, особенно кадры с колоризацией.

Это не исторически верные кадры, я везде об этом пишу — в описании, в самом видео.

Это не реставрация, а улучшение.

Реставрация чтит оригинал.

Когда ты улучшаешь видео — его можно и покрасить, и добавить что-то для лучшего восприятия.

Некоторым историкам это не нравится.

Например, в статье на Wired один преподаватель истории критиковал такой подход к хроникам.

Ему пришлось объяснять своим студентам, что в те времена не было цветной съемки.

Я всегда напоминаю зрителям — оригиналы нужно чтить и сохранять для будущих улучшений.

Историческая достоверность важна, архивы важны, а это все классные игрушки.

Расскажи о коммерческом применении алгоритмов.

Кто обращается к вам за услугами? О каких порядках сумм идет речь?.

К нам обращаются студии со всего мира, в основном американские.

Рынок улучшения видео только зарождается, но мы уже стали на нем заметным игроком благодаря виральности наших видео.

Многие компании делают что-то одно, например апскейл, мы же можем предложить широкий пакет улучшений: апскейл, FPS, снижение шума, детализация лиц.

За все вместе цена получается 200 евро за минуту видео, для видео от 40 минут стоимость минуты снижается.

Спрос высокий — мы обрабатываем не только исторические хроники, но и видео, снятое на VHS, в общем, все, что снято в прошлом веке.

Наша задача — дать людям возможность оживить их воспоминания.

Думаю, через несколько лет доработаем это до такого уровня качества и стоимости, что это сможет позволить себе любой желающий.

Наш стартап прибылен, мы зарабатываем с первой недели своей работы.

Какие еще направления в обработке изображений нейросетями кажутся тебе самыми интересными и перспективными сейчас?.

Это возможность улучшать плохие видео, синтезируя детали, которых не было в оригинале.

К примеру, нейросеть распознала деревья и дорисовала листья в высоком разрешении.

Так ли важна документальная достоверность, если человек просто хочет вспомнить, как он ездил на море в 1998 году? Мы и сами приукрашиваем свои воспоминания, когда рассказываем о том, что было давно.

Здесь похожая ситуация.

Я думаю, 8K — это самое высокое разрешение, которое появится в You.

Больше не имеет смысла.

Не только потому, что нет экранов с таким разрешением, но и потому что с точки зрения трафика это не имеет смысла.

Проще и дешевле делать апскейл на ходу.

Я думаю, на протяжении десяти лет алгоритмы улучшатся, мощности станут еще более доступными и апскейл фото и видео станет просто частью нашей жизни.

К примеру, You.

Tube будет растягивать 1080 в 4К.

Нет смысла хранить фото и видео в 4К на смартфоне, если можно тратить меньше места, просто улучшая видео при воспроизведении.

Еще одно интересное направление — технология space odometry, когда по изображению с одной камеры строится 3D-сцена пространства.

Я думаю, скоро появится возможность делать это массово, к примеру, загрузить свое домашнее видео с VHS и увидеть свою квартиру в 3D.

Камера, снимая определенные объекты, захватывает много всего.

Если есть ролик, который заснял достаточно углов обзора, уже сейчас можно математически построить карту пространства.

Это уже сейчас делают камеры машин с автопилотом, например Tesla.

Пока это промышленное применение технологии, но я думаю, что на протяжении десяти лет она станет доступной для масс, чтобы каждый смог оживить свои воспоминания.

Андрей Бродецкий.

Руководитель редакции ЛІГА.

Если Вы заметили орфографическую ошибку, выделите её мышью и нажмите Ctrl+Enter.

Напишите нам.

Теги по теме
Відео
Поделиться
Поделиться сюжетом
Источник материала
Упоминаемые персоны
ЦПД: Повідомлення про збій на Південноукраїнській АЕС – фейк росіян
ГЛАВКОМ NET
2025-07-07T08:39:08Z
Україна експортувала морським коридором 80 млн т зерна
AgroPortal
2025-07-07T08:30:11Z
Підвищення тарифів на комунальні послуги в Одеській області: чого чекати найближчим часом
Политека
2025-07-07T08:30:08Z
Жовтневий палац отримав нового управителя: подробиці конкурсу
ГЛАВКОМ NET
2025-07-07T08:27:29Z
Чи підвищать пенсійний вік в Україні в найближчі 5 років
24tv
2025-07-07T08:27:22Z
Інфляція з'їдає зарплати: реальні доходи українців зростають удвічі повільніше
Gazeta UA
2025-07-07T08:24:02Z
У понеділок споживання електроенергії знижується
УкраинФорм
2025-07-07T08:18:59Z
Нафта дешевшає через рішення ОПЕК+ збільшити видобуток у серпні
УкраинФорм
2025-07-07T08:12:25Z
Канада переорієнтовує агровиробництво: пшениця та бобові замість каноли
AgroPortal
2025-07-07T08:00:36Z
У спортзал йти не треба: учені розказали, чоловіків з якою зовнішністю хочуть жінки
Фокус
2025-07-03T10:12:24Z
МОЗ забороняє госпіталізацію дітей до психіатричних лікарень з 1 липня
24tv
2025-06-29T12:09:08Z
Інновація Microsoft: медичний ШІ точніший і дешевший за лікарів
InternetUA
2025-07-07T08:45:55Z
Як пережити спеку у місті: ці поради допоможуть вам почуватися комфортно завжди
24tv
2025-07-07T07:03:01Z
Позбавить від болю і зніме набряклість: лікарі назвали овоч, який врятує від артриту
Знай
2025-07-07T06:51:34Z
Ваша фізична активність залежить від часу засинання: коли краще лягати спати
24tv
2025-07-07T04:24:17Z
Кому не можна рано вставати. Пояснення науковців
Gazeta UA
2025-07-07T03:57:18Z
Справа зовсім не в хворобах: ВООЗ назвала причину, через яку щогодини вмирає 100 людей
Знай
2025-07-07T03:21:17Z
У США створили суперпластик для гнучкої електроніки
InternetUA
2025-07-07T00:04:10Z
У Туреччині відкрили нове розслідування проти лідера опозиції
Европейская правда
2025-07-07T08:48:02Z
Зеленський відреагував на удари Росії та розповів про постраждалу дитину
TSN
2025-07-07T08:45:50Z
Нетаньягу не зупиниться в Газі, поки не досягне своїх цілей — The Telegraph
ZN UA
2025-07-07T08:36:43Z
Учасники саміту БРІКС засудили «напади» на мости та залізницю РФ
ГЛАВКОМ NET
2025-07-07T08:30:12Z
Європарламент у понеділок розгляне вотум недовіри Єврокомісії
Европейская правда
2025-07-07T08:28:59Z
Європі буде важко не розраховувати на США в питанні військових технологій, – NYT
24tv
2025-07-07T08:28:25Z
Британія відзначає річницю смертоносних терактів у Лондоні: король звернувся до нації
Европейская правда
2025-07-07T08:28:24Z
Трамп емоційно відреагував на ідею Маска створити нову партію
24tv
2025-07-07T08:27:52Z
Парламент Косова за 42 спроби не зміг призначити спікера і його заступників
24tv
2025-07-07T08:18:25Z
Вінницький обласний ТЦК призупиняє роботу: причина
ГЛАВКОМ NET
2025-07-07T08:48:47Z
Росія масовано атакує Запоріжжя дронами: щонайменше 10 людей постраждали
ZN UA
2025-07-07T08:48:17Z
У Києві поліція розпочала кримінальне провадження через демонстрацію нацистської символіки
УкраинФорм
2025-07-07T08:45:50Z
Харків і Запоріжжя під атакою дронів, 10 поранених
1News
2025-07-07T08:45:40Z
ЦПД: Росіяни поширюють фейк про те, що влучання в житлові будинки Харкова спричинила українська ППО
Детектор М
2025-07-07T08:45:30Z
Столичному комунальному підприємству поставили ґрунтосуміш неналежної якості на 6,8 млн гривень
Украина Криминальная
2025-07-07T08:42:47Z
У Запоріжжі СБУ затримала агентів ФСБ, які готували підрив воїнів "Азову"
24tv
2025-07-07T08:33:50Z
Війська РФ атакували дронами будівлі ТЦК у Запоріжжі та Харкові: є поранені
ZN UA
2025-07-07T08:33:33Z
Росіяни минулої доби вбили сімох жителів Донеччини і ще 15 поранили
УкраинФорм
2025-07-07T08:24:43Z
У CDTO Campus завершилась онлайн-програма «EU4DigitalUA: Впровадження ШІ в електронне врядування»
Детектор М
2025-07-07T08:45:42Z
Розкриті технічні характеристики індійської балістичної ракети морського базування K-5
InternetUA
2025-07-07T08:33:45Z
Дівчина без освіти та роботи показала образ за 17 тисяч грн: українці жартують у коментарях
Фокус
2025-07-07T08:30:13Z
60 років на службі: Тайвань вивів з експлуатації один з найстаріших винищувачів у світі
InternetUA
2025-07-07T08:16:16Z
На Львівщині змія вкусила 9-річну дівчинку: що робити в таких випадках
24tv
2025-07-07T08:12:28Z
У Калгарі яскраво відзначили 100-ліття Спілки української молоді та 75-ліття місцевого осередку СУМ
УкраинФорм
2025-07-07T08:06:27Z
У Миколаєві підняли Прапор надії на знак солідарності з військовополоненими та зниклими безвісти
УкраинФорм
2025-07-07T08:03:20Z
Незаконна мобілізація — не підстава для звільнення з ЗСУ: юристи пояснили, що можна зробити
Фокус
2025-07-07T08:03:06Z
Гуманітарна допомога для пенсіонерів у Харкові та області: що передбачає підтримка для українців
Политека
2025-07-07T08:00:26Z
Курортна Затока майже вщент розбита: пляжі закриті, а пансіонати намагаються вижити
Telegraf
2025-07-07T08:42:22Z
5 жіночих імен, які приносять своїм власницям нещастя
24tv
2025-07-07T08:42:00Z
Китайський гороскоп на завтра 8 липня: Тиграм - серйозна розмова, Півням - компроміс
GlavRed
2025-07-07T08:27:47Z
Мухи не витримають і зникнуть: 4 натуральні засоби відлякають комах від вашої оселі
GlavRed
2025-07-07T08:27:45Z
Три добрива, від яких помідори червоніють швидше
Gazeta UA
2025-07-07T08:24:17Z
Як врятувати огірки в липневу спеку: геніальні лайфхаки від дачників
24tv
2025-07-07T08:24:15Z
Колись це був прекрасний курорт, а тепер – село-привид: його історія приголомшує
24tv
2025-07-07T08:00:38Z
На столі кожен день: намазка з кабачків, яка стала хітом сезону
24tv
2025-07-07T07:54:07Z
Кабачкові сендвічі з крабовою начинкою: ідеальна закуска сезону
Знай
2025-07-07T07:51:50Z
Легендарний купальник з 50-х повертається: його носить Дуа Ліпа та Кайлі Дженнер
24tv
2025-07-07T08:30:39Z
Новий «Світ Юрського періоду» зробив Скарлет Йоханссон найкасовішою акторкою Голлівуду
ITC
2025-07-07T08:16:54Z
Російські шаблони на український манер: KHAYAT пояснив, чому майже не слухає української музики
Комсомольская правда
2025-07-07T07:58:44Z
Melovin оголосив про мобілізацію просто на концерті: де співак несе службу
24tv
2025-07-07T07:54:57Z
"На що перетворює людину рузький мір": нове відео Івана Дорна зробило його посміховиськом в мережі
Telegraf
2025-07-07T07:48:44Z
Донька Тетяни Шеліги відверто розповіла про стан мами напередодні смерті: "Не передати словами"
24tv
2025-07-07T07:42:50Z
На масштабному концерті у Хорватії показали нацистське вітання: що відомо про інцидент
24tv
2025-07-07T07:42:17Z
Катерина Кухар замилувала рідкісним фото з помітно підрослою 10-річною донькою від Стоянова
TSN
2025-07-07T07:33:57Z
Кутуньо не мав її виконувати: 3 цікаві факти про всесвітньо відомий хіт L'italiano
24tv
2025-07-07T07:30:59Z
РФ вдарила по ТЦК у Харкові та Запоріжжі
ГЛАВКОМ NET
2025-07-07T08:36:54Z
У Харкові кількість постраждалих унаслідок ранкового обстрілу зросла до 29
УкраинФорм
2025-07-07T08:36:47Z
На Закарпатті внаслідок ДТП на КРП загинув військовослужбовець ДПСУ – затримано водійку з ознаками спʼяніння
Украина Криминальная
2025-07-07T08:33:24Z
На Дніпропетровщині перекинувся двоповерховий автобус: одна людина загинула, 17 постраждали
УкраинФорм
2025-07-07T08:30:42Z
Новий наліт дронів на Україну: вибухи прогриміли у двох областях, деталі
GlavRed
2025-07-07T08:27:35Z
У Запоріжжі росіяни влучили у будівлю університету
ГЛАВКОМ NET
2025-07-07T08:27:19Z
На Миколаївщині зранку пролунав вибух
УкраинФорм
2025-07-07T08:24:21Z
Техас під водою: підтверджено 82 смерті через повені
Gazeta UA
2025-07-07T08:09:57Z
У Кропивницькому викрили неповнолітніх, які стріляли по вікнах дитсадка
УкраинФорм
2025-07-07T08:06:44Z
Tesla Robotaxi дивно поводиться під час поїздки і може висадити вас у полі через негоду
24tv
2025-07-07T08:33:42Z
Найменший електромобіль Toyota: Suzuki всередині та натяк на Land Cruiser зовні
ЗаРулем
2025-07-07T07:36:04Z
Рідкісний Porsche 911 виставили на продаж майже за 2,7 млн ​​доларів
AutoCentre
2025-07-07T07:12:23Z
Планове ТО автомобіля. На чому не варто економити, а що — ще почекає
Политека
2025-07-07T06:15:04Z
Нова модель Porsche 911 настільки ексклюзивна, що для її придбання потрібен членський статус
Топ Жир
2025-07-07T00:03:08Z
Власник Mazda скаржиться на нестерпний скрегіт гальм, який загрожує його безпеці
Топ Жир
2025-07-06T22:18:23Z
Кожен п’ятий покупець тепер витрачає понад тисячу доларів щомісяця на автомобіль
Топ Жир
2025-07-06T19:03:49Z
Стартував аж 19-им: сенсаційний пілот з Німеччини вперше в кар'єрі потрапив на подіум Формули-1
24tv
2025-07-06T18:18:36Z
Тест-драйв Ford Puma 1.0 MHEV 155: гібрид, який про керованість
AutoCentre
2025-07-06T18:06:36Z
Забудьте про дослівний переклад: як українською назвати "ізолєнту"
24tv
2025-07-07T08:30:48Z
Чи може виникнути геніальна ідея уві сні? Вчені підтверджують
ITC
2025-07-07T08:16:31Z
Найнижче над Землею: коли в Україні можна буде побачити Оленячий Місяць
ZN UA
2025-07-07T08:16:18Z
Спрайт, але не напій: астронавт NASA з орбіти зробила знімок дивної червоної блискавки
Фокус
2025-07-07T08:12:48Z
TikTok розділять на два застосунки — з версією «лише для США», запуск 5 вересня
ITC
2025-07-07T08:06:12Z
5 порад, щоб ваш смартфон не зламали кіберзлочинці
InternetUA
2025-07-07T08:04:41Z
Пошуки темної матерії можуть відкрити новий тип зірок
Portaltele
2025-07-07T07:51:30Z
Як швидко очистити пам'ять на смартфонах з Android та iOS
InternetUA
2025-07-07T07:49:56Z
У Перу виявили місто, старше за Мачу-Пікчу
1News
2025-07-07T07:42:50Z
Бенфіка готова задовольнити вимоги Челсі щодо Феліша, але не зможе утримувати футболіста
Football.ua
2025-07-07T08:43:50Z
Аль-Ахлі веде переговори з Мессі щодо зимового трансферу – L’Équipe
Football.ua
2025-07-07T08:43:33Z
Галатасарай зробив офіційну пропозицію Інтеру щодо трансферу Чалханоглу
Football.ua
2025-07-07T08:39:33Z
Українець працюватиме суддівським спостерігачем на грі Ліги чемпіонів УЄФА
УкраинФорм
2025-07-07T08:36:03Z
21-річний Гонсало Гарсія зумів повторити один з клубних рекордів Кріштіану Роналду
Известия Киев
2025-07-07T08:33:20Z
Жіноча збірна України з волейболу U22 зіграє на Євро-2026
УкраинФорм
2025-07-07T08:30:55Z
Жіноча збірна України з баскетболу здобула третю перемогу на чемпіонаті Європи U-18
ГЛАВКОМ NET
2025-07-07T08:30:34Z
Ювентус продовжує отримувати запити щодо Мбангула
Football.ua
2025-07-07T08:21:35Z
Українець Урсу уперше в кар'єрі виграв одиночну і парну сітку турніру ITF
УкраинФорм
2025-07-07T08:15:59Z