В Україні представили відреставрований за допомогою ШІ фільм про революцію 1918 року

У Центральному державному аудіовізуальному та електронному архіві відбулася презентація відреставрованого кінофільму «Український рух» (1918 р.) за допомогою штучного інтелекту. 

Про це повідомили на сайті архіву. 

«У рамках Міжнародного тижня архівів #IAW2024, що проходить під гаслом «Кібер Архіви», надаємо доступ до відео на тему: «Реставрація кінохроніки за допомогою штучного інтелекту», - йдеться у повідомленні. 

Кінорежисер Іван Канівець розповів, як відбувалася кількарічна реставрація стрічки та які методи застосовувались, щоб досягти максимальних результатів. 

«Річ у тому, що плівка, з якою я працював була свого часу скопійована для українського кіноархіву. До цього вона копіювалася безліч разів, причому часто копіювання відбувалося просто перезніманням з екрана. Присутність як мінімум чотирьох перфорацій показує, наскільки було пошкоджено це зображення. Цієї кінохроніки у нас в принципі мало. По цьому періоду, якщо прибрати хизування росіян своїми успіхами, а також кадри Першої світової війни, набереться менше 20 хвилин», — каже реставратор Іван Канівець.  

Він додав, що класичні методи реставрації показали низьку результативність. По-перше, вони не давали якісно відреставрувати всі дефекти, які були на кіноплівці, а по-друге, робота з ними займала неймовірну кількість часу. 

«Несподіваною була також проблема з чисткою зображення від шуму, адже більшість методів, заснованих на дискретному перетворенні фур’є, вимагають достатньо великої зони кадру. На жаль, у багатьох кадрах знайти такий шматок було дуже складно. Використовувати фрагменти інших кадрів у такому випадку також було складно через те, що параметри шуму занадто сильно мінялися», — розповів кінорежисер. 

Він додав, що методи, засновані не на дискретному перетворенні, також показали свою низьку результативність. 

«Перехід до темпоральної апроксимації вимагав геометричної корекції сусідніх кадрів, що також не завжди виходило. Перша інстинктивна реакція на ці проблеми виявилася не дуже вдалою. Були створені спочатку декілька скриптів, а згодом і плагінів до одної з відомих програм по обробці зображень, які дозволяли в чотири-шість разів скоротити час на обробку кожного кадру, але нічого не могли зробити з проблемою якості. Але враховуючи що навіть така обробка фірму займала б не один місяць, у нас був час на пошук інших цікавих рішень. На жаль в Україні ніхто не мав досвіду подібної роботи, а знайдені нами західні фахівці не хотіли ділитися секретами своїх досягнень», — уточнив Іван Канівець.  

Тому українські фахівці почали розбиратися самі. На першому етапі сканування вони отримали максимум можливої якості. Так само при збереженні у файл подальша робота відбувалася по трьох каналах зображення окремо, адже з часом пошкодження зображення в різних кольорових каналах відбувалося нерівномірно. 

Метод збирання окремих фрагментів із трьох кольорових каналів себе виправдав. Реставратори змогли ліквідувати багато дефектів, які до цього неможливо було вичистити. Але дефекти залишалися — особливо ті, які займали велику площу кадру і які навіть таким методом побороти не вдавалося. Довелося застосовувати суміш темпоральних та геометричних апроксимацій, яку раніше не застосовували. 

«Фактично ключ до успіху був у пошуку співвідношення цих апроксимацій. Тут проблемою було вже програмне забезпечення, адже на сьогодні, жоден із програмних пакетів таких можливостей не надає. Нам довелося розбити обробку зображення на окремі процеси, зав'язані на певну математику або геометрію і використовувати різні програмні пакети для проведення цих процесів», — додав Іван Канівець.  

Загалом реставраторам довелося обробити 29 планів у цьому фільмі, не рахуючи титрів, і обробка кожного з них була послідовністю відповідних процесів. Мінімум цих процесів було 12, максимум — 28. 

«Для кожного ми шукали оптимальне програмне забезпечення. Були такі випадки, коли один і той же самий процес для різного кадру ми проводили в різних програмах, залежно від того результату, який вдавалося отримати. Для кожного процесу ми шукали оптимальне програмне забезпечення. Бувало таке, що в різних планах один і той же процес був проведений за допомогою різних програм залежно від типу зображення», — уточнив реставратор. 

У 2019 році фахівці отримали результат, який на той момент видавався задовільним. Проте в останні роки поширеною стала технологія роботи за допомогою штучного інтелекту. Українські реставратори вже мали певний досвід з такими технологіями, тому виникло питання — а чи не вдасться відреставрувати кіноплівку за допомогою цих технологій краще. 

Спочатку ідея полягала в збільшенні чіткості зображення, але вже перші експерименти показали, що на сьогодні отримати такий результат не вдасться. 

«Робота зі штучним інтелектом — це всього-на-всього інший вид програмування, який дозволяє обробити значно більшу кількість даних, ніж раніше. Застосувати цей підхід деяких із наших процесів видалась нам дуже цікавим. Наприклад, проблема роботи з шумом, яку ми мали від самого початку нашої роботи», — розповів Іван Канівець.

За допомогою штучного інтелекту, який за певними критеріями відбирав невеличкі фрагменти кадру, реставратори могли створити ту площину, яка необхідне для роботи з дискретним перетворенням фур'є. 

У такий спосіб вдалося значно краще почистити кадри від шуму, що особливо помітно, якщо порівняти реставрацію 2019-го року і ту реставрацію, яку зробили тепер. 

«Так само пошук матеріалу для інтерполяції. За допомогою штучного інтелекту цей матеріал можна підібрати значно швидше. Та робота, на яку йшло раніше 10-15 годин тепер і цілком можна зробити за 20-30 хвилин. Плюс можна значно підвищити якість ліквідації відповідних дефектів. З іншого боку навантаження на комп'ютерну техніку також збільшується в рази. Завершити цю роботу зараз нам вдалося тільки завдяки тому, що нещодавно ми придбали нову комп'ютерну станцію», — каже кінорежисер Іван Канівець.

На його думку, найцікавішим було застосування мозаїчних методів обробки за допомогою штучного інтелекту, адже завдяки цьому можна отримати результати, які неможливо отримати ані математичними апроксимаціями, ані жодними іншими методами. 

На жаль, саме у випадку фільму «Український рух» вони практично не дали результатів.  Фактично методи штучного інтелекту увійшли в розроблені українськими реставраторами процеси, замінивши там математичні або ручні методи.

«Можливо в майбутньому можна буде по-іншому використати методи штучного інтелекту, але навіть сьогодні ми змогли отримати такі результати, про які ще кілька років тому неможливо було навіть мріяти», — підкреслив Іван Канівець.

На запитання, наскільки доречно застосовувати складні методи, коли реставрацію можна отримати навіть базовими методами Аdob Photoshop, він відповів, що реставрація — це отримання максимально можливих результатів із вихідного матеріалу, із максимальним збереженням усіх деталей оригінального зображення. А така реставрація можлива лише застосуванням складних математичних методів або штучного інтелекту. 

«Можливо у когось виникне питання — наскільки відреставрований матеріал можна вважати тотожним оригінальному. Є думка що застосування штучного інтелекту може негативно позначитись на реставрації. Так само 20 років тому казали про математичні методи. Насправді все залежить від реставратора — від його уважності професійності та сумлінності», — підкреслив Іван Канівець.

Він відзначив, що якість реставрації — це питання реставратора, а не методів.  Використання штучного інтелекту від попередніх методів реставрації відрізняється тим, що дозволяє до мінімуму звести помилки, обумовлені людським фактором, значно ефективніше використовувати часовий ресурс та досягти кращої якості. 

Переглянути архівний кінофільм можна на YouTube-каналі Центрального державного аудіовізуального та електронного архіву за посиланням. 

Нагадаємо, на фестивалі Docudays проєкт «Архів війни» провів презентацію «Що можна робити із архівними матеріалами про війну вже зараз?».

Фото: скриншот із кінофільму «Український рух» (1918).