MY.UAНовости
ИИ Chain-of-Zoom увеличивает фото в 256 раз без потери деталей
ИИ Chain-of-Zoom увеличивает фото в 256 раз без потери деталей

ИИ Chain-of-Zoom увеличивает фото в 256 раз без потери деталей

Исследователи из Южной Кореи разработали инструмент Chain-of-Zoom на основе искусственного интеллекта, способный в 256 раз увеличить фото с низким разрешением, сгенерировав реалистичную детализацию.

Ученые из KAIST AI под руководством Кима Джечула стремились решить проблему улучшения качества фото с низким разрешением, сохраняя четкую и реалистичную детализацию. Традиционные системы сверхвысокого разрешения для отдельного изображения работают по принципу угадывания недостающих деталей в запросах по увеличению масштаба изображения. 

Генеративные модели обучены создавать реалистичные версии фото с низким разрешением, предсказывая те детали, которых не хватает на изображении. Однако эффективность таких моделей зависит от того, по какой технологии они обучались. Они часто становятся неэффективными при необходимости выхода за привычные пределы.

«Современные модели превосходны в отношении масштабных коэффициентов, на которых они были обучены, но терпят неудачу, когда их просят увеличить изображение, выходящее за этот диапазон», — объясняют разработчики из KAIST AI. 

Chain-of-Zoom эффективно преодолевает ограничения, используя пошаговый процесс масштабирования. Этот ИИ не растягивает изображение в 256 раз за один подход, ведь тогда картинка была бы размытой, а детали выдуманными. Вместо этого Chain-of-Zoom пошагово масштабирует изображение, опираясь на каждый предыдущий шаг, используя модель сверхвысокого разрешения — например, хорошо обученную модель диффузии — для уточнения изображения.

К тому же, языковая модель Vision-Language также участвует, генерируя языковые подсказки, которые помогают Chain-of-Zoom представить, что должно появиться в изображении на следующем этапе. Vision-Language подбирает несколько точных словосочетаний, вроде: «прожилки листа», «текстура меха», «кирпичная стена» и тому подобное, которые направляют ИИ к дальнейшей детализации изображения. 

В то время как масштаб увеличивается, первоначальное изображение теряет четкость и визуально становится трудно распознать контекст. В этот момент речевые подсказки играют решающее значение. Однако генерирование правильных речевых подсказок непростое дело. Стандартные языковые модели могут повторяться, генерировать странные словосочетания и неверно интерпретировать входные данные.

КАИСТ ИИ

Для оптимизации этого процесса исследователи использовали обучение с подкреплением и обратной связью с человеком. Они научили свою модель генерации подсказок соответствовать предпочтениям человека, используя технику, называемую обобщенной оптимизацией политики вознаграждения.

Обучение происходило с использованием трех видов обратной связи:

  • Человек-критик оценивал подсказки, сгенерированные языковой моделью, на соответствие изображению;
  • Речевая модель получала наказание за запутанные и некорректные фразы;
  • Специальный фильтр отсеивал текст, который повторялся.

В процессе обучения подсказки становились более четкими, конкретными и полезными. Результаты Chain-of-Zoom оценивались с использованием нескольких безреферентных метрик качества, таких как NIQE и CLIPIQA. На четырех уровнях увеличения (4×, 16×, 64×, 256×) CoZ последовательно превосходил альтернативы, особенно в высших масштабах.

Другие преимущества этого инструмента заключаются в том, что базовая модель сверхвысокого разрешения не требует переобучения. Chain-of-Zoom будет очень удобным для приложений, требующих быстрого, высокоточного масштабирования без использования сложных вычислительных мощностей.

Chain-of-Zoom может найти применение в медицине, где улучшенная детализация может расширить возможности диагностики, в сфере видеонаблюдения с камер, где необходима высокая детализация объектов, в восстановлении старых фото, научной визуализации, в сферах микроскопии и астрономии.

Спецпроекты

Весомым недостатком этой технологии является то, что после значительного увеличения размера фото оригинал фактически исчезнет, а останется только его искусственная копия, сгенерированная ИИ. Таким образом, технология может использоваться с целью манипулирования визуальными данными для создания фейковых изображений.

«Высококачественная генерация на основе входных данных с низким разрешением может вызвать опасения относительно дезинформации или несанкционированной реконструкции конфиденциальных визуальных данных», — признают разработчики.

Результаты были опубликованы на сервере препринтов arXiv

Источник: ZMEScience

Поделиться
Поделиться сюжетом
Источник материала
«Срочно покидать города»: что известно о предполагаемой мести России за «Паутину»
Comments UA
2025-06-04T12:09:24Z
Часики тикают: почему у Украины осталось времени всего до конца июня
Comments UA
2025-06-04T12:42:14Z
Илон Маск отреагировал на удары по аэродромам в РФ
Корреспондент
2025-06-01T20:27:08Z
Появилась реакция НАТО на удары Украины по аэродромам РФ и Крымскому мосту
Comments UA
2025-06-04T12:33:35Z
В РФ издали дикое заявление о похищении украинских детей и выдвинули ультиматум
Comments UA
2025-06-06T17:48:04Z
В МИД России отрицают похищение детей из Украины и выдвинули условия для новых переговоров
Gazeta UA
2025-06-06T17:45:09Z
Полный разворот от Украины, какое решение приняли у Трампа, помимо пропуска Рамштайна
Comments UA
2025-06-04T12:30:15Z
Кремль впервые отреагировал на операцию Паутина
Корреспондент
2025-06-03T11:18:55Z
Разведка США раскрыла планы Путина на 2025 год
Корреспондент
2025-05-24T16:33:54Z
RMF 24: в Польше на границе с Украиной нашли брошенные системы ЗРК, предназначенные Киеву
Лига
2025-06-04T12:21:34Z
4 категории мужчин исключат из воинского учета: их не мобилизуют
UAToday
2025-06-04T13:03:41Z
Бесплатные продукты для ВПЛ: украинцам раздают пищу, что важно знать о такой помощи
Политека
2025-06-05T13:31:59Z
Владельцы земельных участков хватаются за голову: придется выложить до 30 тысяч
Знай
2025-06-04T12:30:36Z
Операция СБУ вывела из строя до 20 российских бомбардировщиков — замена займет годы
Новости Украины
2025-06-06T17:51:37Z
Денежная помощь для пенсионеров в Сумской области: в каких районах можно рассчитывать на выплаты
Политека
2025-06-06T17:30:20Z
СБУ показала уникальные кадры спецоперации "Паутина": видео ударов по самолетам РФ
Хвиля
2025-06-04T13:51:45Z
Китай передал России лазерную установку для сбивания дронов - СМИ
Корреспондент
2025-06-05T00:16:32Z
5 июня - какой сегодня праздник, что нельзя делать, все об этом дне
Комсомольская правда
2025-06-05T03:33:31Z
Какие платья нельзя носить женщинам за 50: такие модели выглядят нелепо и добавляют возраст
TSN
2025-05-26T16:48:44Z
Джамала продала дом под Киевом: певица назвала причину и где сейчас живет с детьми
TSN
2025-05-26T18:18:35Z
Киркоров вызверился на Малахова и оскорбил его
GlavRed
2025-06-04T19:42:05Z
54-летняя Наоми Кэмпбелл снялась для глянца в откровенных образах
Gazeta UA
2025-06-04T12:03:15Z
Люк Бессон представил трейлер фильма "Дракула: История любви"
GameMag
2025-06-06T16:22:47Z
"Это как сон": Том Фелтон снова вернется к роли Драко Малфоя из "Гарри Поттера"
Фокус
2025-06-06T15:51:12Z
Рада стать бабушкой: Волочкова заговорила о пополнении
GlavRed
2025-06-04T11:51:55Z
Лилия Ребрик восхитила романтикой с мужем на вокзале и показалась сразу с тремя дочерьми
TSN
2025-06-04T12:36:19Z
Ирина Билык показалась с двумя сыновьями и раскрыла подробности личной жизни
TSN
2025-05-25T07:48:32Z
Оккупанты превратили его в грязную лужу: в Украине исчезает уникальное Чистое озеро
Telegraf
2025-06-04T13:03:16Z
Как прогнать всех насекомых из дома без "химии": один запах заставит их сбежать навсегда
UAToday
2025-06-03T14:15:46Z
Салат "Летний Оливье": хрустящий, свежий и очень вкусный
TSN
2025-06-04T12:36:31Z
Клубничный бум: непревзойденная галета к кофе или чаю
TSN
2025-05-26T17:06:31Z
Какие цветы еще можно посеять в июне: 10 оптимальных вариантов
GlavRed
2025-06-06T16:27:37Z
Почему мы влюбляемся в тех, кому на нас безразлично
Знай
2025-06-06T15:51:38Z
В таком маринаде вы мясо еще не замачивали: понадобится кофе и еще несколько ингредиентов
Telegraf
2025-06-04T12:12:54Z
Главная стрижка лета-2025: трендовые варианты
TSN
2025-05-26T12:18:14Z
Гороскоп на 25 мая 2025 года по картам Таро для всех знаков зодиака
UAToday
2025-05-24T15:27:13Z
Стало известно, каким водителям больше нельзя управлять автомобилем
UAToday
2025-05-24T13:06:02Z
Škoda Favorit 1987 года переосмыслили как электрокар для нового поколения
Корреспондент
2025-05-29T18:15:23Z
Cadillac отзывает электромобили Lyriq из-за проблемы с дисплеем
Корреспондент
2025-06-06T16:39:59Z
Теслу съедают заживо: как китайские конкуренты победили детище Маска, которым вдохновлялись
Фокус
2025-06-06T16:21:51Z
Срочно разгрузите багажник в машине: водителям могут влепить серьезный штраф
Знай
2025-06-06T09:51:22Z
Как выглядит электромобиль Tesla Model 3 с пробегом более 700 000 км
Фокус
2025-06-06T09:45:49Z
Брутальный дизайн и расход 8 л на 100 км: презентован недорогой пикап MG
Фокус
2025-06-06T08:06:46Z
Стоит ли выключать двигатель, чтобы экономить топливо: главный секрет раскрыт
Comments UA
2025-06-06T07:12:07Z
Деньги сливаются в бензобак: водителям подсказали фразу, которая поможет сэкономить на АЗС
Знай
2025-06-05T20:51:13Z
Чем полезен творог и стоит ли есть его каждый день: диетологи рассказали обо всех нюансах
UAToday
2025-05-24T09:03:02Z
То, что ты ешь, может сделать тебя несчастным: учёные бьют тревогу
Знай
2025-06-04T12:51:48Z
Тля на смородине: методы борьбы с вредителями
TSN
2025-05-24T17:52:42Z
Мыло или гель для душа: что выбрать для кожи и гигиены
UAToday
2025-05-24T12:06:20Z
В Украине стремительно растет заболеваемость корью
Корреспондент
2025-06-06T17:12:29Z
Этот симптом не стоит игнорировать, чтобы не "потерять" глаза
Comments UA
2025-06-06T14:48:00Z
Стоматолог предупреждает: большинство людей совершают эту ошибку при чистке зубов
Comments UA
2025-06-06T14:45:44Z
Никогда не запивайте эти лекарства чаем: эффект будет "убийственным"
Comments UA
2025-06-06T13:45:47Z
Внезапный приступ жары во время менструации: насколько это опасно и как лечить
Знай
2025-06-06T12:51:12Z
Последствия сильных взрывов в Киеве: куда попали россияне
Comments UA
2025-06-06T03:45:35Z
В Польше голый украинец бегал по улице и прыгал на авто
TSN
2025-05-28T15:21:21Z
В России группа врачей продавала детей за границу
Корреспондент
2025-05-31T18:33:20Z
Трагический инцидент на отдыхе: девушка погибла во время полета на парасейлинге
Comments UA
2025-06-04T12:27:23Z
Россияне бьют ракетами по Харькову, а незадолго до этого город атаковали КАБы
Комсомольская правда
2025-06-06T17:46:47Z
Поисковые работы на месте атаки в Чернигове: спасатели деблокировали тело погибшего
Апостроф
2025-06-06T17:27:11Z
Атака на Киев: известны уточненные данные о последствиях
Корреспондент
2025-05-24T13:03:34Z
Возле метро в Киеве обнаружили труп: что известно
TSN
2025-06-05T16:18:02Z
В Киеве на американца упал балкон у подъезда многоэтажки
VGorode
2025-05-29T12:57:14Z
Российские акции обвалились после ударов СБУ по аэродромам
Корреспондент
2025-06-01T17:42:33Z
Из-за 10-секундного опоздания самолет не пустили на посадку в Мюнхене - пассажиры провели в пути еще 12 часов
Апостроф
2025-06-04T11:57:13Z
Курс валют на выходные, 31 мая и 1 июня: сколько стоят доллар, евро и злотый
TSN
2025-05-31T06:51:29Z
Курс валют на 5 июня: сколько будут стоить доллар, евро и злотый
TSN
2025-06-04T12:48:57Z
Из-за массовой скупки земли компаниями Порошенко цена на участки стала нереальной для миллионов украинцев, - эксперт
Политека
2025-06-06T17:42:04Z
Оставят только четверть пенсии: некоторым пенсионерам уменьшат выплаты на 75%
Знай
2025-06-06T17:36:30Z
В Украине появится линия по выпуску 155-мм снарядов при участии чешской CSG, — Милитарный
Фокус
2025-06-04T12:36:13Z
Немецкий банк заблокировал Шредеру выплаты из России
Корреспондент
2025-05-25T14:45:13Z
Швеция ослабляет 100-летнюю жесткую монополию на продажу алкоголя
Европейская правда
2025-05-31T21:00:54Z
Удар по Харькову: повреждены более 30 домов и транспортное депо
Корреспондент
2025-05-30T07:30:06Z
Синоптики дали прогноз погоды на сегодня 24 мая в Украине
UAToday
2025-05-24T04:27:56Z
ВСУ ведут бои на девяти направлениях - Генштаб
Корреспондент
2025-05-27T13:30:44Z
Професійні бригади з України збирають лохину в Грузії вдвічі швидше за місцевих
AgroNews
2025-06-04T12:16:30Z
Не мир, а разочарование: военный объяснил, почему не стоит принимать перемирие
Знай
2025-06-06T17:51:49Z
Россия атакует Харьков управляемыми бомбами — мэр
Апостроф
2025-06-06T17:49:38Z
Генштаб рассказал о ситуации с боями на фронте
Корреспондент
2025-05-28T05:27:22Z
Генштаб показал новые карты боев на фронте
Корреспондент
2025-05-24T06:03:54Z
Атака подводного беспилотника: раскрыт сценарий удара по Крымскому мосту
GlavRed
2025-06-06T16:30:41Z
Связь будет даже при блэкаутах: как продлить заряд батареи на смартфоне
Знай
2025-06-04T18:51:04Z
В Украине могут начаться отключение мобильной связи: причины и продолжительность
Знай
2025-06-06T04:36:53Z
Pornhub остановил показ порно в одной из стран Европы: какая причина
Comments UA
2025-06-04T12:57:24Z
Грабеж под прикрытием дополнительных услуг: абоненты Lifecell жалуются на пропажу средств
Знай
2025-06-06T17:21:46Z
Ученые обнаружили самые мощные взрывы в космосе со времен Большого взрыва
Корреспондент
2025-06-06T17:18:51Z
EUROFER очікує спаду споживання сталі в ЄС четвертий рік поспіль
AgroNews
2025-06-06T17:09:55Z
Apple зарегистрировала торговую марку новой операционной системы
Корреспондент
2025-06-06T16:57:32Z
Чим підживити капусту після висадки у ґрунт
AgroNews
2025-06-06T16:18:13Z
СМИ: Ремейк Persona 4 покажут на Xbox Games Showcase 2025
GameMag
2025-06-06T16:03:08Z
Главный тренер львовского Руха уходит с должности досрочно
Корреспондент
2025-06-04T14:03:40Z
Довбик назвал настоящего лидера сборной Украины
Корреспондент
2025-05-24T10:21:32Z
Гарсия перед провальным боем травмировался: Была операция
Корреспондент
2025-05-28T21:30:01Z
Составлена символическая сборная команда Лиги чемпионов
Корреспондент
2025-06-01T17:24:06Z
"Рома" украинца Довбика получила нового главного тренера
ZN UA
2025-06-06T17:48:46Z
Постекоглу официально уволен
Корреспондент
2025-06-06T17:21:36Z
90 лет без титула, и вот наконец Юнион Сент-Жиллуаз в Бельгии снова чемпион
Корреспондент
2025-05-25T21:30:44Z
Прощание с Реалом: заключительный матч сезона стал последним для Модрича
Корреспондент
2025-05-24T17:33:32Z
Достойное обновление эмблемы на форме Динамо после 30-го чемпионства
Корреспондент
2025-05-24T17:00:58Z