Смартфони й дрони зможуть працювати "як мікроскопи і телескопи": що придумали вчені

Китайські дослідники з Південно-Східного університету використовували метод глибокого навчання для поліпшення якості зображення металінз. Штучний інтелект підвищив якість зображень, що дасть змогу в майбутньому камерам смартфонів і дронів виконувати широкий спектр завдань, пише Interesting Engineering.

Команда застосувала багатомасштабну згорткову згорткову нейронну мережу — форму машинного навчання — для підвищення роздільної здатності, контрастності та спотворень зображень, знятих розробленою ними невеликою камерою. Камера розміром 3 см×3 см×0,5 см оснащена датчиком, інтегрованим у додатковий чип зображення. На думку вчених, цей підхід може значно поліпшити роздільну здатність, контрастність і згладити спотворення, що призведе до істотного поліпшення загальної якості фото і відео.

Металінзи — неймовірно тонкі оптичні пристрої, які керують світлом за допомогою наноструктур; часто вони мають товщину всього кілька атомів. Хоча їхній крихітний розмір може дати змогу створювати неймовірно легкі та компактні камери без звичайних оптичних лінз, отримання необхідної якості зображення з їхньою допомогою виявилося складним завданням. Щоб вирішити цю проблему, дослідники розробили метод високоякісної візуалізації за допомогою глибокого навчання.

Створена ними камера має металінзу з циліндричними наноштирями з нітриду кремнію висотою 1000 нм. Без додаткових оптичних компонентів металінза фокусує світло безпосередньо на датчик зображення CMOS. Незважаючи на свою компактність, камера не могла похвалитися якістю отриманих зображень. Вчені вирішили з'ясувати, чи можна використовувати машинне навчання для поліпшення фото і відео.

Глибоке навчання використовує багаторівневі нейронні мережі для автоматичного вивчення функцій на основі даних і ухвалення складних рішень або прогнозів. Дослідники застосували цей метод, використовуючи модель згорткової візуалізації для створення великого набору даних парних зображень високої та низької якості. Ці пари і стали матеріалом для навчання багатомасштабної згорткової нейронної мережі, що дало їй змогу ідентифікувати характеристики кожного типу зображення і перетворювати зображення низької якості на зображення високої якості.

Новий метод глибокого навчання застосували до 100 тестових фотографій, щоб перевірити його. За словами вчених, відбулося помітне поліпшення обох показників зображень, які проаналізувала нейронна мережа. Вони також продемонстрували, як цей метод може швидко і точно створювати високоякісні зображення, аналогічні тим, що спостерігалися безпосередньо під час експериментів. Контрастність і спотворення також були поліпшені.

Наразі дослідники зосереджені на розробці металінз із розширеними функціональними можливостями, такими як кольорове і ширококутне зображення. Вони також розробляють методи нейронних мереж для поліпшення якості зображень за допомогою металінз.

Для того, щоб комерціалізувати нову технологію, знадобляться особливі методи складання для інтеграції металінз у модулі камер смартфонів, дронів та інших гаджетів, а також розробка спеціального програмного забезпечення. І ці завдання видаються вченим цілком реалістичними.

Раніше ми писали, що Xiaomi скоро здивує новим смартфоном з модернізованою перископічною камерою. Xiaomi 14 Ultra вийшов на ринок відносно недавно, але вже є витоки про "наступника" — Xiaomi 15 Ultra.