Перевершила звичайний ШІ: створено "розумну" камеру нового типу розміром менше 1 мм

Дослідники з Прінстонського університету та Вашингтонського університету здійснили прорив, розробивши новий тип камери з функцією комп'ютерного зору — типу штучного інтелекту (ШІ), який допомагає комп'ютерам розпізнавати об'єкти на фотографіях і відео. Про це пише портал Interesting Engineering.

Повідомляється, що камера розміром із крупинку солі (менш ніж половина міліметра завширшки) може робити чіткі, повнокольорові зображення з безпрецедентною деталізацією, а також розпізнає об'єкти зі швидкістю світла. При цьому пристрій використовує світло замість електрики.

"Це абсолютно новий спосіб мислення про оптику, який сильно відрізняється від традиційної оптики. Це наскрізне проєктування, де оптика проєктується спільно з обчислювальним блоком", — зазначив доктор філософії, професор електротехніки, обчислювальної техніки та фізики у Вашингтонському університеті й один з авторів дослідження Арка Маджумдар.

Своєю чергою дослідник Фелікс Хайде, зазначив, що ідея оформилася, коли він почав досліджувати метаповерхні — штучні листоподібні матеріали з субхвильовими характеристиками.

Метаповерхні не заломлюють світло через скло або пластик, як традиційні лінзи. Замість цього вони заломлюють світло навколо крихітних структур, подібно до того, як світло поширюється при проходженні через вузьку щілину.

Щоб спроєктувати камеру і виготовити чіп Хайде та його студенти об'єднали зусилля з експертами Вашингтонської лабораторії нанотехнологій. Замість використання традиційної скляної або пластикової лінзи команда інтегрувала 50 складених одна на одну плоских і легких металінз, які використовують мікроскопічні наноструктури для управління світлом. Ці металінзи дублюють оптичну нейронну мережу, систему ШІ, натхненну мозком.

Досліджуючи цю технологію, вчені виявили, що світло, яке виходить із масивів стовпів, зовсім не обов'язково мало нагадувати вихідне зображення. Натомість стовпи діяли як спеціалізовані фільтри, сортуючи оптичні дані за категоріями, як-от краї, світлі й темні ділянки або навіть особливості, що виходять за рамки людського сприйняття, тим самим надаючи комп'ютерам попередньо оброблену, структуровану інформацію.

"Ми зрозуміли, що нам не потрібно записувати ідеальне зображення. Ми можемо записувати лише певні характеристики, які потім можемо об'єднати для виконання таких завдань, як класифікація", — зазначив Фелікс Гайде.

Потім команда розробила систему, здатну ідентифікувати об'єкти на зображеннях, використовуючи менше ніж 1% обчислювальної потужності, необхідної для традиційних методів, при цьому метаповерхнева лінза справлялася з 99,4% робочого навантаження.

Якщо традиційні нейронні мережі застосовують математичні фільтри (ядра) для вилучення даних, вимагаючи численних обчислень навіть для кількох пікселів, то нова система природним чином проводить складну фільтрацію під час проходження світла, даючи змогу кільком великим фільтрам аналізувати все зображення одразу. На думку вчених, ця технологія може зробити революцію в декількох технологіях.

"Це, звичайно, ще належить побачити, але тут ми продемонстрували перший крок. І це великий крок уперед порівняно з усіма іншими наявними оптичними реалізаціями нейронних мереж", — підсумував Арка Маджумдар.

Нагадаємо, дослідники з Японії розробили новий біогібридний дрон, який використовує для навігації чутливі до запахів антени шовкопрядів.