Мозкові хвилі стали наступним кроком до фізичного ШІ

Передовою точкою розвитку фізичного штучного інтелекту є гра Jenga на складі в Сан-Леандро, Каліфорнія.

Цей склад займає Encord , компанія, яка розробляє інструменти для обробки даних, що використовуються для навчання моделей штучного інтелекту. Ендрю Сея — пілот (так компанія називає своїх роботів-тренерів) і обережно витягує дерев'яні блоки з хиткої вежі, одягнувши гарнітуру з камерою, яка відстежує те, що він бачить. Вже саме це досить поширене явище для збору даних для навчання роботів, але ця гарнітура містить датчики, які вимірюють його мозкові хвилі, коли він обережно розбирає вежу з блоків.

Encord — один із невеликої, але зростаючої кількості стартапів, які роблять ставку на те, що наступним реальним обмеженням для гуманоїдної та складської робототехніки буде не архітектура моделей, а явна нестача реальних даних про фізичне тренування. Замість того, щоб просто допомагати робототехнічним компаніям керувати наявними даними, Encord будує бізнес на виробництві даних, яких у них немає.

Гарнітура для вимірювання мозкових хвиль, яку носить Сея, була створена Zander Labs , німецьким нейронауковим стартапом, який робить ставку на те, що вимірювання активності мозку — для визначення психічних станів, таких як помилка, намір та здивування — може створити корисніший набір даних для навчання моделей. Робота Encord із Zander наразі є пробним прогоном; Encord каже, що метою є створення початкового набору даних з міткою мозкових хвиль, його тестування на моделях робототехніки клієнтів та оцінка того, чи дійсно це покращує продуктивність, перш ніж приймати рішення про масштабування.

Лукас Герке, нейробіолог із Зандера, який керує роботою, каже, що обсяг мозкової активності, що використовується в будь-який момент під час виконання певного завдання, дає підказки для розробників моделей, які намагаються з'ясувати, коли їм потрібно розгорнути свої моделі з найвищими зусиллями.

За словами Вініта Велмуругана, керівника відділу навчання роботів Encord, це «передовий етап» зусиль, спрямованих на вирішення проблеми вузького місця в даних робототехніки. Велмуруган, ветеран лабораторії роботів OpenAI та Berkshire Grey, фірми з автоматизації складів, приєднався до Encord, щоб створити внутрішню команду компанії зі створення даних.

Компанію Encord було засновано, щоб допомогти компаніям, які створюють програми машинного зору, анотувати дані та оцінювати моделі. Коли їхні клієнти — Вельмуруган каже, що вони працюють з багатьма провідними фірмами-робототехніками, але він не уповноважений називати їх імена — почали застосовувати наскрізне навчання до завдань маніпуляцій з роботами, керівники зрозуміли, що їм доведеться самостійно створювати навчальні дані, а не просто керувати ними. «Даних просто не існує», — сказав Вельмуруган.

Задовольніть свої егоцентричні потреби в даних

Компанії, що створюють робототехнічні мізки, зараз звертаються до двох основних джерел: «егоцентричного» відео, зібраного працівниками, які носять камери, часто доповненого додатковими ракурсами камери та іншими показниками, та даних від роботів , що працюють дистанційно. Encord робить і те, і інше, збираючи егоцентричні дані з кількох заводів по всьому світу та використовуючи свій об'єкт у Сан-Леандро для експериментів з новими модальностями, такими як мозкові хвилі, або збираючи набори даних про певні навички для їх точного налаштування.

Коли TechCrunch відвідав це місце, пілоти використовували установки «лідер-слідувач» — парні роботизовані руки, одна з яких керується безпосередньо людиною-оператором, а інша імітує її рухи — для створення даних про такі завдання, як наливання кави з кавника в чашки (дуже липка) та складання фішок для покеру. «Кожна компанія, що займається гуманоїдами, просила нас надати ці деталі», — каже Велмуруган.

На стелажах зберігалися коробки зі штучними квітами у вазах, книги, пластикові овочі, лотки та ложки для котячого туалету, пакети та зв'язки дротів – матеріали, що використовувалися для навчання маніпуляторів для виконання домашніх завдань.

На одній із цих станцій інший пілот, Софія Інфанте, маневрує роботизованими руками, щоб підключати та відключати кабелі Ethernet від задньої панелі сервера — саме таку роботу оператори центрів обробки даних хотіли б автоматизувати, якби тільки роботи могли маніпулювати нею з необхідною точністю. Обернувшись за пультом керування, я зрозуміла, чому це досі недосяжно: щипці набагато менш спритні, ніж людські пальці, і їм бракує ступеня свободи, який ми сприймаємо як належне у наших руках.

Ще один новий метод обробки даних, який розробляє Encord, використовує набір датчиків, прикріплених до передпліччя, для виявлення електричних сигналів у м'язах. Відео, зняте на відео, на якому людські руки маніпулюють предметами, зазвичай не охоплює всю руку, але Вельмуруган сподівається створити 3D-зображення того, де знаходиться рука в будь-який момент часу, на основі датчиків руки, що забезпечить більш надійне розуміння моделей.

Набори даних Encord анотовані фізичними описами того, що містить кожне відео — «права рука затягує болт» — щоб допомогти моделям на основі LLM зрозуміти, що відбувається. Велмуруган оцінює, що такий вид щільних анотацій у 100 разів дорожчий за «непотрібні дані его» для навчання конкретних завдань, і його виробництво на папері коштує лише у 20 разів дорожче, що є гарною угодою.

Але «у 20 разів більше» – це все ще реальні гроші, і в цьому вся загвоздка: збір тексту з інтернету, спосіб, у який розробники LLM будували свої моделі, використовуючи Stack Overflow та решту мережі, коштує передовим лабораторіям майже нічого. Генерація даних про фізичне тренування – ні, і це межа порівняння фізичного ШІ як LLM. Такі дані потрібно виробляти, а не просто збирати, і це змінює економіку створення цих моделей.

Велмуруган каже, що прогрес досягається — завдяки баченню Encord програм по всій галузі, він може бачити, як стартапи та передові лабораторії виявляють, що працює, а що ні, для покращення фізичних моделей штучного інтелекту. Ця перевага — розташування між багатьма компаніями-виробниками робототехніки одночасно — також є частиною презентації Encord. Вона може виявити, які методи обробки даних набирають обертів у всій галузі, перш ніж це зможе зробити будь-який окремий клієнт.

Це забезпечить роботу приблизно десятку пілотів на об'єкті Encord. Інфанте та Сеха є частиною зростаючої робочої сили, яка розробляє будівельні блоки для нейронних мереж; раніше вони працювали в Scale, іншій фірмі, що займається анотацією даних зі штучним інтелектом, перш ніж приєднатися до Encord.

Сея працював у компанії з управління відходами, де його інтерес до технологій призвів до того, що він відповідав за підтримку роботизованого сортувальника сміття в робочому стані. Тепер, коли вежа Jenga падає, він каже, що йому подобається вирішувати навчальні завдання для роботів — «Це щось нове щодня!»