Дослідники навчили роботів “відчувати”: нова система допомагає працювати з крихкими предметами

Команда професорки Стенфордського університету та дослідниці штучного інтелекту Фей-Фей Лі представила систему T-Rex, яка додає роботам високочастотний тактильний зворотній зв'язок. Завдяки цьому машини можуть виконувати делікатні завдання, на кшталт перегортання сторінок книги чи стискання тюбика зубної пасти. Дослідники вважають, що поєднання зору та дотику стане наступним етапом розвитку втіленого ШІ (Embodied AI), передає BigGo Finance.

У межах дослідження, опублікованого в arXiv, роботи успішно перегортали сторінки книг, переносили яйця, стискали тюбики зубної пасти, відокремлювали складені чашки, відкривали замки, витягували картки, загвинчували лампочки та навіть розпізнавали плитки маджонг на дотик. Загалом система тестувалася на 12 різних завданнях.

За результатами випробувань T-Rex досяг середнього показника успішності 65%, що на 30 відсоткових пунктів перевищило найкращу базову модель EgoScale. Найкращі результати система продемонструвала під час перегортання сторінок книги — 96%, розділення складених одна на одну чашок — 78%, реакції нейтралізації — 76%, та перенесення яєць — 75%.

Для навчання дослідники зібрали близько 100 годин даних взаємодії роботів із предметами. База охопила 207 повсякденних об'єктів і 22 базові типи дій, зокрема захоплення, складання, натискання, протирання, різання та очищення.

Основою системи став дворукий робот Dexmate Vega-1 із двома роботизованими руками Sharpa Wave, кожна з яких має 22 ступені свободи та оснащена п'ятьма тактильними сенсорами на кінчиках пальців. Для візуального сприйняття використовували стереокамеру ZED X Mini та дві камери, встановлені на зап'ястях.

Автори дослідження зазначають, що традиційні моделі, які поєднують лише зір, мову та дії, недостатньо ефективні для роботи з фізичним контактом. Причина полягає в тому, що під час взаємодії з об'єктом робот повинен реагувати значно швидше, ніж дозволяє обробка зображень.

У T-Rex ці процеси працюють із різною швидкістю. Високорівнева система зору та планування працює з частотою 30 Гц і визначає, що потрібно зробити, тоді як тактильна система функціонує на частоті 300 Гц і миттєво коригує силу натискання та положення пальців у разі ковзання предмета.

Дослідники наголошують, що саме дотик дозволяє роботам визначати зміни, які майже неможливо оцінити лише за допомогою камер. Це особливо важливо під час роботи з крихкими або дрібними предметами, коли необхідно контролювати силу натискання та момент контакту.

Робота продовжує багаторічні дослідження Фей-Фей Лі у сфері так званого просторового інтелекту. Якщо база даних ImageNet свого часу навчила системи ШІ розпізнавати об'єкти на зображеннях, то нинішні дослідження спрямовані на те, щоб навчити машини розуміти простір, фізичну взаємодію та наслідки власних дій.

На думку дослідників, майбутнє робототехніки залежить від поєднання кількох типів сприйняття. Камери допомагають визначити розташування об'єктів, симулятори дозволяють відпрацьовувати сценарії взаємодії, а тактильні сенсори забезпечують швидку реакцію після фізичного контакту. Дослідники вважають, що наступний етап розвитку втіленого ШІ полягає у здатності машин відчувати фізичний світ. 

Сучасні виробники роботів уже рухаються в цьому напрямку. Подібні системи використовують гуманоїдні роботи Figure Helix 02, Unitree G1 та AgiBot Lingxi X2, які поєднують камери, LiDAR, сенсори сили та тактильні датчики для точнішої роботи в реальному середовищі.

У статті “ШІ-роботи й склянка води на старість” Роман Яненко аналізує перехід штучного інтелекту з віртуального середовища у фізичний світ завдяки розвитку робототехніки. Автор зазначає, що поєднання мовних моделей і мультимодальних систем із гуманоїдними платформами дає змогу машинам виконувати складні побутові, промислові та безпекові завдання.