Розробники Meta представили інноваційну систему машинного зору для роботів

Компанія Meta Reality Labs представила новий датасет HOT3D, що може суттєво вплинути на розвиток технологій комп’ютерного зору та робототехніки. Датасет містить понад 833 хвилини егоцентричних 3D-відео, знятих за допомогою окулярів Project Aria та шолома Quest 3. У записах взяли участь 19 осіб, які взаємодіяли з 33 різними об'єктами у побутових і офісних умовах.

Датасет містить приблизно 3,7 мільйона зображень, які супроводжуються детальними анотаціями. Серед них — 3D-пози об'єктів, рук, камер, а також тривимірні моделі рук і предметів. Ці дані дозволяють вивчати складні завдання, як-от 3D-трекінг рук, оцінка пози об'єктів та моделювання руху об'єктів у руках.

Експерименти показали високу ефективність використання HOT3D. Багатокамерний підхід, застосований у датасеті, значно перевершує однокамерні системи у вирішенні завдань, пов’язаних із розпізнаванням рухів та положення об'єктів.

HOT3D відкритий для дослідників усього світу. Він може стати основою для розвитку інтерфейсів людина-машина, систем доповненої та віртуальної реальності, а також для поліпшення взаємодії роботів із довкіллям.