Представлено робота, который понимает человеческий язык и умеет учиться – видео

Его планируют выпустить уже в наступающем году.

Компания Mentee Robotics представила свой первый прототип двуногого гуманоидного робота, понимающего человеческий язык и умеющего учиться.

Об этом пишет The Robot Report.

Команда разрабатывает человекообразного робота, который, по ее словам, будет способен понимать команды на естественном языке с помощью искусственного интеллекта.

Прототип Menteebot содержит ИИ на каждом уровне своих операций. Движение работа базируется на новом методе машинного обучения, называемом моделированием реальности (Sim2Real). В этом методе обучения с подкреплением происходит на виртуальной версии робота, что означает, что он может использовать столько данных, сколько ему нужно для обучения, а затем реагировать на реальный мир, используя очень мало данных.

Методы на основе NeRF, являющиеся новейшими технологиями на основе нейронных сетей для представления 3D-сцен, отражают мир на лету. Семантические знания хранятся в этих когнитивных картах, которые компьютер может запрашивать, чтобы найти вещи и места.

Робот Mentee может выяснить, где он находится на 3D-карте, а затем автоматически планировать динамические пути во избежание помех.

Прототип продемонстрировал полный цикл выполнения сложных задач, включая навигацию, локомоцию, понимание сцены, выявление и локализацию объектов, хватание и понимание естественного языка.

Однако в Mentee Robotics отметили, что это не окончательная версия. Компания также сообщила, что изначально нацелена на два основных рынка для гуманоида Mentee. Один из этих рынков – домашний, где домашний помощник, умеющий маневрировать в домохозяйствах, способен выполнять целый ряд задач, в частности сервировку стола, уборку, стирку, а также обучаться новым задачам "на лету" с помощью словесных инструкций и визуальной имитации. Вторым промышленным рынком является склад, где автоматизированный робот предназначен для эффективного поиска, получения и транспортировки предметов, а также способен обрабатывать грузы весом до 25 кг.

Mentee Robotics заявила, что планирует выпустить готовый к производству прототип к 1 кварталу 2025 года. Система использует только камеры на основе технического зрения для восприятия окружающего мира.

Кроме того, инженерная команда компании разработала собственные электродвигатели для обеспечения необходимой ловкости робота.

"Мы стоим на пороге конвергенции компьютерного зрения, понимания природного языка, мощных и детальных симуляторов, а также методологии перехода от симуляции к реальному миру", — сказал профессор Амнон Шашуа, глава Mentee Robotics. "В Mentee Robotics мы рассматриваем эту конвергенцию как отправную точку для проектирования будущего универсального двуногого робота, который может передвигаться повсюду – как человек – с мозгом для выполнения бытовых задач и обучения с помощью имитационных задач, к которым он ранее не был подготовлен".