Facebook анонсировал проект обучения искусственного интеллекта по видео, снятого от первого лица

Facebook в четверг объявил об исследовательском проекте, в ходе которого было собрано 2200 часов видеоматериалов от первого лица со всего мира для обучения моделей искусственного интеллекта следующего поколения.

Проект называется Ego4D, и он может оказаться решающим для подразделения Reality Labs Facebook, работающего над многочисленными проектами, которые могут извлечь выгоду из моделей искусственного интеллекта, обученных с использованием видеоматериалов, снятых с точки зрения человека.

Проект включает в себя умные очки, такие как Ray-Ban Stories, выпущенные Facebook в прошлом месяце, и виртуальную реальность, в которую Facebook вложил значительные средства с момента приобретения Oculus за 2 миллиарда долларов в 2014 году.

Видеокадры могут научить искусственный интеллект понимать или идентифицировать что-то в реальном или виртуальном мире, то что пользователь сможет увидеть от первого лица через очки или гарнитуру Oculus.

Facebook заявил, что сделает набор данных Ego4D общедоступным для исследователей в ноябре. Набор данных может быть использован в моделях ИИ, используемых для обучения таких технологий, как роботы, более быстрому пониманию мира.

«Традиционно робот учится, делая что-то в мире или буквально будучи портативным, когда ему показывают, как и что делать», - сказала Кирстен Грауман, ведущий научный сотрудник Facebook. «Есть возможности для того, чтобы они могли учиться на видео, используя только наш собственный опыт».

Facebook и консорциум из 13 университетов-партнеров использовали более 700 участников из девяти стран для съемки видео от первого лица.

Facebook утверждает, что Ego4D содержит более чем в 20 раз больше часов видеоматериалов, чем любой другой набор данных такого рода. Среди университетских партнеров Facebook были Карнеги-Меллон в США, Бристольский университет в Великобритании, Национальный университет Сингапура, Токийский университет в Японии и Международный институт информационных технологий в Индии.

Кадры были отсняты в США, Великобритании, Италии, Индии, Японии, Сингапуре и Саудовской Аравии. Facebook заявил, что надеется расширить проект на большее количество стран, включая Колумбию и Руанду.

«Важным дизайнерским решением для этого проекта является то, что нам нужны партнеры, которые в первую очередь являются ведущими экспертами в этой области, заинтересованы в этих проблемах и мотивированы их решать, но также имеют географическое разнообразие», - сказала Грауман.

Анонс Ego4D произошел в интересное время для Facebook. Компания неуклонно наращивает свои усилия в области аппаратного обеспечения. В прошлом месяце она выпустила свои первые умные очки Ray-Ban Stories. А в июле Facebook объявил о формировании продуктовой группы, которая будет работать конкретно над «метавселенной», которая представляет собой концепцию, предполагающую создание цифровых миров, в которых могут одновременно проживать несколько человек.

Кадры для нового проекта Facebook были сняты с помощью стандартных устройств, таких как камеры GoPro и умные очки Vuzix.

Facebook сообщил, что из соображений конфиденциальности участникам было дано указание избегать улавливания личных опознавательных характеристик при сборе видеоматериалов в помещении. Сюда входят лица людей, разговоры, татуировки и украшения. Facebook также заявил, что удалил личную информацию из видео, а также размыл лица прохожих и номерные знаки транспортных средств. По заявлению компании, звук также был удален из многих видеороликов.