Исследование: состязательное обучение нейронных сетей снижает уровень безопасности в роботах

Использование автономных мобильных роботов в открытых рабочих средах, таких как склады и промышленные предприятия, растет, особенно с учетом ограничений, создаваемых глобальной пандемией. Благодаря достижениям в области алгоритмов глубокого обучения и сенсорных технологий промышленные роботы становятся более универсальными и менее дорогостоящими.

Однако, безопасность и защита остаются двумя основными проблемами робототехники. Нынешние методы, используемые для решения этих двух проблем, могут давать противоречивые результаты. Ученые из Института науки и технологий Австрии, Массачусетского технологического института и Технического университета Вены провели исследование и обнаружили, что применение состязательных методов машинного обучения в нейронных сетях роботов негативно влияет на их уровень безопасности.

С одной стороны, инженеры по машинному обучению должны обучать свои модели глубокого обучения на множестве естественных примеров, чтобы убедиться в безопасности их применения в различных условиях окружающей среды. С другой, они должны обучать те же самые модели на примерах состязательности, чтобы злоумышленники не могли скомпрометировать их поведение с помощью подделанных изображений.

Состязательное обучение может оказать существенное негативное влияние на безопасность роботов, как отмечается в научной статье «Состязательное обучение не готово к подготовке роботов», которая была представлена на Международной конференции по робототехнике и автоматизации (ICRA 2021). Исследование показывает, что в этой области необходимы новые способы повышения устойчивости к противодействию в глубоких нейронных сетях, используемых в робототехнике, без снижения их точности и безопасности.

Как происходит состязательное обучение

Глубокие нейронные сети используют статистические закономерности в данных для выполнения задач прогнозирования или классификации. Это делает их очень хорошими в решении задач компьютерного зрения, таких как обнаружение объектов. Но использование статистических шаблонов также делает нейронные сети чувствительными к примерам противодействия.

Противоречивый пример - это изображение, которое было тонко изменено, чтобы модель глубокого обучения неправильно его классифицировала. Обычно это происходит путем добавления слоя шума к нормальному изображению. Каждый пиксель шума изменяет числовые значения изображения очень незначительно, достаточно, чтобы быть незаметным для человеческого глаза. Но когда они складываются вместе, значения шума нарушают статистические закономерности изображения, что затем заставляет нейронную сеть принимать его за что-то еще.

Примеры состязательных действий и атак стали горячей темой для обсуждения на конференциях по искусственному интеллекту и безопасности. Есть опасения, что состязательные атаки могут стать серьезной проблемой для безопасности, поскольку глубокое обучение становится все более заметным в физических задачах, таких как робототехника и беспилотные автомобили. Тем не менее, борьба с уязвимостями, связанными с состязательным процессом обучения машин, остается проблемой.

Один из самых известных методов защиты - это «состязательное обучение», процесс, который настраивает ранее обученную модель глубокого обучения на примерах состязательности. В состязательном обучении программа генерирует набор состязательных примеров, которые неверно классифицируются целевой нейронной сетью. Затем нейронная сеть переобучается на этих примерах и их правильных метках. Тонкая настройка нейронной сети на многих примерах соперничества делает ее более устойчивой к атакам злоумышленников.

Состязательное обучение приводит к небольшому снижению точности прогнозов модели глубокого обучения. Но такое ухудшение считается приемлемым компромиссом с точки зрения устойчивости к атакам.

Однако в приложениях робототехники состязательное обучение может вызвать нежелательные побочные эффекты.

«Во многих публикациях по глубокому обучению, машинному обучению и искусственному интеллекту мы часто видим утверждения о том, что «нейронные сети небезопасны для робототехники, потому что они уязвимы для состязательных атак» для оправдания некоторых новых методов проверки или состязательного обучения», - говорит Матиас Лехнер, кандидат наук.

Лехнер и другие соавторы исследования хотели проверить, всегда ли оправдан компромисс между чистой и надежной точностью в состязательном обучении в робототехнике. Они обнаружили, что, хотя такая практика улучшает состязательную надежность моделей глубокого обучения в задачах классификации на основе видения, она может вводить новые профили ошибок в обучении роботов.

Состязательное обучение в роботизированных приложениях

Допустим, есть обученная сверточная нейронная сеть и ее можно использовать для классификации набора изображений, хранящихся в папке. Если нейронная сеть хорошо обучена, она классифицирует большинство из них правильно, а на некоторых может ошибаться.

А теперь представьте, что кто-то вставляет две дюжины состязательных примеров в папку изображений. Злоумышленник намеренно манипулирует этими изображениями, чтобы нейронная сеть неверно их классифицировала. Обычная нейронная сеть попадет в ловушку и выдаст неверный результат. Но нейронная сеть, прошедшая обучение состязательности, классифицирует большинство из них правильно. Однако при этом может наблюдаться небольшое снижение производительности и неправильная классификация некоторых других изображений.

В задачах статической классификации, где каждое входное изображение не зависит от других, это падение производительности не является большой проблемой, если ошибки не возникают слишком часто. Но в роботизированных приложениях модель глубокого обучения взаимодействует с динамической средой. Изображения, передаваемые в нейронную сеть, поступают в непрерывной последовательности, зависящей друг от друга. В свою очередь, робот физически манипулирует окружающей средой.

«В робототехнике имеет значение, где возникают ошибки, по сравнению с компьютерным зрением, которое в первую очередь касается количества ошибок», - говорит Лехнер.

Например, рассмотрим две нейронные сети, A и B, каждая с 5-процентной частотой ошибок. С точки зрения чистого обучения обе сети одинаково хороши. Но в роботизированной задаче, где сеть работает в цикле и делает несколько прогнозов в секунду, одна сеть может превзойти другую. Например, ошибки сети A могут возникать спорадически, что не будет большой проблемой. Напротив, сеть B может делать несколько ошибок подряд и вызывать сбой робота. Хотя обе нейронные сети имеют одинаковую частоту ошибок, одна безопасна, а другая нет.

Другая проблема с классическими метриками оценки заключается в том, что они измеряют только количество неправильных классификаций, вызванных состязательным обучением, и не учитывают пределы ошибок.

«В робототехнике имеет значение, насколько ошибки отклоняются от правильного предсказания», - говорит Лехнер. «Например, допустим, наша сеть ошибочно классифицирует грузовик как легковой автомобиль или как пешехода. С точки зрения чистого обучения оба сценария считаются ошибочной классификацией, но с точки зрения робототехники неправильная классификация пешехода может иметь гораздо худшие последствия, чем неправильная классификация автомобиля».

Ошибки, вызванные состязательным обучением

Исследователи обнаружили, что «обучение безопасности предметной области», более общая форма состязательного обучения, вводит три типа ошибок в нейронных сетях, используемых в робототехнике: системные, временные и условные.

Временные ошибки вызывают резкие сдвиги в точности нейронной сети. Условные ошибки приведут к отклонению модели глубокого обучения от истины в определенных областях. А системные ошибки вызывают сдвиги в точности модели в масштабах всего домена. Все три типа ошибок могут создавать угрозу безопасности.

Чтобы проверить эффект своих выводов, исследователи создали экспериментального робота, который должен следить за окружающей средой, читать команды жестов и перемещаться, не сталкиваясь с препятствиями. Робот использует две нейронные сети. Сверточная нейронная сеть обнаруживает команды жестов через видеовход, поступающий с камеры, прикрепленной к передней части робота. Вторая нейронная сеть обрабатывает данные, поступающие от лидарного датчика, установленного на роботе, и отправляет команды двигателю и системе рулевого управления.

Исследователи протестировали нейронную сеть обработки видео с тремя различными уровнями состязательного обучения. Их результаты показывают, что чистая точность нейронной сети значительно снижается по мере увеличения уровня состязательного обучения. «Наши результаты показывают, что современные методы обучения не могут обеспечить нетривиальную состязательную надежность классификатора изображений в контексте роботизированного обучения», - пишут исследователи.

«Мы заметили, что наша обученная злоумышленником сеть зрения ведет себя прямо противоположно тому, что мы обычно понимаем как «надежная», - говорит Лехнер. «Например, он время от времени включал и выключал робота без какой-либо четкой команды от человека-оператора. В лучшем случае такое поведение раздражает, в худшем - приводит к сбою робота».

Нейронная сеть на основе лидаров не подвергалась состязательному обучению, но была обучена, чтобы обеспечить дополнительную безопасность и предотвратить движение робота вперед, если на его пути был объект. Это привело к тому, что нейронная сеть стала слишком оборонительной и избегала благоприятных сценариев, таких как узкие коридоры.

«Для стандартной обученной сети такой же узкий коридор не был проблемой, - сказал Лехнер. «Кроме того, мы никогда не наблюдали, как стандартная обученная сеть разбивала робота, что снова ставит под сомнение всю суть, почему мы вообще проводим состязательное обучение».

Будущая работа над состязательной устойчивостью

«Наши теоретические вклады, хотя и ограниченные, предполагают, что состязательное обучение, по сути, переоценивает важность различных частей предметной области», - говорит Лехнер, добавляя, что для преодоления негативных побочных эффектов состязательных методов обучения исследователи должны сначала признать, что устойчивость к противодействию является второстепенной задачей, а высокая стандартная точность должна быть основной целью в большинстве приложений.

Соревновательное машинное обучение остается активной областью исследований. Ученые в сфере ИИ разработали различные методы защиты моделей машинного обучения от враждебных атак, в том числе архитектуры, вдохновленные нейробиологией, методы модального обобщения и случайное переключение между различными нейронными сетями. Время покажет, станет ли какой-либо из этих или будущих методов золотым стандартом состязательности.

Более фундаментальная проблема, также подтвержденная Лехнером и его соавторами, - это отсутствие причинно-следственной связи в системах машинного обучения. Пока нейронные сети сосредоточены на изучении поверхностных статистических закономерностей в данных, они будут оставаться уязвимыми для различных форм состязательных атак. Изучение причинно-следственных связей может быть ключом к защите нейронных сетей от враждебных атак. Но изучение причинно-слдественных связей само по себе является серьезной проблемой, и ученые все еще пытаются выяснить, как ее решить.

«Отсутствие причинно-следственной связи - это то, как состязательные уязвимости попадают в сеть в первую очередь», - говорит Лехнер. «Изучение более совершенных причинно-следственных связей определенно поможет повысить надежность противостояния».

«Однако, - добавляет ученый, - мы можем столкнуться с ситуацией, когда нам придется выбирать между причинно-следственной моделью с меньшей точностью и большой стандартной сетью».