"Хуже ядерного оружия": ученый рассказал, чем опасны автономные роботы

Автономные системы вооружения (АСВ) могут действовать независимо, выбирая и атакуя цели, и человек при этом никак не может повлиять на это. И тем не менее, военные ведомства многих государств вкладывают значительные средства в разработку автономного оружия: одни только США выделили $18 млрд на такие исследования в период с 2016 по 2020 год. А тем временем правозащитные организации активно борются с "военизированным" ИИ, пытаясь перевести его в правовое поле. Эксперты по внешней политике предупреждают, что без регуляции новейшие военные технологии могут дестабилизировать текущие ядерные стратегии лишь потому, что могут радикально изменить представление о стратегическом превосходстве, увеличивая риск превентивных атак. Но есть и еще больший риск — АСВ могут сочетаться с химическим, биологическим и радиологическим оружием, что сделает их опаснее ядерного.

Об автономных роботах на службе у армий разных стран в своей колонке для theconversation.com рассуждает Джеймс Доус, профессор Колледжа Макалестера

Автономное оружие не такое уж и "умное", каким кажется

Первой проблемой автор считает ошибочность идентификации. "При выборе цели сможет ли автономное оружие (АО) различать солдат вражеской армии и 12-летних детей, играющих с игрушечными пистолетами? Или мирных жителей, бегущих с места конфликта, от повстанцев, отступающих тактически?", — пишет он.

Доус отмечает, что люди тоже ошибаются, однако опасность ошибок, допущенных ИИ, в том, что негативные последствия могут быть куда более масштабными. Представьте, если целый рой дронов-убийц неправильно распознает цели — жертвами могут стать тысячи и даже десятки тысяч невинных людей. В качестве пояснения профессор приводит такой пример: представьте, что пулемет неисправен и продолжает стрелять даже тогда, когда человек не жмет на курок. Пулемет, конечно, не понимает, что совершает ошибку, но это понимает солдат, и он может направить оружие в безопасном направлении. Автономное оружие по определению не имеет такой защиты.

"Более того, даже самый умный и идеальный, по сегодняшним меркам, ИИ может совершать грубейшие ошибки. Например, нейронная сеть, разработанная для использования в больницах Питтсбурга, определила астму как средство снижения риска в случаях пневмонии; программное обеспечение Google для распознавания изображений идентифицировало афроамериканцев как горилл; инструмент машинного обучения для ранжирования кандидатов на работу, разработанный Amazon, систематически присваивает отрицательные оценки женщинам", — пишет колумнист.

Проблема не только в масштабности ошибок, допускаемых ИИ, но и в том, что создатели ботов часто не знают, почему ошибки имели место быть, следовательно, они не знают, как их исправить.

Роботы-убийцы могут быть доступны едва ли не каждому

Еще одной проблемой АО Джеймс Доус называет доступность технологии. Если роботы-убийцы будут стоить относительно дешево и при этом будут эффективными, то мгновенно появится спрос и, конечно же, предложение.

"Торговлю таким оружием практически невозможно сдержать, оно распространится по всему миру и сможет попасть в руки террористов. Однако распространение "элитного" оружия — еще хуже. Страны могут начать соревноваться в разработке все более разрушительных версий АО, в том числе способного создавать химическое, биологическое, радиологическое и ядерное оружие", — рассуждает Доус.

Автор считает, что появление высококачественного АО приведет к учащению войн, "поскольку оно ослабит две основные силы, которые исторически предотвращали и сокращали войны: забота о гражданском населении за границей и забота о собственных солдатах… оно также снизит как потребность в собственных солдатах, так и риск для них, резко изменив анализ затрат и выгод, которому страны подвергаются при развязывании и ведении войн. Асимметричные войны, то есть войны, ведущиеся на земле стран, не имеющих конкурирующих технологий, станут более распространенными".

Подрыв законов войны

Доус пишет и о такой проблеме, как нарушение международных законов, восходящих к Женевской конвенции 1864 года, и проводящих линию между ведением войны "с честью" и банальной резней. Законы эти основаны на идее, что люди могут быть привлечены к ответственности за свои действия даже во время войны, что право убивать других солдат во время боя не дает права убивать мирных жителей. Ярким примером привлечения к ответственности является Слободан Милошевич, бывший президент Союзной Республики Югославии, которому Международный уголовный трибунал ООН предъявил обвинения в совершении военных преступлений.

"Но как можно привлечь к ответственности роботов? Кто виноват в том, что АО совершает военные преступления? Кого предадут суду? Оружие? Солдат? Командование? Корпорацию, создавшую оружие?", — задается вопросом профессор Доус.

Чтобы привлечь солдата к уголовной ответственности за использование смарт-оружия, которое совершает военные преступления, прокуратура должна будет доказать и преступную деятельность и преступное намерение.

"Это сложно с точки зрения закона и, возможно, несправедливо с точки зрения морали, учитывая, что автономное оружие по своей природе непредсказуемо. Я считаю, что дистанция, отделяющая солдата от независимых решений, принимаемых АО в быстро меняющейся среде, слишком велика… На мой взгляд, мир не должен повторять катастрофические ошибки гонки ядерных вооружений. Он не должен переходить в антиутопию", — резюмирует Доус..