НКО и представители цифровой среды требуют запрета автономного летального оружия. Мнения на этот счет расходятся, а ООН поводит исследование.
От появившегося на YouTube видео (более миллиона просмотров за неделю) бросает в холодный пот. На нем американский топ-менеджер представляет миниатюрный дрон, который сначала сидит у него в руке, а затем взрывается у стоящего в нескольких шагах манекена. "За 25 миллионов долларов вы можете разрушить половину города, худшую половину" - говорит он. Далее следует вставка из выпуска новостей, где нам показывают, как эти насекомые-убийцы бросаются на студентов какого-то университета…
После просмотра сражу же открываешь Google: на своем сайте производитель разместил кнопку "покупка". Если нажать на нее, кошмар прекращается, и вас перенаправляют на интернет-сайт кампании "Нет роботам-убийцам". Речь идет о международной коалиции более 65 некоммерческих организаций, которые выступают против автономных оружейных систем. "Эта короткометражка демонстрирует то, что происходит в результате интеграции и милитаризации существующих технологий", - предупреждает в конце видео Стюарт Рассел (Stuart Russell), профессор Калифорнийского университета в Беркли и гуру искусственного интеллекта.
"Нам хотелось предупредить общественное мнение о том, что может произойти в ближайшем будущем, если мы пустим все на самотек", - заявил Рассел Le Monde. Видео не оставили без внимания в женевском Дворце наций, где с 12 по 17 ноября проходило первое собрание межправительственной группы экспертов, которым было поручено установить необходимость мер регулирования автономных оружейных систем в рамках Конвенции ООН о запрещении или ограничении применения конкретных видов обычного оружия.
"Запрет принесет пагубные последствия"
НКО поддерживает часть занимающегося искусственным интеллектом сообщества. Google, Tencent и Alibaba, соревнующиеся в разработке беспилотного автомобиля, как никто понимают опасть нецелевого использования их технологий глубокого обучения и связи. В августе 2016 года 116 предпринимателей интернет-сектора, в том числе создатель SpaceX Илон Маск (Elon Musk), вновь обратились с тревожным предупреждением к ООН.
"Запрет принесет пагубные последствия. Любой технологический прорыв по самой своей сути содержит в себе риски и возможности. Нельзя запрещать трость, если нужно на что-то опереться", - возражает старший научный сотрудник Thales Марко Эрман (Marko Erman). Для предприятий ВПК все это - очень важный вопрос.
"Демократическое обсуждение вопроса искусственного интеллекта оказалось в заложниках у страха. К проблеме нужно подходить с холодной головой. Политика же должна показать свое старшинство", - отмечает в свою очередь математик и депутат "Республиканцев" Седрик Вилани (Cédric Villani), которому премьер Эдуар Филипп (Edouard Philippe) поручил работу по теме искусственного интеллекта.
По итогам недели в Женеве 86 стран-участниц решили продолжить согласование в 2018 году. Вопрос еще далеко не решен. Хотя у государств все еще остаются разногласия, противники "роботов-убийц" рассчитывают добиться принятия "протокола о запрете разработки, производства и применения полностью автономного оружия" до конца 2019 года. Примерно так же, как в прошлом оказалось вне закона биологическое оружие (1972), противопехотные мины (1997) и осколочные бомбы (2008).
Этические, юридические и технические вопросы
На этот раз ссоры тем острее, что у участников (военные, ученые, дипломаты, НКО…) не получается договориться об определении. Что означает "полностью автономное оружие"? Все согласны с необходимостью сохранить "существенный человеческий контроль". Но какой? Достаточно ли программировать машину? Оператор должен дать роботу разрешение на применение оружия или же ему достаточно оставить возможность отмены задачи?
Дело в том, что речь идет не о удаленно пилотируемых военных дронах вроде американских Reaper и Predator, а о машинах, которые могут установить и отследить цель, чтобы затем нанести по ней удар без человеческого вмешательства. То есть, в некотором роде, терминаторах. Официально их нет. Роботы, которые убивают людей, соблюдая при этом гуманитарное право… Сегодня ничего подобного не существует", - уверяет Венсан Буланен (Vincent Boulanin) из Стокгольмского института исследования проблем мира (СИИПМ). Он был одним из авторов выпущенного в ноябре доклада о положении дел в сфере автономного оружия.
По его словам, "современные машины слишком примитивны, чтобы увидеть разницу между военными и гражданскими или же удостовериться, что сопутствующий ущерб пропорционален искомому военному преимуществу, как следует из международных конвенций. Чтобы достигнуть этого уровня, им могут потребоваться десятилетия".
В СИИПМ отмечают, что число используемых в мире военных автономных систем составляет 381 единицу (175 вооружены). К их числу относятся, например, некоторые развернутые еще в 1970-х годах в Израиле элементы ПВО. На опасных границах роботы заменили военных. Так, например, SGR-A1 компании Hanwha Techwin (бывшая Samsung Techwin) был разработан для выявления любого присутствия в буферной зоне между Южной Кореей и КНДР с помощью инфракрасных датчиков и потенциально может вести огонь, если вторгшийся человек не поднимает руки с оружием вверх, выражая готовность сдаться.
И это еще только начало. Благодаря последним достижениям в сфере искусственного интеллекта американская Northrop Grumman, британская BAE Systems, китайская LeiShen Intelligent System и израильская IAI имеют в загашнике дроны, танки и лазерное оружие со все более высокой степенью автоматизации. В июле в концерне "Калашников" сообщили, что работают над основанным на нейронных сетях боевым модулем, который сможет устанавливать цели и принимать решения.
Большой прогресс
Сторонники этих систем называют их серьезным прогрессом: они позволяет сохранить жизни и силы, а машина зачастую оказывается надежнее человека (усталость, стресс…). В ВАЕ продемонстрировали гусеничного робота Ironclad, который должен вывозить раненых с поля боя.
Учитывая, что океанское дно усеяно десятками тысяч мин, Thales намеревается предоставить Франции и Великобритании в 2019 году полностью роботизированную систему по нейтрализации этих взрывных устройств. "Благодаря качеству умных датчиков и технологиям распознавания предметов она может отличить мину от канистры или камня, - рассказывает Алекси Морель (Alexis Morel) из подводного отделения французской компании. - Система запрограммирована для автономной навигации и выполнения задачи, однако решение об уничтожении остается за моряками".
Как бы то ни было, за потенциальными плюсами скрывается целый ряд этических, юридических и технических вопросов. "Решение об убийстве и уничтожении является человеческой ответственностью и не может быть доверено машине или оружию", - говорят в Международном комитете Красного Креста, поднимая вопрос "человеческого достоинства" жертв. НКО опасаются снижения порога применения насилия. "Отсутствие риска человеческих жертв может повсюду спровоцировать конфликты", - подчеркивает сенатор от "Республиканцев" Седрик Перрен (Cédric Perrin). Кроме того, что произойдет, если целеуказание машины будет сбито или если ее взломают?
Франция в растерянности
У всех в головах сейчас катастрофический сценарий гонки вооружений, основанных на искусственном интеллекте, в результате которой оружие массового поражения может оказаться в руках террористов или недобросовестных государств. "Reaper управляет экипаж из 15 человек. То есть, для 10 000 дронов потребовалось бы 150 000 человек. У террористической организации нет таких возможностей. Автономность же меняет все, так как позволяет сменить масштаб", - объясняет Рассел.
Особенно если она идет рука об руку с миниатюризацией, которая позволяет уменьшить производственные затраты. По словам британского эксперта, задача переговоров под эгидой ООН в том, чтобы не дать одной из держав реализовать новый "Манхэттенский проект" (знаменитая правительственная программа, которая позволила США в рекордные сроки создать атомную бомбу во время Второй мировой войны).
Разве в конце августа президент России Владимир Путин не заявил, что искусственный интеллект - ключ к мировому господству? В Китае, по словам военных, тоже говорят об этом совершенно открыто…
Франция же пребывает в растерянности. Государственные власти проводят все новые исследования, вроде октябрьского "Стратегического обзора национальной обороны и безопасности" или же апрельского доклада "Будущие столкновения" Генерального секретариата национальной обороны и безопасности. Размышляют на эту тему и в Армейском центре концепций, доктрин и опытов.
Что же из всего этого выйдет? Хотя Франция подтверждает стремление "оставить человека в системе", она все еще разрывается между опасностью отставания в оборонном плане (это касается всей Европы) и страхом апокалиптического сценария.
Изабель Шапрон (Isabelle Chaperon)
Le Monde, Франция