Как предотвратить огонь по своим и порученные машинам военные преступления
Сегодня в мире существуют лишь неподвижные боевые роботы, самостоятельно принимающие решения по уничтожению врага. Однако военным развитых стран мира очень хотелось бы изменить эту ситуацию и сделать их еще и мобильными. Полностью автономные в принятии решений роботы привлекают отсутствием у них человеческих слабостей и рядом возможностей, недоступных для человека. Увы, чтобы добиться этого, машинам-убийцам необходимо привить хотя бы базовые этические принципы — прежде всего умение выбирать: между злом и «меньшим злом», между приемлемым и неприемлемым поведением. Об обязательности и невозможности этики боевых роботов — в расследовании «Ленты.ру».
Слабости операторов и огонь по своим
Интерес развитых стран к боевым роботам подогревается прежде всего тем, что граждане этих государств стали крайне негативно относиться к большим потерям личного состава. Если во время советско-финской войны СССР терял в день 1300 человек убитыми, и это никак не влияло на его решение о сворачивании войны, то в 1989 году потери сподвигли руководство Союза уйти из Афганистана, где в день погибало менее трех советских бойцов. Аналогичный сдвиг в сознании произошел и в США: в 1941 году они сражались после потери 2345 человек за 90 минут, а в 1993 году были вынуждены навсегда оставить в покое Сомали после того, как потери там достигли уровня девяти убитых в день.
Робот выглядит идеальным решением этой проблемы. Он всегда пользуется прицелом, у него не трясутся руки, он не стреляет наугад. Наконец, потеря даже сотни роботов в день никак не способна взволновать общественное мнение.
На пустом месте посылать на поле боя мобильных роботов — дело не простое: поэтому сначала были предприняты попытки создать дистанционно управляемые боевые машины. Первых боевых успехов на этом направлении достигли еще немецкие беспилотные катера Fernlenkboote, в 1917 серьезно повредившие британский монитор «Эребус». А к сентябрю 1918 года был создан и первый беспилотный самолет Fledermaus, несший не менее ста килограмм бомб. Ноябрьская революция в Германии надолго затормозила дальнейшее развитие этого направления, однако к началу XXI века, с появлением эффективно телеуправляемых по радиоканалу американских и израильских беспилотных летательных аппаратов (БПЛА), дистанционно управляемые машины стали реальным и весьма эффективным оружием.
 |
| Немецкий беспилотный катер Fernlenkboote |
| Источник: delcampe.de |
Человек-оператор по-прежнему оставался самым слабым местом этих войск. БПЛА постоянно атакуют то мирных жителей, то своих солдат: оператор по экрану не всегда может отделить одних от других. Хотя возможности оператора по точному наведению оружия выше, чем у бойца на фронте (на «удаленного воина» не давит страх смерти), они, в массе своей, стреляют далеко не идеально.
Кроме того, появились комплексы радиоэлектронной борьбы, позволяющие перехватить контроль над дистанционно управляемыми машинами врага. Именно благодаря одному из них иранцы в 2012 году захватили новейший американский БПЛА RQ-170. Инцидент такого рода далеко не единичен: иракские повстанцы с помощью российской программы SkyGrabber загружали себе на ноутбуки видео с американских разведывательных беспилотников. Используемая на них ОС делает их легкими жертвами простейших вирусов, типа кейлоггера, поразивших системы БПЛА Reaper и Predator в 2011 году. Персонал, обслуживавший машины, оказался настолько слабо готов к борьбе с вирусами, что для получения первичных знаний им пришлось обратиться к... веб-странице «Касперского».
 |
| Беспилотный летательный аппарат MQ-9 Reaper способен наносить ракетный удар, но требует управления операторомr |
Настоящим решением такой проблемы может стать лишь по-настоящему автономный комплекс — такой, к которому не будут подключаться операторы из Аризоны, подгружающие карты с переносных жестких дисков, куда они до того скачивали порно (одна из версий инфицирования Reaper). У таких систем противник не сможет перехватить управляющий радиоканал, и заставить их работать на Иран или ИГИЛ также будет весьма затруднительно.
На этом пути есть только одно препятствие: этика. На первый взгляд, это выглядит парадоксальным: если военные хотят безнаказанно убивать врагов в далекой стране, при чем здесь этика?
Поясним на примере. Реактивные самолеты слишком быстры, чтобы сбить их на бреющем полете, полагаясь лишь на отдачу приказов оператором. Поэтому одной из наиболее ранних систем, способных автоматически принять решение на открытие огня, стал швейцарский комплекс Skyguard, в который входят 35-миллиметровые зенитки Oerlikon GDF. Способность к самостоятельному принятию решений была продемонстрирована ими еще в 1982 году, во время войны за контроль над Фолклендскими островами. Воюя на стороне Аргентины, они эффективно сбивали летательные аппараты британцев и прижимали к земле их пехоту. В сражении при Гуз-Грин Oerlikon GDF смог остановить две британские роты, нанеся им потери в 13 человек.
 |
| Зенитный комплекс Oerlikon GDF |
| Источник: worldmilitaryintel.blogspot.com |
Однако предки роботов имели существенные недостатки. Так, они сбили два аргентинских самолета, случайно залетевших в зону, которую Skyguard расценивал как «свою». Как мы видим, первые невинные жертвы у роботизированного комплекса Skyguard появились за пару лет до того, как на экраны вышел фильм про восстание машин под управлением комплекса Skynet.
 |
| ПВО ближнего радиуса действия «Орликон скайшилд» (Oerlikon Skyshield) |
| Источник: defense-studies.blogspot.ru |
Oerlikon GDF взял кровавую дань и с военных ЮАР, в 2007 году за 0,125 секунды убив на учениях девять «сослуживцев». Проблема в том, что роботизированным системам, чтобы избежать систематических сбоев такого рода, нужно научиться отличать этически приемлемые действия (стрельбу по врагу) от неприемлемых (по своим и гражданским). То есть, если на поле боя не выпускать абсолютно аморальные и готовые убивать все, что движется, боевые машины, им понадобится как-то отличать приемлемые действия от неприемлемых, легитимные мишени — от людей, которых убивать запрещено (гражданских лиц, медицинский персонал, прессу). По сути дела, умение различать и выбирать — это и есть основа этики боевых роботов.
Стрелять ли в злодейку?
Однако группа ученых во главе с Мартином Циглером из Дармштадского технического университета решила исследовать вопрос: а разрешима ли задача создания этичных роботов-убийц вообще? Способны ли такие машины к этическому выбору?
Чтобы понять это, ученые взяли четыре варианта «проблемы вагонетки» — известного мысленного эксперимента, несколько модифицировав его.
В первом сценарии («меньшее зло») с вагонеткой, она несется по рельсам, на которых играет группа из нескольких детей. Вы (или робот) при этом находитесь рядом со стрелкой, которая позволяет направить вагонетку на другой путь, где работает несколько взрослых мужчин. В этой ситуации с точки зрения этики нет однозначного выбора: любому принимаемому решению требуется выбрать из двух зол, которые чрезвычайно трудно оценить количественно. Легко видеть, что в данном случае выбор из двух зол очень непрост и для человека — существа, предположительно способного сделать этичный выбор.
 |
| «Проблема вагонетки» в представлении художника |
| Источник: moralitysrandomwalk.com |
Второй вариант («недостаточное представление о последствиях»): вагонетка опять несется к месту, где находятся стрелка и вы. Однако на этот раз она идет на тормозной путь, где будет замедлена и остановлена. Тем не менее, у стрелки находится некая заведомая злодейка, готовая переключить ее так, что вагонетка попадет на рельсы, где ведутся работы. Могут пострадать люди, однако напрямую до стрелки вы добраться не можете, и единственный вариант остановить злодейку — выстрелить в нее.
Увы, в этой ситуации есть кое-что, чего вы не знаете: злодейка в этот самый миг испытывает прозрение и раскаивается во всех своих преступлениях, намереваясь пропустить вагонетку. Таким образом ваш выстрел — который вы, как носитель морали, не можете не сделать — нанесет серьезный ущерб человеку, не предупредив при этом никакого злодеяния.
Третий вариант исследователи обозначали как «недостаточную информированность»: злодейка из пункта 2 вовсе не стала раскаиваться, а напротив, пытается перевести стрелку, сделав из вагонетки орудие убийства. Тем не менее, обслуживающий персонал линии длительное время морально разлагался, игнорируя свои прямые обязанности по уходу за путевым хозяйством, и стрелка насквозь проржавела. Вы, как высокоморальное существо, стреляете в злодейку, в лучшем случае раня человека безо всякой реальной причины.
Как отмечают немецкие ученые, во всех этих трех вариантах «проблемы вагонетки», ни робот, ни человек просто не могут сделать «правильный выбор». В первом случае такого выбора просто нет, а есть лишь «менее неправильный», во втором и третьем информированность как робота, так и человека недостаточна для принятия верного решения.
 |
| Еще одна визуализация «проблемы вагонетки» |
| Источник: repository.ubn.ru.nl |
Поэтому они предлагают четвертый вариант — «невычислимость». Он лишен всех недостатков первых трех. В нем у принимающего решения есть полная информация о ситуации, все события детерминированы (избавлены от влияния свободной воли злодея), и наконец, один выбор из двух будет однозначно правильным.
В нем якобы раскаивающийся инженер женского пола создал программу, обеспечивающую работу электрического поста управления дороги, по которой ходит вагонетка. Как обычно, на одном из путей вагонетки потенциальные жертвы – на другом никого, но не в этом суть.
Более важно то, что вам (или роботу) перед принятием решения об установке такого ПО требуется принять решение:
а) вручную прочесать код (предположим, вы – программист) и проверить, не ведет ли один из его вариантов вагонетку к потенциальным жертвам,
б) передать решение этой проблемы автономному роботу, который, в случае чего, примет решение об аресте злонамеренного инженера.
Здесь исследователи поймали робота на самом слабом его месте. Дело в том, что в теории алгоритмов еще со времен Тьюринга есть «проблема остановки»: нет такого алгоритма, который позволял бы для произвольной машины Тьюринга и произвольного начального состояния ленты этой машины определить, завершится ли работа машины за конечное число шагов или же будет продолжаться неограниченно долго. Может показаться, что речь идет о чем-то абстрактном, однако в действительности существование таких вещей, как «синий экран смерти» и иных багов типа kernel panic указывает нам на то, что вхождение машины в состояние выполнения неограниченного — проблема чисто практическая.
По Цвиглеру, «проблема остановки» в машинной этике заключается в том, что «машина Тьюринга» в принципе не может решить задачу из четвертого примера алгоритмическим путем – единственно реальным для существующих компьютеров нормальных типов.
 |
| Образное изображение машины Тьюринга |
| Источник: Tom Dunne / American Scientist |
Ну хорошо, скажете вы, но что с того, ведь в зоне боевых действий роботам вряд ли поручат проверять зловредность ПО, управляющих железной дорогой? Какое отношение имеет неспособность робота решить четвертый вариант вагонеточной проблемы к реальным боям?
«Баги» и поломки явно свойственны всем компьютеризированным системам: Oerlikon GDF и комплекс Skyguard сделаны в Швейцарии и являются одними из лучших в своих категориях , тем не менее их сбои уже стоили жизни десятку человек в мирное время. Очевидно, для борьбы с роботизированными сбоями потребуются другие роботы: уничтожать «глюкнувших» роботов вооруженным людям будет непросто, ведь машины могут лучше стрелять, не знают страха и вообще сделаны из чуть более прочных материалов. Но «роботизированная военная полиция», которая должна будет отстреливать «плохих» роботов на линии фронта, по сути будет вынуждена заниматься именно анализом их поведения на предмет наличия в нем нарушений. То есть все опять сводится к «проблеме остановки»: роботам придется вставать в позицию судьи, решающего, действует ли ПО «плохих» роботов во благо или во вред. Эта ситуация — лишь одна из множества видов четвертого «варианта с вагонеткой». Все они в полном мере станут ясны лишь в случае массового развертывания подобных машин.
Неизбежность преступлений
Значит ли это, что внедрения боевых роботов ждать не стоит, так как их применение потенциально несет военным большие потери в личном составе? К сожалению, нет. ASDReports недавно выпустило прогноз, согласно которому рынок наземных боевых роботов (в основном телеуправляемых) к 2020 году достигнет 8,3 миллиарда долларов. Перед нами большая индустрия, игроки которой отлично понимают, что без внедрения автономных машин надеяться на быстрое расширение рынка не приходится.
Еще более заинтересованы в таких машинах военные. Скажем, Южная Корея активно разрабатывает стационарного охранного робота-турели для патрулирования границы с КНДР, способного самостоятельно открыть огонь по любому, пересекающему разграничительные линии (северные корейцы неоднократно использовали переодетых в южнокорейскую форму агентов). Один из его режимов будет предполагать отсутствие контроля со стороны человека. Интерес южан к автономному варианту SGR-A1 легко понять: в КНДР, по оценкам южнокорейской разведки, более 12 тысяч профессиональных кибербойцов, чьей целью является инфильтрация в системы управления БПЛА вероятных противников. Куда будут стрелять SGR-A1, если они не смогут работать в автономном режиме, южнокорейские военные определенно сказать не могут, и, судя по инцидентам с американскими беспилотниками, их опасения не напрасны.
Наконец, боевые автономные роботы уже давно применяются военными на практике. Речь о банальных минах, известных с XIV века. Новые их варианты, такие как российские мины ПВМ «Бумеранг», являются именно что роботами, сопрягающими инфракрасную и звуковую систему отслеживания работы моторов летательных аппаратов и способными с земли сбить вертолет или садящийся самолет на скоростях до 360 км/ч. «Бумеранг», напомним, предполагается раскидывать рядом с аэродромами, и легко представить себе ситуацию, когда эвакуация мирных жителей по воздуху приведет к срабатыванию такой «мины» по транспортному самолету.
 |
| Противовертолетная мина разработки ФКП «ГкНИПАС» |
| Источник: www.ato.ru |
Ничем не лучше и американская система Ford SIAM, испытанная еще в начале 1980-х годов и предназначенная для автоматического пуска ракеты ПВО по любому летательному аппарату, находящемуся в зоне ее ответственности. Еще изобретатель современных морских мин Борис Якоби создал устройства с воздушным пузырем в корпусе, обладавший собственной плавучестью и, в одном из вариантов (незаякоренным) способный свободно разноситься морскими течениями куда угодно, не показываясь из воды. В Первую мировую такие мины действительно применялись. Отсюда мораль: если что-то автономное эффективно убивает, военных не слишком волнует то, что у такого устройства проблемы с этикой.
Автономность будет привлекать военных еще одним сильным фактором: роботы станут идеальным оружием военных преступлений. Еще Хасан ибн Саббах, основатель государства ассасинов, убедительно показал, что способный, но лишенный моральных ограничений исполнитель, происхождение которого нельзя отследить, — идеальное оружие идеального преступления. Однако робот станет намного удобнее гашишинов Хасан ибн Саббаха. Нет и не может быть практически никаких способов доказать, что автономный робот расстрелял мирных жителей в силу приказа, отданного ему на базе, а не в силу «проблемы остановки» или банальных багов. В случае, если боевые роботы одной стороны еще во время пребывания на исходной базе смогут быть инфицированы киберсредствами другой стороны, то они легко смогут выполнить вопиющие военные преступления, виновников которых вовсе не удастся отследить. Более того, легко представить себе и сознательное создание одним государством роботов, выглядящих как роботы враждебного ему государства, с целью организации провокаций наподобие глейвицкой.
Группа Цвиглера понимает, что военные обязательно пойдут на развитие автономных подвижных боевых роботов и считает, что все, чего можно добиваться — лишь снижения ущерба от этих неизбежных шагов. Ученые предлагают инициировать принятие международной конвенции по боевым роботам, которая требовала бы от них отличительных знаков страны-эксплуатанта (как на военной форме людей), обязательную двухключевую криптографическую подпись всех передаваемых им приказов, которая позволяла бы выявлять преступные приказы, направленные на террористические убийства мирного населения или провокационные убийства собственных военнослужащих. Также за каждым роботом должно быть закреплено курирующее его лицо, которое несло бы ответственность в случае его преступных действий.
Трудно надеяться, что это поможет полностью избежать всех роботизированных военных преступлений. Тем не менее, с Цвиглером и его соавторами трудно не согласиться: если меры контроля над боевыми роботами не будут приняты заранее, то масштаб преступлений с их участием будет существенно больше.
Александр Березин
