Искусственный интеллект похож на ядерную энергию: его можно использовать во благо человечества, а можно — для его уничтожения. Эксперты предостерегают от использования думающих машин для ведения войн
Новый российский основной танк Т-14 «Армата» кажется извлеченным из современной компьютерной игры. Но это не плод фантазии, а дело рук российских инженеров, работающих под руководством Андрея Терликова.
«Бортовая компьютерная система управляет большинством технических функций, что позволяет экипажу сосредоточиться на выполнении ключевых задач, — объяснял репортеру агентства AFP заместитель главного конструктора танка Илья Демченко. — Для экипажа это будет как видеоигра, нужно делать только окончательные ходы и принимать решения».
Танк оснащен дистанционно управляемой башней, компьютерной системой и новейшими системами активной обороны. Он создан для опасной конфронтации России с Западом, и призван подчеркнуть волю российской военной промышленности к модернизации. Когда его показали в первый раз на московском параде Победы 9 мая, он сломался, и его пришлось буксировать.
Но самое большое беспокойство экспертов по международной безопасности вызвало не столько само появление современного оружия, сколько заявления конструкторов, что танк можно будет превратить в полностью автоматическую боевую машину.
Третья революция
Вооруженные беспилотные аппараты в последние годы все чаще стали появляться на поле боя. Конечно, их используют для убийства, однако они выступают лишь исполнителями человеческих решений. Пилот, который управляет таким самолетом, сидит в отдаленном на тысячи километров от атакующей машины помещении и нажимает на кнопки, выпуская снаряды.
Но это может скоро измениться. Искусственный интеллект могут начать использовать для принятия решений, которые сейчас принимаются людьми. Работы по разработке искусственного интеллекта уже позволяют производить устройства, которые могут заниматься разведкой местности, создавать карты, управлять работой машин и самолетов и даже участвовать в стратегическом планировании. Еще чуть-чуть и появятся армии вооруженных роботов, которые выйдут на поле битвы вместо людей. Над такими системами, которые называют «смертоносным автономным оружием» (LAWS — lethal autonomous weapons systems), работают военные эксперты.
«Технологии дошли до такого уровня, на котором эти системы можно на практике внедрить в течение года, а уже не лет», — подтверждает Стюарт Рассел (Stuart Russell) — специалист в области вычислительной техники из Калифорнийского университета в Беркли. Ставка высока: специалисты по национальной обороне уже назвали LAWS третьей революцией в ведении войны. Первыми были изобретение пороха и ядерного оружия. Автономное оружие выбирает цель без участия человека, оно становится смертоносным, если этой целью оказываются люди.
К категории LAWS относятся два проекта, которыми занимается американское Агентство по перспективным оборонным научно-исследовательским разработкам (DARPA). Это Fast Lightweight Autonomy (FLA) и Collaborative Operations in Denied Environment (CODE). Первый касается разработки маленького вертолета, который сможет полностью самостоятельно действовать в городской среде и внутри зданий. В свою очередь, второй заключается в создании автономных летательных аппаратов, действующих на всех этапах боевых миссий от поиска, слежки, идентификации цели до атаки. Система предназначена для функционирования в ситуациях, когда из-за глушения радиосигнала связь с командующими акцией людьми становится невозможной. Другие страны, по всей вероятности, тоже занимаются аналогичными секретными проектами со сходными целями.
В международном гуманитарном праве, которое регулирует методы нападения на людей во время военных действий, нет специальных положений, касающихся автономных систем. Однако, как полагают эксперты, здесь можно применить Женевскую конвенцию от 1949 года, которая гласит, что любая атака в ходе военных действий должна соответствовать трем критериям: военной необходимости; дифференцирования военных и мирных жителей, которые не принимают участия в конфликте; а также сохранения пропорции между потенциальными военными целями и ущербом. Существенное значение имеет также Оговорка Мартенса от 1907 года, которая запрещает использовать оружие, противоречащее «принципам гуманности и требованиям общественного сознания». Система искусственного интеллекта не способна выносить такие субъективные оценки в принципе.
Новое содержание старых конфликтов
Полбеды, если роботы станут воевать с роботами. Но при современном цивилизационном неравенстве между государствами это невозможно. Работа над конвенцией ООН о некоторых видах обычных вооружений увенчалась прошедшими в апреле в Женеве совещаниями. Эта инициатива направлена на то, чтобы создать международный договор, запрещающий или хотя бы ограничивающий применение автономных систем вооружений. Прецедентом для создания такого документа мог бы послужить запрет на применение ослепляющего лазерного оружия, который был принят в 1995 году.
Однако до запрета на использование в войне роботов с собственным интеллектом еще далеко. Тот факт, что ООН в ноябре прошлого года и в апреле текущего решило обсудить этот вопрос, свидетельствует о возможности достичь в этой сфере согласия.
Но может произойти так (большую роль здесь будет играть международная атмосфера в ближайшие несколько лет), что запрет на использование оружие, управляющегося искусственным интеллектом, введен не будет, а сохранение существующего положения дел приведет к новой гонке вооружений.
«Использование автономного оружия несет с собой совершенно новое содержание для права вооруженных конфликтов — свода норм, принятых международным сообществом», — объяснял на апрельской встрече в Женеве представитель Центра интернета и общества Стэнфордского университета профессор Питер Асаро (Peter Asaro). Все более популярным становится убеждение, что роботам нельзя разрешать убивать без контроля со стороны человека.
В ходе апрельских встреч несколько стран призвали незамедлительно ввести международный запрет на использование автономного оружия. Решительный протест против создания автоматов для убийства людей выразили Япония, Германия и Хорватия. Немцы заявили, что «они никогда не согласятся на то, чтобы решение по поводу жизни и смерти принимала только автономная система».
Они прекрасно помнят автоматические системы «охраны» границы, которые использовались в ГДР: установленные на границе автоматы с датчиками движения стреляли во все, что двигалось в запретной зоне, неважно — человек это был или животное. Япония, в свою очередь, заявила, что «никаких планов по созданию роботов, которые смогут совершать убийства, но не при этом не будут связаны с человеком, нет».
«Некоторые страны, например Южная Корея, которые никогда раньше не высказывали решительных протестов против такого оружия, сейчас меняют свое мнение, — говорит профессор Асаро. — Я полагаю, по вопросу о том, что в наиболее экстремальных случаях без надзора человека роботов использовать просто нельзя, царит консенсус. Но расхождение во мнениях остается, предстоит сделать еще многое, в частности, в правовых вопросах. Я считаю, что человек должен в значительной степени контролировать атаку: иметь возможность ее инициировать или отменить».
Соединенные Штаты, Великобритания и Израиль, три страны которые активнее всего занимаются развитием автономных боевых систем, говорили на апрельских заседаниях, что в новом документе нет необходимости, поскольку все системы вооружений, над которыми они работают, соответствуют международному праву. Почти все государства, выступающие сторонами Конвенции о конкретных видах обычного вооружения согласны с тем, что уровень контроля человека над оружием должен быть повышен. Однако в апрельской дискуссии определение «существенного контроля» (то есть достаточного участия человека в процессе убийства солдат на поле боя) сформулировать оказалось очень сложно.
Человеческая машина
Возможно, ключом к решению проблемы, станет создание робота, который будет думать и действовать, как человек. Над такой машиной много лет работает группа под руководством профессора Мануэлы Велозу (Manuela Veloso) из Университета Карнеги-Меллон.
«Люди спокойно совмещают наблюдение, познание и действие. Мы используем наши "датчики" для оценки ситуации, мозг для мышления и выбора метода действий, а тело — для выполнения большинства функций, — объясняет профессор Велозу. — Моя группа старается создать роботов, которые делают то же самое: машины, работающие при помощи сложных алгоритмов и приводов, контролирующих механизмы. Органами чувств у них служат датчики, микрофоны, камеры, сканеры. Однако автоматические роботы отличаются по своим умениям от людей. У роботов всегда останутся познавательные ограничения. Они не смогут увидеть всю картину целиком, идентифицировать или использовать любой предмет, понять все устные или письменные высказывания, перемещаться по любой поверхности. Я думаю, роботы должны лишь дополнять людей, а не заменять их».
В последние годы группа профессора Велозу изучала, как роботы и люди могут работать вместе. Они создали робота CoBot: у него есть колеса, которые позволяют объезжать препятствия, система камер, лидар, компьютер для обработки данных, экран для коммуникации и корзина для перемещения разных предметов.
«Мы с самого начала осознали, как сложно адаптировать роботов к реальной среде, — вспоминает Мануэла Велозу». CoBot распознавал не каждый встреченный на пути объект, а отсутствие рук не позволяло ему открывать двери. Он мог использовать для коммуникации речь, но понимал не все сказанные слова.
Ученых это не напугало, они снабдили робота умением обращаться за помощью к людям или искать ответы в интернете. CoBot научился водить гостей по зданию, заодно собирая по пути необходимую информацию. Машины составляли подробную карту мест, измеряли температуру, влажность, уровень звука и освещенности, а также силу сигнала WiFi. Ученые научили роботов открывать дверь, нажимать на кнопки в лифте, поднимать предметы и принимать участие в разговоре.
«Препятствия, которые еще нужно преодолеть, чтобы обеспечить людям и роботам безопасное сосуществование, остаются, — рассказывает профессор Велозу. — Наша группа изучает, как людям и роботам научиться легче общаться при помощи жестов и звучащей речи. Нас также интересует, как влияет на людей внешний вид робота, особенно как они реагируют на контрольные лампы, которые сигнализируют о внутреннем состоянии машины. Многое еще предстоит сделать, но я вижу будущее в положительном свете: Люди и роботы могут дополнять друг друга, взаимно друг другу помогать».
Но обязательно ли на поле боя?
Виноваты СМИ
Использование искусственного интеллекта на войне — это лишь часть возможностей, какими он может обладать. Дискуссии о роли роботов в современном мире и их будущем ведутся уже не первый год.
Сабин Хауэр (Sabine Hauert), преподаватель робототехники в Бристольском университете, полагает, что страх перед автономными оборонительными системами проистекает из страха перед искусственным интеллектом в целом. В негативное отношение к нему внесли свою лепту СМИ, которые чрезмерно акцентировали экзистенциальную опасность искусственного интеллекта для человечества. Люди задумываются, не займут ли роботы их рабочие места. Поэтому появляются требования ввести законы, которые позволят держать технологию под контролем.
«Мои коллеги и я на множестве встреч объясняли, что роботы — это не абсолютное зло, что они могут помогать пожилым людям повысить уровень медицинского обслуживания, — объясняет Хауэр. — Благодаря роботам работа станет более безопасной, более производительной, не говоря уже о том, что можно будет добраться до глубин океанов или опасных мест. Эксперты должны стать посланниками, вести при помощи социальных медиа серьезную дискуссию».
Исследовательница подчеркивает, что люди, работающие над созданием роботов, должны взять на себя дискуссию с влиятельными комментаторами, такими как, например, профессор Стивен Хокинг (Stephen Hawking) или Илон Маск (Elon Musk), которые предостерегают от развития искусственного интеллекта. Тема должна звучать на важнейших международных встречах, как Экономический форум в Давосе.
«У искусственного интеллекта есть огромный потенциал для ускорения научных открытий в биологии, медицине, для изменения системы здравоохранения, — добавляет специалист по биоинженерии, генетике и компьютерным наукам профессор Расс Альтман (Russ Altman) из Стэнфордского университета. — Искусственный интеллект помогает развивать несколько новых отраслей: геномику, протеомику (занимающуюся исследованием белков), метаболомику (исследующую продукты обмена веществ), а также создавать электронные карты здоровья и всевозможные детекторы, обнаруживающие симптомы заболеваний».
Кшиштоф Урбаньский (Krzysztof Urbański)
