Войти

Кодекс Терминатора. США предупредили об опасности разработки самоуправляемых роботов

3540
33
0

16 февраля в газете The Times была опубликована информация о докладе, посвященном перспективам военной робототехники, который был подготовлен Калифорнийским государственным политехническим университетом для ВМС США. Ученые пришли к выводу, что боевые роботы, которым предстоит участвовать в вооруженных конфликтах, должны "жить" в соответствии со строгими правилами, чтобы не представлять угрозу для человека, а также учиться этике ведения войны. Данное исследование стало первой серьезной работой, рассматривающей боевых роботов в качестве солдат, способных принимать самостоятельные решения на поле боя.


Прикладной Азимов


Идею создания свода законов для роботов нельзя назвать совсем новой. У писателей-фантастов она обрела популярность еще в начале прошлого столетия. В частности, в 1942 году в своем рассказе "Хоровод" Айзек Азимов сформулировал "Три закона роботехники", которые фактически стали прописной истиной для прикладных исследований в этой области:


1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред.


2. Робот должен повиноваться всем приказам, которые дает человек, кроме тех случаев, когда эти приказы противоречат Первому Закону.


3. Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому и Второму Законам.


Для создания современных роботов военного назначения эти правила уже не совсем применимы. Машинам, созданным для борьбы с солдатами противника или террористами, причинять вред людям придется по определению. Но если дело дойдет до полностью самостоятельного интеллекта, с помощью которого робот сможет принимать решения без участия человека, то последствия его действий могут быть непредсказуемыми.


Составители доклада пришли к выводу: мнение о том, что робот способен делать лишь то, на что он запрограммирован, является устаревшим. Современное программное обеспечение разрабатывается множеством специалистов. При этом отдельные участники таких проектов могут не знать особенностей программы в целом. Соответственно, отдельные элементы кода в сочетании могут дать самый неожиданный результат при практическом применении.


На примере обычных компьютерных программ понятно - среди них нет идеальных образцов, которые не содержали бы в себе хоть какие-нибудь ошибки. Даже такие софтверные гиганты, как Microsoft, вынуждены годами дорабатывать свое ПО, выпуская тысячи обновлений и исправлений, а заодно и выслушивая критику недовольных пользователей. Но обычные программы, даже неисправные, никого не могут убить. А вот если боевой робот перепутает своих и чужих или просто начнет уничтожать все живое вокруг, жаловаться в службу клиентской поддержки будет поздно.


В своем исследовании ученые также задают множество вопросов, на которые, судя по всему, разработчики роботов пока не могут найти ответы. Например, каким образом боевую технику удастся надежно защитить от вирусов и хакеров? Кто будет нести ответственность за сбой в программе боевого робота, который вдруг начнет массово уничтожать мирных жителей - сам неисправный механизм, допустивший ошибку программист или же президент США, отдавший приказ о начале боевых действий?


Еще один серьезный вопрос - нужна ли такому роботу функция самоуничтожения, которую ученые называют "суицидальным выключателем", или же, напротив, она может быть использована в ущерб машине?


Окончательный вывод, который делают ученые, неутешителен - без правил и даже "программы обучения" вновь созданных самоуправляющихся роботов эксплуатировать опасно. Авторы также предостерегают как Пентагон, так и американских производителей, которые, по их выражению, "рвутся на рынок", от самодовольства и поспешности.


Полуумное железо


Сказать точно, насколько далеко удалось зайти американским инженерам в своих попытках разработать настоящих самоуправляемых роботов-убийц, довольно сложно. Такие работы, скорее всего, ведутся, но из-за своей новизны и специфичности они наверняка засекречены. Пока же американские производители радуют свою армию очередными "полуумными" изобретениями.


В 2007 году немецкий журнал Spiegel сообщил о первых попытках применения боевых роботов в Ираке американскими военными. Вооруженными силами США уже используются различные модификации роботов, которые способны вести разведку и производить разминирование, однако попыток применить на практике машины, способные уничтожать живую силу противника, ранее не предпринималось.


Разработчики отмечают, что робот Swords, созданный специалистами американской компании Waltham, стал первой такой машиной в истории войн. Хотя это изобретение скорее напоминает не робота, а игрушечную машинку на гусеницах, да и до самоуправления ей пока еще очень далеко - руководить роботом-убийцей приходится оператору с помощью специального оборудования.


Вооружена машина пулеметом M249. Кроме этого, как утверждают разработчики, она может использоваться в любое время суток, а также преодолевать самые сложные препятствия, включая ступени.


Испытания Swords, по отзывам военных, дали положительные результаты. Однако, как не без горечи сообщил немецкому изданию представитель компании-разработчика, о том, удалось ли с помощью изобретения уничтожить хотя бы одного боевика, им на тот момент так и не сообщили. А в настоящее время практическое применение Swords вообще приостановлено по неизвестным причинам.


Еще более внушительно выглядит робот Gladiator, разработанный в американском Университете Карнеги-Меллона и впервые представленный в 2005 году. Эти роботы, которым пока также далеко до самоуправления, существуют в различных модификациях, а сама программа по их созданию финансируется Пентагоном. Высокопоставленный представитель морской пехоты США уже заявил, что за этой машиной "будущее ведения боевых действий".


Gladiator позиционируется как "полуавтономный" робот. Изначально машины не предназначались для поражения живой силы противника, а должны были проводить осмотр местности, предупреждать солдат об опасностях, таких как минные поля, ловушки, засады, а также о возникновении химической, биологической и ядерной угрозы. Позже военные, принявшие новинку на вооружение, установили на нее дистанционно управляемый пулемет M240.


В декабре 2007 года об еще одной разработке американских ученых сообщил телеканал CNN. 25-летний инженер-самоучка Адам Геттингс, работающий на созданную несколько лет назад компанию Robotex, представил свое детище - малогабаритного робота MH, вооруженного пулеметом. Машина, высота которой составляет около полуметра, способна передвигаться со скоростью около 15 километров в час и управляется дистанционно. В отличие от дорогостоящего Gladiator, который оценивают в сотни тысяч долларов, ее стоимость составляет 30-50 тысяч.


Деятельность Robotex финансируется частными инвесторами-энтузиастами, хотя компания надеется, что ее разработками заинтересуется и Пентагон. Robotex также рассчитывает на американских полицейских, поскольку некоторые модификации их роботов способны вооружаться не только летальным оружием, но и электрошоковыми устройствами Taser.


В начале июня 2008 года американская компания Foster-Miller также сообщила о завершении поставок министерству обороны США первого боевого робота MAARS (Modular Advanced Armed Robotic System). Уже тогда американские военные объявили, что в целом до 2014 года в 15 сухопутных бригад ВС США должны поступить 1700 боевых роботов и что при этом соотношение личного состава к количеству машин достигнет 29 к 1. К концу 2014 года все 1700 роботов будут готовы к применению.


На MAARS можно устанавливать пулемет M240B и пусковую установку для ведения огня дымовыми, осветительными, слезоточивыми или осколочно-фугасными гранатами. Конструкция позволяет производить монтаж другого оборудования, например манипулятора грузоподъемностью до 45 килограммов для обезвреживания мин, а также различного нелетального оружия и приборов для ведения информационно-пропагандистских операций.


Бег впереди паровоза


Перечисленные разработки - лишь немного из того, что сегодня предлагают американской армии как известные корпорации, так и скромные энтузиасты. Хотя, судя по всему, о самых интересных проектах Пентагон все же предпочитает особо не распространяться. При этом планируется, что американская армия уже к 2020 году должна на 30 процентов состоять из роботов.


Речь идет не только о боевых и разведывательных машинах. В 2007 году армия США заключила контракт с компанией Vecna Technologies на создание специального робота-санитара BEAR. Предполагается, что в перспективе эта машина будет заниматься эвакуацией раненых с поля боя.


Разработки, финансируемые государством, вряд ли способны в скором будущем вырваться на свободу. Куда более опасны гении-самоучки и частные компании, которые ведут свои исследования без всякого надзора со стороны властей. Ведь технически уже существуют возможности для создания роботов, имеющих элементы искусственного интеллекта, а значит, реальное пришествие Терминаторов и Робокопов в принципе возможно. Тем более что купить боевое оружие в ближайшем магазине может фактически любой американец, после чего установить его на запрограммированную машину человеку с соответствующими знаниями будет несложно.


Вряд ли киборги начала третьего тысячелетия будут напоминать людей так же, как аналогичные киноперсонажи, но это вовсе не означает, что последствия ошибок разработчиков будут иметь менее фатальные последствия. Поэтому призыв калифорнийских ученых не бежать впереди паровоза, а с самого начала задуматься над выработкой четких правил поведения роботов на поле боя, выглядит здраво. Но прислушаются ли к нему - пока неясно.


Андрей Федоров

Права на данный материал принадлежат
Материал размещён правообладателем в открытом доступе
  • В новости упоминаются
33 комментария, отображено с 1 по 5
№0
23.02.2009 09:50
"Страж-птицу" кстати многие по разному воспринимают.
Кто-то, как видимо и Вы, понимает её как яркий пример неизбежности потери управляемости над созданным ИИ, пусть даже узконаправленного действия. А кто-то, Вы удивитесь, воспринимает как фантастику, сильно оторванную от реальности, поскольку считают, что можно создать совершенный алгоритм с многоуровневой системой контроля управляемости.

Я, как программист с многолетним стажем, в прошлом, могу с уверенностью сказать, совершенных систем, созданных человеком, не существует, и не будет существовать еще очень много лет. Совершенство  возможно лишь от упрощения. А человек, находясь на нынешнем технологическом и сознательном уровне, в своих достижениях неизбежно стремиться к усложнению систем.
Для появления совершенных или близких к ним систем необходимо более глубокое понимание существующего мира – причинно-следственных связей, только это позволит создать язык немного сближающий машинную логику с миром. Сейчас же условия, варианты, рекурсия – жалкие попытки моделирования простых ситуаций с хождением по замкнутым ограниченным циклам.
Системы принятия решений, которые могут быть созданы сейчас, даже в ТЗ могут иметь лишь требования по скорости обработки данных, числу и приоритету начальных параметров для принятия решений. Без расчета последствий от принятого решения – трата времени. Нужно закладывать конечные данные, состояние системы после применения принятого решения, и проводить пересчет последствий – алгоритм расчета эффекта бабочки. Задача, на сегодня слишком сложная, поскольку нереально определить число параметров контроля после применения принятого решения. Вот тут и могут помочь ограничительные функции применимости систем.
0
Сообщить
№0
23.02.2009 19:52
Наследование - не есть эволюция.
Машины способные организовываться в сети, технически обоснованная задача несколько десятилетий назад – реализована не только у военных и не только в США, также есть реализации в университетах, и опять же не только США.
Но не надо путать божий дар с яичницей.
Обучение группы объектов идентичным формам поведения с ярко выраженными центрами принятия решений, или распределенными центрами принятия решений, но выраженным состоянием объекта для передачи прав принятия решений - это далеко не самоорганизующиеся группы, способные в реальном режиме производить обмен приобретенным опытом (даже за время полета в случае с ЛА) и изменять линию поведения в зависимости от полученного опыта, выходя за рамки заложенных команд.
В частности, наследование – могло бы стать неким элементом не рождения, а эволюции на созданных необученных машинах, если бы наследование стало наследованием в сторону совершенствования, с возможностями вариаций и хранением истории, для отката в случае неудачной ветки эволюции.
Машины, к сожалению, здесь тоже не помощники.
0
Сообщить
№0
25.02.2009 12:21
Прочитал.
Удивлен…
Мне представляется этот вопрос более многомерным.

Надеюсь мы понимаем, что у создателей есть всего два выбора при конструировании ИИ:
1. можно создать по образу и подобию с огромным числом ограничений и допущений, сужающих рамки рассуждений и принимаемых решений
2. можно наделить свойствами, выходящими за возможности человеческих, не ограничивать в логике и процессах принятия решения, и наделить способностью принятия множественных решений с расстановкой приоритетов не на основе предыдущего опыта (как у человека), а на иных принципах.

Но…
Существует делема: как совместить способность к развитию и ограничение в развитии, чтобы результат не опередил создателя и не пришел к выводу о том, что человечество на какой то стадии уже не может относиться к доминирующему виду и нет смысла или времени ожидать улучшений, со всеми вытекающими последствиями.

Отсутствие явных инструкций по принятию решения в случае угрозы уничтожения самого робота, может вызвать противоречие с объявленными инструкциями.
Ведь система, направленная на самосовершенствование или эволюционирование поколениями, когда то придет к выводу о том, что она является одной из форм жизни подлежащей защите наравне с любым другим живым существом, в том числе и человеком – это логичный вывод и мягкий вариант развития событий.

Надо отчетливо понимать, что будущее человечества примет состояние неопределенности с момента появления любого существа (искусственного, биологического, энергетического или их совокупности) наделенного способностью интеллектуально или созерцательно совершенствоваться и не дай бог еще размножаться или конструировать себе подобных.

Нужно быть осторожными в своих желаниях, и я бы дополнил - трезво оценивать свои возможности. И это именно тот случай.
0
Сообщить
№0
13.03.2009 07:11
Ну этот носитель хорошо известен, первоначально разрабатывался якобы для Афганистана, но сами понимаете, на самом деле он никак для гор не подходит, да и по лесам - разве в Европе.
Есть существенный недостаток - большая высота. Скорость по пересеченке поднять можно, а вот высоту никуда не деть. Устранить его можно разве что снижая заметность, что скорее всего и будет сделано.
Как чесловек, много побегавший именно по лесам, болотам, могу сказать что это не машина для боя. Она просто не сможет пройти - где-то нужны будут ноги с большой площадью, где-то показанные копытца. По валежнику однозначно не пройдет - застрянет. Т.е. Сибирь, Хакассия могут спать спокойно - кроме  спецназа в их лесах на земле никто не появится.
Наиболее перспективными являются стационарные и перелетающие массивы датчиков, которые просто информируютбазовый БПЛА, размером с большую птицу. Кстати орлы на такую дичь, не говоря о воронах нападают часто - т.е. потребуется защита и избыточность, следовательно цена возрастет вдвое, как минимум. Это хорошо, т.к. наш ВПК в том виде что есть неспособен. Кроме как у универах. небольших фирмочках, может быть пары институтов, например в Таганроге и Санкт-Петербурге (ЦНИИ РТК) ничего интересного нет. Основная проблема не в алгоритмах, благо математики и программисты есть, а в поддержке сторонних по отношению к ВПК производителей. Ну зачем "кошмарить" 1-м допуском? Насколько помню закон о комм. тайне вполне, если применять, суров и так. Посему предлагается оной из первых мер - снять гриф секретности со смежников. Какая в конце концов разница между военным и гражданским автопилотами? Да разве каналами более защищенными. Т.е. по сути - блоками внешними по отношению к автопилоту. И там и там нужно управление, компенсирующее потерю управляемости, т.к. убить какой-нибудь хроматограф или тепловизор высокого разрешения будет стоить дороже самого БПЛА. Пусть секретным останется сборка всего этого в единый комплекс, алгоритм нанесения удара. Все остальное секретить вредно для дела. Пусть идет как гражданка.

Ну а слежку никто не отменял. Это как раз то, что делать нужно. Также как и помогать с защитой информации, а не продавать конкурентам, обычно московским структурам, добытое. Кстати потом это проявляется не в России, а в Израиле, посему возникает вопрос - от кого защищаете?
Примеров цельнотянутых разработок - сколько угодно. Благо иудеев среди чиновников достаточно.

Другой, который раз упоминаемый момент - недоступность к средствам на осуществление тех или иных разработок. Если у Вас нет лапы в Москве разработку могут пох__ть. Даже при горячей и действенной поддержке военных откаты только в Москве до 50%. Плюс фактический запрет для малых фирм - многие работают на субподряде либо соглашаются на ещё больший откат, если своих не имеют в околокремлевских структурах.
0
Сообщить
№0
13.03.2009 07:17
Было бы также, если бы соблюдались условия соблюдения коммтайны, чего от Конторы не дождешся, разве от мышек, помощь в проведении переговоров. Это был бы действительно законный и полезный процент с проектов. Пока тех кто видел - попросту некомпетентны, а мышкам, которые могли бы, не дают прав на это. Думаю, гасят как конкурентов.
0
Сообщить
Хотите оставить комментарий? Зарегистрируйтесь и/или Войдите и общайтесь!
ПОДПИСКА НА НОВОСТИ
Ежедневная рассылка новостей ВПК на электронный почтовый ящик
  • Разделы новостей
  • Обсуждаемое
    Обновить
  • 21.11 19:05
  • 5807
Без кнута и пряника. Россия лишила Америку привычных рычагов влияния
  • 21.11 16:16
  • 136
В России запустили производство 20 самолетов Ту-214
  • 21.11 13:19
  • 16
МС-21 готовится к первому полету
  • 21.11 13:14
  • 39
Какое оружие может оказаться эффективным против боевых беспилотников
  • 21.11 12:38
  • 1
ВСУ получили от США усовершенствованные противорадиолокационные ракеты AGM-88E (AARGM) для ударов по российским средствам ПВО
  • 21.11 12:14
  • 0
Один – за всех и все – за одного!
  • 21.11 12:12
  • 0
Моделирование боевых действий – основа системы поддержки принятия решений
  • 21.11 11:52
  • 11
Почему переданные Украине ЗРС Patriot отнюдь не легкая мишень для ВКС России
  • 21.11 04:31
  • 0
О "мощнейшем корабле" ВМФ РФ - "Адмирале Нахимове"
  • 21.11 02:41
  • 1
Стало известно о выгоде США от модернизации мощнейшего корабля ВМФ России
  • 21.11 01:54
  • 1
Проблемы генеративного ИИ – версия IDC
  • 21.11 01:45
  • 1
«Тегеран считает Россию хрупкой и слабой»: иранский эксперт «объяснил» суть якобы возникших разногласий между РФ и Исламской Республикой
  • 21.11 01:26
  • 1
Пентагон не подтвердил сообщения о разрешении Украине наносить удары вглубь РФ американским оружием
  • 20.11 20:38
  • 0
Ответ на ""Сбивать российские ракеты": в 165 км от границы РФ открылась база ПРО США"
  • 20.11 12:25
  • 1
В России заявили о высокой стадии проработки агрегатов для Су-75