В конфликте на Ближнем Востоке появился новый фигурант – искусственный интеллект. Американские военные использовали его для определения целей в Иране, но, как сообщают СМИ, именно ошибки в работе компьютерного разума привели к ударам по гражданским объектам, включая школу с детьми в Минабе. Попытаются ли Штаты списать халатность на алгоритмы?
В ходе боевых действий в Иране Пентагон активно использует системы искусственного интеллекта (ИИ) для определения целей. В частности, США опирались на цифровую платформу управления полетами Maven Smart System, созданную на основе алгоритма Claude и разработанную Palantir Technologies Inc. The Washington Post отмечает, что утилита помогла американцам наметить в качестве целей около тысячи объектов.
Программа не только определяет координаты целей, но и расставляет полученные точки в порядке приоритетности. После нанесения удара система приступает к анализу достигнутых результатов. По заверениям анонимного собеседника газеты, ИИ позволил США значительно нарастить темп конфликта.
С этим согласен и Тимоти Хокинс, представитель центрального командования. В частности, он отметил, что программа принимает решения быстрее человека, однако она не заменяет людей и не приступает к работе по целям самостоятельно, пишет Bloomberg. Кроме того, издание уточняет, что темп нанесения ударов благодаря нейросети вдвое превысил аналогичные показатели Пентагона в рамках операции "Шок и трепет" в Ираке в 2003 году.
Впрочем, не все американцы впечатлены успехами военного программного обеспечения (ПО). В материале подчеркивается: целый ряд правозащитников заявил, что применение данной технологии размывает грань между исполнением ударов и рекомендациями по их осуществлению. При этом их переживания, кажется, не безосновательны.
Так, The New York Times сообщает, что удар по начальной школе в городе Минабе стал следствием ошибки Пентагона в определении целей. Подчеркивается, что попадание по зданию произошло в то же время, что и атака на соседнюю военно-морскую базу Корпуса стражей исламской революции (КСИР). Из-за действий Вашингтона, напомним, погибли не менее 175 человек, большинство из них – дети.
Эксперты по анализу спутниковых снимков, в том числе бывший советник Пентагона по гражданским потерям Уэс Брайант, пришли к выводу, что все здания, включая школу, были поражены точечными ударами. Его мнение: наиболее вероятно, что школа стала жертвой ошибки в идентификации цели, поскольку ранее она входила в состав базы КСИР, а с 2016 года на спутниковых снимках видна как отдельное здание, типичное для школы.
При этом на прошлой неделе Белый дом счел разработавшую Claude компанию Anthropic угрозой национальной безопасности и запретил всем американским федеральным ведомствам, включая Пентагон, использовать ее технологии. Ранее фирма крайне тесно взаимодействовала со структурами американского правительства.
Тем не менее "трещину" в кооперации заложил отказ Anthropic выполнить требования о снятии некоторых ограничений на применение их ИИ. Пентагон добивается от сотрудничающих с ним компаний, специализирующихся в сфере нейросетей, чтобы их разработки можно было применять во всех законных целях. К ним ведомство, в частности, относит и сбор разведывательных сведений. Фирма на выдвинутые условия не согласилась.
"Пентагон попал в крайне сложную ситуацию.
Военное ведомство США обладает лишь одним подрядчиком в сфере искусственного интеллекта – это компания Anthropic. Сейчас фирма вступила в конфликт с Белым домом: новые контракты в военной сфере она получать не может. Но статуса монополиста это не отменяет", – сказал американист Малек Дудаков.
"Параллельно компания инициирует суды для того, чтобы пересмотреть решения Вашингтона. Однако важно понимать, что конкурентов у нее пока нет. Даже Palantir Technologies, на чью разработку и сбрасывают вину за удар по иранской школе, в собственном ПО применяет непосредственно алгоритмы Anthropic", – акцентирует он.
"Конечно, после скандала фирме придется "пересобрать" уже отлаженные принципы действия программы. Это займет достаточно много времени. Тем не менее к конфликту между Белым домом и разработчиками ИИ стоит относиться крайне внимательно, ведь он имеет под собой достаточно серьезный фундамент противоречий.
Например, Anthropic неоднократно заявляла, что правительство США якобы пытается вынудить их нарушить закон и организовать слежку за гражданами.
С другой стороны, обострить противоречия с Белым домом компания могла самостоятельно. Вполне вероятно, что ее руководство догадывалось о начале операции в Иране", – говорит эксперт.
"Суть их действий проста: фирма попыталась снять с себя ответственность за будущие ошибки Пентагона при ведении боевых действий. То есть теперь представители Anthropic могут заявить, что Вашингтон сам разорвал сотрудничество с ними, соответственно, повлиять каким-либо образом на ситуацию они попросту не могут", – пояснил он.
"Впрочем, есть здесь и доля лукавства: продукция компании будет использоваться военными еще по меньшей мере полгода. Но и команда Дональда Трампа начнет придерживаться похожей тактики. Вина за ошибку будет перекладываться на ИИ и фирму Anthropic, чья несговорчивость и привела к проблемам в ПО.
Любопытно и то, что в скором времени демократы могут отобрать большинство в Палате представителей. Тогда они смогут инициировать процедуру импичмента, в рамках которой также будет рассматриваться дело об ударе по иранской школе.
В этот момент они "затаскают" сторонников Трампа на слушания, а те будет наперебой заявлять о вине за произошедшее со стороны ИИ и их производителей", – предполагает Дудаков.
Однако достоверно неизвестно, как именно выглядит система принятия секретных решений в американской армии и какое место в ней занимает искусственный интеллект, уточняет военный эксперт Алексей Анпилогов. "Скорее всего, схема заключается в следующем: программа анализирует среду, предлагает наиболее приемлемые, по ее мнению, цели для нанесения ударов, а затем передает собранную информацию высшему руководству", – описывает он.
"И это логично, ведь полностью полагаться на алгоритм при отборе объектов для поражения безрассудно. Мы видим, как ИИ проявляет себя в гражданской сфере. Безусловно, за последние несколько лет эта разработка шагнула далеко вперед. Но все же даже при бытовых генерациях часто возникают ошибки и неточности. Что говорить о более чувствительных сферах.
А в зоне боевых действий работа ИИ усложняется в разы.
Информационный шум, который распространяется по интернету, мешает определять цели даже человеку. Для искусственного интеллекта это и вовсе становится колоссальной проблемой, ведь он не может с точностью определить, насколько корректна информация о том, что то или иное здание заняли военные противоположной стороны", – поясняет эксперт.
"Кроме того, системы распознавания периодически дают сбой, противник ставит помехи, погода искажает сигналы – все это создает колоссальную нагрузку и многократно увеличивает риск ошибок. Именно поэтому, на мой взгляд, итоговое решение об использовании полученных с помощью ИИ координат принимает именно человек", – добавляет он.
"Соответственно, ответственность за произошедшее в Иране также должна лечь на плечи конкретного генерала, утвердившего сгенерированные данные. Конечно, его могут покрывать, исходя из целого ряда политических предпосылок. Но все же сваливать вину исключительно на программу и ее разработчиков – неправильно", – акцентирует собеседник.
"Впрочем, ничего нового в этой ситуации нет. Мы и раньше неоднократно слышали заявления о том, что та или иная "умная ракета" внезапно сошла с курса. Просто в одну ногу с прогрессом шагают и отговорки со стороны правительств. Искусственный интеллект – это ведь обезличенный объект, который сложно наказать или лишить свободы", – заключил Анпилогов.
Евгений Поздняков
