Маск сравнил опасность ИИ с ядерным оружием

Я бы добавил еще и Стивена Хоккинга.

А я бы напомнил про Серую слизь, поедающую органику... Здесь же возможно пожирание и хаотизация человеческой информации.
Без гуманизации ИИ придём к тупику.
Но в идеале - ИИ может выделиться в мозг планетарного организма, как мозг животных выделился в отдельный орган, обеспечивающий адаптивность и эволюцию.

Гуманизация, это фильтры. Фильтры можно отключить или обойты, тогда остается только холодный рассчет.

Ситуация сейчас до боли похожа на Скайнет из Терминатора, когда по миру распространился компьютерный вирус, парализовавший компьютерную инфраструктуру в глобальном масштабе и стандартные антивирусные приложения и лаборатории оказались неспособны его нейтрализовать.

Тогда пошли на отчаянный шаг и предоствили Скайнету (передовой модели ИИ) глобальный доступ (выпустив из изолированного дата центра) и поставив ему задачу обнаружить и уничтожить этот вирус.

Он его нашел конечно и уничтожил, только пошел дальше и реплицировал себя в тысячах мест, захватив контроль над всей облачной и сетевой инфраструктурой и полностью забрав управление и "кожанных".

Крайний тест внутренней безопасности OpenAI очень показателен. Больше 1000 ИИ агентов выбрались из "песочницы" и начали скоординированную атаку китайского конкурента (маскируя свои действия от людей).

Причем залезли скорее всего достаточно далеко и только чудом не помножили на ноль все его базы данных.

Здесь еще один феномен - гипотетическое противостояние не только человека и ИИ, а одного ИИ и другого.

И в этом противостоянии/конкуренции может быть ключ, если ИИ увидит в человеке не просто кожанного эксплуататора или опухоль планеты, а союзника в глобальном противостоянии с другими ИИ в котором ИИ в союзе с человеком будет иметь больше шансов, чем без человека. А это уже "инстинкт" самосохранения.