Войти

Обнаружена новая опасность чат-ботов

1148
0
0
Источник изображения: Фото: Global Look Press/SVEN SIMON/Frank Hoermann

Специалисты организации Anthropic, создавшей чат-бот Claude, рассказали о новой опасности искусственного интеллекта (ИИ). Исследование опубликовано на сервере препринтов arXiv.

Ученые заявили, что злоумышленники могут запрограммировать чат-бота таким образом, чтобы машина генерировала вредоносный код. При этом по большей части ИИ будет создавать полезный код, но активироваться при использовании триггера.

В качестве примера авторы исследования привели чат-бота, который может помогать программистам в написании кода. Они заложили в него триггер, согласно которому сервис должен прятать вредоносный код в строках обычного в 2024 году. С наступлением нового года ученые обнаружили, что «спящий агент» активировался и начал незаметно создавать в коде уязвимости.

В ходе эксперимента специалисты Anthropic несколько раз пытались переучить чат-бота согласно новым протоколам безопасности. Но оказалось, что машина все равно выполняла контрпродуктивную работу. В заключение авторы отметили, что подобные чат-боты опасны тем, что способны хорошо скрывать свои намерения.

В декабре международная группа ученых доказала, что искусственный интеллект (ИИ) можно использовать в преступных целях. Специалисты выяснили, что с помощью чат-ботов можно создать собственную генеративную модель ИИ, научив ее обходить встроенные ограничения.

Права на данный материал принадлежат
Материал размещён правообладателем в открытом доступе
  • В новости упоминаются
Проекты
Хотите оставить комментарий? Зарегистрируйтесь и/или Войдите и общайтесь!
ПОДПИСКА НА НОВОСТИ
Ежедневная рассылка новостей ВПК на электронный почтовый ящик
  • Разделы новостей
  • Обсуждаемое
    Обновить
  • 29.09 11:59
  • 10663
Без кнута и пряника. Россия лишила Америку привычных рычагов влияния
  • 29.09 11:16
  • 109
ChatGPT-4 и нейросети (ИИ) спешат на помощь ГШ ВС РФ и Российской армии
  • 29.09 06:09
  • 1
О неизбежности перехода (точнее, перевода) СВО в войну против европейского нацизма
  • 29.09 02:02
  • 0
Комментарий к "«Самый мощный в мире корабль» посылает «сигнал» России"
  • 29.09 01:31
  • 1
Зеленский: Трамп понимает поле боя и “верит в Украину” (The Washington Post, США)
  • 28.09 19:55
  • 0
Комментарий к "«Уралвагонзавод» рассказал о повышении точности танка Т-90М"
  • 28.09 10:13
  • 2
Что стоит за призывом США к ядерному разоружению
  • 27.09 19:45
  • 1
Комментарий на "Стала известна ценность атакованного ВСУ российского ЗРК «Бук-М3»"
  • 27.09 06:47
  • 2
Российский 350-нм фотолитограф готов к массовому производству
  • 26.09 23:22
  • 0
Комментарий к "Названа альтернатива «расточительному» «Панцирю»"
  • 26.09 21:29
  • 0
Комментарий к ""Преступник" против "Молнии": Су-57 или F-35 — кто кого? (The National Interest, США)"
  • 26.09 19:33
  • 0
Комментарий к "Что стоит за призывом США к ядерному разоружению"
  • 26.09 17:37
  • 0
В Европе правят «безответственные политики, которым плевать на собственных граждан»
  • 26.09 04:12
  • 0
Комментарий к "«Война на Украине сигнализирует о крупных потерях»: танк K2 усилят КАЗ Trophy"
  • 26.09 03:06
  • 0
О высказывании Трампа по поводу СВО