Войти
Новости электроники и микроэлектроники

В США сформулированы 4 принципа объяснимого искусственного интеллекта

2302
1
0
Искусственный интеллект.
Искусственный интеллект.
Источник изображения: https://industry-hunter.com/

Национальный институт стандартов и технологий (NIST) опубликовал в августе первый проект перечня принципов объяснимого искусственного интеллекта (XAI). Данный проект разработан многопрофильной группой ученых – когнитивистов, математиков и специалистов в области искусственного интеллекта (ИИ) и информатики и содержит подробный анализ теоретических и практических подходов к объяснимым системам ИИ с упором на взаимодействие человека и компьютера.

Положения документа фокусируются на статусе объяснимости ИИ и определяют четыре принципа, лежащих в основе объяснимого ИИ.

Объяснение (Explanation). Системы ИИ должны предоставлять причины и обстоятельства, на основании которых были приняты те или иные решения.

Принцип объяснения обязывает систему ИИ предоставлять объяснение в форме «свидетельства или обоснования каждого результата». Данный принцип не устанавливает никаких дополнительных требований к качеству объяснения, а лишь требует, чтобы система ИИ была способна предоставить объяснение. Стандарты таких объяснений регулируются другими принципами.

Значимость (Meaningful). Системы объяснимого ИИ должны представлять объяснения, понятные отдельным пользователям.

Принцип значимости устанавливает, что получатель объяснения должен быть в состоянии понять объяснение. В документе подчеркивается, что этот принцип не предназначен для универсального применения. Пояснения должны быть адаптированы к аудитории как на групповом, так и на индивидуальном уровне. Так, например, разные типы групп пользователей могут требовать разных объяснений, а имеющиеся у них знания и опыт могут влиять на восприятие результата и его значимость.

Точность объяснения (Explanation Accuracy). Объяснение должно достоверно отражать суть процессов, производимых системой ИИ для генерирования результатов.

Принцип точности объяснения корреспондирует с принципом значимости для регулирования качества объяснений, предусматривая точность объяснений, но не точность решений. Фактически, данный принцип является подробным разъяснением того, как система сгенерировала окончательный результат. Применение данного принципа также ставится в зависимость от контекста и конечного пользователя. Так, разные показатели точности объяснения будут представляться для разных типов групп и пользователей.

Пределы знаний (Knowledge Limits). Система работает только в условиях, для которых она была разработана, или когда система достигает надлежащей достоверности в своих результатах.

Принцип пределов знаний требует, чтобы система отмечала любые случаи, для которых она не была разработана. Целью этого принципа является предотвращение вводящих в заблуждение объяснений или выводов системы.

Указанные четыре принципа показывают, что решения на основе ИИ должны обладать необходимой прозрачностью, чтобы вызывать доверие к своему функционированию и уверенность в выводах системы.

Проект документа открыт для публичных обсуждений до 15 октября 2020 года.

Объяснимый ИИ

Искусственный интеллект становится все сложнее, однако его системы представляют собой «черный ящик». Это значит, что конечные пользователи не понимают принцип их работы.

Объяснимый ИИ, который также называют XAI или прозрачный ИИ, представляет собой систему, в которой люди могут с легкостью понять действия ИИ.

Концепция объяснимого ИИ может укрепить доверие к технологии, поскольку компаниям придется объяснять, как и почему их системы ИИ принимают те или иные решения.

Права на данный материал принадлежат Новости электроники и микроэлектроники
Материал размещён правообладателем в открытом доступе
Оригинал публикации
  • В новости упоминаются
Страны
Проекты
1 комментарий
№1
11.09.2020 04:36
Очевидно, что принцип "объяснимости" может быть реализован только для достаточно ограниченного множества ИИ систем, для которых применяются опять же специфические алгоритмы обучения. Но да, уровень доверия к таким системам может быть выше, если они не обучены генерировать псевдореальные объяснения, хотя реально руководствуются непонятной наработанной "интуицией".
0
Сообщить
Хотите оставить комментарий? Зарегистрируйтесь и/или Войдите и общайтесь!
ПОДПИСКА НА НОВОСТИ
Ежедневная рассылка новостей ВПК на электронный почтовый ящик
  • Разделы новостей
  • Обсуждаемое
    Обновить
  • 08.10 05:09
  • 0
Комментарий к "Названа неочевидная опасность «Томагавков»"
  • 08.10 05:06
  • 3
Украина вряд ли получит ракеты Tomahawk из-за опасности конфликта РФ и США
  • 08.10 04:57
  • 10761
Без кнута и пряника. Россия лишила Америку привычных рычагов влияния
  • 08.10 04:32
  • 3
В тему "обнуления Томагавков" и прочих БПЛА
  • 08.10 04:22
  • 1
Комментарий к "Новая система международной безопасности – ради сохранения цивилизации"
  • 08.10 03:26
  • 0
Ответ на "Диванные вояки и дипломаты-пустозвоны хотят войны (American Thinker, США)"
  • 07.10 20:04
  • 7
Для защиты заводов по переработке нефти развернули передвижные группы ПВО
  • 07.10 17:59
  • 4
Тяжелая БМП Т-15 на платформе "Армата", возможно, даже нужнее чем танк
  • 07.10 17:59
  • 0
Комментарий к "В честь Дня Cухопутных войск российская армия получила новую бронетехнику (The National Interest, США)"
  • 07.10 17:35
  • 27
Российские БМПТ получили «теннисную сетку» для защиты от дронов
  • 07.10 14:29
  • 0
Новая система международной безопасности – ради сохранения цивилизации
  • 07.10 14:22
  • 142
ChatGPT-4 и нейросети (ИИ) спешат на помощь ГШ ВС РФ и Российской армии
  • 07.10 14:07
  • 0
Нам надо выжить
  • 07.10 11:54
  • 1
США могут купить у Украины технологии производства дронов
  • 07.10 04:07
  • 1
Комментарий к "Пропущенный вызов"