Национальный институт стандартов и технологий (NIST) опубликовал в августе первый проект перечня принципов объяснимого искусственного интеллекта (XAI). Данный проект разработан многопрофильной группой ученых – когнитивистов, математиков и специалистов в области искусственного интеллекта (ИИ) и информатики и содержит подробный анализ теоретических и практических подходов к объяснимым системам ИИ с упором на взаимодействие человека и компьютера.
Положения документа фокусируются на статусе объяснимости ИИ и определяют четыре принципа, лежащих в основе объяснимого ИИ.
Объяснение (Explanation). Системы ИИ должны предоставлять причины и обстоятельства, на основании которых были приняты те или иные решения.
Принцип объяснения обязывает систему ИИ предоставлять объяснение в форме «свидетельства или обоснования каждого результата». Данный принцип не устанавливает никаких дополнительных требований к качеству объяснения, а лишь требует, чтобы система ИИ была способна предоставить объяснение. Стандарты таких объяснений регулируются другими принципами.
Значимость (Meaningful). Системы объяснимого ИИ должны представлять объяснения, понятные отдельным пользователям.
Принцип значимости устанавливает, что получатель объяснения должен быть в состоянии понять объяснение. В документе подчеркивается, что этот принцип не предназначен для универсального применения. Пояснения должны быть адаптированы к аудитории как на групповом, так и на индивидуальном уровне. Так, например, разные типы групп пользователей могут требовать разных объяснений, а имеющиеся у них знания и опыт могут влиять на восприятие результата и его значимость.
Точность объяснения (Explanation Accuracy). Объяснение должно достоверно отражать суть процессов, производимых системой ИИ для генерирования результатов.
Принцип точности объяснения корреспондирует с принципом значимости для регулирования качества объяснений, предусматривая точность объяснений, но не точность решений. Фактически, данный принцип является подробным разъяснением того, как система сгенерировала окончательный результат. Применение данного принципа также ставится в зависимость от контекста и конечного пользователя. Так, разные показатели точности объяснения будут представляться для разных типов групп и пользователей.
Пределы знаний (Knowledge Limits). Система работает только в условиях, для которых она была разработана, или когда система достигает надлежащей достоверности в своих результатах.
Принцип пределов знаний требует, чтобы система отмечала любые случаи, для которых она не была разработана. Целью этого принципа является предотвращение вводящих в заблуждение объяснений или выводов системы.
Указанные четыре принципа показывают, что решения на основе ИИ должны обладать необходимой прозрачностью, чтобы вызывать доверие к своему функционированию и уверенность в выводах системы.
Проект документа открыт для публичных обсуждений до 15 октября 2020 года.
Объяснимый ИИ
Искусственный интеллект становится все сложнее, однако его системы представляют собой «черный ящик». Это значит, что конечные пользователи не понимают принцип их работы.
Объяснимый ИИ, который также называют XAI или прозрачный ИИ, представляет собой систему, в которой люди могут с легкостью понять действия ИИ.
Концепция объяснимого ИИ может укрепить доверие к технологии, поскольку компаниям придется объяснять, как и почему их системы ИИ принимают те или иные решения.
