Программная платформа (фреймворк) искусственного интеллекта (ИИ) созданная в университете штата Северная Каролина, призвана облегчить пользователям понимание того, чем руководствуется машинный разум, приходя к тем или иным выводам. Позволяя отойти от сложившегося представления о системах ИИ, как о «чёрном ящике», эта работа имеет особенное значение для таких областей, как военное дело, где требуется разумное обоснование принимаемых решений.

«Одна из отличительных особенностей нашего фреймворка состоит в том, что мы делаем частью процесса обучения ИИ элементы, позволяющие его истолковать, — сказал Тяньфу У (Tianfu Wu), доцент компьютерных технологий университета Северной Каролины. Он также является первым автором статьи об этой работе, которая будет представлена в конце месяца на международной конференции по компьютерному зрению в Сеуле (Южная Корея).

Так, например, тренируясь распознавать объекты на картинке, ИИ-программа одновременно учится локализовать их внутри изображения и анализировать, что именно в этом конкретном месте соответствует критериям целевого объекта. Эта информация добавляется к результатам распознавания.

В целях проверки работоспособности такой концепции исследователи внедрили свой фреймворк в широкоиспользуемую интеллектуальную систему идентификации объектов, R-CNN. Затем они протестировали модифицированную систему на двух эталонных массивах данных, PASCAL VOC 2007 и COCO 2017.

Тестирование подтвердило, что включение интерпретирующего фреймворка в состав системы ИИ не оказывает негативного влияния на эффективность работы последней, как в смысле времени, так и точности.

Участники проекта считают его важным шагом к созданию полностью «прозрачного» ИИ. При этом, они признают, что предстоит ещё много работы для перехода от качественной интерпретации ИИ к количественной, с включением в процесс коэффициента достоверности.

Источник: ko.com.ua