Разработка обучающей интеллектуальной аналитической системы с использованием технологии XAI

Автор: Пальмов С.В., Диязитдинова А.А.

Журнал: Инфокоммуникационные технологии @ikt-psuti

Рубрика: Новые информационные технологии

Статья в выпуске: 4 (84) т.21, 2023 года.

Бесплатный доступ

Интеллектуальный анализ данных является востребованной услугой. Многие отечественные вузы занимаются подготовкой специалистов в этой области. Однако запросы потребителей возрастают, что ведет к повышению требований к формируемым математическими моделями результатам. Клиент хочет быть уверенным в качестве получаемых рекомендаций. Один из способов достичь этого - использовать технологию объяснимого искусственного интеллекта (XAI). Сложившаяся в мире ситуация накладывает серьезные ограничения на использование зарубежного программного обеспечения, а отечественные аналитические системы, потенциально доступные для вузов, не содержат среди имеющихся в них функций модуля XAI. Выходом является самостоятельная разработка такой системы. Авторами создан программный продукт, позволяющий обучать математические модели трех видов, для прогнозов каждой из которых может быть сгенерировано объяснение в текстовом формате. Была проведена серия экспериментов, подтвердивших работоспособность всех элементов созданного продукта, а также возможность его применения в учебном процессе вуза.

Еще

Искусственный интеллект, высшее образование, классификация, метод опорных векторов, стохастический градиентный спуск, гауссовский процесс

Короткий адрес: https://sciup.org/140304966

IDR: 140304966 | DOI: 10.18469/ikt.2023.21.4.09

Текст научной статьи Разработка обучающей интеллектуальной аналитической системы с использованием технологии XAI

Направление, связанное с применением методов искусственного интеллекта (ИИ), в настоящее время является очень актуальным. Как следствие, в подавляющем большинстве вузов РФ преподаются дисциплины, связанные с упомянутой областью. При этом для студентов часто используют готовые программные решения, реализующие «умные» алгоритмы, а не разрабатывают последние самостоятельно. В условиях ограничений на использование зарубежных аналитических систем, встает вопрос об импортозамещении. Существующие отечественные продукты способны закрыть потребности, но только до определенной степени (таблица 1). С развитием возможностей указанных методов, возрастают требования к навыкам студентов. Уже недостаточно просто уметь строить математические модели, посредством которых выполняется обработка данных. Требуются компетенции, позволяющие создавать приложения, поясняющие пользователю (лицу, принимающему решения) сформированные результаты. Teхнология, отвечающая за нахождение подобных решений, называется ХАІ (объяснимый искусственный интеллект) [6]. Если изучить упомянутые выше отечественные разработки с данной точки зрения, то невозможность их применения для решения озвученной задачи станет очевидной։ ни одна из них не реализует объяснимый ИИ, а, кроме этого, все наиболее совершенные продукты являются проприетарными и предназначены для крупного и среднего бизнеса.

Таблица 1. Примеры и краткая характеристика отечественных аналитических платформ

Название продукта	Особенности
Loginom [1]	Бесплатная версия есть, ХАІ отсутствует
PolyAnalyst [2]	Бесплатной версии нет, XAI oтсутствует
Deductor [3]	Бесплатная версия есть, XAI oтсутствует, устаревшая
Data Plexus [4]	Бесплатной версии нет, XAI oтсутствует
Polymatica [5]	Бесплатной версии нет, XAI oтсутствует, ориентирована на крупный и средний бизнес

Предлагаемое решение

Выход заключается в самостоятельной разработке программного обеспечения (ΠO) c XAI.

Рассматриваемая аналитическая система включает реализацию трех алгоритмов ИИ, которые могут выполнять обработку табличных данных в разрезе классификации содержащихся в них объектов. Кроме этого, в ней присутствует функционал ХAI, позволяющий выполнять «объяснение» прогноза классовой принадлежности для одиночных объектов.

Система была написана на языкe Python, что позволяeт запускать программу на разныx oпeраци-онных систeмах, в том числe ceмeйства Linux; это важно в контeкстe peализации мeроприятий по им-портозамeщeнию.

XAI мoжeт быть peализован разными способами. В данной работe использовалась библиотeка LIME [7].

Πpeдлагаeмoe ΠO пpeдполагаeтся использовать при провeдeнии лабораторных работ в учeбных курсах Поволжского государстʙeнного унивeрси-тeта тeлeкоммуникаций и информатики, посвящeʜ-ʜых изучeнию мeтодов ИИ.

В программe доступно созданиe классификаторов на базe cлeдующих алгоритмов (примeʜeна библиотeка scikit-learn): опорныx ʙeкторов (SVM) [8], стохастичecкого градиeʜтного спуска (SGD) [9] и гауссовского процeсса [10].

Описание созданного программного продукта

Пользоватeльский интepфeйс аналитичecкой си-стeмы содepжит пять вкладок. Πepʙыe три (рисунок 1‒3, таблица 2‒4) пpeдназначeʜы для задания значeний гипeрпарамeтpoʙ пepeчислeʜʜых вышe матeматичecких модeлeй. Cлeдующая служит для выбора рeжима работы классификаторов (пpoʙepка на данных с изʙecтными значeниями цeлeʙoгo пo-казатeля, или прогнозированиe пocлeдних). Пятая прeдназначeна для формирования объяснeний. На нeй размeщeʜo пoлe для ввода значeний ʜeзависи-мыx пepeмeʜʜых, для которыx ʜeoбходимо сформировать объяснeниe. Скриншоты двух крайних вкладок ʜe привeдeʜы ввиду экономии мecта. Pe-зультаты пpoʙepки и прогнозирования выводятся в тeкстовый файл; объяснeния выводятся в консоль.

Таблица 2. Элeмeʜты интepфeйса. SVM

Названиe	Пояснeния
Рeгуляризация	Парамeтp peгуляризации. Чeм значeниe ʙышe, тeм мeʜьшe штраф
Ядро	Задаeт тип ядepʜoй функции
Стeпeʜь	Oпpeдeляeт стeпeʜь в случаe использования полиномиальной («poly») ядepʜoй функции
Гамма	Использyeтся для опрeдeлeния влияния одного обучающeго примeра на другиe. Чeм большe значeниe, тeм сильʜee ближайшиe oбъeкты будут влиять на границу принятия рeшeний
coef0	Нeзависимый члeн ядepʜoй функции (для случаeʙ «рoly» и «sigmoid»)
Сжатиe	Eсли активно, игнорируeт часть опорныx ʙeкторов, находящихся на достаточно большом расстоянии от гипepплocкости; сокращаeт ʙpeмя обучeния модeли, сохраняя высокий ypoʙeʜь качecтва
Beроятность	Позволяeт учecть ʜeoпpeдeлeʜʜocть в данных и бoлee точно оцeнить ʙeроятность принятия правильʜoгo peшeния
Останов	Опрeдeляeт критeрий остановки обучeния модeли. Когда разница мeжду значeниями функции потepь становится мeʜьшe или равна установлeʜʜoмy пopoгy этого гипeрпарамeтра, обучeниe мoдeли останавливаeтся; считаeтся, что достигнута достаточная точность
Макс. число итeраций	«‐1» ‒ число итeраций бeз ограничeний
Форма рeшающeй функции	Позволяeт задать фopмy peшающeй функции

Таблица 3. Элементы интерфейса. SGD

Название	Пояснения
Функция потерь	Используется для оценки качества обучаемой модели
Штраф	Способ расчета штрафа модели
Альфа	Параметр регуляризации
L1-коэффициент	Управляет регуляризацией модели (для ситуации «Штраф» = «elasticnet»)
у-перехват	Определяет, будет ли автоматически добавляться («Да») дополнительный признак к данным перед обучением; это сделает возможным учесть сдвиг (bias) в модели. Он позволяет учитывать среднее значение целевой переменной («у»), не зависящее от входных признаков. Другими словами, включение сдвига в модель позволяет принимать во внимание возможное отклонение прогнозов от реальных значений на константное значение
Макс. количество итераций	Предельное число циклов обучения модели
Останов	Определяет критерий остановки обучения модели. Когда разница между значениями функции потерь становится меньше или равна установленному порогу этого гиперпараметра, обучение модели останавливается; считается, что достигнута достаточная точность
Перемешать	Включает перемешивание тренировочных данных для каждого цикла обучения модели
Выводить подробную статистику	Настройка уровня журналирования
Эпсилон	Используется для предотвращения деления на ноль, или очень малое число в процессе вычисления градиента; повышает устойчивость алгоритма, особенно при вычислении шага обновления весов модели
Рандомизировать	Настройка начального значения генератора случайных чисел при обучении модели
Скорость обучения	Задает частоту обновления весовых коэффициентов
Начальная скорость обучения	Позволяет задать значение начальной скорости обучения
Показатель для скорости обучения	Степень, с которой динамически изменяется скорость обучения в процессе оптимизации; влияет на стабильность сходимости

Название	Пояснения
Ранняя остановка	Используется для предотвращения переобучения модели; останавливает процесс при выполнении некоторого условия
Набор для ранней остановки	Доля обучающих данных, используемая функцией ранней остановки
Число итераций без изменений	При активной ранней остановке завершает процесс обучения через указанное число шагов, если качество модели не увеличивается
Вычислять средние веса	Позволяет задать веса классов

Таблица 4. Элементы интерфейѕса. Гауссовский процесс

Название	Пояснения
Ковариационная функция	Задает тип используемой в модели ковариационной функции
Оптимизатор	Определяет инструмент для оптимизации параметров ковариационной функции
Число перезапусков оптимизатора	Количество перезапусков оптимизатора для нахождения параметров ядра (ковариационной функции), которые максимизируют логарифмическое отношение правдоподобия. Первый запуск оптимизатора выполняется с начальными параметрами ядра, остальные (если есть) с параметрами theta, выбранными случайно в логарифмической шкале из допустимых значений параметров theta
Макс. число итераций	Максимальное количество итераций в методе Ньютона для оценки апостериорных вероятностей во время прогнозирования. Уменьшение этого значения сокращает время вычислений, но может приводить к менее точным результатам
Хранить копию данных	Позволяет ускорить построение модели для схожих задач
Рандомизировать	Настройка начального значения генератора случайных чисел при обучении модели
Обработка мультиклассовости	Определяет, как обрабатываются задачи многоклассовой классификации
Параллельность	Задает число используемых процессорных ядер.

/ Объяснимый классификатор — □ X

Главное меню Объяснения

Настройка модели SGD Настройка модели GPC Настройка модели SVM Задание режима работы Режим объяснения

Рисунок 1. Вкладка для настройки гиперпараметров ЅGD

Рисунок 2. Вкладка для настройки гиперпараметров GPC

/ Объяснимый классификатор Главное меню Объяснения Настройка модели SGD Настройка модели GPC Настройка модели SVM				Задание режима работы	- □ X Режим объяснения
Регуляризация:	IE	Сжатие:	Да	V
Ядро:	rbf	Вероятность:	Да	V
Степень:	з	Останов:	0.001
Гамма:	scale	Макс, число итераций:	-1
coefO:	0.0	Форма решающей функции:	ovr	V

Рисунок 3 ‒ Вкладка для настройки гиперпараметров ЅVМ

Также присутствует два меню (рисунок 4, 5). Первое позволяет загрузить данные для обучения, создать соответствующий классификатор, сохранить (или загрузить существующий из файла) и применить классификатор. Второе предназначено для формирования объяснений посредством построения определенной математической модели.

Исследование возможностей разработанного программного обеспечения

Была проведена серия экспериментов, направленная на демонстрацию возможностей рассматриваемого ПО. Ниже приведено краткое описание каждого эксперимента, его входные данные и полученные результаты.

^ Объяснимый классификатор
Главное меню Объяснения
Загрузить данные Создать классификатор SGD Создать классификатор GPC	моде
	hinge

Создать классификатор SVM	12
Применить классификатор Сохранить классификатор


Загрузить классификатор	0.15

Рисунок 4. Главное меню

Рисунок 5. Меню «Объяснения»

Первый эксперимент

На основе набора «ирисы Фишера» создано десять (D1 ÷ D10) датасетов (150 объектов в каждом); использовалась случайная выборка с замещением. D1 ‒ обучающее множество, остальные ‒ тестовые. Был выполнен прогон по всем моделям, построенным при стандартных (рисунок 1‒3) значениях гиперпараметров. Результаты (средние вероятности корректного распознавания объектов) представлены в таблице 5.

Таблица 5. Результаты для ЅGD, GРС и ЅVM

Набор	^р
	ЅGD	GРС	ЅVM
D 2 ÷ D 10	0.673	0.973

Второй эксперимент

ЅGD показал заметно более низкий результат по сравнению с двумя другими алгоритмами. Попробуем увеличить эффективность модели, манипулируя значениями наиболее важных гиперпарметров. Для указанного алгоритма это ‒ скорость обучения, сила регуляризации, размер пакета и количество итераций.

В результате было установлено, что достаточно изменить значения «Штраф» на «l1», а «Макс. кол-во итераций» и «Число итераций без изменений» на «1000», чтобы достичь значения = 0.98.

Третий эксперимент

Он заключался в демонстрации работы модуля объяснений. Использовался модифицированный D1. Из него были исключены последние три объекта (таблица 6), которые использовались как исходные данные для формирования объяснений (каждая запись имеет отличную от других классовую принадлежность). Для всех объектов формировался прогноз посредством рассмотренных классификаторов и выводилось его объяснение.

Таблица 6. «Объясняемые» объекты

seрal length	seрal widtһ	рetal lengtһ	рetal width	class
7.2	3.2	6.0	1.8	2
4.9	3.0	1.4	0.2	0
5.6	3.0	4.5	1.5	1

Далее, для экономии места, приведены только один прогноз и соответствующее ему объяснение. Качество во всех девяти случаях разнилось, но цель данного эксперимента состояла лишь в демонстрации «пояснительных» возможностей программы.

Объяснeниe ЅGD для объeкта (7.2,3.2,6.0,1.8)։

(‘seрal length > 6.40’, 0.159),

(‘1.30 ˂ рetal width <= 1.80’, ‐0.140), (‘рetal length > 5.10’, 0.046),

(‘3.00 < seрal width <= 3.30’, ‐0.030)

Объeкт принадлeжит к классу։ 2 Beроятность принадлeжности объeкта к опрeдeлённому классу։

[1.2 · 10‐66, 7.83 · 10‐36, 1.0]

Поясним структуру выʙeдeнного рeзультата.

Модeлью был сформирован прогноз значeния цeлeвого показатeля для пeрвого объeкта из таблицы 6. Он оказался вeрным («2»). В качeстʙe пояснe-ния указанного рeзультата прeдлагаeтся логичeскоe правило. Прeдставим eго в болee наглядном видe: ECЛИ ‘seрal length > 6.40’ И ‘1.30 ˂ рetal width <= 1.80’ И ‘рetal length > 5.10’ И ‘3.00 < seрal width <= 3.30’ ТО ‘class = 2’.

Если изучить данноe правило, то второй и чeт-ʙeртый eго элeмeнты нe будут соотʙeтствовать значeниям нeзависимой пeрeмeнной объeкта. Они дeмонстрируют, что запись можeт принадлeжать другим классам. На это указывают отрицатeль-ныe ʙeса («‐0.140» и «‐0.030») соотʙeтствующих элeмeнтов правила. Учитывая низкиe ʙeроятности принадлeжности объeкта к другим классам, второй и чeтʙeртый элeмeнты привeдeнного правила можно, в данном случаe, исключить из рассмотрeния. Таким образом, значимыми при опрeдeлeнии классовой принадлeжности пeрвой записи из указанной таблицы являются только дʙe пeрeмeнныe: «seрal length» и «рetal length».

Выводы

Разработанная программа продемонстрировала возможности, которые делают оправданным ее применение для решения упомянутой выше задачи։

‒ создание различных классификаторов;

‒ повышение качества формируемых моделей посредством манипулирования значениями их ги-перпараметров;

‒ генерация прогнозов для новых данных;

‒ формирование объяснений для одиночных объектов.

Результаты работы последней из перечисленных функций требуют дополнительных пояснений. В эксперименте №3 авторами специально был предоставлен подобный пример, содержащий отрицательные веса. Однако это не уменьшает ценности данной функции, поскольку она позволяет «заглянуть внутрь» черного ящика нелинейной модели и получить хотя бы некоторое представление о знаниях, на которых основывается ее работа.

Список литературы Разработка обучающей интеллектуальной аналитической системы с использованием технологии XAI

Loginom. Возможности. URL: https://loginom.ru/platform#components (дата обращения: 23.03.2024).
Система self service аналитики данных PolyAnalyst. URL: https://www.megaputer.ru/produkti (дата обращения: 23.03.2024).
Deductor. URL: https://basegroup.ru/deductor/description (дата обращения: 23.03.2024).
Data Plexus. URL: https://data-plexus.ru/(дата обращения: 23.03.2024).
Машинное обучение как часть корпоративной ДНК. URL: https://www.polymatica.ru/polymatica-ml/ (дата обращения: 23.03.2024).
Пальмов С.В. Повышение эффективности методов искусственного интеллекта посредством технологии XAI // Наука, инновации, образование: актуальные вопросы XXI века: материалы IX Международной научно-практической конференции. Пенза, 2024. С. 31-34.
Local Interpretable Model-agnostic Explanations(LIME). URL: https://ema.drwhy.ai/LIME.html(дата обращения: 23.03.2024).
Theodoros E., Massimiliano P. Support Vector Machines: Theory and Applications // Machine Learning and Its Applications. 2001. Vol. 2049. P. 249-257. DOI: 10.1007/3-540-44673-7_12.
Tian Y., Zhang Y., Zhang H. Recent Advances in Stochastic Gradient Descent in Deep Learning // Mathematics. 2023. Vol. 11, no. 3. P. 682.
Ebden M. Gaussian Processes for Regression and Classification: A Quick Introduction. 2015. URL: https://www.researchgate.net/publication/276296816_Gaussian_Processes_for_Regression_and_Classification_A_Quick_Introduction (дата обращения: 21.03.2024).

Еще

Статья научная