Риск-ориентированный подход к регулированию технологий искусственного интеллекта в организациях науки и высшего образования

Стремительное развитие технологий искусственного интеллекта в последние годы порождает широкую дискуссию в академическом сообществе относительно эффективности больших генеративных моделей в науке и образовании. Мировая университетская практика и опыт российских вузов пока не позволяют выработать единый подход к компетентному применению технологий искусственного интеллекта.

В условиях формирующейся нормативноправовой базы в сфере искусственного интеллекта вузы самостоятельно определяют локальные правовые экспериментальные режимы ис- пользования данных технологий в своей деятельности. Для повышения устойчивости управления организациями высшего образования предлагается использовать риск-ориентированный подход к регулированию технологий искусственного интеллекта. В этой связи интересен потенциал методологии комплаенса внутреннего механизма защиты организации от недобросовестного поведения субъектов, включая правовые, управленческие, технологические и этические аспекты.

Ставится задача путем внедрения регулирующих институтов, не ограничить темп развития технологий ИИ, но адаптировать систему высшего образования к инновационным вызовам.

EDN GHDKNV

Анализ рисков и определение их источников позволяет локализировать искажения деятельности вузов на основе организационных мер, нормативно-правового и этического регулирования отношений в сфере искусственного интеллекта.

Диалектика ИИ в высшем образовании

ИИ позволяет решать широкий круг задач в сфере высшего образования и в ближайшее время станет одним из ключевых инструментов ученого, преподавателя, обучающегося. Нейросети дают возможность создавать эффективные учебные материалы, обеспечивают визуализацию контента, сокращают время педагога на подготовку к занятиям, помогают подстраивать процесс обучения под возможности студентов на основе анализа данных об их успеваемости, выполняют проверку заданий и оценку знаний, оптимизируют научный поиск, автоматизируют обработку данных, в том числе в процессе проведения экспериментов, создают гипотезы и генерируют идеи и многое другое. При этом внедрение нейросетевых моделей может также привести и к серьезным негативным изменениям в деятельности университета: нарушениям правил академической честности (фальсификации научных работ и знаний), неэффективной персонализации обучения в силу слабой надежности моделей и низкого качества данных в системах ИИ, снижению вовлеченности обучающихся и их демотивации в связи с зарегулированностью учебного процесса моделями ИИ и навязанными усредненными подходами к обучению, ограничению креативных педагогических практик и сокращению неформальных методов обучения по той же причине [1]. информационной перегруженности из-за избыточности учебного контента [2], нарушениям требований работы с персональными данными в рамках формирования цифровых профилей субъектов электронно-образовательной среды, ухудшению критического мышления и прочее.

В условиях объективного отставания развития правовой базы от научно-технологического прогресса в силу необходимости времени на теоретическое осмысление и апробацию ограничительных барьеров, фокус регулирования перемещается в этическое поле, во всяком случае на первоначальном этапе. В такой ситуации очень важен институциональный механизм, как единство формальных правил (законодательство) и неформальных ограничений (ценности, нормы поведения, вера, культура), который позволит заложить рамки регулирования общественных отношений в данной сфере. Таким механизмом регулирования ИИ в организациях может стать «комплаенс» [3].

В российском законодательстве отсутствует определение понятия «комплаенс», однако в современной научной мысли существует мно- жество исследований, авторы которых определяют содержание системы комплаенс, а также его применение в различных отраслях экономики. По мнению Д.В. Борзакова, комплаенс можно охарактеризовать как «внутрикорпоративную систему, обеспечивающую соответствие деятельности организации параметрам институционального пространства, в рамках которого она функционирует, - законодательным нормам, стандартам са-морегулируемых и иных общественных организаций, внутрикорпоративным стандартам, инструкциям и кодексам поведения, договорным обязательствам, моральным и этическим нормам, обычаям делового оборота, признанным лучшим практикам, - несоблюдение которых может повлечь финансовые и репутационные потери» [4].

Применение системы комплаенса для регулирования ИИ позволит минимизировать риски, но при этом не будет препятствовать развитию и совершенствованию инноваций. Более того необходимо, чтобы комплаенс, являясь корпоративной подсистемой, учитывал особенности национальной модели управления и способствовал наиболее полному раскрытию потенциала технологий ИИ. В предыдущей статье [3] сделан вывод, что технология ИИ сама по себе нейтральна, все зависит от целей ее применения.

Необходимо встроить целеполагание системы комплаенса ИИ в генеральные цели организаций высшего образования и науки. Именно верхнеуровневое согласование целей позволит найти оптимальные рамки использования данной технологии. Генеральной целью организаций высшего образования и науки является развитие интеллектуального потенциала экономики и общества путем генерации и накопления новых знаний. Применение ИИ в вузах необходимо соотносить с данной целью. Таким образом, цель комплаенса ИИ - содействовать приросту научных знаний и качеству образования. При этом также система комплаенса ИИ в организациях науки и высшего образования призвана обеспечить соблюдение законодательных норм, стандартов и кодексов поведения, моральных и этических норм при использовании технологий искусственного интеллекта.

Стоит отметить и другой важный методологический момент. Формируя систему комплаенса ИИ необходимо принимать во внимание интересы и мотивы поведения заинтересованных сторон, непосредственных участников жизненного цикла ИИ: разработчиков, поставщиков данных, заказчиков, экспертов, пользователей (обучающихся, преподавателей, сотрудников). Деятельность данных лиц потенциально может привести к умышленным или непреднамеренным нарушениям в разработке и использовании систем ИИ. Например, ошибки в алгоритмах и предвзятость данных в моделях могут возникнуть как в силу недостаточной квалификации разработчиков, так и по причине их недобросовестности. Руководствуясь ранее определенными генеральными целями организаций высшей школы, система комплаенса ИИ должна задать правовые и этические рамки деятельности заинтересованных сторон, определить их ответственность за разработку и применение технологий.

Специфика комплаенса ИИ заключается в необходимости обеспечения присутствия человека в системах ИИ. Люди, преподаватели, обучающиеся, сотрудники должны сохранять «свободу воли», иметь возможность самим принимать решение, знать паттерны моделей и выбирать направления действий. Для общественно значимых организаций, которыми являются вузы, требование «присутствия человека» в системах ИИ принципиально. Также комплаенс ИИ должен обеспечить контроль человеком всех этапов жизненного цикла и всех компонентов технологического комплекса ИИ. Необходимо установить контроль сбора, подготовки и обеспечения качества данных, разработки алгоритмов и параметров модели, прослеживаемости данных и прозрачности модели, доступа и обмена данными, и наконец, защиту и хранение данных.

Следующий важный момент, который должен быть учтен при формировании системы комплаенса ИИ это, так называемые, косвенные или внешние эффекты технологий, то есть последствия применения ТИИ на длинном горизонте времени за пределами организации. В данном случае заинтересованными сторонами ИИ выступают такие глобальные группы как «общество», «государство» и «будущие поколения». Раннее уже отмечалось, что социальные долгосрочные последствия ИИ только исследуются, однозначного понимания влияния ИИ на человека пока не сформировано. При этом уже сейчас эксперты в области нейропсихологии, физиологии и антропологии обращают внимание общественности на такие негативные последствия использования ИИ, как ухудшение когнитивных способностей человека (утрата текстовой и письменной культуры, ухудшение критического и аналитического мышления, ухудшение памяти), отрицательное влияние на его психическое и физическое состояние (зависимость от ИИ, информационная перегруженность, потеря коммуникационных навыков и межличностной чувствительности). В долгосрочной перспективе данные риски могут привести к таким фундаментальным общественным проблемам как снижение качества образования, снижение прироста и воспроизводимости научного знания, деградации человека и общества и в конечном итоге потере контроля над системами ИИ.

Учитывая вышесказанное, в основу системы комплаенса ИИ должны лечь общесистем- ные этические принципы, позволяющие регулировать отношения заинтересованных сторон при создании, внедрении и использовании технологий ИИ. Кодекс этики в сфере ИИ [5] устанавливает наиболее широкий перечень принципов и стандартов поведения, которые могут быть конкретизированы и расширены с учетом специфики отрасли высшего образования и науки. Укажем основополагающие этические принципы, которые должны быть заложены в систему комплаенса ИИ вуза и в дальнейшем могут корректироваться по мере развития технологий:

• 1.    Защита прав людей и отдельного человека:

• -    человек, его права и свободы рассматривается как наивысшая ценность;

• -    обеспечение сохранения автономии и свободы воли человека в принятии решений. Интеллектуальные способности человека являются системообразующим фактором современной цивилизации. На этапе создания систем ИИ необходимо прогнозировать негативные последствия для когнитивных способностей человека и не допустить данные разработки;

• -    алгоритмы, наборы данных, методы обработки для машинного обучения данных должны исключать умышленную дискриминацию лиц и групп людей по признакам расовой, национальной, половой принадлежности, политическим взглядам и т.д.

• 2.    Верховенство закона:

• - соблюдение законодательства РФ на всех этапах жизненного цикла систем ИИ, в т.ч. соблюдение законодательства в области персональных данных и охраняемых законом тайн при использовании систем ИИ, обеспечение неприкосновенности частной жизни.

• 3.    Ответственность и поднадзорность при создании и использовании систем ИИ:

• -    ответственность за последствия применения систем ИИ всегда несет человек;

• -    обеспечение комплексного надзора человеком за любыми системами ИИ;

• -    определение ответственности конкретных участников жизненного цикла систем ИИ;

• -    обеспечение возможности отмены челове

• 4.    Качество данных:

ком или предотвращения принятия социально и юридически значимых решений.

• -    обеспечение репрезентативности и достоверности наборов данных, полученных из надежных источников;

• -    противодействие масштабированию фальсифицированных данных в научных исследованиях.

• -    Прозрачность и надежность моделей:

• -    обеспечение прозрачности моделей ИИ с точки зрения раскрытия и объяснения алгоритмов и параметров модели;

• -    добросовестное информирование пользователей об их взаимодействии с системами ИИ;

• -    противодействие «алгоритмической предвзятости» моделей.

• 6.    Информационная безопасность, безопасность работы с данными:

• -    обеспечение защиты от несанкционированного вмешательства в работу систем ИИ третьих лиц;

• -    обеспечение охраны и защиты персональных данных.

• -    Развитие компетенций о технологиях ИИ:

• -    поддержание уровня компетенций для безопасной и эффективной работы с системами ИИ;

• -    повышение осведомленности об этике, пользе, вреде и ограничениях в применении технологий ИИ.

Риски ИИ и элементы комплаенса ИИ

Следующим этапом формирования системы комплаенса ИИ является определение рисков, возникающих в процессе разработки и применения технологий ИИ.

С точки зрения современных принципов управления, предварительное выявление рисков способствует устранению возможных отклонений при реализации целей организации по причине возникновения рисковых событий. Таким образом, можно определить риски технологий ИИ, как возможность отклонения целей организации в результате внедрения и использования технологий.

Изначально риски технологий можно разделить на две основные группы: общие и специфические, характерные для конкретной области деятельности, хотя граница между данными группами достаточно условная.

В зависимости от источника возникновения общие риски ИИ предлагается классифицировать на три вида (см. Таблица 1):

• -    Технические риски - риски, связанные с техническим несовершенством компонентов технологического комплекса ИИ, к ним можно отнести технические ошибки в моделях (в т.ч. параметрах, алгоритмах), наборах данных, сбои в функционировании ИИ-инфраструктуры.

• -    Поведенческие риски - риски, связанные с действием «человеческого фактора», к ним относятся ошибки в разработке и эксплуатации, а также преднамеренные действия. Поведенческие риски ИИ обусловлены «свободой воли» заинтересованных лиц.

• -    Внешние факторы, которые связаны с нарушением законодательных норм, профессиональных стандартов и неопределенностью развития технологий ИИ.

Таблица - Общие риски ИИ и источники возникновения

Источники рисков ИИ	Риски ТИИ
1.    Технология 1.1.    Модели ИИ -    Наборы данных -    Алгоритмы (ML, DL, NN) -    Параметры 1.2.    ИИ-инфраструктура -    Вычислительные мощности -    Системы безопасности -    Платформы для анализа больших данных	- Ошибки в данных -  Ошибки в обработке данных, в алгоритмах -  Неточность параметров -  Непрозрачность моделей -  Недостаточная вычислительная мощность -  Рост стоимости серверного и сетевого оборудования, платформ анализа БД - Санкционные риски - Новые типы угроз информационной безопасности
2.    «Человеческий фактор» -    Заказчики -    Разработчики -    Эксперты оценки параметров -    Поставщики данных -    Пользователи	-    Использование систем ИИ в личных целях (в т.ч. злонамеренные действия) - Субъективность параметров модели ИИ -  Предвзятость данных -  Недостаточный уровень квалификации разработчи ков - Нарушение правил эксплуатации СИИ -  Низкий уровень цифровой культуры пользователей
3.    Внешние факторы -    Законодательство -    Профессиональные стандарты -    Неопределенность в развитии технологий	-    Нарушение прав и свобод граждан (в т.ч. неприкосновенности частной жизни) -    Нарушение требований работы с персональными данными -    Нарушение конфиденциальности данных

Специфика рисков ИИ для высшей школы заключается в возможном отклонении или искажении главной цели организаций науки и высшего образования – создание и приращение новых знаний. Предлагается классифицировать следующие классы проблем/искажений в деятельности вузов, связанных с интеграцией технологий генеративного ИИ:

• 1)    Нарушение академической честности и научной добросовестности

• 2)    Неудовлетворительное качество данных и низкая надежность моделей

• 3)    Проблемы безопасности данных в системах ИИ

• 4)    Зависимость от технологий и снижение ключевых навыков участников образовательного процесса.

На основе выявленных искажений деятельности организации, групп рисковых ситуаций, источников рисков определяются соответствующие комплаенс-процедуры (меры, регламенты, нормы), направленные на снижение рисков (см. Таблица 2).

Таблица 2 – Специфичные риски ИИ и элементы комплаенса ИИ в организациях высшего образования

Класс проблем ИИ/ искажения в деятельности вузов	Последствия/ Риски ИИ	Контролируемы лица/ Заинтересованные стороны	Источники рисков ИИ		Нормативные элементы комплаенса ИИ (нормативные акты, процедуры)
			Факторы и непреднамеренные правонарушения	Умышленные правонарушения
Академическая    чест ность и научная добросовестность	Фальсификация знаний Проблемы аттестации обучающихся В долгосрочном периоде: - Потеря  деловой репутации вуза - Снижение  каче ства образования - Снижение приро ста и воспроизводимости научного знания -    Потеря профессиональных компетенций   преподавате лями и исследователями -    Подготовка   не квалифицированных кадров	Преподаватели Исследователи Обучающиеся Общество Государство Будущие поколения	Низкая цифровая культура Недостаточный уровень квалификации	Фальсификация научных работ Фальсификация выполнения учебных заданий Фальсификация итоговой и  промежу точной аттестации (ВКР, курсовые работы и пр.)	Кодекс академической честности и научной добросовестности Положение   об итоговой и промежуточной аттестации с учетом ИИ Политика цифровой культуры
Качество данных   и надежность моделей ИИ	Предвзятая неточная информация    для научно-образовательного процесса Низкое    качество данных в базах знаний в учебных системах ИИ Распространение запрещенной информации в  учебном процессе Неэффективная индивидуализация обучения (манипуляция выбором, дискриминация, неравенство) Снижение вовлеченности обучающегося в образовательный процесс (потеря инициативы) Ограничения педагогических практик	Разработчики моделей Эксперты оценки  параметром   мо дели Операторы данных Заказчики СИИ Преподаватели Исследователи Обучающиеся	Технические ошибки в обработке  данных (алгоритмах, параметрах) Неточность параметров Технические ошибки   при формировании наборов данных Недостаточный уровень квалификации разработчиков Недостаточная вычислительная  мощность инфраструктуры ИИ	Субъективность   алго ритмов и параметров моделей (в т.ч. моделей ИОТ, интеллектуальных рекомендательных систем и пр.) Предвзятость данных Нарушение правил  экс плуатации СИИ	Регламент разработки и внедрения систем ИИ Регламент экспертизы систем ИИ Техническая  документация   си стем ИИ Регламенты   использования  си стем ИИ в учебном процессе и научно-исследовательской   дея тельности

Продолжение табл. 2

Класс проблем ИИ/ искажения в деятельности вузов	Последствия/ Риски ИИ	Контролируемы лица/ Заинтересованные стороны	Источники рисков ИИ		Нормативные элементы комплаенса ИИ (нормативные акты, процедуры)
Безопасность систем ИИ	Утечка  персональ ных данных Нарушение гражданских прав и свобод (неприкосновенность      частной жизни, право на образование) Нарушение требований работы с персональными данными при формировании цифровых профилей обучающихся, преподавателей, исследователей и сотрудников	Разработчики СИИ Операторы данных Эксплуатанты СИИ	Недостаточная техническая оснащенность средствами информационной безопасности Новые   типы угроз информационной   без опасности Рост стоимости серверного и сетевого оборудования Санкционные риски	Использование   персо нальных данных в личных целях Нарушение требований работы с персональными данными	Политика сбора, обработки и защиты персональных     данных (включая требования по минимизации сбора и анонимизации персональных данных) Политика информационной  без опасности
Зависимость от технологии и снижение навыков	Негативное влияние на когнитивные способности  человека (утрата текстовой и письменной   культуры,   ухудшение критического мышления, памяти) Негативное влияние на психическое и физическое состояние человека Потеря коммуникационных навыков	Преподаватели Исследователи Обучающиеся Общество Государство Будущие поколения	Низкая цифровая культура Недостаточный уровень квалификации	Нарушение правил  экс плуатации СИИ	Политика цифровой культуры Стратегия цифровой трансформации

Таким образом, анализ целей и задач организаций науки и высшего образования, нормативно-правовой базы, а также рисков интеграции технологий ИИ в деятельность вузов позволяет определить функции системы комплаенса ИИ:

• -    мониторинг и оценка ИИ рисков

• -    проведение контрольных мероприятий по работе систем ИИ

• -    мониторинг политики информационной безопасности

• -    мониторинг политики защиты персональных данных

• -    разработка регламентов использования ТИИ в учебном процессе и научно-исследовательской деятельности

• -    разработка НЛА в сфере ИИ

• -    организация обучающих мероприятий в сфере ИИ

• -    работа с надзорными органами

• -    обеспечение обратной связи по работе систем ИИ

• -    разработка кодекса этики в сфере ИИ, включая вопросы академической честности и научной добросовестности.

Изучение университетских практик успешного применения ТИИ в учебной и научноисследовательской деятельности позволило обобщить в перечень превентивных мер системы комплаенса ИИ [6] (см. Таблица 3):

• 1.    Создание университетской рабочей группы по регулированию использования технологий ИИ из специалистов разных структурных подразделений, в том числе профессорско-преподавательского состава, административно-управленческого персонала, студенческого сообщества с целью определения руководящих принципов,

• 2.    Разработка и внедрение внутренней политики академической честности (или внесение дополнений в действующую), определяющей принципы и правила этичного использования технологий ИИ.

• 3.    На уровне учебно-методических комис-сий/советов вуза - разработка методических рекомендаций по использованию нейросетей в научно-образовательных процессах, включая написание научно-исследовательских и выпускных работ.

• 4.    Организация программ повышения квалификации и профессиональной переподготовки, специализированных тренингов, мастер-классов для научно-педагогических работников по основам работы с ТИИ.

• 5.    Включение в учебные программы всех направлений и уровней подготовки дисциплин по основам работы с нейросетевыми моделями, а также модулей по этике и нормам использования технологий ИИ.

• 6.    Увеличение количества практических занятий и проектов, которые позволят обучающимся применять полученные знания о нейросетевых моделях на практике и разрабатывать с их помощью собственные проекты.

• 7.    Инициация и поддержка научных исследований по вопросам эффективности использования технологий ИИ.

• 8.    Изменение форм и методов оценки знаний обучающихся в пользу устных экзаменов и зачетов, в том числе увеличения количества часов контактной работы преподавателя, в целях контроля и качества написания научно-исследовательских работ (курсовых, ВКР, статей и т.д.).

способствующих широкому внедрению методологий доверенного искусственного интеллекта в образовательные и научно-исследовательские процессы.

Таблица 3 - ИИ-риски и превентивные меры

Заключение

Компетентное внедрение ТИИ в научнообразовательную и административно-управленческую деятельность вузов сложная и объективно неопределенная задача, ведь до конца неизвестны как сами технологии в силу их перманентного изменения, так и косвенные, в том числе долгосрочные, последствия их применения. Решение данной задачи не может входить в компетенцию отдельного учебного заведения и требует не только широкого общественного обсуждения спорных вопросов, связанных с внедрением ТИИ, но и проведения фундаментальных научных исследований, направленных на анализ долгосрочных социально-экономических последствий влияния ТИИ на общество.

Представляется, что проактивное управления на основе методологии комплаенса, позволит снизить риски внедрения ТИИ в деятельность вузов и эффективно адаптироваться к вызовам технологического развития. Вузы должны быть открыты к внедрению технологий ИИ и включать их использование в качестве дополнительного инструмента педагога и обучающегося в научно-образовательный процесс. При этом в основе преобразований должны лежать фундаментальные ценности науки и высшего образования - академическая честность, научная добросовестность, истинность, общественная полезность, оригинальность и новизна.

Система комплаенса позволит вузам возглавить процесс освоения основными участниками образовательных отношений инновационных технологий, а именно:

• 1.    Гарантировать ответственное, компетентное и честное использование ИИ.

• 2.    Подготовить будущих специалистов к решению экономических, социальных и этических проблем, которые могут возникнуть по мере дальнейшего распространения ИИ во все сферы.

• 3.    Обеспечить грамотность в сфере ИИ для всех участников образовательных отношений путем включения в национальные образовательные стандарты для всех направлений подготовки модуля «ИИ».

• 4.    Разработать и внедрить кодекс академической честности и научной добросовестности.

• 5.    Сохранить духовно-нравственные и культурные ценности, традиции и устои наций, народов, этносов и противодействовать распространению концепции трансгуманизма.