Обеспечение безопасности применения искусственного интеллекта в образовании: стратегии стандартизации

Искусственный интеллект (ИИ) как «комплекс технологических решений, позволяющий имитировать когнитивные функции человека (включая самообучение и поиск решений без заранее заданного алгоритма) и получать при выполнении конкретных задач результаты, сопоставимые, как минимум, с результатами интеллектуальной деятельности человека» [1] играет всё более значимую роль в образовании, оказывает влияние на различные аспекты учебного процесса, выполняя такие полезные функции как персонализация обучения, автоматизация административных процессов, поддержка преподавателей и студентов. В эпоху цифровизации образовательный сектор переживает значительные трансформации, обусловленные внедрением искусственного интеллекта и других инноваций, что заключает в себе потенциал революционного развития и обновления. Вместе с тем, будучи мощным агентом, облегчающим выполнение рутинных и сложных задач, ИИ может осуществлять свою власть над людьми по принятию решений, опираясь на восприятие, интерпретацию и рассуждения на основе больших данных и встроенных алгорит- мов. Академическое сообщество и общественность небезосновательно выражают обеспокоенность в связи с рисками передачи ИИ чрезмерных полномочий и потери контроля над ней как автономной, адаптивной и интерактивной программной системой, созданной человеком. За потенциалом ИИ стоят значительные риски и вызовы, связанные с безопасностью, этикой и конфиденциальностью данных. Основная проблема состоит в том, что технический прогресс трудно контролировать во всех аспектах, включая неизвестные и трудно прогнозируемые угрозы [2].

Настоящая статья направлена на исследование вопросов безопасности использования ИИ в образовании, в том числе реальные и перспективные возможности ИИ для улучшения образовательных практик, потенциальные риски и стратегии безопасного их применения. Проведен анализ текущего состояния применения ИИ в образовательной сфере на основе обзора научной литературы и источников, иллюстрирующих практические аспекты, включая обзор международных и национальных нормативных документов и стандартов.

EDN IMQHNV

Актуальность работы обусловлена стремительным внедрением искусственного интеллекта в образовательный процесс, что требует разработки действенных способов контроля и регулирования. Исследователи сталкиваются с необходимостью найти оптимальное применение ИИ, чтобы извлечь максимальную пользу из этой технологии, не нанося вреда образовательной деятельности и интересам всех участников. Проведённый анализ показал, что эта проблема носит междисциплинарный характер, охватывая философские, технические, психологические и политические аспекты. В первую очередь, использование ИИ в образовании подразумевает внимание к этическим и социальным аспектам, включая защиту личных данных, равный доступ к технологиям, сохранение эмоционального и человеческого общения в обучении и создание доверия к новой технологии на общественном уровне на основе стандартов и распространения лучших практик.

Основная часть

Применение искусственного интеллекта в образовании охватывает широкий набор направлений и возможностей для повышения гибкости образовательных технологий, улучшения дидактической эффективности педагогической деятельности и точности диагностической оценки результатов.

Несмотря на высокий потенциал и большие возможности ИИ в развитии образовательных сервисов и улучшении качества образования исследование потенциальных рисков и разработка мер безопасности при использовании искусственного интеллекта в образовании имеют критическую значимость по следующим причинам:

• -    в образовательных учреждениях используются личные данные обучающихся и преподавателей, которые могут быть подвержены угрозам в случае недостаточной защиты, необходимо обеспечить, чтобы ИИ-системы не стали источником утечек информации и не нарушали права на конфиденциальность;

• -    этические риски связаны с угрозами дискриминации и несправедливости в связи с тем, что ИИ может вносить собственные предубеждения в процессы принятия решений;

• -    недостаточная надежность и точность образовательных ИИ-систем может приводить к искажению информации и вводить в заблуждение обучающихся и преподавателей;

• -    ИИ не обладает ответственностью, что в случае ошибок или непредвиденных последствий может нанести вред образовательному процессу;

• -    изменения в процессе быстрой непродуманной трансформации образовательного процесса на основе ИИ несут потенциальную угрозу негативного влияния на образовательную среду и могут привести к усилению неравенства;

• -    современные ИИ-системы только декларируют неприкосновенность персональных данных, но не гарантируют защиту от мошенников в связи со слабой стандартизацией и нормативным регулированием этой области в период ее становления, а законодательство в области ИИ не в полной мере регламентирует все аспекты защиты прав и интересов участников образовательного процесса;

• -    квалификация кадров по безопасной работе с ИИ в образовании неминуемо отстает от прогресса технологий, в результате чего существует соблазн максимально использовать потенциал новых технологий до того, как будет протестировано их влияние;

• -    социальные последствия воздействия ИИ на образовательную среду и общество в целом трудно прогнозировать, например, в связи с изменением рынка труда, утратой рабочих мест, увеличением социального разрыва или просто по причине психологического отторжения человекоподобных помощников;

• -    существует также угроза неправомерного использования интеллектуальной собственности из-за обезличивания информации при обучении моделей ИИ на больших выборках неструктурированных данных.

Следовательно, управление рисками и разработка комплексных мер безопасности должны гарантировать, что интеграция ИИ в образование будет продвигаться ответственно и с учетом благополучия участников образовательного процесса и всех заинтересованных сторон.

Обзор литературы позволил обобщенно представить основные проблемные области применения ИИ в образовании, которые представлены ниже.

Первая проблема - это конфиденциальность - охватывает сбор и обработку персональных данных обучающихся, риски утечки информации и злоупотребления данными, необходимость соблюдения законодательства о защите информации.

Вторая проблема - вопросы справедливости и доступности, в том числе проблемы неравного доступа к технологиям ИИ в разных регионах и социальных группах, риск усиления образо- вательного неравенства и необходимость создания инклюзивных ИИ-систем, доступных для всех категорий обучающихся.

Третья группа проблем связана с трансформацией роли преподавателя и изменением профессиональных требований к нему в свете внедрения ИИ, риском децентрализации педагогической профессии и потери человеческого взаимодействия в образовательном процессе. Сюда же можно отнести проблемы повышения квалификации педагогов для работы с ИИ-технологиями.

Четвертая группа проблем касается автономии и ответственности в принятии решений, например, вопросы делегирования решений ИИ в образовательном процессе, включая риски потери автономии обучающихся и преподавателей, определения ответственности за ошибки ИИ.

Пятая группа проблем включает вопросы сохранения критического мышления и риски формирования однобокого мышления у студентов при использовании алгоритмических рекомендаций, снижение способности критически оценивать результаты и определять ценность информации.

Этические аспекты использования искусственного интеллекта в образовании занимают важное место в научном дискурсе. Анализ показал, что приоритет отдается следующим проблемным вопросам [3, 4, 6]:

• -    критерии защиты личных данных в приложениях ИИ являются этической дилеммой разработчиков, так как испытания надежности увеличивают их себестоимость и сроки вывода на рынок;

• -    обеспечение равенства и отсутствия дискриминации образовательных ИИ-систем не являются строго нормированными понятиями, а значит эти вопросы могут включаться в технические требования на их разработку опционально;

• -    ИИ-системы как правило обучаются на случайных наборах данных из открытых ресурсов Интернет, а использование качественного контента из источников ограниченного доступа может быть затратным или затруднительным, что позволяет утверждать о потенциальной предвзятости таких приложений;

• -    доступность решений, принимаемых ИИ, для их критической оценки потребителями и свободного выбора альтернативных вариантов, может быть ограничена в связи с психологическими особенностями пользователей и непродуманными сценариями производителей;

• -    наиболее сложная этическая дилемма связана с определением и принятием границ ответственности в случае ошибок или непредвиденных последствий поведения ИИ - должно быть понятно, как и кем будут исправлены возникшие проблемы; но принятие приемлемого уровня риска субъективно по определению и может быть искажено чрезмерным доверием человека интеллектуальной системе;

• -    автономия обучающихся, их способность к самостоятельному мышлению и критическому анализу не должна быть ограничена или заменена алгоритмами ИИ;

• -    роль учителя в условиях применения ИИ неизбежно будет меняться, но эти изменения не должны снижать важность человеческого взаимодействия и профессионального педагогического опыта;

• -    технологии ИИ должны быть доступны для всех обучающихся, включая тех, кто может иметь ограниченный доступ к ресурсам или специальные образовательные потребности;

• -    потенциальные долгосрочные эффекты от использования ИИ в образовании, включая изменения в трудоустройстве, навыках, необходимых для будущей карьеры, и влияние на общественные отношения трудно поддаются прогнозам и этической оценке.

Таким образом, этические принципы и стандарты должны быть интегрированы в процесс разработки и внедрения ИИ в образовательную среду для создания положительного и справедливого образовательного опыта для всех участников. Это требует междисциплинарного подхода, включающего взаимодействие педагогов, психологов, технических разработчиков, юристов, этнографов и других специалистов.

Внимание к рискам безопасности данных и конфиденциальности информации является ключевым аспектом обеспечения доверия к ИИ, что будет определять перспективы принятия и признания технологий ИИ, динамику их распространения и разумное масштабирование. Для повышения безопасности при использовании искусственного интеллекта требуется системно управлять рисками, в том числе [2]:

• -    применять приложения ИИ как дополнение к традиционным методам обучения;

• -    повышать информированность и квалификацию педагогов по использованию ИИ;

• -    привлекать обучающихся к разработке и оценке ИИ-систем;

• -    анализировать и учитывать мотивацию обучающихся;

• -    обеспечить контроль данных, используемых ИИ;

• -    регулярно оценивать уязвимости компьютерных приложений;

• -    соблюдать стандарты защиты данных.

С педагогической точки зрения применение ИИ в образовании для обеспечения безопасности требует адаптировать учебные программы, чтобы максимально использовать потенциал технологий и одновременно обеспечить качественное обучение. Рассмотрение психологических и педагогических аспектов является ключевым для эффективной и безопасной интеграции ИИ в образовательный процесс, для чего необходимо учитывать следующие факторы [4]:

• -    преподаватели должны обладать соответствующими навыками работы с ИИ, уметь критических оценивать результаты их применения;

• -    образовательные программы должны быть направлены на развитие навыков критического мышления, креативности, решения проблем и цифровой грамотности;

• -    ИИ должен быть разумно и дозированно интегрирован в образовательные программы и учебные курсы;

• -    образовательные программы должны включать элементы социально-эмоционального обучения для взаимодействия с ИИ;

• -    требуется использовать этические стандарты применения ИИ для повышения ответственности субъектов образовательной деятельности;

• -    при оценке учебных достижений с помощью ИИ требуются четкие критерии результативности;

• -    технологии ИИ должны стимулировать научное творчество, а не заменять его.

Верификация и валидация алгоритмов применения ИИ для образовательных целей должны обеспечивать их надежность, безопасность и эффективность. Анализ позволил выявить доступные в настоящее время методы проверки пригодности алгоритмов ИИ в образовательной среде [3, 5]:

• а)    взаимная валидация - метод, в котором данные разделяются на несколько частей и тестируется на разных выборках;

• б)    тестирование корректности отдельных компонентов ИИ;

• в)    интегрированное тестирование: проверка взаимодействия между различными компонентами ИИ-системы и другими системами или модулями, чтобы гарантировать, что они работают вместе, как предполагалось;

• г)    измерение времени отклика и скорости работы ИИ-системы при различных уровнях нагрузки для обеспечения ее масштабируемости и стабильности.

• д)    выявление потенциальных уязвимостей в ИИ-системе в процессе тестирования и испытаний;

• е)    проверка удобства использования - оценка того, насколько легко конечные пользователи (учителя, студенты, администраторы) могут взаимодействовать с ИИ-системой и насколько она удовлетворяет их потребности;

• ж)    тестирование на предвзятость - анализ алгоритмов на предмет систематических ошибок и предубеждений, которые могут привести к неравноправному или несправедливому обращению с определенными группами пользователей;

• з)    анализ робастности - проверка способности ИИ адекватно функционировать в условиях неточных, зашумленных или неполных данных;

• и)    фаззинг - автоматическая генерация большого количества неожиданных или некорректных входных данных для проверки устойчивости ИИ-системы к ошибкам;

• к)    симуляция и моделирование - создание виртуальных сред для имитации реальных образовательных сценариев, в которых ИИ-система может быть протестирована;

• л)    верификация формальными методами -использование математических методов для доказательства корректности определенных свойств алгоритма, таких как безопасность, справедливость и надежность;

• м)    мониторинг в реальном времени - наблюдение за поведением ИИ-системы в реальных условиях для быстрого выявления и устранения проблем;

н) обратная связь от пользователей - сбор и анализ отзывов от пользователей для улучшения функциональности и интерфейсов ИИ-системы.

Эти методы могут применяться как отдельно, так и в комбинации для обеспечения всестороннего тестирования и верификации алгоритмов ИИ. Важно учитывать, что тестирование и верификация - это непрерывные процессы, требующие регулярного повторения по мере обновления и модификации ИИ-систем.

Правовые рамки и стандарты регулирования ИИ в образовании варьируются в зависимости от страны, но существуют и международные инициативы в этой области, например, в ОЭСР разработаны Рекомендации по искусственному интеллекту1 (2019), направленные на продвижение инноваций и доверия к ИИ. Они включают, прежде всего, вопросы обеспечения транспарентности, безопасности и ответственности.

Глобальное партнерство по искусственному интеллекту (GPAI2) - международная инициатива, направленная на поддержку ответственного и правового использования ИИ, в том числе в образовании, проводит экспертную работу и публикует аналитические отчеты [10].

На уровне Европейского Союза разработан Общий регламент по защите персональных данных3 (GDPR), который хотя напрямую не регулирует ИИ, но устанавливает строгие правила защиты данных, применимые и к ИИ-системам.

На национальном уровне руководящие принципы для ИИ, а также различные законы, применимые также к ИИ в образовании, разработаны в большинстве стран мира или признаны международные подходы.

В России принята Национальная стратегия развития ИИ до 2030 года, которая включает в себя раздел, посвященный применению ИИ в образовании и науке [7].

Анализ показал, что разработчики ИИ зачастую самостоятельно принимают на себя обязательства по предупреждению возможного ущерба при использовании их приложений и сервисов, что сводится к следующим ограничениям и запретам:

• -    незаконная деятельность;

• -    материалы, связанные с насилием над детьми или любой контент, эксплуатирующий или вредящий детям;

• -    создание ненавистнического, оскорбительного или жестокого контента;

• -    разработка вредоносного программного обеспечения;

• -    деятельность с высоким риском причинения физического вреда;

• -    деятельность с высоким риском экономического ущерба;

• -    мошеннические или вводящие в заблуждение действия;

• -    контент для взрослых, индустрия для взрослых и приложения для знакомств;

• -    действия, нарушающие личную конфиденциальность.

Стандарты и сертификация играют ключевую роль в обеспечении безопасности искусственного интеллекта, так как они устанавливают требования и процедуры для разработки, тестирования и внедрения ИИ. Это касается унификации требований для создания безопасных ИИ-систем, требования к качеству, включая тестирование на уязвимости, ошибки и предвзятость, прозрачность процессов разработки для понимания безопасности и обеспечения доверия, правила сертификации ИИ-систем независимыми организациями, согласованность между странами и компаниями, содействие инновациям через распространение лучших методик.

Так, Институт инженеров по электротехнике и радиоэлектронике IEEE4 разрабатывает стандарты этического проектирования и безопасности для автономных и интеллектуальных систем. Институт IEEE одним из первых в международном пространстве разработал пакет стандартов по безопасному применению ИИ в различных областях деятельности, в том числе в образовании.

Международная организация по стандартизации ISO5 совместно с Международной электротехнической комиссией IEC6 разрабатывают стандарты по ИИ в рамках технического комитета ISO/IEC JTC 1/SC42, в том числе вопросы безопасности и этические аспекты. Также запланирована разработка стандарта по этическим вопросам применения ИИ в образовании в рамках деятельности технического комитета TC/ISO 232 «Education and learning services», в котором заявлены следующие принципы:

• -    ориентация на благополучие обучающихся, педагогов, разработчиков ИИ-систем;

• -    предотвращение цифрового неравенства;

• -    обеспечение гарантий прозрачности данных;

• -    предотвращение возможности манипуляции данными, академического обмана, подлога, искажения результатов;

• -    обеспечение возможности для соблюдения прав интеллектуальной собственности;

• -    конфиденциальность и защита персональных данных;

• ³     https://gdpr-text.com/ru/

• ⁴     https://www.ieee.org/

• ⁵     https://www.iso.org/home.html

• ⁶     https://www.iec.ch/homepage

• -    возможность умышленного ограничения функционала ИИ-систем при высоком уровне рисков для заинтересованных сторон.

В Российской национальной системе стандартизации издан ряд стандартов, регулирующих применение технологий искусственного интеллекта в образовании. Они включают, прежде всего, вопросы обеспечения безопасности информации. Очевидно, что в развитии этой важной работы должны принимать участие эксперты из разных областей, в том числе педагоги, психологи, юристы, философы, социологи, медики, что обусловлено непредсказуемостью последствий применения ИИ, который, по прогнозам, может стать основой очередной технологической революции.

Заключение

Таким образом, проведенное исследование позволяет сделать вывод о том, что для достижения положительного влияния ИИ на образование требуется сбалансированный подход, который включает в себя активное участие всех заинтересованных сторон, прозрачность процессов и готовность к непрерывному обучению и адаптации.

Использование ИИ в образовании открывает значительные возможности для улучшения образовательного процесса, но также несет в себе риски, которыми необходимо управлять. Образовательные организации должны разрабатывать стратегии, которые способствуют безопасному и эффективному использованию ИИ, обеспечивая при этом защиту данных, этический надзор и равный доступ к технологиям.

В контексте обеспечения безопасности применения искусственного интеллекта в образовании можно предложить следующие стратегии:

• -    разработка нормативно-правовой базы, создание законов и стандартов, регулирующих использование ИИ в образовании на междисциплинарной экспертной основе, включая защиту данных и этические аспекты;

• -    обучение и повышение осведомленности педагогов, персонала и обучающихся к работе с ИИ, включая понимание его возможностей и ограничений;

• -    регулярный мониторинг и оценка ИИ-систем на предмет эффективности, безопасности и соответствия этическим стандартам;

• -    междисциплинарный подход и сотрудничество между специалистами различных областей

для разработки и управления ИИ-системами в образовании с максимальной пользой;

• -    технологическая прозрачность ИИ-систем должна быть основой для доверия пользователей и партнеров.

Таким образом, применение ИИ в образовании несет в себе безусловные перспективы и преимущества, которые будут способствовать инновационному развитию образования. Однако, связанные с этим риски и угрозы должны находиться под пристальным вниманием исследователей, разработчиков, регуляторов и общественности, что требует, прежде всего, тщательного учета не только технических, но, прежде всего, этических и социальных аспектов, экспертной оценки со стороны человека на основе мультидисципли-нарного подхода и интеграции со стратегическими приоритетами образования.