Technology to forecast educational results (on the example of “Chemistry” studied by students of construction and engineering university)

Педагогическое прогнозирование, в отличие от других разделов науки о будущем состоянии исследуемого объекта, сопряжено с рядом сложностей. Это связано со сложностью прогнозируемого объекта: изменчивой личностью студента, развитие которой зависит от ряда факторов, как внешних, так и внутренних. Формализация упрощает объект и не позволяет включить в модель все показатели, факторы и взаимосвязи. Педагогическое прогнозирование стало независимой областью исследований во второй половине XX века с работ Э.Г. Костяшкина, который предполагал развитие школ на два десятка лет вперёд. На данный момент эта отрасль науки развивается большей частью в странах постсоветского пространства, следует перечислить фамилии ведущих исследователей: М.Г. Коляды и Т.И. Бугаёвой [1], М.А. Хайруддинова,

А.Ф. Присяжной, Л.А. Регуш, Б.С. Гершун-ского, В.И. Загвязинского, А.В. Захарова, А.И. Карманчикова, Л.Е. Никитиной и др. В зарубежных исследованиях вместо термина ‘pedagogical forecasting’ применяют термины ‘Educational Data Mining’ и ‘Learning Analytics’ (хотя в последние годы и в отечественной литературе появляются работы в области образовательной аналитики). Образовательная аналитика посвящена эмпирическим исследованиям, направленным на обработку log-файлов дистанционного обучения и на поиск связей в имеющихся данных. В отличие от отечественных учёных, зарубежные коллеги проводят узконаправленные эксперименты с применением современных компьютерных технологий. Ведущими исследователями в области образовательной аналитики являются С. Ромеро, С. Вентура, А. Датт, Р.С. Бэйкер; последние систематические анализы написаны такими учёными: Р. Ахаджем, А. Джха, Р. Маурьей, Р. Шриваставой [9]; С. Бхарарой, С. Сабитом, А. Бансалом [10]; А.А. Саа, М. Аль-Эмраном, К. Шааланом [12]; С.А. Сал-лумом, М. Альшуридехом, А. Эльнагаром, К. Шааланом [11]. Несмотря на огромное количество статей, выпускаемых журналом Journal of Educational Data Mining1, теоретические и методологические основы разработки педагогических прогнозов рассмотрены недостаточно. Поиск в интернет-пространстве и в научной литературе по запросу «экспресс-технология прогнозирования» не дал положительных результатов для педагогических прогнозов, поэтому можно предположить, что русскоязычные исследователи не проводили работу в данном направлении.

Постановка задачи

Целью данного исследования является разработка технологии прогнозирования оценки будущих инженеров-строителей в ходе изучения курса «Химия», которая бы позволяла предугадывать образовательные результаты за весь курс на первых занятиях; для достижения цели необходимо решить задачи: подобрать минимальный перечень показателей для прогноза и критерии достаточной точности; найти оптимальный (минимальный) срок разработки прогнозов.

Материалы и методы

Многие педагогические прогнозы направлены на предсказание образовательных результатов школьников, а преподаватели вузов сталкиваются с рядом дополнительных трудностей. Некоторые дисциплины преподаются только один семестр. Лекции и лабораторные занятия иногда преподаются разными преподавателями. В отличие от школьного учителя, преподаватель встречается со студентами только в деловой обстановке. Необходимо учитывать особенности студентов, влияющих на темп, время появления образовательных результатов и их качество. Однако у преподавателя на первых занятиях появляется только информация о результатах прохождения входного контроля. Наше исследование проведено на примере дисциплины «Химия», которая изучается студентами на первом курсе, поэтому трудно отличить особенности личности обучаемого, которые будут способствовать эффективному обучению (или препятствовать ему), от временного пси- хологического состояния, связанного с адаптацией к новым условиям обучения в вузе. На педагогические, как и на все социальные прогнозы, оказывают большое влияние внешние факторы (включая условия проживания, отношения в студенческом коллективе и ряд других, не зависящих от образовательной системы вуза). Поэтому преподавателю-предметнику приходится работать в условиях неполноты исходной прогнозной информации. Для решения подобных задач применяют системы, основанные на теории нечётких множеств, нейронные сети, генетические алгоритмы, кластерный анализ, OLAP-кубы, регрессионный анализ, дерево решений, факторный анализ, контент-анализ. Кроме этого, необходима экспресс-технология прогнозирования, которая бы позволяла разрабатывать прогнозы на первых занятиях, что позволило бы устранить пробелы в знаниях на ранних этапах обучения. Частично эта задача решена нами при разработке технологии динамического прогнозирования [6], но рассмотренная в этой статье процедура позволяет создавать прогнозы при наличии «больших данных» (Big Data) и при её применении нельзя прогнозировать образовательные результаты в рамках одной дисциплины. В.А. Шевченко [8] в ходе исследования пришёл к выводу, что для достоверного прогнозирования образовательных результатов будущих инженеров-строителей лучше всего подходят процедуры кластерного анализа, которые позволяют разбиение объектов по ряду параметров. В [2] в качестве процедуры разбиения объектов на определённое число групп нами предложен метод k-средних. Алгоритм случайным образом выбирает объекты в роли центров будущих кластеров (всего таких центров k, что и дало название методу), рассчитывает расстояния между каждым центром и объектом, выбирая вариант с наименьшим расстоянием между объектами внутри кластера и наибольшим расстоянием между центрами.

В отличие от зарубежных коллег, в отечественной науке наблюдается разделение на сторонников применения технических и гуманитарных наук в ходе исследований. Мы считаем, что разрабатываемая технология должна быть простой, чтобы была возможность применения учёными, которые не имеют специальных знаний в области программирования. В качестве компьютерного средства выбрана программа Statistica 13, которая позволяет в автоматическом режиме проводить анализ данных; так как для пользователя нет необходимости знаний принципов работы алгоритмов, математический и статистический аппарат в рамках данной статьи сведён к минимуму.

Экспериментальное исследование

Экспериментальной базой выбраны студенты ГОУ ВПО «Донбасская национальная академия строительства и архитектуры», обучающиеся по направлениям подготовки 08.03.01 «Строительство», 23.03.03 «Эксплуатация транспортно-технологических машин и комплексов», 15.03.02 «Технологические машины и оборудование»; 23.03.02 «Наземные транспортно-технологические комплексы»; 20.03.01 «Техносферная безопасность»; 21.03.02 «Землеустройство и кадастры». Все студенты вышеуказанных направлений подготовки на первом курсе бакалавриата изучают курс «Химия», включающий 36 часов лекционных занятий и 36 часов – лабораторные работы. За каждое лабораторное занятие студенты имеют возможность получить пять баллов, а также 10 баллов за участие в предметной олимпиаде либо за выступление на конференции. Таким образом, студенты имеют возможность получить «автоматом» экзаменационный балл. Разрабатываемая технология должна позволять прогнозировать число студентов, которые предположительно будут сдавать экзамен. Собраны результаты текущего контроля (с точностью до 0,5 балла) 298 студентов из 19 академических групп (2017–2019 гг., пять учебных семестров) за первые три занятия: по входному контролю, по лабораторной работе по теме «Определение эквивалентной массы неизвестного металла» и по самостоятельной работе по теме «Периодический закон», а также итоговые баллы, которые рекомендованы студентам для получения «автоматом»

В конце каждого занятия студентам предлагалось оценить свои знания по химии по 100-балльной шкале; в базу данных занесён средний результат самооценивания (0–100). По завершении третьей учебной недели преподаватель, проводящий лабораторные работы, создал прогноз экзамена по шкале ESTC (0–100). Также собрана информация о посещении занятий (из трёх лекций и трёх лабораторных работ; 0–6). Фрагмент собранной базы исходных данных представлен в табл. 1.

Поскольку собранная информация соби- ралась с использованием разных типов шкал, рекомендуется проводить стандартизацию данных, прежде чем применять интеллектуальный анализ дидактических данных [1, 8]:

S’ =

° зн

^ исх ^ ср ^ откл

где S зн – стандартное значение; E исх – исходное значение; E ср – среднее значение; S откл – стандартное отклонение.

Оптимизация прогнозирования проводи- лась в двух направлениях: повышение точности прогноза, поиск раннего этапа разработки прогноза. Предварительно создан ряд гипотез:

Гипотеза 1. Студентов можно разбить на три кластера: получившие положительный балл; достигшие удовлетворительного результата; студенты, которым обязательно необходимо сдавать экзамен для получения оценки «удовлетворительно».

Гипотеза 2. Можно спрогнозировать оценку по 4-балльной шкале: «отлично», «хорошо», «удовлетворительно», «неудовлетворительно».

Гипотеза 3. Можно спрогнозировать оценку по шкале ESTC: A (90 баллов и выше), B (80), C (75), D (65), E (60), F (ниже 60 баллов, «неудовлетворительно»).

Как было указано выше, программа Statis-tica проводит кластерный анализ в автоматическом режиме, поэтому промежуточные расчёты в данной статье не указаны. Провели анализ методом k -средних для стандартизованных данных за три недели обучения, при k = 3; k = 4 и k = 6 для проверки гипотез 1, 2 и 3 соответственно.

Фрагмент исходных данных для разработки педагогического прогноза

Таблица 1

№	Фамилия (изменена)	Балл по входному контролю	Сумма баллов за 3 занятия	Число посещённых занятий	Самооценка	Прогноз преподавателя	Итоговый балл за 2 учебных модуля
1	Иванов	3,5	10,5	6	62	65	72
2	Петров	2	9,5	5	50	40	41
298	Алексеев	5	14,5	6	92	90	90

Гипотеза 4. Экспресс-прогноз можно создавать после третьей недели обучения будущих инженеров-строителей.

Гипотеза 5. Прогноз можно проводить после проведения лабораторной работы (на второй неделе обучения).

Гипотеза 6. Можно создать прогноз с достаточной точностью после проведения входного контроля.

Для проверки гипотез 4, 5, 6 проанализировали данные по завершении третьей, второй и первой недель обучения соответственно методом k -средних для k = 3.

Гипотеза 7. Невозможно разработать экспресс-технологию прогнозирования, которая бы позволяла в течение первых трёх недель обучения студента-первокурсника определить его балл с точностью не менее 80 % сбывшихся прогнозов.

Гипотеза 8. Прогнозирование с применением кластерного анализа эффективнее, чем «интуитивное» прогнозирование преподавателя и самопрогнозирование студентов.

Результаты исследования

Результаты проверки эффективности прогнозов, построенных с применением кластерного анализа (метод k -means) полученных для разных периодов основания ( t осн – промежутка времени, на базе которого разрабатывается прогноз) и для разного числа кластеров, на которые разбиваются студенты из исследуемых академических групп, представлены в табл. 2.

В табл. 2 под «сбывшимися» прогнозами понимаем объекты, верно отнесённые к тому либо иному кластеру; доля ошибочных прогнозов рассчитана по формуле

^ = (1 - £^ ) ^х 100%, (2) где Ж - доля ошибочных прогнозов; п₊ - число «сбывшихся» прогнозов; ^N = 298 - число студентов из экспериментальной группы.

• Е .О. Кравец в качестве показателя высо-

• кой точности берёт значение погрешности менее 10 % [3, c. 71]; видим, что ни один из прогнозов не подходит под данный критерий. Однако при применении экспресс-технологии не обязательно достигать лучших результатов, достаточно составить прогноз «хорошей» точности (с погрешностью не выше 20 %). В связи с этим мы вынуждены отказаться от выдвинутых ранее гипотез 2, 3, 5, 6. Таким образом, можно разработать хороший педагогический прогноз после завершения третьей недели обучения студентов-первокурсников, которые можно разбить на три кластера: получившие положительный балл; достигшие удовлетворительного результата; студенты, которым обязательно необходимо сдавать экзамен для получения оценки «удовлетворительно».

Сравнение прогнозов образовательных результатов студентом, преподавателем и результатов применения интеллектуальных систем изображены на рис. 1.

Прогнозирование с применением кластерного анализа эффективнее как прогнозов преподавателей, так и самопрогноза студентов, так как в качестве исходных данных для проведения анализа по методу k -средних включает в себя данные прогнозов преподавателей и студентов. Студенты на первом занятии характеризуются завышенными ожиданиями своего балла по курсу «Химия» (201 студент из 298 испытуемых спрогнозировал завышенные результаты освоения химии), к третьей неделе качество самопрогноза повышается, причём число студентов с завышенными ожиданиями не на много превышает студентов-«пессимистов» (50,34 и 26,51 % соответственно). Преподаватель допускает ошибки как в большую, так и в меньшую сторону примерно в равной степени (23,49 и 24,16 % соответственно). Студент-первокурсник оказывается в новых для него условиях обучения: требования преподавателей, новый

Таблица 2

Результат проверки гипотез, на основании которых строится технология прогнозирования

Проверяемая гипотеза	k = 3 t осн = 3 недели	k = 4 t осн = 3 недели	k = 6 t осн = 3 недели	k = 3 t осн = 2 недели	k = 3 t осн = 1 неделя	Прогноз преподавателя t осн = 3 недели	Самопрогноз студентов t осн = 3 недели
Число «сбывшихся» прогнозов	257	135	52	218	36	156	69
Доля ошибочных прогнозов, %	13,76	54,70	82,55	26,85	87,92	47,65	76,85

■ "оптимистический" прогноз ■ "пессимист" прогноз ■ "сбывшийся" прогноз

Результаты прогнозирования, полученные разными составителями прогноза коллектив, проживание в общежитии и ряд других факторов прогнозного фона. Ряд студентов, отлично написавших входной контроль, перестают посещать занятия, а получившие неудовлетворительный балл, но мотивированные получением стипендии, нередко оказываются успешными. Как преподавателю, так и студенту трудно разработать прогноз в таких условиях неполноты информации. А интеллектуальные системы помогают находить незаметные связи между данными, поэтому позволяют получать прогнозные данные удовлетворительной точности. Следовательно, без применения средств компьюта-ционной педагогики современный преподаватель вуза не может обойтись.

Разработанная технология состояла (как и любой педагогический прогноз) из трёх последовательных стадий [4, 5]:

• 1.    Стадия ретроспекции . Для создания более точного прогноза рекомендуем включать в модель образовательные результаты студентов предыдущих лет, обучающихся на тех же направлениях подготовки, что и студенты из экспериментальных групп, которые станут центрами построения кластеров.

• 2.    Стадия анализа диагностической информации . Она состоит из ряда процедур:

  – проведение самопрогнозирования студентов по 100-балльной шкале (вычисление среднего значения для трёх самопрогнозов); данная процедура позволит учесть (и в какой-то степени сформировать) когнитивный и коммуникативный компоненты формирования прогностических компетенций;

• – проведение интуитивного прогноза образовательных результатов преподавателем по 100-балльной шкале;

  – сбор информации о посещении студентами как лабораторных, так и лекционных занятий; данный этап позволяет учесть мотивационный компонент формирования компетенций; рекомендуем преподавателю-аналитику учитывать эту информацию в ходе создания своего прогноза;

  – сбор информации об успехах студентов в ходе прохождения текущего контроля на трёх занятиях; на этом этапе рекомендуем провести входной контроль и включить результаты хотя бы одной лабораторной работы, если она предусмотрена рабочей программой, чтобы учесть деятельностный компонент формирования компетенций; рекомендуем не включать в одну модель разнородные данные (например, если студенты изучают разные темы или значительно различаются по уровню начальных знаний);

  – стандартизация; программа Statistica позволяет осуществить процедуру нажатием одной клавиши;

  – кластеризация методом k -means ( k = 3);

  – проведение прогнозирования с применением теории нечётких множеств (технология рассмотрена в нашей статье [7]).

• 3.    Стадия проспекции. Сравнение результатов разбиения на кластеры с кластерами, которые образованы студентами предыдущих лет, взятыми в качестве эталона, а также с моделью, построенной с применением теории нечётких множеств.

Экспресс-технология при наличии оцифрованной необходимой информации занимает не более трёх минут времени даже для большого количества исходной информации. Может быть полезна преподавателям (для рекомендации посещения студентами, которые предположительно не смогут самостоятельно достичь хороших результатов, консультаций и для более эффективного распределения времени экзаменационной сессии), студентам (как дополнительная мотивация к изучению ряда проблемных дисциплин, особенно если в школе с этими предметами не возникало сложностей), кураторам и заместителям деканов по учебной работе (для поиска «проблемных» студентов и предотвращения/устранения академических задолженностей в начале семестра).

В дальнейшем планируется проверка эффективности технологии на других дисциплинах, внедрение разработанных процедур в технологию, предназначенную для прогнозирования образовательных результатов за весь период обучения, а также проработка теоретических и методологических основ педагогического прогнозирования.

Ташкинов Юрий Андреевич , ассистент кафедры прикладной химии, Донбасская национальная академия строительства и архитектуры, г. Макеевка; аспирант кафедры инженерной и компьюта-ционной педагогики, Донецкий национальный университет, г. Донецк, j.a.tashkinov @gmail.com.