Алгоритмическое и программное обеспечение подсистемы автоматизированного оценивания эффективности обучения на тренажерном комплексе

Компьютерные тренажерные комплексы (далее – КТК), используемые для подготовки операторов различных видов производственных процессов [1–4; 8; 9], и, в частности, операторов перегрузочных машин [10; 11], постоянно развиваются. Появляются новые версии КТК, включающие новые упражнения, новые программные модули для более адекватного физико-математического моделирования реальных производственных процессов, более точного оценивания качества выполнения упражнений и формирования советующих воздействий обучаемому в ходе их выполнений. Совершенствуются методики обучения операторов на КТК.

Как следствие возникает потребность в оценке эффективности новой версии КТК, нового комплекса упражнений, новой методики обучения по сравнению с уже реализованными и используемыми.

В работах [6; 7] рассмотрена методика оценки эффективности обучения крановщиков на КТК посредством разработки и применения соответствующего программного модуля оценки как компоненты данного КТК. Теоретической основой оценки эффективности выступают методы математической статистики, особенности использования которых описаны, например, в работе академика РАН Новикова Д.А. [5].

Рассмотренная в работе [6] методика основана на оценке состояния двух групп обучаемых – контрольной и экспериментальной, определяемой текущим уровнем сформированно-сти элементов компетенций, то есть знаний и навыков. Контрольная группа должна обучаться с применением старой версии КТК, комплекса упражнений или методики обучения, а экспериментальная группа – новой, которую планируется внедрить для повышения качества обучения. При этом оценка должна производиться минимум дважды – до и после обучения.

Актуальной научно-технической задачей является развитие данных исследований с целью совершенствования моделей и алгоритмов оценки эффективности обучения на КТК с целью повышения точности оценки применительно к специфике обучения операторов технологического процесса и уменьшения трудоемкой работы и степени субъективности специалиста, выполняющего процесс оценки.

Алгоритмическое и программное обеспечение подсистемы автоматизированного ...

Развитие методики оценки эффективности обучения на компьютерном тренажере с применением статистических методов

В качестве развития существующих исследований [6; 7] предложена усовершенствованная версия методики оценки эффективности, учитывающая комплексное оценивание результатов обучения и более простая в практическом применении. Рассмотрим детальнее шаги представленной методики:

Шаг 1. Производится сбор исходных данных о текущем уровне знаний или навыковд-вух или более групп обучаемых на определенном этапе учебного процесса, например, до или после выполнения курса упражнений на КТК. Уровень знаний может измеряться посредством тестирования (например, знаний техники безопасности на перегрузочной машине, правил эксплуатации машины и др. [11]), а уровень навыков – посредством специального итогового упражнения на тренажере.

По результатам выполнения данного шага формируется N_gr множеств значений комплексных оценок выполнения упражнения или теста: M i = { L ij | j = 1, N i } - множество значений комплексных оценок L ij для каждого j -го обучаемого из i -й группы. Здесь i = 1, N gr , где N_gr – число сравниваемых групп обучаемых, N_i – число обучаемых i -й группы.

Комплексные оценки L ij е M i выполнения итогового упражнения вычисляются аналогично описанным в работе [10] алгоритмам. Если в ходе эксперимента каждый обучаемый выполняет упражнение несколько раз, то значение L_ij вычисляется как взвешенное скользящее среднее на основе комплексных оценок каждого отдельного выполнения упражнения:

Z

Z( hLih)

^Lij = h S-----

£ h h = 1

где L_ijh – комплексная оценка h -го выполнения упражнения (всего Z выполнений).

Комплексные оценки выполнения теста могут быть использованы при проверке начального уровня знаний до обучения на тренажере с целью овладения практическими навыками.

При использовании классического варианта [5] сравнения состояний групп обучаемых, определяющего совпадение или различие состояний контрольной и экспериментальной групп до и после обучения, формируется 4 множества: M_e^b_x^ef – множество значений комплексных оценок экспериментальной группы до обучения; M_c^b_o^e_n^f – множество значений комплексных оценок контрольной группы до обучения; M_e^a_x^ft_.^. – множество значений комплексных оценок экспериментальной группы после обучения; M_c^a_o^ft_n^._. – множество значений комплексных оценок контрольной группы после обучения.

Рассмотрим в качестве примера множества комплексных оценок M_e^a_x^ft и M_c^a_o^ft_n для двух групп обучаемых (каждая из N ex = N o = 25 человек), полученных по результатам выполнения контрольного упражнения после обучения (см. Таблицу 1).

Таблица 1

Примеры комплексных оценок двух групп обучаемых

№ обучаемого	Значения комплексных оценок		№ обучаемого	Значения комплексных оценок
	aft ex	aft con		aft ex	aft con
1	0,65	0,53	14	0,72	0,6
2	0,95	0,87	15	0,9	0,43
3	0,85	0,41	16	0,98	0,63
4	0,8	0,63	17	0,8	0,64
5	0,82	0,44	18	0,73	0,4
6	0,74	0,55	19	0,6	0,54
7	0,72	0,66	20	0,92	0,82
8	0,68	0,73	21	0,96	0,89
9	0,95	0,4	22	0,74	0,8
10	0,75	0,8	23	0,76	0,43
11	0,97	0,43	24	0,87	0,58
12	0,96	0,81	25	0,76	0,7
13	0,83	0,55

Шаг 2. Осуществляется выбор статистического критерия, значение которого позволит далее определить различие состояний двух сравниваемых групп обучаемых. Поскольку комплексные оценки L ij е [0;1] представляют собой значения в шкале отношений, то выбор осуществляется из трех критериев [5; 6]: Крамера – Уэлча; Вилкоксона – Манна – Уитни; критерия однородности «хи-квадрат».

В процессе выбора критерия учитывается множество значений:

Mpar = {V, Ndf, Ndf, Nk, Nk , Ns, N } , где V – индикатор, определяющий, что требуется проверить различие или совпадение только значений математического ожидания (при V = 0 ) либо значений всех возможных статистических величин (при V = 1 ); Ndif - число различающихся значений во множествах Mk и Ms , соответствующих результатам k -й и s -й групп обучаемых (например, Mf и Mf ); Nk, Ns - мощности множеств Mk и Ms соответственно; Nd if , Nk, Ns' - пороговые значения величин Ndif , Nk, Ns соответственно (изначально в настройках установлены рекомендуемые значения: Ndf = 10, N'k = 50, N’ = 50 [5; 6], которые далее можно изменить, в том числе на основе результатов анализа данных об учебном процессе).

На Рисунке 1 в форме диаграммы Activity UML представлен алгоритм выбора статистического критерия в зависимости от комбинации значений из множества M_par . Специалисту, выполняющему оценку, согласно алгоритму предлагаются рекомендуемые статистические критерии (окончательный выбор осуществляет сам специалист).

Алгоритмическое и программное обеспечение подсистемы автоматизированного ...

Рисунок 1. Алгоритм выбора статистического критерия

Для рассматриваемого примера предположим, что требуется проверить различие или совпадение только значений математического ожидания ( V = 0 ), поэтому выбираем критерий № 1 (Крамера – Уэлча).

Шаг 3. Автоматически вычисляется эмпирическое значение выбранного критерия на

основе значений комплексных оценок из множеств Mk и Ms . Для рассматриваемого при- мера выбран критерий Крамера – Уэлча, эмпирическое значение которого вычисляется по формуле [5; 6]

em T ks

\N\N- L - L_s\

N k D k + N s D s ’

1 Nk где Lk = ~ 2 Lj k j=1

Ns и L = N 2 Lj

N s j = 1

– значения выборочных средних;

1     N k

D k = n tt 2 ⁽ L kj - L k ) 2

k      j = 1

и D_s

N s — 1

N s

2 ( L sj - L s ) 2 - значения выборочных дисперсий. j = 1

Расчет эмпирических значений критерия Вилкоксона – Манна – Уитни и критерия однородности «хи-квадрат» производится по формулам, представленным в работах [5; 6].

Результаты исследования состояний двух или более групп обучаемых представим матрицей

em T11 em T12 em T1Ngr ) Mem = em T21 em T22 em T2Ngr em ^ TN gr 1 em TNgr2 em TNgrNgr у em где Tks – эмпирическое значение критерия при сравнении двух групп обучаемых.

В частности результаты исследования состояний контрольной и экспериментальной групп обучаемых до и после профессиональной подготовки можно представить матрицей

em T11 em T12 em T13 em T14 Mem = em T21 em T22 em T23 em T24 , значения которой вычисляются em T31 em T32 em T33 em T34 em IT41 em T42 em T43 em T44 у на основе множеств комплексных оценок Mebxef , Mcboenf , Meaxft, Mcaoftn .

В Таблице 2 дано пояснение, сравнению каких групп обучаемых соответствует каждый элемент матрицы M em .

Таблица 2

Значения элементов матриц M em и M _st .

Группа Эксп. группа до обучения Эксп. группа после обучения Контр. группа до обучения Контр. группа после обучения Эксп. группа до обучения em. st. Т11 , I11 _ 1 em. st. T12 , I12 em. st. T13 , I13 em. st. T14 , I14 Эксп. группа после обучения em. st. T21 , I21 em. st. Т22 , I22 _ 1 em. st. T23 , I23 em. st. T24 , I24 Контр. группа до обучения em. st. T31 , I31 em. st. T32 , I32 em. st. T33 , I 33 _ 1 em. st. T34 , I34 Контр. группа после обучения em. st. T41 , I41 em. st. T42 , I42 em. st. T43 , I43 em. st. Т44 , I44 _ 1 em em

Для данных, представленных в Т аблице 2, приведем пример расчета значения T 24 = Т 42 :

_ y NN T L - Ls\ *

Т em

N k D k + N s D s

* 5,33 .

Шаг 4. Производится сравнение эмпирического и теоретического значений статисти- ческого критерия с целью определить, совпадают (Isst = 1 ) или различаются (Ikt = 0 ) состояния двух групп обучаемых.

Вem рассматриваемом примере эмпирическим значением критерия является Tks , а тео ретическим - Та , (для уровня значимости а = 0,05 [5; 6]). Соответственно, значение Ikt вычисляется по формуле

Алгоритмическое и программное обеспечение подсистемы автоматизированного ...

I em

1, Tks em где Ta = 1,96 .

0, T_ks

Результаты сравнения состояний двух или более групп обучаемых на основе матрицы M _em представим следующим образом:

	f 1	st I 12	Т st I 1 N gr
M st =	I 2 st 1	1	st I 2 Ngr
	st ^ I Ngr 1	st I Ngr 2	1 7

,

где I_k^st_s – индикатор совпадения или различия состояний двух групп обучаемых.

В частности результаты исследования состояний контрольной и экспериментальной групп обучаемых до и после профессиональной подготовки можно представить матрицей

M ’ t =

st I 11	st I 12	st I 13	st I 14
st I 21	st I 22	st I 23	st I 24
1 31	st I 32	st I 33	st I 34
Ist ( I 41	st I 42	st I 43	st I 44 J

, значения которой вычисляются на основе матрицы M em .

В Таблице 2 дано пояснение, сравнению каких групп обучаемых соответствует каж- дый элемент матрицы Mem . Для рассматриваемого примера T™' = T42m' ® 5,33 > 1,96, поэтому согласно формуле выше получаем значение 124 = 142 = 0, то есть имеет место различие состояний контрольной и экспериментальной групп после обучения.

Для принятия решения об эффективности методики или технологии обучения поми- st.

мо значения Iks также используются другие параметры, в частности средние значения комплексной оценки Lk и Ls , показывающие, у какой из групп результаты лучше.

Разработка веб-приложения для оценки эффективности обучения на КТК

На основе описанной выше методики реализован прототип подсистемы (в форме вебприложения) для оценки эффективности обучения на КТК. Опишем основные функциональные возможности специалиста по оценке эффективности с применением данной подсистемы и соответствующие макеты веб-интерфейсов.

На Рисунке 2 представлен веб-интерфейс с перечнем результатов оценивания групп обучаемых, проходивших профессиональную подготовку с применением определенных методик, технологий и средств, либо до подготовки. Доступны: добавление нового результата, редактирование или удаление существующего.

Пример веб-интерфейса для добавления нового или редактирования существующего результата оценивания показан на Рисунке 3.Специалист добавляет краткое и детальное описание группы обучаемых, отражающие особенности процесса обучения. Допустимы получение информации непосредственно из БД КТК (если контрольное упражнение или тест выполнялись на КТК) или загрузка электронной таблицы определенной структуры, содержащей необходимые данные. На Рисунке 3 показан загруженный предварительно подготовленный файл электронной таблицы.

Перечень результатов оценивания групп обучаемых

№	Краткое описание группы обучаемых
1 Хх	Группа К-20-1 (конт.) до обучения.
2_Хх	Группа К-20-2 (эксп.) до обучения.
3 Хх	Группа К-20-3 (эксп.) до обучения.
4 Хх	Группа К-20-1 (конт.) после обучения.
5 Хх	Группа К-20-2 (эксп.) после обучения.
6 Хх	Группа К-20-3 (эксп.) после обучения.

Добавить новый результат оценивания

Рисунок 2. Перечень результатов оценивания групп обучаемых

N£ результата оценивания	2
Краткое описание группы обучаемых	|Группа К-26-2 ( эксп .) до обучения.
Детальное описание группы обучаемых	Группа К-20-2 ( эксп .) до обучения по новому комплексу упражнений *1.
Исходные данные о результатах оценивания группы (значения комплексных оценок)	О Не выбрано Выбрать результаты упражнения или теста ; S3) Результаты упражнения К-20-2 (17.11.20) Загрузить из файла

Рисунок 3. Результаты оценивания группы обучаемых (пример № 1)

На Рисунке 4 показан загруженный результат оценивания группы обучаемых, хранящийся в БД КТК.

№ результата оценивания	5
Краткое описание группы обучаемых	Группа К-20-2 ( эксп .) после обучения.
Детальное описание группы обучаемых	Группа К-20-2 ( эксп .> после обучения по новому комплексу упражнений №1.   ,
Исходные данные о результатах оценивания группы (значения комплексных оценок)	У Контрольное упражнение на перенос груза с препятствиями, группа К-20-2. 18.02.21 . Выбрать результаты упражнения или теста О Не выбрано Загрузить из файла

Рисунок 4. Результаты оценивания группы обучаемых (пример № 2)

С целью сравнения состояний двух групп обучаемых специалист выбирает требуемые для сравнения результаты обучения (см. Рисунок 5).

После нажатия ссылки «Произвести сравнение» (см. Рисунок 5), автоматически формируется таблица с результатами сравнения состояний двух групп обучаемых (см. Рисунок 6).

После нажатия ссылок «Состояния различны» или «Состояния совпадают» (см. Рисунок 6), подробная информация о результатах сравнения состояний отображается в вебинтерфейсе в наглядной форме (см. Рисунок 7). На основе алгоритма, представленного

Алгоритмическое и программное обеспечение подсистемы автоматизированного ...

на Рисунке 1, осуществляется автоматический выбор рекомендуемого статистического критерия. Окончательное решение о выборе критерия принимает специалист.

Выбранные группы обучаемых	<=	Перечень всех групп обучаемых
Группа К-20-1 (конт.) после обучения.		Группа К-20-1 (конт.) до обучения.
Группа К-20-2 (эксп.) после обучения.		Группа К-20-2 (эксп.) до обучения.
Группа К-20-3 (эксп.) после обучения.		Группа К-20-3 (эксп.) до обучения.

Произвести сравнение

Рисунок 5. Выбор результатов обучения для сравнения

	Группа К-20-1 (конт.) после обучения.	Группа К-20-2 (эксп.) после обучения.	Группа К-20-3 (эксп.) после обучения.
Группа К-20-1 (конт.) после обучения.		состояния ра зли ины	состояния совпадают
Группа К-20-2 (эксп.) после обучения.	состояния разлиины		состояния разлиины
Группа К-20-3 (эксп.) после обучения.	состояния совпадают	состояния разлиины

Рисунок 6. Результаты сравнения состояний групп обучаемых

Первая группа	Группа К-20-1 (конт.) после обучения. Выбрать группу
Вторая группа	Группа К-20-2 (эксп.) после обучения. Выбрать группу
Выбор статистического критерия	• критерий Крамера-Уэлча (рекомендуемый) О критерий Вилкоксона-Манна-Уитни О критерий однородности «хи-квадрат»
Состояния групп	отличаются Ф
Насколько лучше или хуже результат одной группы по сравнению с другой	результат второй группы лучше » на 35% Ф
Примечание специалиста	Отсутствует.
Соответствие результата цели сравнения состояний двух групп	® соответствует О не соответствует

Рисунок 7. Детальные результаты сравнения состояний двух групп обучаемых

На основе настроек исходных данных и процесса оценивания автоматически производятся:

• •    расчет требуемых статистических величин (в частности, выборочные средние, выборочные дисперсии, группировка данных) и эмпирических значений статистического критерия;

• •    определение совпадения или различия состояний двух групп на основе сравнения эмпирического и теоретического значений критерия;

• •    определение различия средних комплексных оценок двух групп обучаемых.

Получить более подробные результаты вычислений возможно нажатием символа информации. Также специалист может добавить примечания исходя из собственного анализа результатов сравнения, указать, соответствует ли полученный результат цели сравнения.

На Рисунке 8 представлен классический вариант [5; 6] сравнения состояний групп обучаемых, определяющий совпадение или различие состояний контрольной и экспериментальной групп до и после обучения.

Контрольная группа (до обучения)	Группа К-20-1 (кант.) до обучения. Выбрать группу
Контрольная группа (после обучения)	Группа К-20-1 (конт.) после обучения. Выбрать группу
Экспериментальная группа (до обучения)	Группа К-20-2 (эксп.) до обучения. Выбрать группу
Экспериментальная группа (после обучения)	Группа К-20-2 (эксп.) после обучения. Выбрать группу
Выбор статистического критерия	0 критерий Крамера-Уэлча (рекомендуемый) О критерий Вилкоксона-Манна-Уитни О критерий однородности «хи-квадрат»
Состояния групп до обучения	равны Ф
Состояния групп после обучения	отличаются Ф
Насколько лучше или хуже результат экспериментальной группы после обучения	лучше » на 35% Ф
Примечание специалиста	Отсутствует.
Соответствие результата цели сравнения состояний двух групп	0 соответствует О не соответствует

Рисунок 8. Сравнение состояний контрольной и экспериментальной групп до и после обучения

Таким образом, веб-приложение позволяет на основе исходных данных о процессе обучения выполнить автоматически трудоемкие расчеты и представить специалисту в наглядном виде необходимую информацию об оценке эффективности обучения на КТК по определенной методике или технологии для дальнейшего принятия решений.

Заключение

Представлены результаты развития исследований в области разработки математического и программного обеспечения подсистемы КТК, предназначенной для оценки эффективности обучения с применением КТК.

• 1.    Разработана усовершенствованная методика для оценки эффективности различных подходов и технологий обучения на КТК с применением методов математической статистики. Методика учитывает комплексное оценивание результатов обучения и более про-

• Алгоритмическое и программное обеспечение подсистемы автоматизированного ...

• 2.    Реализован прототип подсистемы КТК для оценки эффективности обучения в форме веб-приложения. Применение подсистемы позволяет упростить работу специалиста, а именно:

ста в практическом использовании. Применение методики позволит повысить точность и снизить трудоемкость процесса оценки эффективности.

• •    гибко настроить все исходные данные для осуществления процесса оценкиэффек-тивности;

• •    автоматически вычислять необходимые параметры на основе исходных данных и представлять в наглядном виде для дальнейшего принятия решений;

• •    структурированно хранить и представлять историю проведения экспериментов по оценке эффективности.