Модели и процедуры интервальной оценки результатов контроля знаний в компьютерных системах тестирования ВМФ

Для того чтобы осуществлять военнопрофессиональную подготовку специалистов ВМФ необходима соответствующая учебноматериальная база. Основу такой базы раньше всегда составляли действующие учебные и тренировочные образцы военной техники и вооружения, которые ранее поступали в военно-морские учебные заведения в достаточном количестве и обеспечивали необходимый уровень как теоретической, так и практической подготовки будущих офицеров ВМФ. В результате резкого сокращения в 1990 годы отраслей военнопромышленного комплекса, разрабатывающих технику и вооружения для ВМФ, новейшие образцы этой техники и вооружений теперь изготовляются не сериями, а отдельными экземплярами. Вопрос о производстве учебных и тренировочных образцов не стоит вообще. В этих условиях в качестве единственного средства, способного обеспечить военно-профессиональную подготовку, могут рассматриваться только виртуальные аналоги образцов военной техники и вооружения, разрабатываемые средствами информационных технологий, т. е. тренажерно-обучающие системы (ТОС) ВМФ.

В тенденциях развития ТОС ВМФ отмечается следующий ряд основных противоречий: 1) между ростом возможностей ТОС как средств моделирования управляемых объектов и неизменностью их дидактических характеристик; 2) между необходимостью индивидуализации процесса подготовки и ограниченными психофизиологическими возможностями обучающих по управлению обучением в группах с количественным составом более 5–7 обучаемых; 3) между ростом числа и сложности задач управления обучением и неизменностью психофизиологических возможностей руководителей обучения. В качестве средства разрешения этих противоречий рассматривается автоматизация в ТОС ВМФ функций управления обучением.

Ключевой функцией, без автоматизации которой нельзя автоматизировать все остальные функции управления обучением, является функция педагогического контроля качества подготовки обучаемых.

Качество реализации в ТОС ВМФ функции контроля качества подготовки различно в отношении знаний и действий (умений и навыков) обучаемых.

В направлении автоматизации функции оценивания деятельности выполнен целый ряд исследований (Челышкова М.Б [31], Вадзинский Р.Н [3], Ю.А. Ветров [4], Ю.Ф. Волынец [5], В.Н. Иванов [8], В.Д. Мосин [11], Д.А. Печников [13–15], А.Н. Платов [16], В.Ю. Пузырев [17], А.А. Ско-ров [19], А.М. Стручков [20], Е.В. Хекерт

[23, 24], О.Е. Чудаков [25], К.Ю. Шилов [26], Н.В. Щербаков [27] Kaftandjieva, F [36]), Wim J. van derLinden [37] завершившихся созданием оригинальной автоматизированной системы оценки, которая прошла испытания и внедряется в программное обеспечение перспективных ТОС ВМФ.

В направлении автоматизации функции оценивания знаний выполнено менее значительное число исследований. Первая их группа (В.Н. Наумов [12], А.Н. Ханников [29], П.В. Филиппов [28]) носит поисковый характер и ориентирована на создание технологий искусственного интеллекта. На совершенствование моделей и процедур тестирования направлена вторая группа исследований (Р.Р. Туктаров [21], А.О. Туровская [22]), которые были направлены на совершенствование моделей и процедур оценивания отдельных видов тестовых заданий и не касались вопросов управления процессом тестирования.

На достижение целей контроля усвоения знаний в ТОС ВМФ ориентирована компьютерная система тестирования военного назначения (КСТ ВН) “Система автоматизированного контроля (САК)”, которая входит в состав комплекса программ инструментальных средств (КПИС) “Медиатор”. Эта КСТ является типичным представителем современных КСТ и полностью соответствует современному уровню их развития.

ГОСТ РВ 51540-2005 [6] и ГОСТ РВ 15.205-2004 [7] определяют КСТ по функциональному предназначению как продукцию двойного назначения и относятся КСТ к комплектующим изделиям межотраслевого применения (КИМП), представляющим собой “изделие военной техники (ВТ), предназначенное для выполнения определенных технических функций в составе изделий ВТ или их составных частей, создаваемое не для конкретного изделия ВТ по самостоятельным комплектам и не подвергаемое изменениям в процессе создания изделий ВТ, в котором его применяют”. В соответствии с классификациями, приведенными в ГОСТ РВ 51540-2005 [6] и ГОСТ Р 50-60580-93 [7], КСТ должны быть необходимо отнесены к изделиям ВТ, которые входит в категорию учебно-тренировочных средств, принадлежащих к учебной военной техники как виду военной техники.

Основная часть

В настоящее время в компьютерных системах тестирования наибольшее распространение получили тестовые задания закрытого типа с единственным верным ответом. Задания этого типа применяются не менее чем в 92% случаев. В рассматриваемых тестовых заданиях успешность выполнения задания оценивается путем установления факта совпадения ответа обучаемого с заранее заданным правильным вариантом ответа. Любой другой вариант ответа является неправильным. Для последующей статистической обработки результаты (верно– не верно) выполнения таких тестовых заданий представляются представляет в виде дихотомическая переменной (0 – 1).

Безошибочность (правильность) ответов обучаемого определяется в виде показателя частности B , который имеет вид:

n

I j

B = -==1— (1) n где i (г = 1, n) - номер тестового задания, n - общее число тестовых заданий, j (j = 0,1) результат выполнения отдельного тестового задания в тесте j = 1 - верный ответ, j = 0 -неверный ответ.

Все существующие модели и процедуры обработки результатов выполнения систем тестовых заданий основаны на точечной оценке вида (1). Эти точечные оценки результатов тестирования не обеспечивают оперативность процедуры и не вполне обеспечивают достоверность результатов тестирования. Ниже предлагаются модели и процедуры интервальной оценки результатов выполнения систем тестовых заданий тестовые задания закрытого типа с единственным верным ответом.

Предлагаемые модели и процедуры базируются на том факте, что показатель “правильность” является дихотомической переменной, а процедура его определения в процессе решения обучаемым тестирующей выборки из n заданий соответствует схеме Бернулли.

Схемой Бернулли называется последовательность независимых в совокупности испытаний, в каждом из которых возможны лишь два исхода – “успех” и “неудача”, при этом успех в одном испытании происходит с вероятностью p е (0,1), а неудача - с вероятностью q = 1 - p . “Схема Бернулли лежит в основе таких целочисленных распределений, как биномиальное, геометрическое и отрицательное биномиальное [4].

Для корректного применения схемы Бернулли должны быть выполнены следующие условия [1]: 1) каждое испытание имеет ровно два исхода, условно называемых успехом и неудачей; 2) независимость испытаний: результат очередного эксперимента не должен зависеть от результатов предыдущих экспериментов; 3) вероятность успеха должна быть постоянной (фиксированной) для всех испытаний.

Выполнение первого условия определяется характеристиками самих систем тестовых заданий закрытого типа с единственным верным ответом, в которых результаты выполнения задания обозначаются дихотомической переменной Ji ( Ji = 0,1) . Выполнение второго условия обусловливается независимостью тестовых заданий в тесте и возможностью их предъявления в случайном порядке. Выполнение третьего условия обеспечивается тем, фактом, что в процессе тестирования обучаемым никаких новых сведений об объектах тестируемой предметной области не сообщается.

Примем допущение о том, что вероятность правильного выполнения тестовых заданий обучаемым определяется только знаниями обучаемого о тестируемой предметной области и не зависит ни от каких-либо других факторов (например, от фактора угадывания). Если принятое допущение выполняется, то выполняется и третье условие соответствия процедуры тестирования схеме Бернулли. В соответствии с принятым допущением безошибочность выполнения тестовых заданий обучаемым характеризуется некоторой постоянной вероятностью p = const правильного выполнения задания и соответствующей ей вероятностью q = 1 - p ее неправильного выполнения.

Пусть в результате решения обучаемым выборки из n тестовых заданий получен вектор (примеры векторов приведены в таблице 1)

J = ( J 1 ,..., Ji,..., J n ), (2), в котором j = 0,1 есть оценки успешности выполнения соответствующего задания ( j = 1 - задание выполнено без ошибок, j = 0 - задание выполнено с ошибками). Требуется оценить вероятность p безошибочной деятельности.

Таблица 1.

Некоторые варианты векторов результатов тестирования для n = 12

Table 1.

Some variants of vectors of test results for n = 12

Вариант Option	j 1	j 2	j 3	j 4	j 5	j 6	j 7	j 8	j 9	j 10	j 11	j 12
1	1	1	1	1	1	1	1	1	1	1	1	1
2	0	0	0	0	0	0	1	1	1	1	1	1
3	1	1	1	1	1	1	0	0	0	0	0	0
4	1	0	1	0	1	0	1	0	1	0	1	0
5	0	1	0	1	0	1	0	1	0	1	0	1
6	1	1	0	0	0	0	0	0	0	1	1	1
7	1	1	0	0	1	1	1	1	1	0	1	1
8	1	1	1	1	0	1	1	1	0	1	1	1
9	1	1	1	1	0	0	0	1	1	1	1	0
10	1	1	0	1	1	0	0	1	1	0	1	0

Рассмотрим те законы распределений, которые могут быть использованы для интервальной оценки вероятности p безошибочного выполнения тестовых заданий.

Как отмечалось выше, эмпирические данные, полученные по схеме Бернулли, подчиняются законам таких целочисленных распределений, как биномиальное, геометрическое и отрицательное биномиальное. “Механизм возникновения этих распределений определяется тем способом, которым обрывается последовательность испытаний Бернулли” [4].

Биномиальное распределение имеет место в тех случаях, когда последовательность испытаний Бернулли обрывается после проведения фиксированного числа n испытаний. При этом под биномиальной случайной величиной X понимается число успехов в серии из n испытаний Бернулли.

Вероятность P ( J ) появления вектора J при биномиальном распределении оценивается как:

P(J ) = Cp" ^{- k}q^k при C = , (3) k !( n - k )!

где J – рассматриваемый вариант (вектор) результатов тестирования; p – вероятность безошибочного выполнения тестового задания, q = 1 - p - вероятность выполнения задания с ошибкой, k – число заданий, выполненных с ошибкой, n - общее число заданий, п - k -число заданий, выполненных без ошибок.

Отрицательное биномиальное распределение имеет место в тех случаях, когда последовательность испытаний обрывается сразу же после m -ого успеха. При этом рассматриваются две случайные величины: случайная величина Z – число неудач, предшествовавших т -ому успеху, и случайная величина W – общее число испытаний до m -ого успеха (включая m -ый успех).

Вероятность P ( J ) появления вектора J при отрицательном биномиальном распределении оценивается как:

P ( J ) = C . . - 1 p"q при C = ⁽ z + m "*)’ , (4) z !( m - 1)!

где J – рассматриваемый вариант (вектор) результатов тестирования; p – вероятность безошибочного выполнения тестового задания, q = 1 - p - вероятность выполнения задания с ошибкой, z – число заданий, которые выполнены с ошибкой и предшествуют m -ому успеху.

Геометрическое распределение является частным случаем отрицательного биномиального распределения и возникают при обрыве серии испытаний сразу же после первого успеха или неудачи. При этом рассматриваются две случайные величины: случайная величина X – число неудач (успехов), предшествовавших первому успеху (неудаче), и случайная величина Y – число испытаний до первого успеха (неудачи). Сам успех (неудача) может включаться и не включаться в число Y .

Геометрическое распределение – это единственное дискретное распределение со свойством отсутствия памяти (последействия): знание об отсутствии успеха (неудачи) в предыдущих опытах никак не влияет на распределение оставшегося числа опытов до появления успеха (неудачи).

При геометрическом распределении вероятность P ( J ; j = 1) появление вектора J ( j = 1; i = 1, n ) оценивается как:

P ( J ; j i = 1) = p h q , (5)

а вектора J ( j = 0; i = 1, n ) как

P ( J ; j , = 0) = q h p , (6) где p – вероятность безошибочного выполнения задания, q = 1 - p - вероятность выполнения задания с ошибкой, h ( h = 1, n ) - номер i последнего задания, выполненного без ошибки или, наоборот, с ошибкой (число “неудач (ошибок)” до первого “успеха” или число “успехов” до первой “неудачи (ошибки)”.

В целях интервальной оценки вероятности p безошибочного выполнения тестовых заданий целесообразно использовать те законы распределения, которые принципиально об еспечивают обработку любого числа ( i , i = 1, +да ) тестовых заданий. Такому требованию соответствуют только законы биномиального и геометрического распределения.

Закон отрицательного биномиального распределения может быть использован для оценивания результатов тестирования только после появления m -ого успеха. При его использовании минимальная длина оцениваемого вектора J лежит в пределах z + m <  J < +w . Другими словами, при самом благоприятном стечении обстоятельств отрицательное биномиальное распределение обеспечит возможность оценки результатов тестирования только при числе i = z + m выполненных заданий, а при самом неблагоприятном – не обеспечит никогда.

Введем понятие вектора h непрерывного результата (успеха или неудачи), под которым будем понимать любую часть вектора (1), каждый из элементов которой равен 1 или 0: если все элементы вектора равны 1 (j = 1) - вектор h непрерывного успеха, если все элементы вектора равны 0 (j = 0) - вектор h непрерывной неудачи. Например, в таблице 1 для 6 варианта вектора j это вектора h = (jx, j) , h2 = (J 3,j4,j5,j 6,j7,j 8,j9) , h3 = (J 10, b jn) •

Вероятность появления вектора (1) можно оценивать с двух позиций:

• 1)    как вероятность события L , заключающееся в том, что при выполнении n заданий обучаемым было достигнуто ( n - k ) успехов (допущено k ошибок);

• 2)    как вероятность события H , заключающегося в появлении в векторе (1) m векторов непрерывного результата.

Вероятность P(L) наступления события L оценивается по биномиальному закону (2). Соответственно при определении доверительного интервала (ДИ) для оценок вероятности p успешного выполнения тестового задания корректно использование следующих формул оценки доверительных интервалов биномиального распределения:

• 1)    оценка точного ДИ [2, 3]:

^Л              ( n - k )

( n - _k ) ₊ ( _{k +} 1) F 2( k ₊ i),2( n - _k 2 ’

⁽ n ^- k + ⁱ⁾ F n - k ₊ i),2 k , i - ^ 2

_v k + ⁽ n ^- k + ⁱ⁾ F n - k ₊ i),2 k , i - е /2

где n – число испытаний, k – число ошибок, а F f _{g a} - квантиль порядка а распределения F с f, g степенями свободы;

• 2)    оценка приближенного ДИ в соответствии с центральной предельной теоремой, когда при больших n распределение биномиальной случайной величины будет близко к нормальному [2, 3]

  (

  P * - u i -E /2

  
  

' p * (i - p *)              Ip * (i - p *)

--------------, p * ⁺ u i-E /2 A-------------- nn

( n - k

n

—

(n - k)k n - k         (n - k)k ui-E/2\        2     ,           + ui-E/2\        2        ,

V n       n         nn где p * - оценка эмпирической частости правильного выполнения тестовых заданий; u – квантили стандартного нормального распределения порядка i - е /2.

Оценим вероятность события H , которое заключается в появлении в векторе (2) m векторов непрерывного результата.

В соответствии с введенным выше понятием вектора h s непрерывного результата события h s = н появления таких векторов относятся к категории попарно несовместных событий. Поэтому вероятность P ( H ) любого из вариантов их реализаций (см. табл. 1) оценивается по формуле:

P ( н ) = P ( h i и ... и h s и ... и h m ) =

= P (hi) + ... P (hs ) + ... P (hm )    , где s (s = i, m; m < n) - номер вектора непре- рывного результата; n – число выполненных тестовых заданий.

В (8) вероятности P(h) оцениваются по геометрическому закону в соответствии с

• 6)

  (5,

  
  

  P ( h s ) =

  
  

  _< p^hq _ q^h p

  
  

  при

  при

  
  

  j‘   ^i;, (10)

  j , = 0

  
  

гдеp – вероятность безошибочного выполнения задания, q = i - p - вероятность выполнения задания с ошибкой, h (h = i, (n - k)) - номер i последнего задания, выполненного без ошибки или, наоборот, с ошибкой (число “неудач (ошибок)” до первого “успеха” или число “успехов” до первой “неудачи (ошибки)”.

Для оценки в (9, 10) неизвестного параметра p предлагается использовать метод максимального правдоподобия, при котором в качестве оценки вероятности p принимается ее значение p = arg max f(j ,p) = arg max P(H), (1Г) p e(0,i) p e(0,i)

максимизирующее вероятность P ( H ) появления при выполнении n тестовых заданий вектора j = ( j j,..., j ,..., j ), включающего m ( m = i, n ) векторов h непрерывного результата.

Каждый из полученных векторов h непрерывного результата позволяет по (10) получить оценку ps с ошибкой ст^: ps ± ^ . Соответственно функция W(ps, p) правдоподобия (совместной плотностью вероятности) для любой из реализаций события H = иh может быть представлена в виде s=m w (ps, p) = n P (hs) = s=i s=ls

= П P (ht )П P (hs) = ptqk(12)

s=i при t > 0, k > 0, где p – вероятность безошибочного выполнения тестового задания, q = 1 - p - вероятность выполнения задания с ошибкой, k – число заданий, выполненных с ошибкой, t – число заданий, выполненных правильно, n = t + k -общее число выполненных заданий, 5 (5 = 1, m) - номера векторов h непрерывного результата, 5 (5 = 1, l) - номера векторов hs непрерывного успеха, 5 (5 = l +1, m) - номера вектор hs непрерывной неудачи.

Например, для представленного в таблице 1 варианта 6 вектора J , включающего вектора h = ( j_x, j ₂) , h = ( j 3 , j 4 , j 5 , j 6 , j 7 , ^j 8 , ^j 9 ) и h 3 = ( j 10 , j m j' n ) . функция (11) имеет вид

5 = m

W ( P 5 , p ) = n P ( hs ) =

5 = 1                                .

= P ( h ) P ( h 2 ) P ( h 3 ) = p ² q ⁷ p ³ = p ⁵ qq

Если рассматриваемый вектор является единичным вектором непрерывного успеха hs (в таблице 1   вариант 1) или непрерывной неудачи h то такие вектора оцениваются по формуле (10).

Поиск p целесообразно реализовать путем решения следующей задачи нелинейного программирования p"- k+1 qk+1 ^ max,

[ ,            (13)

p e (0,1), k = 1, n

Для решения (12) можно использовать стандартную функцию “Solve (Поиск решения)” MicrosoftExcel.

ДИ оценки p может быть определен как p (1 - p)

p ^- u 1 - _E /2 J---------, p ⁺ u 1 - _E /2

n

p ^{(1 -} p )

n

Сравним оценки обучаемых, полученные обычным путем на основе предлагаемых моделей.

Пусть обучаемыми выполнено 13 заданий и получены результаты, приведенные в таблице 1. Оценки этих результатов тестирования приведены в таблице 2.

Таблица 2.

Оценки результатов тестирования, приведенных в таблице 1

Table 2.

Evaluation of test results given in table 1

№ варианта option	n	n-k	k	l	ml	Точечная оценка по модели (2.1) Point estimate by the model (2.1)	Интервальные оценки Interval estimates
							на основе биномиального распределения based on binomiall distribution			на основе геометрического распределения on the basis of geometric distribution
							Вероятнейшее значение по (2.3) The most probable value according to (2.3)	Границы ДИ по (2.7) The boundaries of CI by (2.7)		Вероятнейшее значение по (2.13) The most probable value according to (2.13)	Границы ДИ по (2.14) The boundaries of the CI by (2.14)
								Нижняя Lower	Верхняя Upper		Нижняя Lower	Верхняя Upper
1	12	12	0	1	0	1,000	1,000	0,735	1,000	0,923	0,754	1,000
2	12	6	6	1	1	0,500	0,500	0,211	0,789	0,500	0,182	0,818
3	12	6	6	1	1	0,500	0,500	0,211	0,789	0,500	0,182	0,818
4	12	6	6	6	6	0,500	0,500	0,211	0,789	0,500	0,182	0,818
5	12	6	6	6	6	0,500	0,500	0,211	0,789	0,500	0,182	0,818
6	12	5	7	2	1	0,417	0,417	0,152	0,723	0,400	0,089	0,711
7	12	9	3	3	2	0,750	0,750	0,428	0,945	0,647	0,343	0,951
8	12	10	2	4	2	0,833	0,833	0,516	0,979	0,667	0,367	0,966
9	12	8	4	2	2	0,667	0,667	0,349	0,901	0,625	0,317	0,933
10	12	7	5	4	4	0,583	0,583	0,277	0,848	0,550	0,234	0,866

Оценки, приведенные в таблице 2, свидетельствуют, что применение предлагаемых моделей оценки результатов тестирования обеспечивает переход от точечных оценок эмпирической частости к адекватным теоретически обоснованным оценкам вероятности правильного действия, которые имеют количественно оцениваемый ДИ.

Поскольку задачи текущего контроля решаются непосредственно в процессе обучения и имеют целью выработку адресных обучающих воздействий, то процесс критериально-ориентированного тестирования должен занимать минимум времени. Иначе говоря, к самому процессу критериально-ориентированного тестирования, а также процедурам обработки и презентации его результатов должно быть предъявлено требование оперативности.

Оперативность процедур обработки и отображения результатов действий обучаемых проблем не вызывает, поскольку полностью обеспечивается за счет быстродействия аппаратно-программных средств КСТ. А вот оперативность самой процедуры тестирования соответствующего обеспечения не имеет. Поэтому условия и методы ее реализации требуют более подробного рассмотрения.

Наличие моделей (3, 7, 13, 14) интервальной оценки результатов тестирования обеспечивает возможность постановки и решения задачи разработки моделей и процедур управления процессом критериально-ориентированного тестирования, обеспечивающих оперативность этого процесса.