Метод применения инструментария контроля качества в организациях высшего профессионального образования

можно сформулировать следующим образом:

– конечным арбитром в оценке качества образовательных услуг является потребитель (1);

– в организации должна быть ясность целей и направленности в действиях (2);

– только полное вовлечение всех сотрудников в процесс достижения цели позволит с выгодой использовать их способности (3);

– желаемый результат будет лучше достижим, если деятельностью и ресурсами управлять как процессом (4);

– всякая образовательная программа – это не набор независимых учебных дисциплин, а системный процесс (5);

– улучшение качества образования следует рассматривать как непрерывную составляющую деятельности учебного учреждения (6);

– эффективными бывают только решения, основанные на анализе фактических данных (7);

– все исполнители работ должны быть поставлены в такие условия, чтобы одновременно чувствовали себя в качестве поставщика и потребителя (8).

Качеству образования в настоящее время уделяется большое внимание общественности. Поэтому высшие учебные заведения обязаны откликнуться на это большей открытостью и информировать общество о своей миссии и видении своей роли в экономике страны. Информация о целях, проблемах, стратегиях и собственных оценках результатов деятельности должна быть доступна как внешним заинтересованным лицам, так и своим преподавателям и сотрудникам. При этом большую пользу принесет информация, организованная в рамках образовательных программ, реализуемых вузом. Если для внешних потребителей наибольший интерес будет представлять информация о степени соответствия деятельности университета заявленной миссии, а также структуры образовательного процесса – ожиданиям выпускников и работодателей, то для внутренних потребителей наибольшую ценность будет иметь информация, подтверждающая следование менеджмента учебного заведения восьми перечисленным выше принципам. Она будет объединять всех работников в процессе улучшения каче- ства образовательной деятельности, так как сущность этих принципов заключается в организации согласованной работы персонала для достижения установленной цели. Признаками следования менеджмента вуза этим принципам служат факты осуществления следующих действий. Это:

• –    определение полного перечня процессов, реализуемых образовательным учреждением, назначение «владельцев» этих процессов, которые ответственны за их качество, и наделение их необходимыми полномочиями;

• –    выявление конкретных ожидаемых результатов каждого процесса;

• –    составление перечня внешних и внутренних потребителей отдельно для каждого процесса;

• –    организация перманентных действий по созданию команд для непрерывного совершенствования процессов;

• –    разработка формального процесса и стандартных процедур проведения любых организационных изменений;

• –    создание понятной всем системы коммуникаций в образовательном учреждении;

  – принятие высшим руководством вуза обязательств следовать перечисленным выше принципам ориентации на качество и постоянное демонстрирование этой приверженности своими действиями.

Исполнители – это те, кто непосредственно выполняют учебную работу или организует ее. Имеются в виду преподаватели, вспомогательный и обслуживающий персонал. В любой организации результаты ее деятельности можно определить как выход. Вход – это то, что она принимает из внешней среды для переработки и превращения в результат, и взаимосвязанная цепочка работ (процессов), которые реализуют такое превращение. Для идентификации процессов, их взаимосвязей, создания информационного обе- спечения управления сложной деятельностью в организациях пользуются процедурами моделирования.

Наибольшее распространение при структурном анализе деятельности и выявлении отношений поставщиков и потребителей получили модели интегрированной методологии функционального моделирования (Integrated Definition Function Modeling – IDEF0). Применение такого инструментария позволяет наглядно представить структурное содержание процесса, его потребителей, поставщиков, управляющих воздействий на него и механизм выполнения работ (исполнители).

Университеты относятся к организациям, осуществляющим сложную деятельность. Всякое высшее учебное заведение реализует определенное количество образовательных программ. Каждая из них включает необходимое число учебных дисциплин. В совокупности они должны позволить передать студентам некоторую сумму знаний, умений и обеспечить приобретение требуемых государственным образовательным стандартом компетенций. Образовательные программы должны иметь «собственника» или владельца, который бы был не только автором соответствующей программы, но и организатором ее осуществления. На языке интегрированной методологии функционального моделирования это будет выглядеть так, как показано на рис. 1.

Образовательная программа «М» отображена в виде процесса, у которого на вход поступает совокупность знаний и умений, носителем которых является абитуриент. А на выходе – совокупность знаний, умений и компетенций, носителем которых выступает студент, завершивший обучение в вузе по данной программе. Стрелка сверху обозначает управляющие и ограничивающие воздействия, которые могут содер-

Управляющие воздействия

Совокупность знаний и умений после окончания средней школы

Вход

Реализация образовательной программы «М»

Механизм выполнения

Рис. 1. Диаграмма интегрированной методологии функционального моделирования образовательной программы « М»

жать различные нормативные документы и договоры с потребителями. Там же могут указываться требования к характеристикам выхода. Стрелка снизу показывает все, что необходимо для осуществления этого процесса в полном соответствии с установленными требованиями. Образовательная программа включает в себя годовые рабочие учебные планы и программы учебных дисциплин, нацеленные на обучение студентов тому, что определено соответствующим образовательным стандартом и работодателями. Модель процесса реализации одной учебной дисциплины образовательной программы показывает его внутреннюю структуру (рис. 2).

Рис. 2. Диаграмма интегрированной методологии функционального моделирования реализации одной учебной дисциплины

Требования государственного образовательного стандарта и потребителей

Совокупность знаний, _Выход умений и компетенций после окончания вуза

Владелец программы и ресурсы на ее реализацию

Стрелка входа в процесс «М.1.1» – это комплекс информации и документов, определяющих содержание рассматриваемой учебной дисциплины. Управляющие воздействия, которые отображают стрелки, направленные на этот процесс сверху, прежде всего должны учитывать требования и ограничения учебного плана соответствующей специальности. Механизм выполнения процесса разработки программы учебной дисциплины (его отображают стрелки снизу) определяет преподавателя, который является исполнителем, проводит занятия со студентами и несет ответственность за качество обучения этой дисциплине. Процесс «М.1.1» имеет три выхода. Один инфор-

мирует о требуемом методическом обеспечении учебного процесса, другой – о требуемой последовательности в изучении тем дисциплины, а третий идентифицирует предметы промежуточного и итогового контроля качества учебного процесса. Они одновременно образуют входы в процессы «М1.2», «М.1.3» и «М1.4» соответственно. Выход из процесса «М.1.2» – это готовые учебно-методические материалы, поступающие в процесс «М.1.3» как управляющие воздействия на проведение учебных занятий. Стрелка снизу указывает автора программы данной учебной дисциплины или коллектив авторов. Стрелка управляющего воздействия информирует о регламентирующих документах, которые должны использоваться при создании учебно-методических разработок. Стрелка входа в процесс «М.1.3» отображает информацию о необходимых знаниях и умениях студентов, приступающих к изучению дисциплины 1, аналогично тому, что и стрелка входа в процесс «М»

на диаграмме образовательной программы, представленной на рис. 1.

Выход из процесса «М.1.3» отображен двумя стрелками. Одна указывает на знания, умения и компетенции, полученные студентом в результате изучения этой учебной дисциплины. Вторая, направленная на процесс «М.1.4», показывает требуемые для мониторинга процесса и контроля его результатов данные. Стрелки сверху и снизу, направленные на процесс «М.1.4», обозначают информацию для регламентирования контроля, а также исполнителей и применяемые технические средства. Исполнителем контрольных действий является преподаватель, который проводит учебные занятия, но одновременно можно предусмотреть и внешний контроль. Информация выхода из процесса «М.1.4» направляется в процесс «М.1.5» для разработки и осуществления мероприятий по улучшению качества проведения учебных занятий по данной дисциплине. Стрел- ка управляющего воздействия на процесс «М.1.5» показывает наличие заранее разработанного алгоритма процесса улучшения качества. Внесение изменений в процесс преподавания обозначается стрелкой выхода из процесса «М.1.5» (см. рис. 2). Механизм осуществления процесса «М.1.5» (стрелка, направленная на процесс снизу) должен определять исполнителей и применяемые технические средства.

Графическая модель процесса реализации образовательной программы «М» имеет универсальный характер, но ее содержательное наполнение всегда индивидуально не только для разных специальностей и направлений, но и для одной и той же специальности в разных вузах. Моделирование образовательного процесса в форме диаграммы интегрированной методологии функционального моделирования позволяет наглядно определять все действия по улучшению качества образовательного процесса, необходимые условия для его начала, а также требования к результатам действий на всех этапах его реализации. Эти требования достаточно просто идентифицировать, так как стрелки показывают от кого их следует получать. Также легко и обоснованно можно оценивать качество образовательного процесса на основе степени удовлетворенности потребителей. Организация процесса улучшения качества обучения дисциплине 1 в образовательной программе «М» требует выбора соответствующего способа и инструментария контроля качества. С целью получения данных для объективных педагогических измерений используют тестовые задания. Возможны два подхода к разработке и интерпретации результатов тестирования: нормативно-ориентированный и критериально-ориентированный [2, с. 94 ].

В предлагаемом методе улучшения качества процесса обу-

Таблица 1

Количество ошибок в тестах, допущенных студентами трех групп

№ гр.	Номер вопроса в тесте по теме 1
	1	2	3	4	5	6	7	8	9	10	11	12	13	14	15	16	17	18	19	20	21	22	23
1	9	4	34	0	15	1	5	0	0	0	3	4	2	0	4	0	2	1	0	0	4	0	1
2	0	0	48	0	16	0	0	0	0	0	1	0	0	0	0	0	0	0	0	0	0	1	1
3	2	10	10	0	0	0	0	0	4	10	15	0	6	4	4	0	6	0	0	0	0	0	16

чения оценивание уровня знаний осуществляется на основе определения в каждом тесте числа возможных ошибок и подсчета доли ошибок, сделанных каждым студентом группы. Тестирование должно преследовать две цели. Одна – это исключение субъективного фактора при оценке знаний и умений студента, а другая – оценка качества самого процесса обучения в рамках рассматриваемой дисциплины.

Таким образом, способом контроля качества полученных студентами знаний будет служить критериально-ориентированное тестирование по темам, в данном случае дисциплины 1 образовательной программы «М». Для сбора, анализа и оценки результатов тестирования можно выбрать подходящие инструменты контроля качества. Например, для сбора фактических данных результатов тестирования можно разработать контрольный листок (один из семи основных инструментов контроля качества), который позволит сгруппировать ошибки студентов группы по порядковым номерам вопросов в тесте (табл. 1). В табл. 1 приведена информация о количестве ошибок в тестах, которые были допущены студентами трех групп по теме 4 дисциплины 1. Две группы по количеству студентов были одинаковые, а третья была значительно меньше.

Тест содержал 23 вопроса, на каждый из которых предлагалось несколько вариантов ответа. В случае неправильного ответа студенту засчитывалось две ошибки: одна – указан неправильный ответ, другая – не указан правильный. Если студент, не зная правильного ответа, пропускал вопрос, то учитыва-

Рис. 3. Диаграмма распределения ошибок студентов в процессе тестирования по теме 4

лась только одна ошибка за незнание правильного ответа. В тесте по теме 4 каждый имел 99 возможностей ошибиться.

По данным табл. 1 построена столбчатая диаграмма (один из основных инструментов контроля качества), которая наглядно показывает, что вопросы 3 и 5 по какой-то причине вызвали наибольшие затруднения (рис. 3). Очевидно, устранив причину затруднений студентов при ответе на эти вопросы, можно получить другие результаты контроля, которые покажут улучшение знаний студентов по данной теме. Процесс обучения студентов любой дисциплине образовательной программы можно планомерно улучшать на основе данных систематического контроля. Эффективность таких действий зависит от полноты и надежности измерителей качества процессов обучения.

В управлении качеством широкое распространение в этих целях получили контрольные карты Шу- харта. Он предложил форму карты с контрольными границами p– ± 3σ, на которые следовало наносить параметры малых выборок измеренных характеристик контролируемого процесса (среднее значение измеренных характеристик ± три их средние квадратичные отклонения). Ценность контрольных карт состоит в том, что они имеют в основе статистические показатели и методы, но их применение не связано с рядом ограничений теории вероятностей и математической статистики [3, с. 87]. Это позволяет широко использовать их практиками в любой сфере деятельности. С помощью контрольных карт можно разделять вариабельность процессов на случайную и неслучайную составляющие, можно оценивать стабильность и качество процесса. Методы определения контрольных границ карт для непрерывных и дискретных измеряемых величин отличаются. Ошибки студентов при тестировании подсчитываются. Следо- вательно, для этой ситуации подходят методы, ориентированные на дискретные величины. Однако и здесь есть различия в расчетных формулах контрольных границ. Если число возможных ошибок ограничено каким-либо пределом, то используют формулы биномиального распределения, а если такое ограничение отсутствует, то применяют формулы распределения измеряемых величин Пуассона. Мы рассматриваем тестирование, где каждый студент имеет право на определенное число ошибок. Для этого случая подходят следующие расчетные формулы показателей качества процесса.

Среднее квадратичное отклонение измеряемой величины – ст = ^ np ( 1- p ) , где n - число вопросов, на которые студент должен дать положительный или отрицательный ответ; p^– – средняя вероятность ошибок при ответе.

Верхняя контрольная граница числа ошибок при ответе на вопросы рассматриваемой темы изучаемой дисциплины – ВКГ = np + 3 V np (1- p ).

Нижняя контрольная граница числа ошибок при ответе на вопросы рассматриваемой темы изучаемой дисциплины – НКГ = np - 3 np ( 1- p ) .

В первой группе было 14 студентов. Всего, как показано в табл. 1, они сделали 89 ошибок. Между студентами ошибки распределились следующим образом: 1-й –10; 2-й –2; 3-й –2; 4-й –4; 5-й –5; 6-й –11; 7-й –11; 8-й –3; 9-й –6; 10-й –4; 11-й –8; 12-й –4; 13-й –4; 14-й –15. Поскольку каждый мог совершить 99 ошибок, общее возможное число ошибок в группе равно 99·14= 1386. У всех была одинаковая средняя вероятность ошибиться p^– = 89/1386 = = 0,064. Таким образом, np^– = = 99·0,064 = 6,34 – среднее число ошибок одного студента в группе.

Среднее квадратичное отклонение - ст = np ( 1- p ) = 2,4.

14

х

х

Х

х

6

х

х

х

х

х

х

х

х

х

0

1    2    3    4    5    6    7    8    9    10   11   12   13   14

Порядковый номер студента

Рис. 4. Контрольная карта Шухарта по результатам тестирования группы 1

Верхняя контрольная граница ошибок для этой группы в тесте № 4 равн а ВКГ = np + 3 ^j np ( 1- p ) = = 6,34 + 3^6,34 ( 1- 0,064 ) = 13,6 - 14.

Нижняя контрольная граница ошибок для данной группы в тесте № 4 равн а НКГ = np - 3^ np ( 1- p ) = = 6,34 - 3^6,34 ( 1- 0,064 ) = -0,97 - 0.

Графически контрольная карта Шухарта для этой группы студентов представлена на рис. 4.

Анализ контрольной карты (см. рис. 4) и показателей знаний (умений) студентов по теме 4 позволяет сделать следующие выводы.

• 1.    Размах, т.е. мера рассеяния (15 – 2 =13), и несимметричность индивидуальных позиций показателей знаний студентов на контрольной карте требуют анализа причин сложившейся ситуации.

• 2.    Студент, сделавший 15 ошибок, оказывается за пределами верхней контрольной границы и заслуживает неудовлетворительной оценки, поэтому должен дать объяснение по поводу полученного им результата.

• 3.    Из 14 студентов только 4 имели число ошибок, превышающее линию контрольной карты, характеризующую среднее количество ошибок допущенных одним студентом.

• 4.    Большинство студентов ошиблись при ответе на 3-й и 5-й вопросы теста.

После выявления причин полученных результатов было установлено, что 15 ошибок сделал студент, который отсутствовал на лекциях, где рассматривались соответствующие вопросы учебной дисциплины. Если вопросам 3 и 5 уделить больше внимания на семинарском занятии, то непонимание, послужившее причиной массовых ошибок, можно устранить. Из 89 ошибок группы 49 приходились на 3-й и 5-й вопросы. Нетрудно подсчитать, что при отсутствии этой причины средняя вероятность ошибки в тесте снизится с 0,064 до 0,028. При этом верхняя контрольная граница контролируемого процесса обучения снизится с 14 до 8 ошибок. Кроме улучшения содержания процесса обучения, применение научных инструментов управления качеством позволяет повысить объективность оценивания знаний студентов и стимулировать регулярность в изучении учебной дисциплины. Процесс педагогических измерений включает такие компоненты, как выбор шкалы и выработка правил отображения на ней полученных результатов [1, с. 37].

Таблица 2

Результаты измерения уровня знаний студентов

Номер студента	1	2	3	4	5	6	7	8	9	10	11	12	13	14
Число ошибок	10	2	2	4	5	11	11	3	6	4	8	4	4	15
Баллы	5	9	9	8	8	5	5	9	7	8	6	8	8	3
Оценка	с; OQ	о F О	о F О	о F О	о F О	с; OQ	с; OQ	о F О	о 3 о о. §	о F О	о 3 о о. §	о F О	о F О	5 § ф т

Например, в Национальном исследовательском университете «Высшая школа экономики» принята десятибалльная шкала. Студент, получивший 8, 9 и 10 баллов заслуживает отличной оценки, 6 и 7 баллов соответствует оценке «хорошо», 4 и 5 – оценивается удовлетворительно, менее 4 баллов считается неудовлетворительной оценкой. В данном методе правила отображения на шкале результатов измерения уровня знаний студентов (число ошибок в тестах) регламентируются процедурами определения статистических показателей. Менее четырех баллов получают студенты, у которых число ошибок в тесте превышает верхнюю контрольную границу для этого процесса. Те, у кого число ошибок меньше значения верхней контрольной границы в пределах одного стандартного отклонения, получают 5 баллов. Если число ошибок еще меньше, но больше среднего значения в пределах одного стандартного отклонения, то – 6 баллов. Оценку 7 баллов получат студенты, число ошибок которых меньше среднего значения на величину не более одного стандартного отклонения. Продолжая снижение норм с тем же интервалом, выставляются оценки 8, 9 и 10 баллов. Применяя такое правило отображения результатов измерения на шкале, студенты получат оценки, указанные в табл. 2.

Аналогично можно проанализировать результаты двух других групп, приведенных в табл. 1. Однако за одинаковое число ошибок в разных группах студенты могут получить разные баллы. Срав- нение результатов тестирования разных групп может помочь выявить факторы, важные для совершенствования учебного процесса, но не может повысить объективность оценок студентов, установленных по группам. Мы рассмотрели процедуру текущего контроля преподавателем, который осуществляет обучение и отвечает за результаты этого процесса. Применение статистических показателей позволяет ему разрабатывать и предпринимать действия по улучшению качества процесса обучения на основе реальных фактов. Такие действия или мероприятия должны планироваться после каждого учебного года и базироваться на информации о процессе, отображаемой стрелкой выхода из процесса «М.1.4» (см. рис. 2). В разделе учебно-методической работы индивидуальных планов преподавателей должны ежегодно указываться мероприятия процесса «М.1.5».

Таким образом, предложенный в статье метод позволит решить

две задачи: организовать непрерывное улучшение качества обучения в вузе и повысить активность работы студентов на протяжении учебного года на основе регулярного мониторинга и объективной оценки их успехов.