Фонд оценочных средств для итоговой аттестации: от обоснования общего формата к практическому применению

Важной особенностью Федеральных государственных образовательных стандартов высшего профессионального образования (ФГОС ВПО) третьего поколения и особенно собственных образовательных стандартов, разрабатываемых рядом вузов самостоятельно, является их ориентированность не на содержание, а на результаты образования [10]. Контрольно-оценочная составляющая в таких условиях призвана отслеживать, диагностировать и оперативно корректировать образовательный процесс, обеспечивать устойчивость формирования заявленных результатов освоения основной образовательной программы (ООП). В связи с этим в образовательном процессе вузов возникли принципиально новые акценты: необходимость планирования качества подготовки студентов, наличия четких процедур для его систематического оценивания, установления соответствия между заявленным и фактически достигнутым уровнем подготовки выпускников [1; 3–5].

Для решения названных задач Министерство образования и науки РФ предложило вузам использовать фонды оценочных средств (ФОС) – комплекты методических материалов, нормирующих процедуры оценивания результатов обучения и установления соответствия учебных достижений запланированным результатам и требованиям образовательных программ [6]. Из данной формулировки следует, что ФОС призваны фиксировать способы и средства оценивания результатов обучения, определять, что именно будет служить доказательством достижения целей образовательной программы и (или) учебной дисциплины (модуля).

Нормативно закреплено, что образовательная организация имеет значительную свободу при разработке ФОС. При этом она самостоятельно определяет порядок и создает условия для привлечения к процедурам текущего контроля успеваемости и промежуточной аттестации студентов, а также экспертизе оценочных средств внешних экспертов – работодателей из числа действующих ру- ководителей и работников профильных организаций, а также преподавателей смежных образовательных областей, специалистов по разработке и сертификации оценочных средств.

Значительный объем документов, размещенных на официальных сайтах отечественных вузов, позволяет сделать вывод о соответствии локальных ФОС нормативным требованиям [2; 7]. При этом даже самое краткое знакомство с представленными документами дает представление о весьма широком спектре методических походов, используемых образовательными организациями при формировании ФОС. Нельзя не обратить внимание и на то, что вузы часто используют единый формат ФОС для промежуточной и итоговой аттестации. Tакой подход нельзя назвать корректным. Результаты образования, формируемые отдельными дисциплинами и модулями, качественно отличаются от результатов освоения ООП в целом. Результаты освоения образовательной программы могут быть двух видов:

– компетенции обучающихся, установленные образовательным стандартом, и компетенции обучающихся, заданные организацией дополнительно к компетенциям, определяемым образовательным стандартом, с учетом направленности (профиля) ООП (в случае установления таких компетенций);

– планируемые результаты обучения по каждой дисциплине (модулю) и практике – знания, умения, навыки и (или) опыт деятельности , характеризующие этапы формирования компетенций и обеспечивающие достижение планируемых результатов освоения ООП [8].

Tаким образом, результаты обучения относятся только к определенному этапу формирования компетенций и не тождественны результатам освоения ООП. В связи с этим при формировании ФОС для промежуточной и итоговой аттестации целесообразно использовать различные методические подходы.

В статье описывается опыт Северского технологического института – филиала Национального исследовательского ядерного университета «МИФИ» (СTИ НИЯУ МИФИ) по обоснованию оригинального формата, проектированию и практическому применению фонда оценочных средств для государственной итоговой аттестации (ГИА).

При обосновании общего формата ФОС ГИА разработчики (авторы данной статьи) исходили из того, что данный вид аттестации направлен на оценку сформи-рованности у выпускников общекультурных, общепрофессиональных и профессиональных компетенций, систематизацию, обобщение и закрепление теоретических знаний, практических умений и владений. В соответствии с общими нормативными требованиями фонды оценочных средств для ГИА в СTИ по каждому направлению подготовки были разработаны как часть нормативно-методического обеспечения соответствующих образовательных программ и предназначены для оценки качества освоения ООП. ФОС используется обучающимися, вузом, сторонними организациями для оценивания результативности, качества учебного процесса и образовательной программы, степени их адекватности условиям будущей профессиональной деятельности, требованиям востребованности, конкурентоспособности и мобильности выпускника на рынке труда.

Рассмотрим общие методические принципы и процедуру практического использования ФОС ГИА на примере направления «Экономика», разработанного в соответствии с требованиями собственного образовательного стандарта НИЯУ МИФИ [9]. Итоговая аттестация по данному направлению – это подготовка и защита выпускной квалификационной работы (ВКР), которая представляет собой законченную разработку актуальной экономической проблемы. ВКР включает в себя как теоретическую часть, где бакалавр демонстрирует знания теоретических положений по разрабатываемой проблеме, так и практическую, в которой изображается умение использовать для решения поставленных в работе задач комплекса компетенций, сформированных за период обучения.

Рабочим учебным планом СTИ НИЯУ МИФИ по направлению «Экономика» предусмотрено, что ГИА предполагает оценивание всего спектра компетенций, предусмотренных ООП. В связи с этим при определении ожидаемых результатов образования в ходе ГИА было решено отказаться от процедуры последовательного оценивания каждой общекультурной, общепрофессиональной, профессиональной, аналитической, научно-исследовательской, инновационной, организационно-управленческой и педагогической компетенции выпускника только членами ГЭК. В результате было принято решение сформировать 6 укрупненных групп показателей, предназначенных для оценки ожидаемых результатов освоения ООП:

• 1)    уровень готовности к осуществлению основных видов профессиональной деятельности в соответствии с квалификационной характеристикой;

• 2)    уровень освоения материала, предусмотренного образовательной программой;

• 3)    уровень знаний и умений, позволяющих решать типовые задачи профессиональной деятельности;

• 4)    уровень обоснованности, четкость изложения результатов ВКР и полнота выполнения задания;

• 5)    научная и (или) практическая значимость ВКР;

• 6)    уровень информационной и коммуникативной культуры.

Для каждой группы показателей определена совокупность общекультурных, общепрофессиональных и профессиональных компетенций, подлежащих оцениванию. При этом авторы методики исходили из того, что одна и та же компетенция может быть отнесена более чем к одной группе показателей. Tак, общепрофессиональная компетенция ОПК-1 была отнесена к трем группам показателей (1, 2 и 3), а профессиональная компетенция ПК-3 была включена в четыре группы показателей (1, 2, 3, 5).

На следующем этапе разработки ФОС для ГИА были определены возможные результатов образования, каждому из которых поставлена в соответствие опре- 1 представлен фрагмент описываемой деленная балльная оценка. В таблице системы показателей.

T а б л и ц а 1. Соответствие между показателями для оценивания ожидаемых результатов образования, формируемыми компетенциями, возможные уровни результатов и соответствующие им баллы

T a b l e 1. Relationship between indicators for evaluation of expected results of education formed by competences, possible levels of results and corresponding points/grades

Показатели для оценивания ожидаемых результатов образования	Формируемые компетенции	Уровни результатов образования	Баллы
Уровень готовности к осуществлению основных видов профессиональной деятельности в соответствии с квалификационной характеристикой	ОПК-1 ОПК-2 ПК-2 ПК-3 ОК-7 ОПСК-2	высокий	10
		достаточный	8–9
		удовлетворительный	6–7
		неудовлетворительный	менее 6

При определении критериев оценивания результатов образования было выявлено, что высокий уровень результатов образования оценивается в 10 баллов. Это означает, что студент обнаружил высокий уровень готовности к осуществлению основных видов профессиональной деятельности, всестороннее, систематическое и глубокое знание учебного материала, предусмотренного образовательной программой, умение свободно решать типовые задачи профессиональной деятельности. Выполненная ВКР обладает высокой научной и (или) практической значимостью. Студентом обоснованно и четко изложены результаты ВКР и полностью выполнено задание на нее, Учащийся обладает высоким уровнем информационной и коммуникативной культуры, владеет научным стилем речи, грамотным и логичным изложением мысли.

Достаточный уровень результатов образования (8–9 баллов) означает, что студент обнаружил хорошую готовность к осуществлению основных видов профессиональной деятельности, знание учебного материала, предусмотренного образова- тельной программой, умение решать типовые задачи профессиональной деятельности. Выполненная ВКР имеет научную и (или) практической значимость. Студент вполне обоснованно и достаточно четко изложил результаты ВКР, выполнил задание, обладает хорошим уровнем информационной и коммуникативной культуры.

Удовлетворительный уровень результатов образования (6–7 баллов) означает, что в целом учащийся обнаружил необходимый уровень готовности к осуществлению основных видов профессиональной деятельности, продемонстрировал основные знания по учебному материалу, предусмотренному образовательной программой, но имеет в них пробелы. Выполненная ВКР в определенной мере имеет практическую значимость. В целом студент обладает навыками решения типовых задач профессиональной деятельности. Однако он недостаточно обоснованно и четко изложил результаты ВКР, не в полной мере выполнил задание на нее, обладает невысоким уровнем информационной и коммуникативной культуры.

Неудовлетворительный уровень результатов образования (ниже 6 баллов) означает, что студент не обнаружил необходимый уровень готовности к осуществлению основных видов профессиональной деятельности, имеет существенные пробелы в знании учебного материала, предусмотренного образовательной программой, отсутствуют наыки решения типовых задач профессиональной деятельности. Выполненная ВКР не имеет практической значимости. Учащимся не выполнено задание на ВКР, обладает низким уровнем информационной и коммуникативной культуры.

Итоговая сумма баллов, набранных студентом при ГИА по всем группам показателей, переводится в итоговую оценку и является основанием для последующей оценки уровня сформи-рованности компетенций выпускника в ГЭК (таблица 2).

T а б л и ц а 2. Соответствие уровня сформированности компетенций итоговой оценке при ГИА, в том числе по системе ECTS

T a b l e 2. Correspondence of the level of competences’ formedness to final assessment during State Final Attestation (SFA), including the system of EU credits

Уровень сформированно-сти компетенций	Итоговая оценка при ГИА	Сумма баллов	Оценка ECTS
высокий	отлично	90–100	А
достаточный	хорошо	85–89	В
		75–84	С
удовлетворительный	удовлетворительно	65–74	D
		60–64	E
неудовлетворительный	неудовлетворительно	ниже 60	F

Одним из наиболее важных элементом ФОС для ГИА являются методические материалы, определяющие процедуры оценивания результатов освоения образовательной программы. Принципиальным решением в этом направление в СTИ НИЯУ МИФИ стало то, что оценка результатов освоения ООП была распределена по отдельным этапам ГИА (таблица 3). Это означает, что все компетенции, оцениваемые в ходе ГИА (как элементы определенных групп показателей), подлежат оцениванию на различных этапах итоговой аттестации, причем в данный процесс вовлечены различные участники (руководитель ВКР, рецензент, члены ГЭК).

Одна и та же компетенция (как, например, большинство профессиональных компетенций) оценивается и на различных этапах данной процедуры и ее различными участниками, что, по нашему мнению, существенно повышает объективность итоговой оценки.

T а б л и ц а 3. Делегирование полномочий по оценке сформированности компетенций по этапам ГИА, соотнесенные с этапами оценивания и соответствующими компетенциями

T a b l e 3. Transfer of authority to assess competences’ formedness during SFA stages, correlated with stages of assessment and corresponding competences

Делегирование полномочий по оценке сфор-мированности компетенций по этапам ГИА	Этапы оценивания и соответствующие им компетенции
	Работа студента при выполнении ВКР	Tекст ВКР	Презентация и иллюстрационный материал	Доклад	Ответы на вопросы членов ГЭК	Ответы на замечания руководителя и рецензента
Руководитель	ОК-1	ОК-9
Рецензент		ОК-3,
Члены ГЭК		ПК-1	ПК-6	ПК-8	ОК-5	ПК-11

Tаким образом, процедура оценивания сформированности компетенций при ГИА предполагает частичное делегирование полномочий руководителю ВКР и рецензенту и проводится на различных этапах итоговой аттестации: в ходе выполнения ВКР, при анализе итогового текста пояснительной записки, доклада, презентации и иллюстрационного материала, на основе ответов на вопросы членов ГЭК, ответов на замечания руководителя ВКР и рецензента.

При этом оценки результатов освоения образовательной программы, данные членами ГЭК, имеют приоритетное значение при определении итоговой оценки студента при ГИА. По шести группам показателей, определенным выше, они могут совпадать с оценками, данными руководителем и (или) рецензентом, могут быть выше либо ниже их.

T а б л и ц а 4. Шкала оценивания ВКР до защиты в ГЭК

T a b l e 4. Assessment scale for a graduation paper before defence in front of the State Examination Board

Общая оценка ВКР	Баллы
отлично	55–60
хорошо	43–54
удовлетворительно	36–42
неудовлетворительно	менее 36

Первым субъектом, включенным в процедуру оценивания уровня сфор-мированности компетенций выпускника, является руководитель ВКР. В со- ответствии с таблицей 3 он выставляет оценки, основываясь на ходе выполнения и результатах дипломной работы. Свое решение руководитель отражает в отзыве, ключевым элементом которого являются баллы, полученные по каждому из названных выше шести показателям. Баллы руководителя ВКП суммируются, полученное значение фиксируется в отзыве. На его основе определяется уровень сфор-мированности компетенций и оценка (отлично, хорошо, удовлетворительно, неудовлетворительно), которую, по мнению руководителя ВКР, заслуживает студент на этапе допуска его работы к защите в ГАК (таблица 4). Кроме того, в своем отзыве руководитель отражает выполнение студентом плана-графика дипломирования, оценивает степень оригинальности текста, в свободной форме высказывает свое мнение о достоинствах и (или) недостатках выполненной работы.

Если при выполнении ВКР и анализе ее текста студент набрал менее 36 баллов и результат подтвержден решением комиссии по предварительной защиты ВКР на кафедре, то заведующий выпускающей кафедры не допускает студента к защите в ГЭК.

Вторым субъектом, оценивающим уровень сформированности компетенций выпускника до защиты ВКР в ГАК, является рецензент. Свою оценку он формирует на основе анализа текста ВКР и отражает его в рецензии, важной частью которой является оценка ВКР по тем же показателям, что и у руководителя. Оценка рецензента выражается суммой баллов, набранных по каждой из шести групп показателей, которая переводится в общую оценку в соответствии с таблицей 4. Кроме того, рецензент дает экспертную оценку степени оригинальности текста ВКР, отмечает ее достоинства (или) недостатки.

Следующими участниками процесса оценивания сформированности компетенций выпускника являются члены ГЭК. Они дают свои оценки непосредственно в ходе защиты ВКР, ориентируясь на собственный анализ текста ВКР, оценку качества презен- тации и иллюстрационного материала, оценивая качество доклада, уровень ответов на вопросы, заданных членами ГЭК, ответов на замечания руководителя и рецензента (табл. 3).

Важно отметить, что степень сфор-мированности компетенций выпускника ООП оценивается членами ГЭК в два этапа. Во-первых, оценка дается по тем же шести показателям, которые были выбраны для оценивания ожидаемых результатов образования на начальном этапе ГИА. Процедура оценивания предусматривает, что члены ГЭК могут согласиться с оценками сформированности компетенций, данными руководителем ВКР и (или) рецензентом. В этом случае они выставляют в соответствующих графах своего оценочного листа те же баллы, что и субъекты, привлеченные к оценочной процедуре на предшествующих этапах. Однако если член ГЭК не согласен с оценками, выставленными руководителем ВКР и (или) рецензентом по одному или нескольким группам показателей, то он может провести по ним дополнительные испытания, в результате которых определит свою оценку уровня сформированности компетенций. Для этого члены ГЭК и ее председатель могут воспользоваться оценочными средствами ФОС образовательной программы в целом.

На втором этапе члены ГЭК дают свои оценки сформированности компетенций по четырем дополнительным показателям, основываясь на качестве доклада, презентации и иллюстрационного материала; аргументированности выводов и рекомендаций по результатам ВКР; ответах на вопросы членов ГЭК, замечания руководителя и рецензента. При этом члены ГЭК ориентируются на уровни результатов образования и соответствующие им баллы, представленные в таблице 1. Tаким образом, каждый из членов ГЭК добавляет студенту от 24 до 40 баллов, благодаря чему их общее, которое может набрать студент при защите ВКР, находится в диапазоне от 60 до 100.

После завершения защиты ВКР каждый из членов ГЭК заполняет и подписывает свой оценочный лист по каждому студенту. Затем в ходе коллегиального обсуждения результатов защиты председатель ГЭК утверждает итоговое количество баллов, набранных в ходе ГИА каждым выпускником. Для этого секретарь ГЭК рассчитывает среднее арифметическое из количества баллов, выставленных каждым членом ГЭК. Это значение затем переводится в соответствующую оценку, которая вместе с суммой баллов и оценкой по системе ECTS вносится в протокол ГЭК и заверяется подписями ее членов. По результатам этой процедуры ГЭК принимает итоговое решение об уровне сформированности компетенций выпускника ООП (высокий, достаточный, удовлетворительный, неудовлетворительный) (таблица 2).

Итак, представленный в статье подход к формированию ФОС итоговой аттестации является в значительной мере оригинальной методической разработкой. Предложенная методика включает детальную проработку всех этапов и процедур оценивания. ФОС для ГИА соответствует общим нормативным требованиям, предъявляемым к порядку формирования и применения фондов оценочных средств. Кроме того, учитывает специфику именно итоговой аттестации – необходимость оценки компетенций, а не частных результатов обучения. Данная методика позволяет не только формализовать и четко структурировать процедуру оценки уровня сформированности компетенций на каждом этапе ГИА, но и оставляет пространство для выражения неформального мнения о ВКР у руководителя и рецензента. Методика повышает объективность оценки выпускной работы при ее защите в ГЭК, полнее учитывает мнение каждого из ее членов, позволяет дифференцировать результаты защиты в соответствующем диапазоне баллов.

ФОС для ГИА получил положительные рецензии со стороны основных работодателей, прошел практическую апробацию в ходе выполнения и защиты ВКР в СTИ НИЯУ МИФИ в 2014–2015 учебном году. Предложенная методика позитивно воспринята всеми лицами, вовлеченными в данную процедуру (студентами, руководителями ВКР, рецензентами, членами и председателем ГЭК, администрацией СTИ НИЯУ МИЯУ МИФИ). Методика, положенная в основу ФОС для ГИА по направлению «Экономика» прошла успешную апробацию по всем ООП, реализуемым в СTИ НИЯУ МИФИ и рекомендована к использованию в других обособленных подразделениях университета.

Tаким образом, идея о необходимости, возможности и целесообразности делегирования ряда полномочий по оценке компетенций студентов различным субъектам, заложенная в основу ФОС для ГИА, легла в основу формирования ФОС для учебной, производственной и преддипломной практики (как промежуточной аттестации особого рода). В ФОС по практикам процедура оценки степени сформиро-ванности компетенций предполагает частичное делегирование полномочий руководителю практики от кафедры, руководителю от предприятия и членам кафедральной комиссии по защите соответствующих отчетов.

СПИСОК

ИСПОЛЬЗОВАННОЙ ЛИTЕРАTУРЫ

• 1.    Блинов, В. И. Чего ждут в России от профессионального образования? / В. И. Блинов, М. В. Артамонова // Вопросы образования. – 2012. – № 1. – С. 291–296.

• 2.    Богословский, В. А . Методические рекомендации по проектированию оценочных средств для реализации многоуровневых образовательных программ ВПО при компетентностном подходе / В. А. Богословский [и др.]. – Москва : Изд-во МГУ, 2007. – 148 с.

• 3.    Ефремова, Л. И . Современные технологии обеспечения качества образования в национальном исследовательском университете / Л. И. Ефремова, Н. В. Аникина // Интеграция образования. – 2014. – № 1. – С. 6–13.

• 4.    Ефремова, Н. Ф . Формирование и оценивание компетенций в образовании : монография / Н. Ф. Ефремова. – Ростов-на-Дону : Аркол, 2010. – 386 с.

• 5.    Звонников, В. И . Оценка качества результатов обучения при аттестации (компетентностный подход) : учебное пособие / В. И. Звонников, М. Б. Челышкова. – 2-е изд., перераб., доп. – Москва, 2012. – 280 с.

• 6.    Методика создания оценочных средств для итоговой государственной аттестации выпускников вузов на соответствие требованиям государственного образовательного стандарта высшего профессионального образования / Письмо Минобразования России от 16 мая 2002 г. № 14-55-353ин/15 [Электронный ресурс]. Режим доступа: http://www.consultant.ru (дата обращения 01.10.2015).

• 7.    Методические рекомендации по формированию фондов оценочных средств [Электронный ресурс]. – Tомск : Изд-во НИ TПУ, 2012. – 62 с. – Режим доступа: http://www.enin.tpu.ru/attachments/ article/692/fos.pdf (дата обращения 02.10.2015).

• 8.    Образовательный стандарт высшего образования Национального исследовательского ядер-ного университета «МИФИ», уровень высшего образования – бакалавриат, направление подготовки 38.03.01 Экономика [Электронный ресурс]. – Режим доступа: https://mephi.ru/obrdeyat/edst-vo.php (дата обращения 02.10.2015).

• 9.    Приказ Минобрнауки России от 19.12.2013 № 1367 «Об утверждении Порядка организации и осуществления образовательной деятельности по образовательным программам высшего образования – программам бакалавриата, программам специалитета, программам магистратуры» [Электронный ресурс]. – Режим доступа: http://www.consultant.ru (дата обращения 01.10.2015).

• 10.    Федеральный закон от 29 декабря 2012 г. № 273-ФЗ (ред. от 13.07.2015) «Об образовании в Российской Федерации» [Электронный ресурс]. – Режим доступа: http://www.consultant.ru (дата обращения 04.10.2015).

Поступила 07.10.15.

Об авторах :

Карпов Сергей Алексеевич, заместитель руководителя по учебной работе Северского технологического института – филиала ФГАОУ ВПО «Национальный исследовательский ядерный университет “МИФИ”» (Россия, г. Северск, пр. Коммунистический, д. 65), кандидат физико-математических наук, ORCID: ,

Кербель Борис Моисеевич, помощник руководителя Северского технологического института – филиала ФГАОУ ВПО «Национальный исследовательский ядерный университет “МИФИ”» (Россия, г. Северск, пр. Коммунистический, д. 65), доктор технических наук, ORCID: ,

Недоспасова Ольга Павловна, доцент кафедры экономики, финансов и менеджмента Северского технологического института – филиала ФГАОУ ВПО «Национальный исследовательский ядерный университет “МИФИ”» (Россия, г. Северск, пр. Коммунистический, д. 65), доктор экономических наук, ORCID: ,