Анализ результатов экспериментальной проверки диагностической программы развития информационно-коммуникационной компетенции студентов

В свою очередь, это требует формирования определенного уровня информационно-коммуникационной компетентности студентов, позволяющей им полноценно использовать информационно-коммуникационные технологии в условиях глобальной компьютеризации человечества. Об эффективности применения информационных технологий можно говорить лишь тогда, когда будущий специалист мотивирован на их использование, имеет широкий кругозор, владеет программными средствами как общего, так и профессионального назначения, может определить роль и место информационных технологий в своей профессии.

Традиционные формы обучения не в полной мере обеспечивают подготовку высококвалифицированного специалиста, умеющего работать в условиях компьютеризации сферы деятельности с быстроменяющими-ся техникой и технологией. При-

АЙГУЛЬ ГАЗИНУРОВНА САДЫКОВА аспирант кафедры педагогики Елабужского института – филиала Казанского (Приволж-

ского) федерального университета. Сфера научных интересов: педагогика высшей школы. Автор 13 публикаций чина этого – неподготовленность современного специалиста. Поэтому актуальной становится проблема поиска методов, форм и средств подготовки будущих профессионалов в сфере информационных технологий, отвечающих современным требованиям.

Эффективным средством решения такого рода проблем служит информационная образовательная среда. Одним из направлений ее использования является применение информационной образовательной среды как средства, способствующего развитию информационно-коммуникационной компетенции, что позволяет привлекать внимание студентов к особенностям прорабатываемого содержания учебного материала конкретными примерами и связанными с ними процессами.

Одной из наиболее известных и распространенных систем управления электронным обучением, способная при правильном учебно-методическом обеспечении развивать информационно-коммуникационную компетентность, является модульная объектноориентированная динамическая учебная среда (LMS Moodle). Это успешно действующий и непрерывно развивающийся проект. В настоящее время на базе системы модульной объектно-ориентированной динамической учебной среды организовано дистанционное и электронное обучение в крупнейших университетах 193 стран. Работа с информационной образовательной средой на платформе модульной объектно-ориентированной динамической учебной среды предоставляет студенту значительную индивидуальную помощь в обучении, помогает регистрировать и оценивать результаты его индивидуальной работы, оказывает серьезное влияние на его самооценку в деле продвижения в изучаемой теме, способствует осуществлению обратной связи при помощи гиперссылок, которая чрезвычайно полезна для каждого студента в отдельности. Наличие в основе информационной образовательной среды мультимедийных и интерактивных технологий значительно повышает уровень восприятия предлагаемой информации.

В Казанском (Приволжском) федеральном университете информационная образовательная среда на базе модульной объектно-ориентированной динамической учебной среды функционирует уже несколько лет. Накоплен определенный опыт работы с нею, что позволяет сделать вывод о влиянии информационной образовательной среды на учебный процесс и его активных участников – студентов и преподавателей. Основным средством проверки уровня развития информационно-коммуникационной компетентности студентов являются итоговый тест по каждому предложенному разделу и решение ситуационных задач.

Необходимо отметить, что одним из важных достоинств те- стовых технологий является возможность получения объективных характеристик, позволяющих оценить качество тестов и их составляющих – тестовых заданий (вопросов).

Эти характеристики рассматриваются и обосновываются в теории педагогических измерений. То обстоятельство, что тесты и составляющие их вопросы многократно используются для больших групп испытуемых, позволяет применять статистические методы при обработке их результатов для вычисления целого ряда характеристик. Эти величины с помощью теории педагогических измерений могут интерпретироваться для оценки качества тестов. В основе системы сбора статистики используется метрическая система Георга Раша, позволяющая говорить о качестве педагогических измерений.

Проблема, однако, в том, что статистическая обработка результатов тестирования, вычисления и последующей интерпретации необходимых характеристик является довольно сложной. Это создает серьезные препятствия для использования этих характеристик широким кругом преподавателей, использующих в своей деятельности задания в тестовой форме. Но они в большинстве своем не являются специалистами в области математической статистики.

В этой связи одно из достоинств системы управления обучением в модульной объектноориентированной динамической учебной среде состоит в том, что у нее имеются встроенные средства для осуществления такой обработки и вычисления разнообразных характеристик тестов. Тем не менее, к сожалению, приходится констатировать, что в настоящее время мало кто из преподавателей знает и тем более практически использует в своей практике эти возможности для оценки качества своих тестовых материалов.

Рассмотрим наиболее важные, на наш взгляд, характеристики оценивания информационно-коммуникационной компетентности студентов, которые автоматически формирует система модульной объектно-ориентированной динамической учебной среды (Moodle 2.1) по результатам выполнения тестов обучаемыми.

Все характеристики разделены на две группы: первая относится к тесту в целом, а вторая – к каждому вопросу или категории вопросов, присутствующему (присутствующих) в тесте.

Характеристиками, позволяющими оценивать качество теста в целом, являются следующие ве- личины.

Средняя оценка испытуемых – среднее арифметическое по оценкам всех выполняющих тест сту- дентов:

t = ¹У t_s , s

S s∈S где S – множество студентов, выполнявших тест; Ts – оценка за тест s-го студента.

Медиана – срединное значение оценок испытуемых T _s.

Именно эта методика легла в основу формирования итоговой таблицы данных пользователя по тесту.

Стандартное отклонение оценок за тест – это общепринятая мера вариации полученных испытуемыми тестовых баллов для конкретной группы обучаемых. Оно характеризует дифференцирующую способность теста, т.е. его способность разделять студентов в группе по уровню подготовки. Эта характеристика определяется по формуле

SD = VW) =_A I У ( Ts - T ) 2 .

V ^{S 1} s E S

Коэффициенты асимметрии и эксцесса – это меры, характеризующие отличие формы распределения полученных обучаемыми тестовых баллов от нормального распределения.

Коэффициент надежности теста , называемый еще альфа Крон-баха:

CIC =

= 100- p-

p - 1

⎛⎜

1 - ( S — 1)

У ( X p ( s ) - X p ) "  p ∈ P                 ^⎟

У (Ts - T)2 s∈S            ⎠ где p – номер тестового задания из множества заданий теста P.

Это средний разброс результатов каждого студента при ответе на все вопросы теста.

Чем меньше разброс результатов каждого студента при ответе на вопросы теста по отношению к разбросу суммарных оценок за тест в целом, тем вопросы теста являются более согласованными.

Стандартная ошибка оценивает фактор везения и показывает границы погрешности для оценки студента за тест:

SE = —SD .

Если стандартная ошибка 10%, а студент набрал 60% от максимальной оценки, тогда его подлинная оценка будет располагаться в интервале от 50 до 70%.

В теории педагогических измерений считается, что в хорошем тесте средний арифметический балл обучаемых равен медианному значению оценок используемых заданий, а коэффициенты асимметрии и эксцесса не отклоняются от значений для стандартной кривой нормального распределения результатов. Хорошо также, если значения среднего арифметического, моды и медианы совпадают. Это признак точной нацеленности общего уровня трудности теста на уровень подготовленности студентов. Совпадающие средние значения шкальных баллов, показатели асимметрии и эксцесса позволяют корректно сравнивать распределение результатов по разным тестам.

Вторая группа параметров позволяет оценивать качество конкретных тестовых заданий (вопросов), составляющих тест.

Индекс легкости – процент студентов, которые ответили на конкретный вопрос теста правильно. Для i -го тестового задания он определяется по формуле F_i = x i при использовании 100-балльной шкалы для оценивания, где усреднение осуществляется по всем студентам, выполнившим это задание.

Стандартное отклонение характеризует разброс значений оценок студентов при ответе на конкретный вопрос теста.

Случайно угаданная оценка – оценка, которую мог бы получить студент при случайном угадывании ответов.

Предполагаемый вес – вес, который преподаватель назначил тестовому заданию при формировании сценария теста.

Эффективный вес – это характеристика того, какая фактическая доля в итоговой оценке студентов за тест определяется конкретным вопросом.

Средствами, заложенными в системе модульной объектно-ориентированной динамической учебной среды, проведена статистическая оценка качества вопросов.

Важной статистической характеристикой дифференцирующей способности тестовых заданий, которую позволяют вычислять средства модульной объектноориентированной динамической учебной среды, является коэффициент дифференциации. Считается, что задание обладает достаточной дифференцирующей способностью, если коэффициент дифференциации имеет значение больше или равное 30%.

Анализ величины коэффициента дифференциации для рассматриваемого случая показал, что 14% использованных в эксперименте тестовых заданий не удовлетворяют этим требованиям (коэффициент дифференциации меньше 30%). Более того, у одного задания значение этого коэффициента имеет отрицательное значение (–40,69%), что свидетельствует о явных недостатках вопроса. Статистическая оцен- ка базы тестовых вопросов позволяет корректировать тест.

Важнейшей характеристикой теста является его надежность, характеризующая воспроизводимость результатов тестирования и их точность. Коэффициент надежности – это корреляционный коэффициент, показывающий степень совпадения результатов тестирования, осуществленного в одинаковых условиях одним и тем же тестом. Надежность теста зависит от ошибки измерений. Когда ошибка отсутствует, коэффициент надежности равен единице. Если измеренный тестовый балл полностью обусловлен ошибкой измерения, то надежность теста равна нулю. Согласно статистической оценке анализируемого теста ошибка для него составила 5,66%, а коэффициент внутренней согласованности – 95,90%.

Учитывая полученную ранее информацию о качестве тестовых заданий, была проведена статистическая оценка теста с исключением «некачественных» вопросов по разным параметрам.

По результатам анализа можно сделать следующие выводы:

– для тестов, построенных на элементарных (легких) вопросах, известные методы повышения надежности не дают ожидаемых результатов;

– малое количество заданий в базе вопросов и в самом тесте приводит к ненадежной оценке качества теста и создает препятствия для применения методик его улучшения.

Таким образом, описанная выше и реализованная в сетевой системе управления обучением модульная объектно-ориентированная динамическая учебная среда анализа статистических результатов тестирования внутри учебного курса может служить как эффективным инструментом контроля качества создаваемых преподавателем тестовых материалов диагностики развития информационно-коммуникационной компетентности со стороны руководства учебного учреждения, так и удобным инструментом для самого преподавателя в процессе совершенствования теста и тестовых заданий для улучшения качества обучения и контроля успеваемости.

Рассмотрим описание и анализ итогов экспериментальной проверки применения информационной образовательной среды в Казанском (Приволжском) федеральном университете на платформе модульной объектно-ориентированной динамической учебной среды и методологию оценки уровня информационно-комму- никационной компетентности студента (в том числе студента-выпускника) на примере будущих профессионалов в сфере информационных технологий, подготовка которых осуществляется по образовательным программам федеральных государственных образовательных стандартов высшего профессионального образования нового поколения.

С целью проведения исследования было организовано две группы испытуемых – 255 студентов по четырем направлениям информационных технологий для диагностики развития информационно-коммуникационной компетентности в процессе обучения профессионалов в соответствии с их будущими должностными функциями.

В качестве первичного определения полноты теоретических знаний и практических умений в области информатики и информационных технологий были взяты результаты единого госэкзаме-на по дисциплине «Информатика и информационно-коммуникационные технологии». Применение критерия Пирсона ( χ ²) при сопоставлении результатов тестирования контрольной и экспериментальной (табл. 1) групп позволило сделать вывод об однородности их состава. Следует отметить некоторое незначительное различие в сфор-мированности знаний и умений студентов в зависимости от времени поступления в вуз, что можно объяснить демографическими обстоятельствами и ориентацией современной школы на подготовку учащихся к единому госэкзамену.

Для проверки эффективности формирования профессиональной информационно-коммуникационной компетентности в сфере информационных технологий, учебно-методических комплексов и реализации выдвинутых педагогических условий формирования профессиональной информационнокоммуникационной компетентности инженера-программиста нами

Таблица 1

Значение χ ² – критерия Пирсона для сопоставления результатов обучения

Результат	Начальная группа, %		Контрольная группа, %
	Контрольная	Экспериментальная	Контрольная	Экспериментальная
«3»	73	80	32	16
«4»	24	17	67	70
«5»	3	3	1	14
χ2	1,33	12,93

на базе Набережночелнинского института – филиала Казанского (Приволжского) федерального университета была составлена профессионально-технологическая карта. Она содержит перечень необходимых специалисту в сфере информационных технологий компетенций, направленных на формирование информационно-коммуникационной компетентности. В ней выделены, конкретизированы и классифицированы главные формы реализации требований формирования и развития информационно-коммуникационной компетентности профессионала в сфере информационных технологий по девяти тесно взаимосвязанным типам компетенций (среди которых I–VI взяты из основных образовательных программ высшего профессионального образования по направлениям подготовки «Прикладная информатика», «Бизнес-информатика» и « Прикладная математика и информатика»).

Для студентов профессионально-технологическая карта является программированной основой деятельности, направленной на формирование информационнокоммуникационной компетентности. Она перспективно знакомит обучаемых с предстоящими целями работы, к реализации которых студенты приступают по мере профессионального становления, выбирая при этом доступные методы решения задачи.

В качестве конечных результатов (на четвертом курсе) были взяты итоговые баллы развития информационно-коммуникационной компетентности с профессионально-технологической карты студента.

Из представленных ниже диаграмм (рис. 1, 2) видно, что развитие информационно-коммуникационной компетентности у студентов экспериментальной группы выше, чем у контрольной.

В основу диагностической программы были положены комплексная экспертная оценка проектов, портфолио, информационно-технологическая деятельность в ситуациях неопределенности. Результаты анализа диагностической программы развития информационно-коммуникационной компетентности студентов представлены в табл. 1.

Превышение экспериментального значения χ ² – критерия Пирсона над критическим ( χ ²_кр = 5,99146) в конце опытно-поисковой работы позволяет считать достоверно доказанным, что применение предложенной методики развития информационно-коммуникационной компетентности студентов обеспечивает повышение уровня полноты теоретических знаний и практических умений в области информатики и информационных технологий, что говорит о сформированности у будущих профессионалов в сфере информационных технологий когнитивно-деятельностного компонента информационно-коммуникационной компетентности.

Для определения сформиро-ванности личностного компонента информационно-коммуникационной компетентности будущих специалистов в сфере информационных технологий использовались следующие эмпирические методы исследования: наблюдение, беседа, анкетирование, анализ отчет- ной документации студентов по производственной практике и др.

Для проведения количественного оценивания сформирован-ности информационно-коммуникационной компетентности был использован квалиметрический анализ, позволяющий определить интегрированный коэффициент уровня сформированности рассматриваемой компетентности будущих специалистов в сфере информационных технологий.

Методом экспертной оценки были определены весовые коэффициенты каждой составляющей информационно-коммуникационной компетентности: а = 0,2 (информационно-коммуникационные компетентности, выделенные в федеральных государственных образовательных стандартах); b = 0,3 (информационно-коммуникационные компетентности, выделенные работодателями); c = 0,25 (ценностно-мотивационный компонент); d = 0,25 (рефлексивнопроектировочный компонент), при этом: а + b + c + d = 1. В качестве экспертов выступили 15 преподавателей информатики и предметных дисциплин, а также начальники отделов информационных технологий фирм, где студенты проходили практику, и сами студенты.

В настоящем исследовании была определена формула для нахождения интегрированного коэффициента уровня сформиро-ванности информационно-коммуникационной компетентности:

К = ( аК ₁ + bК ₂ + сК ₃ + dK ₄)·100%, где К ₁, К ₂ , К ₃, K ₄ – коэффициенты, характеризующие сформирован-ность выделенных нами составляющих.

Коэффициент, характеризующий сформированность одной из составляющих, определяется отношением:

К1 = n1/n, где n1 – число составляющих, освоенных студентом, а n – общее число выделенных составляющих.

Личностные компетенции

Развитие ИКК за каждый курс

ф

Контрольная группа

Экспериментальная группа

1-й курс 20,79 25,32

2-й курс 47,77 53,81

Контрольная группа

3-й курс 62,47 68,52

4-й курс 78,49 85,98

Рис. 1. Результаты развития информационно-коммуникационной компетентности (ИКК) контрольной и экспериментальной групп за каждый курс

Экспериментальная группа

Общекультурные компетенции

Корпоративные компетенции

Управленческие компетенции

Компетенции проектной деятельности

Компетенции аналитической деятельности

Компетенции научноисследовательской деятельности

Общепрофессиональные компетенции

Компетенции организационноуправленческой и производственнотехнологической деятельности

Личностные компетенции 90,

Общекультурные компетенции

Управленческие компетенции 86,5

7,88 78

Компетенции проектной деятельности

Компетенции аналитической деятельности

93,83

Компетенции научноисследовательской деятельности

Общепрофессиональные компетенции

90,04

Корпоративные компетенции

Компетенции организационноуправленческой и производственнотехнологической деятельности

Рис. 2. Результаты обработки профессионально-технологической карты формирования информационно-коммуникационной компетентности для контрольной и экспериментальной групп первого и четвертого курса

Таблица 2

Результаты распределения студентов по уровням формирования информационно-коммуникационной компетентности, %

Уровень формирования информационнокоммуникационной компетентности	Учебные курсы
	1-й- курс	2-й курс	3-й курс	4-й курс
Пользовательский	100	95	60	12
Технологический	0	5	40	57
Профессиональный	0	0	0	31

С использованием метода экспертных оценок были выделены следующие уровни сформиро-ванности информационно-коммуникационной компетентности будущих специалистов в сфере информационных технологий.

• 1.    Коэффициент меньше 70% – пользовательский .

• 2.    Коэффициент в пределах от 70% до 90% – технологический .

• 3.    Коэффициент более 90% – профессиональный .

Следует отметить, что пользовательский уровень характеризуется наличием у студентов информационно-коммуникационной компетентности, регламентированной в федеральных государственных образовательных стандартах высшего профессионального образования. Технологический и профессиональный уровни сформированности информационно-коммуникационной компетентности, кроме указанных компонентов, предполагают наличие компетенций работодателя, которые, в свою очередь, состоят из ценностно-мотивационного и рефлексивно-проектировочного блоков.

В ходе опытно-поисковой работы экспертам и студентам предлагались диагностические таблицы. Результаты заполненных таблиц были обобщены и сделаны выводы об уровнях сформирован-ности информационно-коммуникационной компетентности студентов.

Анализ табл. 2 позволяет сделать вывод, что у большинства студентов преобладает технологический уровень информационно-коммуникационной компетентности, т.е. будущие специалисты в сфере информационных технологий могут использовать информационные и сетевые технологии в профессиональной деятельности, в том числе в условиях неопределенности информационнокоммуникационной среды.

Таким образом, приведенные экспериментальные данные позволяют сделать вывод, что использование предложенного комплекса развития информационно-коммуникационной компетентности в условиях информационной образовательной среды федерального университета обеспечивает развитие информационно-коммуникационной компетентности до высшего профессионального уровня у будущих специалистов в сфере информационных технологий. Применение этой методики позволяет получить объективную информацию о качестве подготовки студентов (выпускников) вузов на основе измерения уровня сформированности их компетенций и оценить соответствие этого уровня требованиям федеральных государственных образовательных стандартов нового поколения. Высокая надежность полученных данных обеспечивается не только тем, что для расчета уровня сформированно-сти компонентов компетентности используются диагностические средства, качество которых удовлетворяет научно обоснованным критериям, но и предусмотренной возможностью контроля этого качества в процессе заполнения расчета.