Особенности применения опросных методов в оценке качества воспитательного процесса в школе

В настоящее время необходимость оценки качества образования и его отдельных аспектов уже не вызывает никакого сомнения. Однако можно отметить, что вовлечение в эту оценку всех субъектов образовательного процесса по-прежнему не является массовой практикой, да и механизмы такого вовлечения недостаточно описаны и популяризированы педагогической наукой. Между тем последние тренды образования наглядно показывают необходимость создания для обучающихся всевозможных ситуаций рефлексии (адекватной самооценки учебной и внеучебной деятельности) для перевода обучающегося в позицию субъекта управления качеством своего образования; вовлечение родителей в большее взаимодействие со школой, что, как показывают международные исследования, влечет положительную динамику образовательных результатов и эффективности работы школ [5]. Опросные методы являются одним из самых доступных механизмов реализации вышеобозначенных направлений, преодоления «закрытости» российской школы, перехода на партнерские отношения с участниками образовательного процесса, ухода от манипуляций властью и директивного общения с ними.

Об этом свидетельствует и международный опыт. Организация международного сотрудничества и развития предлагает создавать возможность «высказать свое мнение для тех, кто ежедневно находится в школах» [6]. Опросник LEEP (Learning Environments Evaluation Programme) содержит анкеты, созданные международным коллективом исследователей, которые предназначены для учащихся, учите -лей и администрации школ, и позволяет обосновывать меры постоянного улучшения и рационального использования материально-технической базы или модернизации школ для создания более благоприятной среды, которая непосредственно влияет на педагогическую деятельность, образовательные результаты и благополучие учащихся.

Это же коррелирует с результатами, полученными в результате докторского исследования Е.В. Киселевой [1, 2], относительно организации экспертизы процесса воспитания. Обязательным объектом экспертизы должны выступать условия, в которых осуществляется воспитательный процесс, а привлечение непосредственных участников в экспертизу дает возможность понять, насколько эта среда целесообразно используется, в итоге чего намечаются пути ее совершенствования.

Вовлечение еще одних участников процесса воспитания - родителей в управление качеством воспитательного процесса путем опросных методов представляет большой интерес для исследования. В 2017-2019 гг. Институтом образования НИУ ВШЭ было проведено исследование вовлеченности родителей в формирование образовательного пространства детей (26 интервью с матерями) [3]. В ответах у части родителей можно отчетливо проследить сформированный запрос на условия организации учебного и воспитательного процессов в школе, четкие представления о качестве этих процессов. Такие родители также демонстрируют готовность брать на себя ответственность за решения, принятые в отношения образования и воспитания своего ребенка. В этом же исследовании заметна и другая тенденция, важная для рассматриваемой проблемы - у части родителей есть сформированное представление о своей удовлетворенности/неудовлетворённости качеством образовательных услуг без сформированного запроса (именно отношение к образованию как к услуге ярко проявляет в таких родителях некоторое отчуждение от участия и ответственности за качество образования своих детей). Школа, в свою очередь, даже если «видит в родителях ресурс, то представления о способах использования этого ресурса чаще всего ограничены: взносы, допуслуги, помощь в ремонте...» [5, с. 82]. В связи с этим опросные методы в оценке качества воспитательного процесса имеют определенные ограничения и особенности.

Опрос родителей об удовлетворенности отдельными аспектами жизнедеятельности школы, в целом, вошел в практику как отдельных образовательных организаций, так и на уровне страны в целом. Статистический сборник «Индикаторы образования» Высшей школы экономики, выходящий ежегодно, начиная с 2007 г. включает позиции удовлетворенности безопасностью пребывания в образовательной организации, качеством питания, качеством организации медицинского контроля и медицинской помощи. Однако в оценке качества воспитательного процесса используется пока недостаточно. Привлечение же к таким опросам обучающихся остается незначительным.

Оценка практики применения опросных методов в российских школах проходила на основе анализа отчетов образовательных организации о качестве (эффективности) воспитательного процесса (воспитания), размещенных на официальных сайтах организаций за последние 4 года (с 2017 по 2020 год). В выборку вошли 43 отчета организаций из 15 регионов России.

Анализ используемых инструментов мониторинга. 48,8% (21 организация) включают в свои оценочные процедуры опросные методы оценки удовлетворенности как родителей (чаще), так и обучающихся (реже). Анализ результатов опросов заинтересованных сторон, организованных самими образовательными организациями, а также коллективами исследователей [7], показывает, что наиболее частотно в школах применяются анкеты, разработанные А.А. Андреевым, Е.Н. Степановым, Л.В. Бай-бородовой [8]. Данные анкеты вошли во многие региональные методические рекомендации по проведению оценки качества образования в школах (в частности, г. Москвы, Московской, Белгородской, Астраханской областей и др.). И если педагоги-исследователи модифицируют анкеты под нужды своего исследования, то образовательные организации, как правило, (в нашей выборке 19 из 21 организаций) используют их в неизменном виде, тем самым существенно снижая диагностический потенциал этой оценочной процедуры. Другая тенденция, это когда образовательная организация сама составляет анкету, то часто анкеты не выдерживают критики. В одном из изучаемых отчетов (школа Московской обл.) встретилась анкета для родителей «Удовлетворенность воспитательной работой в школе», содержащая только одно высказывание: «Удовлетворены ли Вы проводимыми внеурочными мероприятиями? (да; нет, не интересуюсь данным направлением работы школы)». Понятно, что этот опрос имеет достаточно низкую информативность для принятия каких-либо решений.

Потенциал опросных методов в оценке качества образовательного процесса проявляется, прежде всего, в том, что они позволяют отслеживать факторы, в конечном счете влияющие на результат, т. к. помогают ответить на вопрос: «Что нужно изменить в организации воспитательной работы, чтобы повысить качество ее результата?». Есть множество факторов, которые меняются, тем самым вызывая и изменения в качестве результата (смена педагогов администрации школы; устаревание или обновление школьной образовательной среды, в т. ч. институциональной; события, произошедшие в шко-ле/классе/в городе/в стране; развитие и внедрение технологий организации внеурочной деятельности и т. д.). У каждой заинтересованной стороны (обучающиеся, родители, педагоги, администрация, персонал, вовлеченный в реализацию воспитательного процесса) есть свои представления, ожидания от качества организации воспитательной работы.

Здесь мы сознательно упоминаем о представлении о качестве, ведь качество понятие весьма субъективное, если качество понимается как степень соответствия совокупности присущих характеристик объекта требованиям. Требования и субъективное ощущение степени удовлетворения этих требований могут быть весьма различны. Один родитель доволен, если ребенок просто не пропускает занятия, приходит из школы целый и невредимый, что его время хоть чем-то занято полдня, даже если ему нечем заняться во внеурочное время, другому родителю недостаточно и 15 различных кружков и секций, организованных школой, если они не удовлетворяют интересам именно его сына/дочери, другие хотят активного вовлечения его ребенка в организацию школьных мероприятий, формирования активной гражданской позиций, площадок для свободного проявления детского творчества и т. д.

Использование для мониторинга качества организации воспитательной работы в школе опросных методов имеет ряд преимуществ: прямой способ получения информации от субъектов; доступность и простота в применении; легкость в обработке, интерпретации, хранении. Идеально, если такая работа проводится не спорадически, а систематически (как и предполагает само слово «мониторинг» – постоянное слежение), на всех уровнях управления школой и охватывает все заинтересованные стороны. Особенно важно охватывать таким мониторингом стороны с двойным статусом - непосредственных участников воспитательного процесса в школе (педагогов и воспитанников). Ученики, несмотря на свой небольшой жизненный опыт, также имеют представление о том, как им хотелось бы видеть организацию внеурочной деятельности, и им есть что предложить педагогам и администрации. В качестве дополнительного эффекта мы имеем вовлечение в проектирование среды (в том числе и событийной) вокруг себя, что влечет развитие субъектности обучающихся и повышение уровня вовлеченности в жизнедеятельность школы родителей, о чем было уже сказано выше. Конечно, это все возможно, при соблюдении ряда условий создания и проведения опроса.

На уровне школы наилучшим образом зарекомендовали себя полностью или частично стандартизированные опросы, в которых определена тема, процедура, порядок вопросов неизменен для всех участников исследования. Это позволит сопоставить результаты, быстро обработать большой объем ответов, интерпретировать и визуализировать результаты (при использовании современных интернет-сервисов Google.Forms, Survey Monkey, Survio и др., которые или полностью бесплатны, или имеют бесплатный тариф и готовые шаблоны). Дополнив стандартизированный опрос возможностью для свободных высказываний респондентов мы получим вполне рабочий инструмент мониторинга.

При работе с опросными методами в оценке качества воспитательного процесса необходимо учитывать факторы, которые могут повлиять на валидность информации:

• -    сбор информации в искусственной ситуации (люди не всегда делают то, что говорят), особенно если респондент не уверен в анонимности опроса;

• ‒    корректность составления вопросов и специфика их предъявления;

• -    ситуация проведения опроса может привести к негативации или напротив завышению оценок (после конкурса проигравшие участники могут занизить оценки проведенному мероприятию, победившие – завысить);

• ‒    искренность респондента и доверие его исследователю (позиция: все равно ничего не изменится);

• ‒    стереотипные ответы и стандартные высказывания;

• ‒    эффект ожидаемых мнений и стремление соответствовать социальным нормам;

• ‒    эпатажность и демонстративность поведения респондента (к этому нужно быть готовым при опросе школьников).

Для снижения субъективности необходимо дополнительно использовать и другие методы исследования. Опросы также могут взаимопроверяться, сопоставляться между разными группами респондентов (бывает весьма информативно наблюдать различия в оценках одних и тех же аспектов учителями и учениками, учителями и администрацией), а также дополняться наблюдением, изучением продуктов деятельности, статистическими данными и т. п.

Субъективный опрос не может быть единственным методом оценки качества и уж тем более его результаты не должны ложиться в обосновании репрессивных мер против организаторов воспитательной деятельности. Это инструмент определения точек роста, болевых сторон процесса для дальнейшего уточнения причин и путей решения выявленных проблем.

Чтобы мониторинг был жизнеспособным и реально работающим, необходимо соблюдать определённые этапы проектирования и реализации оценочных процедур мониторинга: определение цели, объекта мониторинга, критериев качества объекта; разработка диагностического инструментария и его стандартизация при необходимости; проведение мониторинга; обработка результатов мониторинга; анализ полученных данных, определение сильных сторон и областей для улучшения; разработка корректирующих и предупреждающих действий и принятие решений по итогам мониторинга; осуществление обратной связи [9].

Опросные методы как оценочная процедура мониторинга проходят все этапы. Для начала нужно определиться с целью, зачем образовательная организация проводит анкетирование, что хочет выявить, какой объект оценить, и определить основные характеристики и критерии, по которым можно оценить его качество. Например, объектом будет являться качество организации классным руководителем внеурочной деятельности. Характеристиками объекта могут выступать: микроклимат в классном коллективе, который создан классным руководителем, поддержка им актива класса, достаточность организуемой внеурочной деятельности, актуальность ее тематики для детей, их удовлетворенность предоставляемыми возможностями участия в планировании и организации классных или общешкольных мероприятий и т. д.

Имеет смысл среди объектов для мониторинга выбирать только те, в отношении которых могут быть приняты управленческие решения или для обоснования в необходимости принятия управленческих решений на более высоком уровне управления. Охватить все характеристики такого сложного объекта как качество организации воспитательной работы в одном опросе нереально, поэтому стоит сосредоточится на потенциально проблемных точках или точках роста.

Далее необходимо определиться с респондентами, кто может дать информацию об исследуемом объекте (это могут быть несколько групп заинтересованных сторон - дети и родители, педагоги и обучающиеся) и составить анкету. Анализ практики позволили выявить наиболее частотные проблемы: анкета составлены не на «языке» респондента; вопросы анкеты плохо увязываются с критериями объекта мониторинга; вопросы анкеты неконкретны, размыты; вопросы анкеты содержать оценочный посыл; структура анкеты нарушена; во вводной части анкеты содержатся указания на «правильные» ответы; приветствие не располагает респондента к ответу, а настраивает против и т. д.

Есть определенные правила, следования которым поможет создать работающий инструмент и уменьшить возможное искажение результата. Прежде всего, анкета должна выглядеть подготовленным инструментом, для этого желательно придерживаться определенной структуры: вводная часть (приветствие, информация о том, кто проводит опрос, с какой целью, как будут использованы результаты и как сам респондент сможет об этом узнать); инструкция по заполнению анкеты (шкала оценки); основная часть (закрытые высказывания в форме утверждения/вопроса); заключительная часть (открытые высказывания в форме утверждения/вопроса, выражение благодарности) [4].

Если анкета для родителей начинается вместо приветствия с фразы «Анкеты нужно заполнить до 20.04.2020 года», не исключено, что ответы будут носить формальный, а возможно и негативный характер. И, напротив, рассмотрим хороший кейс приветствия: «Уважаемый лицеист! Мы просим тебя: подумай и ответь на все вопросы честно и откровенно. Твои ответы помогут сделать более интересной жизнь не только твоего, но и других классов... При планировании жизни школы мы постараемся мак- симально учесть твои пожелания. Спасибо за помощь!». Данные формулировки располагают респондента к диалогу с анкетой.

Следующая проблема - вопросы в анкете имеют разные шкалы, варианты ответов все время меняются, что вызывает раздражение респондента, как и небрежное оформление «бумажной» анкеты (разные шрифты, опечатки и ошибки). Лучше, если для анкеты будет выбрана одна шкала оценки, например шкала согласия/несогласия с утверждением или шкала частотности (никогда, очень редко, иногда, часто, постоянно). Чем более стандартизованнее анкета, тем проще ее обрабатывать и сравнивать результаты по различным оцениваемым характеристикам. Высказывание в анкете должно быть максимально доступно для восприятия респондентом, и однозначно относится к конкретной характеристике объекта.

Очень часто приходится идти на обобщения (например, «Мне интересны темы внеклассных мероприятий»). Если мы хотим получить оценку тенденции, то допустимо обобщение в виде «Большинство тем внеклассных мероприятий мне интересны»). После таких высказываний уместно поместить открытый вопрос с уточнением: «Какие темы тебе показались скучными (неинтересными)?»

В заключительной части анкеты по выяснению уровня удовлетворенности тем или иным аспектом качества организации воспитательной работы весьма уместно разместить поле для общих предложений, ведь вопросы анкеты могли натолкнуть респондента на мысли относительно улучшения ситуации. Можно стимулировать респондентов заполнять это поле, если на какие-то аспекты они оценили отрицательно. Также необходимо выразить благодарность тем, кто ответил на анкету полностью.

Как сильную сторону практики можно указать саму публикацию отчетов об оценке качества на сайтах школ, ведь обратная связь после мониторинга существенно повышает доверие к этому инструменту. Однако, в анализируемых отчетах не хватает предложений и управленческих решений по результатам опроса.

В заключении можно отметить, что практика использования опросных методов в управлении качеством воспитательного процесса находится в стадии становления, но уже виден ее потенциал в качестве механизма, консолидирующего усилия всех участников образовательного процесса для установления атмосферы сотрудничества, позволяющего преодолеть проблемы «закрытости» современной массовой российской школы. Залог успешного саморазвития воспитательной системы школы - это находиться в постоянном диалоге с заинтересованными лицами, чтобы согласовывать их представления о качестве и осуществлять совместный поиск путей повышения качества организации воспитательного процесса.