Критериальный подход к оценке эффективности результатов реализации программ волонтерской деятельности как средства воспитания обучающихся

,

,

Введение . В настоящее время накоплен большой опыт реализации волонтерской деятельности как в Российской Федерации, так и в мировом сообществе. Существует проработанная система организации подобной деятельности, сбора материалов о добровольчестве и презентации волонтерского опыта. В большинстве школ и вузов страны, отдельных организациях дополнительного образования имеются волонтерские отряды или центры. Государство регулирует данную деятельность на нормативном и организационном уровнях¹. Существует федеральный проект «Социальная активность», в рамках которого реализуется собственно добровольческая дея-тельность². В 2014 г. по инициативе президента В.В. Путина в целях развития добровольческого движения и гражданской активности создана Ассоциация волонтерских центров (далее – АВЦ), объединяющая и координирующая работу большинства волонтеров в России. Необходимо отметить, что по данным АВЦ большая часть добровольцев – это граждане до 25 лет, в основном – учащиеся общеобразовательных учебных заведений и студенты высшего и среднего профессионального образования³.

Несмотря на накопленный опыт реализации программ добровольческой деятельности, не существует однозначного мнения о том, каким образом оценивать эффективность работы добровольцев и организаций, которые они представляют. Особенную актуальность данная проблема приобретает в связи с тем, что в школах, учреждениях дополнительного образования, средних профессиональных учебных заведениях и университетах принято большое количество волонтерских программ, в них участвуют активные подростки и молодежь, но не всегда реализация этих практик совпадает с целями и задачами, которые ставит перед системой образования закон «Об образовании в Российской Федерации»4, в том числе в части воспитательной работы. На данный момент в литературных источниках, включая методические рекомендации, нами не обнаружен единый стандартизированный подход к оценке результативности добровольчества.

В связи с этим цель исследования заключается в попытке обоснования единого критериального подхода к оценке эффективности результатов реализации программ волонтерской деятельности. При разработке подходов к определению действенности таких программ необходимо понимать, что они являются значимым инструментом обучения и воспитания. Поэтому при их реализации следует придерживаться норм и правил, обозначенных в Федеральном законе «Об образовании в Российской Федерации» и федеральных образовательных стандартах для всех уровней образования, которыми регламентируется система образования в целом.

Оценивание эффективности программ и практик в образовательной среде, по нашему мнению, возможно с использованием процедур стандартизации и валидизации инструментария. Под стандартизацией в сфере образования понимают деятельность, направленную на установление и применение правил в целях организации эффективной системы обучения и воспитания, управления образованием и педагогической наукой (Полонский, 2004).

Валидность в общественных науках понимается как набор методов и процедур, а также полученных при их использовании результатов, адекватных поставленным в исследовании целям и задачам, способность инструментария измерять те характеристики, для которых он заявлен5. В ра- боте Д.Д. Пратта с соавторами обоснованно показано, что валидность в педагогике в первую очередь обусловливается теми педагогическими смыслами и ценностями, которые преподаватели вкладывают в процесс обучения, т. е. в то, чему в первую очередь они хотят научить (Pratt et al., 2019). Наличие авторских подходов к определению достоверности приводит к появлению различных подходов к сбору доказательств, а именно к проверке достоверности полученных результатов.

Начиная с 1950-х гг. можно выделить четыре подхода к валидации: критериальный, трехсторонний, единый (унифицированный) и аргументный (Lu et al., 2021). При унифицированном подходе считается, что существует только конструктивная валидность и она является унитарным понятием, объединяя рассмотрение содержания, критериев и последствий в конструктивную структуру для эмпирической проверки рациональных гипотез об оценке и теоретически значимых отношениях. Ее аспекты выделены как средство решения основных проблем, скрытых в содержании понятия валидности как единой концепции. К ним относятся собственно содержание, содержательные, структурные, обобщаемые и внешние аспекты. Фактически они функционируют как общие критерии или стандарты достоверности для всех образовательных и психологических измерений, включая оценки результатов деятельности (Messick, 1995; Oluwatayo, 2012).

Методы и методики исследования . Опираясь на изложенное, а также на план критериальной апробации, представленный в работе испанских авторов Development process of content validity of pedagogical knowledge assessment in swimming (2020), предлагаем придерживаться следующей процедуры валидизации инструментария для оценки эффективности реализации программ волонтерской деятельности:

• 1)    обосновать применение критериального подхода для оценки волонтерской деятельности;

• 2)    разработать систему критериев оценивания эффективности результатов реализации программ волонтерской деятельности с позиции каждого ее участника;

• 3)    реализовать экспертную оценку критериев эффективности результатов реализации программ волонтерской деятельности.

При анализе литературы, содержащей информацию о возможных критериях оценки образовательных технологий, воспитательных практик, мы увидели, что количественные критерии в основном не несут в себе большого объема информации о сути и качестве практики, а также целесообразности ее применения в образовательно-воспитательном процессе (Ветинев, Круглова, 2016). Вместе с тем в работах других авторов приводятся иные принципы и подходы к оценке эффективности добровольческих команд, базирующиеся на системе студенческого портфолио, стандартах компетенций, определении экономической и социальной эффективности добровольческой деятельности, где применяются качественные критерии (Зленко, 2015), что позволяет рассматривать критериальный подход как возможный вариант оценивания результатов реализации программ волонтерской работы1.

Признавая необходимость количественных данных, считаем, что критериальный подход оптимален при оценивании результатов реализации волонтерской деятельности, поскольку она является социально значимой и, соответственно, обладающей смыслом и ценностью для ее участников. Объективность при критериальном оценивании подтверждается дескрипторами экспертного листа, в создании которых принимают участие организаторы волонтерской деятельности, эксперты, волонтеры и благополучатели, а также модерацией, обсуждением и сравнением оценок. Отдельно следует отметить его преимущество, заключающееся в получении эффективной обратной связи между участниками и качественном оценивании результата. Это дает возможность его осмысления путем выделения и оценивания компонентов выполненной работы, обозначающих конкретный уровень достижения, а также позволяет определить потенциал, служащий основанием для коллективной распределенной работы, и применить его к разным задачам и ситуациям.

По нашему мнению, именно критериальный подход обеспечивает эффективную обратную связь, делает оценивание максимально видимым и понятным для всех сторон добровольческой деятельности, формирует и поддерживает мотивацию самих волонтеров и заинтересованность благополучателей, организует преемственность на всех уровнях (учреждения общего, дополнительного и высшего образования).

Результаты исследования и их обсуждение. Критерии оценки волонтерской деятельности мы рассматривали в традиционном для отечественной педагогической науки направле-нии2: с точки зрения субъектов, в нее вовлеченных (Организация экспертизы…, 2006). В этом случае критерии можно распределить по следующим группам: волонтеры (разных возрастов и направлений деятельности), управленческое звено (организаторы волонтерской деятельности, непосредственные руководители), заказчик (государственные структуры власти), благополучатели (непосредственные адресаты волонтерской деятельности).

Специфика волонтерской деятельности, как указано ранее, заключается в том, что она обладает социально значимым характером, а обязательной средой для ее осуществления выступает социум. Данная особенность раскрывается через систему взаимосвязей субъектов добровольчества, выраженную в модели взаимодействия участников на разных уровнях организации и реализации. Кроме того, работа волонтерских объединений не только регулируется методологическими, нормативными и законодательными документами на разных уровнях власти, но и по содержанию отвечает заложенным в них требованиям, что также влияет на специфику ее оценки. Таким образом, критерии оценивания добровольческой деятельности охватывают уровни государства, социума, самих участников и результативности их труда. Отдельно следует отметить, что декомпозиция критериев может быть разной в зависимости уровня оценивания. Это связано с социальной важностью, указывающей на востребованность и актуальность в рамках направлений общественной практики.

Нами выделены следующие критерии.

• –    Критерий 1 (К1). Социальная значимость волонтерской деятельности.

• –    Критерий 2 (К2). Удовлетворенность участием в волонтерской деятельности.

• –    Критерий 3 (К3). Качество результата волонтерской деятельности.

• –    Критерий 4 (К4). Положительная динамика социально-психологических характеристик волонтера.

• –    Критерий 5 (К5). Формирование социального партнерства.

• – Критерий 6 (К6). Соответствие результата волонтерской деятельности нормативной документации.

Далее указанные критерии подробно рассмотрены через призму их содержания и субъектов оценивания.

Содержание К1: степень влияния результата волонтерской деятельности на социальноэкономическую, социально-психологическую, образовательную среду и возможности его экстраполирования на другие условия или среду. Субъекты оценивания К1: все субъекты волонтерской деятельности.

Содержание К2: субъективная оценка участниками своего опыта волонтерской деятельности и желания продолжать активность в добровольческом движении. Субъекты оценивания К2: волонтеры и руководитель волонтерской деятельности (организатор практики), благополучатели.

Содержание К3: степень соответствия результата выдвинутой цели волонтерской практики. Субъекты оценивания К3: волонтеры, руководитель (организатор волонтерской практики), заказчик.

Содержание К4: развитие таких личностных качеств, как коммуникативная компетентность, творческий потенциал, ответственность, благоприятный социально-психологический климат в коллективе волонтеров; синергийный эффект (сплочение команды в ходе реализации волонтерской деятельности), желание волонтеров продолжать дальнейшую благотворительную деятельность; формирование опыта волонтерской деятельности; духовно-нравственное, творческое совершенствование волонтеров. Субъекты оценивания К4: волонтеры, руководитель (организатор волонтерской практики).

Содержание К5: развитие у субъектов волонтерской деятельности умения устанавливать взаимоотношения и организовывать взаимодействие на разных уровнях. Субъекты оценивания К5: волонтеры, руководитель (организатор), заказчик продукта волонтерской деятельности.

Содержание К6: тождественность результата волонтерской деятельности концептуальным и методологическим аспектам нормативной документации, регламентирующей образование в РФ. Субъекты оценивания К6: руководитель волонтерской деятельности (организатор волонтерской практики), заказчик продукта волонтерской деятельности.

По нашему мнению, содержание критериев оценки добровольческой деятельности можно представить через индикаторы с разработкой инструментария для оценивания.

Реализация и эффективность добровольческой деятельности связаны с ее непосредственными участниками и организаторами, их удовлетворенностью как самим процессом, так и результатом своего труда. Содержание критериев оценки волонтерской деятельности для волонтеров, ее реализующих, представлено следующей декомпозицией.

Индикатор к критерию К1: понимание социальной значимости реализованных практик.

Индикатор к критерию К2: удовлетворенность процессом и результатом волонтерской деятельности, взаимоотношениями с другими участниками и руководством; сплоченность команды;

готовность продолжить совместную деятельность в других волонтерских практиках; удовлетворенность родителей / законных представителей молодых волонтеров деятельностью добровольцев.

Индикатор к критерию К3: степень соответствия результата выдвинутой цели волонтерской практики, умение гибко корректировать план действий согласно текущим изменениям в требованиях заказчика/благополучателя.

Индикатор к критерию К4: самоопределение и социализация обучаемых, формирование системы социокультурных, духовно-нравственных ценностей, развитие личностных качеств, повышение коммуникативной компетентности, творческого потенциала, ответственности; благоприятный социально-психологический климат в коллективе волонтеров; синергийный эффект (сплочение команды в ходе реализации волонтерских проектов), желание волонтеров продолжать дальнейшую благотворительную деятельность; формирование опыта волонтерской деятельности.

Индикатор к критерию К5: развитие у обучаемых умения устанавливать взаимоотношения и организовывать взаимодействие на разных уровнях.

Содержание критериев оценки волонтерской деятельности для руководителей добровольческой деятельности выражено следующей декомпозицией.

Индикатор к критерию К1: степень влияния результата волонтерской деятельности на социально-психологическую, образовательную среду; экстраполирование волонтерской практики на другие условия или среду.

Индикатор к критерию К2: удовлетворенность от руководства коллективом, взаимодействия с органами власти и благополучателями, результатов управленческой деятельности.

Индикатор к критерию К3: степень соответствия результата выдвинутой цели волонтерской практики.

Индикатор к критерию К4: развитие навыков управленческой деятельности; позитивные результаты воспитательной деятельности и выполнения функций руководителя волонтерского коллектива.

Индикатор к критерию К5: расширение сети социального взаимодействия на разных уровнях.

Индикатор к критерию К6: тождественность процесса и результата волонтерской деятельности содержанию концептуальных и методологических аспектов нормативной документации, регламентирующей образование в РФ, регионе, образовательном учреждении.

Содержание критериев оценки волонтерской деятельности для заказчика ее продукта также является актуальным, поскольку процесс реализации волонтерских практик оказывает влияние на динамику благополучия в целом и положительный имидж волонтерства в частности.

Индикатор к критерию К1: количество тиражирования конкретной практики (опыта) в социальной сфере; информированность населения о волонтерской деятельности; положительный образ волонтерства в конкретной местности; степень влияния результата волонтерской деятельности на социально-экономическую, социально-психологическую, образовательную среду.

Индикатор к критерию К2: степень соответствия результата выдвинутой цели волонтерской практики.

Индикатор к критерию К3: степень соответствия результата выдвинутой цели волонтерской практики.

Индикатор к критерию К4: развитие навыков управленческой деятельности; позитивные результаты воспитательной работы, а также деятельности по выполнению функций руководителя волонтерского коллектива.

Индикатор к критерию К5: расширение сети социального взаимодействия на разных уровнях; реализованность модели взаимодействия волонтеров на разных уровнях; обобщение и распространение опыта волонтерской деятельности на разных уровнях.

Индикатор к критерию К6: тождественность процесса и результата волонтерской деятельности содержанию концептуальных и методологических аспектов нормативной документации, регламентирующей образование в РФ, регионе, образовательном учреждении; сопоставимость целей и результатов волонтерской деятельности с календарным планом воспитательной работы, рабочей программой воспитания образовательной организации, федеральным законом РФ «Об образовании в Российской Федерации» и др.

Содержание критериев оценки волонтерской деятельности для благополучателей представлено через рассмотрение мультипликации пользы для конкретных людей и общества в целом.

Индикатор к критерию К1: значимость результатов волонтерской деятельности в обществе, положительные отзывы в социальных сетях, СМИ и т. д.

Индикатор к критерию К2: эмоционально положительная оценка результатов волонтерской деятельности, субъективного эмоционального эффекта для благополучателей.

При экспертной оценке предложенных нами критериев эффективности реализации программ волонтерской деятельности разработан экспертный лист для апробации и валидизации полученных критериев. Было привлечено 15 специалистов Сибирского и Уральского федеральных округов из числа организаторов волонтерской деятельности, имеющих опыт осуществления волонтерских проектов, финансированных Федеральным агентством по делам молодежи или Фондом президентских грантов. Им было предложено оценить собственные практики с позиции разработанных критериев и добровольческие проекты, поступившие на конкурс «Волонтерские инициативы в системе образования». Каждый из них оценил не менее 10 проектов.

Таким образом, получено 150 экспертных оценочных листов, для которых определен коэффициент согласованности. По результатам расчета коэффициент конкордации оказался равным 0,81. Это позволяет говорить о согласованности экспертных оценок критериального аппарата для анализа программ реализации волонтерских проектов, на основании чего можно сделать вывод о применимости предложенных нами критериев.

Представители экспертного сообщества отмечают, что волонтерство как инструмент воспитательной работы в Российской Федерации развивается интенсивно, демонстрируя способность гибко, органично и своевременно реагировать на изменения, происходящие в социальной жизни. Добровольческие практики становятся все более сложными и содержательно значимыми. Поэтому для расширения критериального подхода предлагаем использовать элементы Agile-методологии (англ. Agile Software Development – гибкая методология разработки) для оценки эффективности волонтерских программ, так как она представляет собой систему гибкого управления проектами. В работе М.А. Манокина и соавторов детально проанализировано применение Agile-методологии для оценки образовательной среды (2018).

Методологический подход к управлению и оценке эффективности волонтерских программ с позиции Agile-манифеста можно представить в виде декомпозиционной схемы, в которой отражается взаимодействие волонтеров между собой, волонтеров и благополучателей, событийность при реализации проектов и продукта реализации волонтерской деятельности (рисунок 1).

Рисунок 1 – Схема декомпозиции оценки эффективности волонтерских программ с позиции Agile-манифеста

Трансформация положений Agile-манифеста в контексте добровольческих проектов и практик показывает, что особо значимым является взаимодействие добровольцев между собой, с благополучателями и организаторами, их способность к изменениям, сам продукт волонтерской деятельности и нормативная документация, ее регламентирующая. C нашей точки зрения, в контексте критериального подхода данные показатели призваны расширять практико-ориентирован-ность и повышать уровень социально-психологической полезности работы волонтеров.

Вывод . Обобщая изложенное, следует отметить, что критериальный подход позволяет не только оценивать качество реализации добровольческих программ, но и осуществлять системный мониторинг волонтерской деятельности при разработке соответствующего инструментария, который включает в себя методы оценки социальной эффективности волонтерской деятельности и достижения результата, собственную рефлексию волонтеров и организаторов практик, самооценивание, анкетирование, тестирование, ранжирование, неформализованное интервью, фокус-группу. Дополнением данного инструментария выступают аналитическая оценка документов, продукта и результатов деятельности, модели взаимодействия волонтеров. Разработка указанного инструментария является перспективой дальнейшего исследования.