Методология оценки эффективности профориентационной деятельности университета

Введение. В современных университетах профориентационная деятельность перестала быть вспомогательным направлением, обслуживающим приемную кампанию. Она все более отчетливо выступает как самостоятельный контур взаимодействия со школьниками, родителями, педагогами и территориями, соединяющий образовательную миссию, кадровую политику и стратегию формирования контингента. По мере расширения числа форматов – от разовых экскурсий и лекций до длительных проектных школ, программ сопровождения и консультационных треков – проблема оценки их реальной эффективности становится все более острой. Для Дальневосточного федерального университета (далее – ДВФУ) эта проблема особенно значима, поскольку вуз использует формы профориентационной работы разного типа и нуждается в сопоставимых инструментах их оценки.

Решение этой задачи требует иного исследовательского взгляда, чем простая фиксация числа мероприятий и участников. В случае сложных образовательных практик предметом анализа становится не отдельное событие само по себе, а последовательность изменений, которую оно запускает у целевой аудитории. В этой связи мероприятие следует рассматривать не как конечный результат, а как одно из звеньев более широкой цепочки, связывающей затраченные ресурсы, организационные действия университета, непосредственные эффекты взаимодействия и дальнейшие изменения в образовательной траектории школьника. Именно такая логика позволяет перейти от описания активности к анализу реального воздействия профориентации.

Для ДВФУ профориентационная деятельность не может рассматриваться только как совокупность разовых событий, проводимых различными подразделениями. По существу, она представляет собой распределенную систему взаимодействий со школьниками, в которой отдельные форматы выполняют разные функции: одни обеспечивают первичное ознакомление, другие углубляют интерес, третьи поддерживают движение к осознанному выбору и поступлению. В этой связи оценка такой деятельности должна быть направлена, как отмечалось выше, не только на учет числа мероприятий, но и на выявле-

Дальневосточный федеральный университет

ние того, каким образом отдельные форматы и их сочетания влияют на образовательную траекторию будущего выпускника школы.

Анализ материалов Организации экономического сотрудничества и развития (далее – OECD), посвященных карьерной готовности, показывает, что значимыми оказываются не только факты участия подростков в профориентационных активностях, но и содержание, повторяемость и глубина мероприятий данного направления. В отчете OECD «Состояние глобальной подготовки подростков к профессиональному выбору» (The State of Global Teenage Career Preparation, 2025) подчеркивается, что карьерные ожидания многих 15-летних слабо связаны с реальной структурой спроса на рынке труда и в значительной мере зависят от социального фона [5].

Организация Объединенных Наций по вопросам образования, науки и культуры (UNESCO) рассматривает карьерное сопровождение как непрерывный процесс, который помогает людям достигать потенциала, экономикам – работать эффективнее, а обществам – становиться справедливее [2]. В этой логике профориентационная деятельность ДВФУ должна быть осмыслена не только как инструмент набора абитуриентов, но и как особая образовательная интервенция, влияющая на качество выбора профессии и жизненную траекторию школьника.

Проблема состоит в том, что в практике большинства вузов эффективность профориентационной ра- боты оценивается либо по количеству отдельных мероприятий, либо на основании числа поступивших в вуз. Событийный подход не позволяет увидеть реальные механизмы изменения образовательной траектории школьника. Подход, основанный на оценке только конечного результата, чрезмерно сужает объект анализа, сводя сложную многослойную деятельность к ее последнему звену. Между этими полюсами и возникает исследовательская задача: разработать методологию оценки, с одной стороны, учитывающую глубину и многоаспектность процесса профориентации, а с другой – являющуюся для университета эффективным управленческим инструментом.

Цель статьи – обосновать и описать рамочную методологию оценки эффективности профориентационной деятельности ДВФУ, основанную на логике оценки программ, маршрутах их участников и соотнесении результата с затраченными ресурсами университета в расчете на одного абитуриента в рамках довузовской работы. Для достижения этой цели в статье раскрываются теоретические основания оценки профориентации как сложной интервенции, анализируются ограничения событийного подхода, предлагается модель проектирования методологии, показываются научные и управленческие последствия ее внедрения, описывается маршрутная схема расчета доли участников, поступивших в университет, с учетом их образовательных траекторий.

Теоретические основания оценки профориентационной деятельности университета. Профориентационная деятельность вуза представляет собой особый тип интервенции на стыке образовательной, социальной и институциональной логики. В отличие от школьной профориентации, нацеленной, прежде всего, на помощь подростку в выборе дальнейшего пути, она всегда носит двойственный характер. С одной стороны, эта деятельность помогает школьнику увидеть возможные образовательные и профессиональные траектории, расширить горизонт выбора, повысить осознанность решения. С другой стороны, она встроена в стратегию формирования контингента, набора на приоритетные направления и воспроизводства кадрового потенциала самой организации. Именно эта двойственность делает ее сложным объектом оценки [2; 5].

В международной традиции карьерного сопровождения такая деятельность имеет значение не только для индивида, но и для общества в целом. UNESCO рассматривает карьерное сопровождение как средство повышения социальной справедливости, поддержки осознанного и последовательного перехода человека между этапами образования, профессиональной подготовки и занятости, а также повышения результативности образовательных систем. В документах OECD на основе анализа международных данных отмечается, что определенные карьерные активности в подростковом возрасте связаны с более благоприятными исходами на этапе взросления. Это значит, что профориентация должна анализироваться не как периферийная услуга, а как общественно значимая интервенция [2; 5]. В университетском контексте, в том числе в условиях ДВФУ, это означает, что оценка профориентационной деятельности не может быть сведена только к числу поступивших; она должна учитывать и более ранние промежуточные результаты.

Для анализа профориентационной деятельности ДВФУ важен методологический подход, при котором внимание переносится с отдельных мероприятий на целостную систему взаимодействия со школьниками. В этой логике оценивается не только сам факт проведения того или иного формата, но и его место в общей цепочке изменений: от первичного контакта и углубления интереса до более устойчивого вовлечения, абитуриентского действия и поступления.

Особую роль здесь играет различение продуктов деятельности, получаемых непосредственно на мероприятии, его результатов и более отдаленных эффектов. Проведенные мероприятия, число участников и объем охвата относятся к прямым фиксируемым продуктам работы университета. Результаты связаны с изменениями в состоянии, поведении или положении целевой аудитории; они могут быть краткосрочными, промежуточными и более устойчивыми во времени. Отдаленные эффекты относятся к наиболее глубоким и системным последствиям рассматриваемой нами деятельности. Применительно к профориентации это означает, что охват сам по себе не равен результату, а поступление не может рассматриваться как единственный допустимый показатель результата. Между этими уровнями располагается целый слой промежуточных эффектов: рост осведомленности, повторное участие, углубление интереса, вход в программу сопровождения, абитуриентское действие.

Отсюда вытекает фундаментальный тезис статьи: профориентацию корректнее всего рассматривать как программу изменения образовательной траектории школьника, а не как совокупность отдельных событий. Это означает, что единицей анализа должно стать не само мероприятие, а движение его участника между последовательными этапами профессионального самоопределения и образовательного выбора. Именно это и открывает возможность для более строгой, сопоставимой и применимой в управленческой практике оценки профориентационной деятельности.

Проектирование методологии оценки: от события к образовательной траектории школьника. Проектирование методологии нельзя свести к простому выбору комплекса показателей. Методология возникает там, где задается способ упорядочивания сложного объекта: определяется, что считается ре-

МЕТОДОЛОГИЯ ОЦЕНКИ ЭФФЕКТИВНОСТИ ПРОФОРИЕНТАЦИОННОЙ ДЕЯТЕЛЬНОСТИ УНИВЕРСИТЕТА зультатом, на каком уровне он возникает, как соотносится с ресурсами и в какой мере доступен наблюдению. В случае университетской профориентации это особенно важно, поскольку один и тот же формат может производить разные эффекты в зависимости от исходного положения участника [3].

Базовым допущением предлагаемой модели оценки профориентационной деятельности (далее – Модель), основанной на анализе переходов школьника между последовательными состояниями его образовательного и профессионального самоопределения, в которой результат определяется не количеством проведенных мероприятий, а изменениями в его образовательном выборе и профессиональном самоопределении, является понимание профориентации как программы переходов. Включаясь в череду событий, обучающийся проходит ряд состояний. Для аналитических целей вводятся следующие состояния траектории для целевого контингента профориентационной деятельности:

• •    S ₀ – школьник отсутствует в идентифицированном контуре взаимодействия с вузом;

• •    S ₁ – первичный идентифицированный контакт;

• •    S ₂ – повторный контакт или углубленный интерес;

• •    S ₃ – устойчивое вовлечение школьника в более глубокий формат взаимодействия;

• •    S ₄ – абитуриентское действие;

• •    S ₅ – поступление участника профориентационных мероприятий в данный вуз;

• •    S ₆ – продолжение обучения в вузе.

Эти состояния описывают не формы активности, организуемые университетом, а положение школьника в траектории профессионального самоопределения и образовательного выбора. В условиях ДВФУ такая схема позволяет связать разрозненные профориентационные форматы в единую последовательность для аналитической оценки.

Следующий принципиальный шаг связан с выбором единицы анализа. В административной практике такой единицей обычно выступает мероприятие, что удобно для учета, но не подходит для оценки результата. Мы предлагаем использовать три взаимосвязанных уровня анализа: мероприятие, участник и его траектория. Базовой аналитической единицей становится траектория, поскольку она позволяет увидеть изменение положения школьника, а не только активность подразделения.

Далее проектирование методологии требует разведения уровней результата. Здесь мы выделяем четыре слоя:

• •    первый – непосредственный результат контакта: участие, охват, субъективная полезность, рост осведомленности;

• •    второй – поведенческий результат: повторное участие, регистрация на следующее мероприятие, запрос консультации, вход в программу сопровождения;

• •    третий – конверсионный результат: абитуриентское действие, подача заявления, поступление;

• •    четвертый – отдаленный результат: продолжение обучения в вузе, успешность образовательной траектории, возможный вклад в кадровое воспроизводство территории.

В логической модели программы результаты разграничиваются по времени их проявления: краткосрочные результаты приводят к промежуточным, а промежуточные – к долгосрочным [3]. Такое разграничение не позволяет подменять результаты одних временных горизонтов итогами других и тем самым обеспечивает внутреннюю последовательность предлагаемой Модели.

Для корректного сравнения форматов также требуется типология профориентационных воздействий. В рабочем виде достаточно четырех классов: ознакомительные, углубляющие представление, сопровождающие и конверсионные форматы. Смысл типологии не в классификации как таковой, а в том, чтобы каждый тип сопоставить с допустимым профилем результата и горизонтом оценки. Без этого короткие и массовые форматы будут автоматически выигрывать по охвату, а длительные и сложные – проигрывать по количественным метрикам, даже если именно они сильнее влияют на профессиональное самоопределение и образовательный выбор школьника.

Наконец, в архитектуру методологии включается идея уровней доказательности. Прямое доказательство возникает тогда, когда идентифицирован участник, известен его путь и можно проследить последующее действие. Значимый косвенный показатель – это повторное участие, переход в более глубокий формат, вход в программу сопровождения. Удовлетворенность, положительная оценка мероприятия и заявленный интерес характеризуют непосредственную субъективную реакцию участника, но сами по себе не свидетельствуют об изменении его профессионального самоопределения или образовательного выбора. Разграничение показателей необходимо для того, чтобы не строить далеко идущих обобщений на основании ограниченного эмпирического материала.

Маршрутная Модель и формулы расчета показателей перехода участников между этапами траектории. На прикладном уровне профориентационная деятельность университета рассматривается как система переходов между последовательными этапами профессионального самоопределения и образовательного выбора. Конверсия интерпретируется как вероятность перехода участника из одного состояния в другое. Для отдельного участника профориентационных мероприятий i переход из состояния Sr в состояние Sr+1 задается бинарным индикатором. Индивидуальный путь школьника может быть представлен как последовательность взаимодействий с университетом, каждое из которых характеризуется датой участия, форматом мероприятия, ответственным подразделением университета и объемом затрат на его организацию. Полученные данные необходимо упорядочить и представить в виде маршрута, отражающего переходы школьника между последовательными этапами профессионального самоопределения и образовательного выбора, а также его участие в разных форматах профориентационной деятельности.

Для анализа путь необходимо нормализовать и переводить в маршрут по состояниям школьника или по типам форматов активностей. Такая формализация опирается на базовые представления теории вероятностей и математической статистики, включая условные вероятности переходов, их последовательное накопление и статистическое описание траекторий [1].

Пусть π некоторый тип маршрута, I _{π, r} – множество участников, дошедших по данному маршруту до этапа S_r . В прикладном расчете старт маршрута задается с первого идентифицированного контакта, то есть с состояния S ₁. Тогда пошаговая конверсия по маршруту равна:

CRПr^r" |Xiei Jr^r+1))/Nnr, gde Nnr = |nr\ где CRπ(r→r+1) – показатель пошаговой конверсии по маршруту π при переходе от состояния Sr к состоянию Sr+1;

CR – сокращение от английского «conversion rate» (показатель конверсии);

• π – рассматриваемый тип маршрута;

r – порядковый номер текущего состояния маршрута; r +1 – порядковый номер следующего состояния маршрута;

S_r – текущее состояние участника в маршруте;

S_r +1 – следующее состояние участника в маршруте; i – отдельный участник профориентационных мероприятий;

I _{π, r} – множество участников маршрута π, достигших состояния Sᵣ;

zⁱ _{( r → r +1)} – бинарный индикатор, принимающий значение 1, если участник i перешел из состояния S_r в состояние S_r ₊₁, и 0, если переход не состоялся;

N _{π, r} – число участников маршрута π, достигших состояния Sᵣ;

Σ – знак суммирования значений показателя по всем участникам соответствующего множества;

∈ – знак принадлежности элемента множеству;

| I _{π, r} | – число элементов множества I _{π, r} , то есть количество участников;

→ – переход от одного состояния маршрута к другому.

Накопленная конверсия маршрута до конечного состояния SR определяется как произведение пошаговых конверсий:

CCR <14 R >=П R-1 CR(r^r+1), П            r=1      П где CCRπ(1→R) – накопленная конверсия маршрута π от первого состояния S₁ до конечного состояния маршрута;

CCR – сокращение от английского «cumulative conversion rate» (накопленный показатель конверсии); R – порядковый номер конечного состояния маршрута;

SR – конечное состояние маршрута, включенное в расчет;

∏ – знак произведения, обозначающий последовательное умножение пошаговых показателей конверсии;

r =1 – первый переход, включенный в расчет;

R -1 – последний переход перед достижением конечного состояния маршрута.

Для университетской практики особенно важны две частные метрики. Первая – конверсия маршрута в абитуриентское действие:

CR A = N / N П        П , A ' П ,1

где N _{π, A} – число школьников, движущихся по маршруту π, совершивших абитуриентское действие. CR _π ^A – конверсия маршрута π в подачу заявления;

A – условное обозначение абитуриентского действия, в данном случае подачи заявления о поступлении;

N _π,1 – число участников, вошедших в маршрут π на этапе первого идентифицированного контакта S ₁.

Вторая – конверсия для маршрута в поступление:

CRE = N /N „

П         П, E ' П ,1 , где Nπ,E – число школьников, движущихся по маршруту π, поступивших в университет.

CR _π ^E – конверсия маршрута π в поступление;

E – условное обозначение поступления (enrolment);

N _{π, E} – число участников маршрута π, поступивших в университет.

Для анализа ранних звеньев траектории используется префиксный подход. Если π^{( k )} – префикс маршрута длины k , то его конверсия в более поздний результат SR определяется как:

CR^ = N, / /N.,, n⁽ k ’ ^ R        R П¹ k )        П ^k ) '

где CR _π (k ) _→R – конверсия начального фрагмента маршрута π длины k в достижение конечного состояния маршрута;

π ^{( k )} – префикс, то есть начальный фрагмент маршрута π, включающий первые k звеньев;

k – число звеньев, входящих в анализируемый начальный фрагмент маршрута;

N_{R |π} ( k ) – число участников, прошедших префикс π^{( k )} и достигших конечного состояния маршрута;

МЕТОДОЛОГИЯ ОЦЕНКИ ЭФФЕКТИВНОСТИ ПРОФОРИЕНТАЦИОННОЙ ДЕЯТЕЛЬНОСТИ УНИВЕРСИТЕТА

N _π ( k ) – общее число участников, прошедших префикс π ( k ) ;

| – условие: достижение конечного состояния маршрута рассматривается при условии прохождения префикса π^{( k )}.

Этот подход позволяет анализировать силу ранних комбинаций касаний еще до того, как сформируются длинные и массово повторяющиеся полные маршруты. Чтобы избежать занижения конверсии для школьников, недавно вошедших в маршрут, для каждого перехода должно быть задано окно наблюдения Δ _r . Тогда при расчете пошагового показателя перехода в знаменатель включаются только те участники мероприятий, для которых установленный период наблюдения уже истек. В противном случае участники, включившиеся позднее, будут систематически ухудшать расчетную конверсию.

Где Δ _r – установленный период наблюдения за переходом из состояния S_r в состояние S_r ₊₁; Δ обозначает продолжительность периода наблюдения, r – номер текущего состояния.

Поскольку методология призвана обеспечить оценивание не только результативности, но и эффективности профориентационной деятельности, каждый маршрут участника соотносится с объемом ресурсов, затраченных университетом на его организацию и сопровождение. Если стоимость j -го касания школьника i обозначить через c_ij , то полная стоимость пути равна:

С. = 2 V, ■         j=1 j, где Ci – полная стоимость пути участника i;

i – отдельный участник профориентационной деятельности;

j – порядковый номер взаимодействия участника с университетом;

m_i – общее число взаимодействий участника i с университетом;

c_ij – стоимость j -го взаимодействия участника i с университетом;

Σ – знак суммирования затрат по всем взаимодействиям участника i от первого до m_i -го.

Средняя стоимость маршрута π рассчитывается следующим образом:

где C _π – средняя стоимость маршрута π в расчете на одного участника;

I _π – множество всех участников маршрута π;

C_i – полная стоимость пути участника i ;

N _π – общее число участников маршрута π;

черта над C – обозначение среднего значения показателя.

Такой способ агрегирования затрат соответствует общим подходам к оценке эффективности программ и базовым статистическим процедурам обобщения данных.

Удельные затраты на достижение этапа подачи заявления:

CPA.. =(x.₽, c /n n ., Л          ■e I, ■         n,A> где CPAπ – удельные затраты на достижение этапа подачи заявления по маршруту π;

CPA – сокращение от английского «cost per applica-tion» (затраты в расчете на одно поданное заявление); N _{π ,A} – число участников маршрута π, подавших заявление о поступлении;

Σ_{i ∈ I} – суммирование стоимости путей всех участников маршрута π.

Удельные затраты на достижение этапа зачисления:

CPE л =(2*I п С) / N KiE, где CPEπ – удельные затраты на достижение этапа зачисления по маршруту π;

CPE – сокращение от английского «cost per enrol-ment» (затраты в расчете на одного поступившего); N _{π ,E} – число участников маршрута π, поступивших в университет.

Иллюстрация проведения расчетов на условных данных. Для проверки валидности предложенных формул приведем условный пример маршрута π. Предположим, что в маршрут на этапе первого идентифицированного контакта S ₁ вошло 100 обучающихся средних школ и учреждений среднего профессионального образования; до этапа S ₂ дошли 70 участников; S ₃ – 42; S ₄ (абитуриентское действие) – 21; S ₅ (поступление) – 9.

Тогда пошаговые конверсии рассчитываются следующим образом:

CR _π^(1→2) = 70 / 100 = 0,70,

CR _π^(2→3) = 42 / 70 = 0,60,

CR ^(3→4) = 21 / 42=0,50, π

CR _π^(4→5) = 9 / 21 ≈ 0,43.

Накопленная конверсия маршрута в поступление составит:

CCR _π^(1→5) = 0,70 × 0,60 × 0,50 × 0,43 ≈ 0,09.

Полученное значение совпадает с прямым отношением числа поступивших к числу участников, вошедших в маршрут на этапе S ₁: 9 /100 = 0,09. Это показывает внутреннюю согласованность формул пошаговой и накопленной конверсии.

Конверсия маршрута в абитуриентское действие при тех же данных составит:

CR _π ^A = 21 / 100 = 0,21.

Конверсия маршрута в поступление составит:

CR _π ^E = 9 / 100 = 0,09.

Предположим, что совокупные затраты на реализацию маршрута, включающие расходы на все входящие в него профориентационные мероприятия, составили 300 000 руб. На этой основе рассчитываются удельные затраты для разных этапов маршрута.

Удельные затраты в расчете на одного участника маршрута:

Z _π = 300 000 / 100 = 3 000 руб.

Удельные затраты в расчете на одного участника, дошедшего до этапа подачи заявления:

Z _{π, A} = 300 000 / 21 ≈ 14 286 руб.

Удельные затраты в расчете на одного участника, зачисленного в университет:

Z _{π, E} = 300 000 / 9 ≈ 33 333руб.

где Z _π – удельные затраты в расчете на одного участника маршрута π;

Z _{π ,A} – удельные затраты в расчете на одного участника маршрута π, достигшего этапа подачи заявления A ; Z _{π ,E} – удельные затраты в расчете на одного участника маршрута π, достигшего этапа поступления E ; A – этап подачи заявления о поступлении;

E – этап поступления в университет.

Таким образом, одна и та же сумма затрат соотносится с числом участников, достигших разных этапов маршрута.

Приведенный пример расчета показывает, что рассматриваемый маршрут в целом обладает выраженной результативностью: из 100 участников 21 доходит до абитуриентского действия, а 9 – до поступления в университет. Вместе с тем, анализ пошаговой конверсии позволяет установить, что основные потери возникают не на этапе первичного включения, а на более поздних переходах – между глубоким участием, абитуриентским действием и поступлением. Таким образом, методология делает возможным выявление не только итогового результата, но и участков маршрута, требующих управленческого вмешательства.

Расчет удельных затрат для разных этапов маршрута отражает экономическую сторону его реализации. При совокупных затратах в размере 300 000 руб. расходы в расчёте на одного участника профориентационных мероприятий составляют 3 000 руб., на одного участника, подавшего заявление о поступлении, – 14 286 руб., а на одного участника, зачисленного в университет, – 33 333 руб. Следовательно, предлагаемый подход позволяет оценивать профориентационный маршрут не только с точки зрения его результативности, но и с позиции соотношения достигнутого эффекта и объема затраченных ресурсов.

Это особенно важно для принятия решений о масштабировании, корректировке или пересборке отдельных форматов работы со школьниками.

Таким образом, маршрут перестает быть просто описанием последовательности касаний и становится аналитической единицей, для которой можно рассчитать вероятность запланированного результата и стоимость его достижения. В этом и заключается переход от событийной отчетности к управлению траекториями. При необходимости модель может быть дополнена коэффициентом глубины маршрута и процедурой атрибуции результата между несколькими подразделениями, если потенциальный абитуриент проходит через несколько касаний, организуемых разными структурами вуза.

Операционализация методологии: данные, коды, матрицы переходов. Для прикладного использования методологии необходимо перейти от теоретической модели к формализованной системе данных. Минимальный пул данных, необходимых для применения методологии оценки, включает пять взаимосвязанных компонентов: реестры профориентационных мероприятий, участников, их последующих действий, затрат вуза, а также таблица взаимодействий участников с университетом. Такая структура позволяет связать сведения о проведенных мероприятиях с данными об индивидуальных маршрутах участников и ресурсах, затраченных на организацию профориентационной деятельности. Применительно к ДВФУ речь идет о создании единого контура учета профориентационных данных, который объединит мероприятия разных подразделений.

Каждому школьнику в системе должен быть присвоен уникальный идентификатор. Все мероприятия получают код формата, каждое касание – связку «участник – мероприятие – дата – подразделение – формат – стоимость». Каждое касание сопоставляется не только с типом формата, но и с состоянием (этапом траектории), которого достиг школьник в результате этого касания. Благодаря такому подходу становится возможным построение двух типов маршрутов: по форматам и по состояниям.

Базовым аналитическим инструментом служит матрица переходов. Пусть n_rs – число участников мероприятий, перешедших из состояния S_r в состояние S_s . Тогда матрица переходов имеет вид квадратной матрицы N , в которой каждая ячейка отражает фактическое число переходов из одного состояния в другое. На ее основе строится матрица условных вероятностей перехода p_rs = n_rs / Σ _qn_rq . Именно она позволяет увидеть, где возникают основные потери: на входе, на этапе углубления, при переходе в сопровождение или уже вблизи абитуриентского действия.

Операционализация методологии требует различения уровней зрелости данных. Базовый контур позволяет анализировать активность, охват и ори-

МЕТОДОЛОГИЯ ОЦЕНКИ ЭФФЕКТИВНОСТИ ПРОФОРИЕНТАЦИОННОЙ ДЕЯТЕЛЬНОСТИ УНИВЕРСИТЕТА ентировочные затраты в расчете на одного участника. Продвинутый контур обеспечивает отслеживание повторных взаимодействий и ранних переходов. В современной методологии оценки программ оценка рассматривается как последовательный процесс, включающий описание программы, определение задач и структуры оценки, сбор данных и обоснование выводов [3]. В предлагаемой методологии эта логика реализуется посредством поэтапного расширения состава используемых данных. На начальном этапе учитываются сведения о мероприятиях, участниках и затратах. Подключение данных приемной кампании позволяет рассчитывать долю участников, подавших заявление и зачисленных в университет, а также удельные затраты на достижение этих этапов. Такой подход позволяет начать применение методологии на основе имеющихся данных и последовательно расширять аналитические возможности системы.

Процедура применения методологии в университете. Методология начинает работать только тогда, когда переводится в устойчивую организационную процедуру. Сбор первичных данных о мероприятиях и участниках должен осуществляться на уровне подразделений-организаторов. Единый оператор реестра отвечает за нормализацию данных, присвоение кодов форматам, устранение дублей и поддержку связки между мероприятиями и участниками. Подразделение, ответственное за ведение данных приемной кампании, обеспечивает сопоставление сведений об участии школьников в профориентационных мероприятиях с информацией об их регистрации в системе, подаче заявления и зачислении в университет.

Аналитический контур обеспечивает построение индивидуальных маршрутов участников, расчет показателей перехода между их последовательными этапами и подготовку аналитических выводов для принятия управленческих решений. Для ДВФУ это означает необходимость выстраивания общего порядка работы и взаимодействия между подразделениями, ведущими профориентационные мероприятия, контуром приема и аналитической функцией.

Периодичность расчета показателей перехода должна зависеть от этапа маршрута. Оперативный цикл используется для анализа ранних переходов: от первичного контакта к повторному участию и далее к включению в углубленные профориентационные программы. Ежеквартальный цикл позволяет оценивать устойчивость индивидуальных маршрутов и последовательность прохождения их начальных этапов. Итоговый годовой цикл применяется для расчета доли участников, подавших заявление, зачисленных в университет и, если это предусмотрено Моделью, продолживших обучение после первого курса. Такая периодичность позволяет одновремен- но отслеживать текущую динамику профориентационной деятельности и оценивать ее отложенные результаты.

Сравниваться должны не все уникальные траектории, а только нормализованные и достаточно массовые маршруты. Наиболее продуктивны три класса сравнения: полные типовые маршруты, префиксы маршрутов и маршруты, различающиеся одним звеном. Именно последний тип сравнений позволяет увидеть прирост результата от добавления конкретного формата в уже существующую траекторию.

При неполных данных методология должна не создавать видимость точности, а указывать степень обоснованности выводов. Если участнику не присвоен единый идентификатор, анализ ограничивается уровнем отдельных мероприятий. Если установленный период наблюдения еще не истек, участник временно не включается в знаменатель при расчете доли участников, достигших последующих этапов маршрута. Если данные о затратах представлены не в полном объеме, показатели эффективности рассматриваются как предварительные.

Пилотную апробацию методологии целесообразно проводить не в одном, а в 3–4 подразделениях, различающихся по характеру профориентационной деятельности (массовые ознакомительные мероприятия, углубленные программы, длительное сопровождение участников и работа с ними на этапах подачи заявления и зачисления). Это позволит проверить, применима ли методология к разным видам профориентационной деятельности и не приводит ли она к некорректному сопоставлению форматов, различающихся по продолжительности и интенсивности. Пилотная апробация предполагает единое кодирование данных, построение матриц переходов, расчет показателей для нескольких типовых маршрутов и анализ выявленных методических ограничений. По результатам апробации методология может быть доработана и утверждена в качестве внутреннего регламента университета.

Научные и управленческие последствия внедрения методологии. Внедрение предлагаемой методологии меняет само понимание сути процесса профориентации в вузе. Он перестает быть набором событий, информационных акций или вспомогательных мероприятий для приемной кампании и начинает рассматриваться как сложная программа воздействия на образовательную траекторию школьника. Университет может оценить не только объем собственной профориентационной деятельности, но и механизм формирования результата: какие мероприятия обеспечивают первичное вовлечение школьников, какие способствуют их переходу к более глубоким форматам взаимодействия, а какие связаны с подачей заявления и зачислением в университет. Для ДВФУ это означает переход от учета отдельных мероприятий к анализу целостной системы профориентационной работы.

Управленческая оптика меняется сразу в нескольких отношениях:

• •    исчезает неправомерное сравнение подразделений по цифрам охвата и (или) числу мероприятий;

• •    объектом управления становится не отдельное мероприятие, а конфигурация маршрутов и переходов;

• •    появляется возможность обсуждать профориентацию не только с точки зрения общей результативности, но и с позиций эффективности использования ресурсов – соотношения результата и затрат.

Критерии значимости, результативности, эффективности использования ресурсов, долгосрочного эффекта и устойчивости должны применяться контекстно и не механически. Для профориентационной деятельности ДВФУ это означает необходимость различать ценность формата, силу результата и стоимость его достижения [4].

Научная новизна предлагаемого подхода состоит в применении инструментов оценки программ и логической модели программы к сфере университетской профориентации, в выборе траектории школьника как основной единицы анализа, а также в установлении требований к доказательности выводов о достигнутых профориентационных результатах. В большинстве практик профориентация оценивается либо по количеству событий, либо по числу поступивших в вуз. В предлагаемой модели между этими уровнями помещается развернутая цепочка промежуточных переходов, что позволяет аналитически удерживать сам механизм формирования результата. Для ДВФУ это создает основу для собственной институциональной модели оценки.

Теоретический результат состоит в обосновании того, что профориентационную работу, осуществляемую вузом, следует анализировать как сложную интервенцию, соединяющую общественно значимую образовательную функцию и институциональную задачу формирования контингента. Это позволяет удерживать как ранние и промежуточные ее результаты, так и поздние эффекты, не сводя весь анализ ни к охвату школьников профориентационной деятельностью, ни к числу поступивших. В таком понимании профориентация соотносится с международной повесткой, посвященной карьерной готовности и карьерному сопровождению, где подчеркивается важность содержательных повторяющихся качественно организованных карьерных активностей [2; 5].

Практическая применимость методологии определяется тем, что она может быть внедрена поэтапно. Данная методология пригодна для пилотного расчета на ограниченном числе подразделений, формирования внутреннего аналитического стандарта и последующего управленческого использования. Она может стать основанием для дальнейших сравнительных исследований университетской профориентации как особого типа образовательной интервенции.

Заключение. В статье предложена рамочная методология оценки эффективности профориентационной деятельности университета, основанная на подходах к оценке образовательных программ, логической модели программы и результат-ориенти-рованном подходе. Показано, что традиционная событийная отчетность позволяет видеть активность университета, но не дает возможности судить о результате, глубине воздействия на целевую аудиторию и стоимости достижения запланированного эффекта. Разработанная нами модель рассматривает профориентацию как программу изменения образовательной траектории школьника, а маршруты участника – как основную единицу анализа.

Методический результат проведенной работы заключается в построении маршрутной модели оценки. В ней введены состояния траектории участника, формулы пошаговой и накопленной конверсии, принципы префиксного анализа маршрутов, базовые показатели стоимости результата и правила работы с неполными данными. Это позволяет перевести профориентацию из пространства описания мероприятий в пространство анализа переходов между этапами профориентационной траектории, механизмов и ресурсов профориентационной деятельности университета. Показано, что такая методология должна предусматривать разные уровни доказательности и четко обозначать пределы интерпретации полученных данных: выявленная связь не всегда свидетельствует о причинном эффекте, удовлетворенность участника не является достаточным подтверждением изменения его профессионального самоопределения или образовательного выбора, а достижение последующих этапов маршрута не может быть однозначно связано с одним профориентационным мероприятием.

Практический результат работы состоит в том, что предложенная Модель может быть использована ДВФУ как основание для создания внутреннего регламента оценки профориентационной деятельности, апробации на ограниченном числе подразделений и дальнейшего развития аналитики абитуриентской и довузовской воронки. Тем самым методология позволяет перейти от управления на основе отчетности к руководству с опорой на доказательно описанные траектории и результаты.

МЕТОДОЛОГИЯ ОЦЕНКИ ЭФФЕКТИВНОСТИ ПРОФОРИЕНТАЦИОННОЙ ДЕЯТЕЛЬНОСТИ УНИВЕРСИТЕТА