Технология прогнозирования образовательных результатов студентов строительного вуза средствами компьютационной педагогики

Возможность предвидеть педагогические явления, процессы и объекты и эффективно воздействовать на них со стороны образовательных систем и самих обучаемых и их педагогов на образовательную систему стала одной из важнейших проблем дидактики XXI в., в период роста влияния цифровых технологий на все сферы человеческой деятельности. Ведется поиск перечня факторов (показателей и критериев их оценки), влияющих на достигаемые студентами образовательные результаты. Профессиональная подготовка специалистов строительной отрасли не стала исключением: высококвалифицированные инженеры-строители востребованы, что связано с необходимостью модернизации строительной инфраструктуры, но в этой отрасли во многих странах наблюдается «кадровый голод», несмотря на то, что уровень зарплат у них, как правило, выше среднего по региону. Некоторые молодые люди не планируют работать по специальности, а обучаются на строительных направлениях подготовки (СНП), ставя перед собой не имеющие отношения к инженерной деятельности задачи: отсрочка от армии, получение стипендии, возможность проживания в крупном городе в недорогом студенческом общежитии, общение со сверстниками и участие в культурно-массовых мероприятиях, получение диплома, не обязательно

подкрепленного реальными знаниями. Некоторые абитуриенты выбрали строительный вуз по совету родственников и друзей, не имея предрасположенности к такому виду работы. Так, ежегодный набор студентов СНП не приводит к массовому росту количества высококвалифицированных кадров в строительной отрасли. В странах Западной Европы и США уже более 20 лет пытаются найти способы оперативного устранения подобных негативных тенденций, применяя идеи искусственного интеллекта и другие современные компьютерные технологии. Накопленную эмпирическую информацию зарубежные коллеги обрабатывают с помощью компьютерной технологии Educational Data Mining (EDM, образовательная аналитика). На данный момент лидером в применении подобных технологий является Китай. В сообществе российских педагогов-исследователей идеи компьютационной педагогики (применяющей для выявления различных закономерностей дидактического процесса компьютерные технологии, математические и статистические модели) считаются новаторскими, а иногда воспринимаются консервативными коллегами «в штыки». Это связано с исторически сложившимся разделением научного сообщества на «гуманитариев» и «технарей»: педагоги испытывают трудности при использовании математического аппарата в своих исследованиях, а опытные программисты предпочитают посвящать время более перспективным направлениям работы. Data Scientist (эксперт-аналитик) в Москве (по состоянию на июнь 2019 г.) в зависимости от опыта работы может зарабатывать около 300 тыс. руб.1, а ученые в области педагогических наук получают намного меньше. Ч. Сноу поднял эту проблему в Кембридже еще в 1959 г., и с тех пор в мировой науке появилось множество работ по цифровым гуманитарным наукам (Digital Humanities). Сравнивая отечественные статьи в разделе «Народное образование. Педагогика» и зарубежные в разделе «Education», заметили значительную разницу в количестве сложных математических расчетов: коллеги из стран постсоветского пространства часто ограничиваются построением диаграмм, отражающих результаты экспериментальной выборки и группы сравнения, а вот иностранные ученые применяют кластерный анализ, нейронные сети, генетические алгоритмы и другие современные подходы, которые у нас можно встретить только в журналах по техническим и математическим наукам, но не в сообществе педагогов. Отметим также влияние языкового барьера: далеко не все ученые владеют английским языком на академическом уровне. Увеличение финансирования дидактических исследований могло бы способствовать пропорциональному росту количества разработок в отрасли Educational Data Mining в России, но мы считаем, что на данный момент в первую очередь необходимо наличие понятных для людей, не разбирающихся в компьютерных технологиях на уровне экспертов, доступных инструкций, позволяющих оперативно диагностировать и прогнозировать образовательные результаты в инженерно-строительном вузе. В настоящей работе мы представим только основные этапы разработанной технологии, а с их детализацией читатель сможет ознакомиться в других наших публикациях [1–5].

Цель статьи – описание создания технологии прогнозирования формирования профессиональных компетенций будущих инженеров-строителей с использованием современных компьютерных технологий.

Обзор литературы

Наиболее полный обзор возможностей компьютационной педагогики для прогнозирования и диагностики в дидактике представлен в работах М. Г. Коляды и Т. И. Бугаевой [6], послуживших методологической и методической основой нашего исследования. Теорию прогнозирования как явление рассматривают И. В. Бестужев-Лада, А. В. Брушлинский, Д. Гилберт, В. М. Сафронова, Г. Страка, Ф. Тетлок и др. Родоначальником педагогического прогнозирования является Э. Г. Костяшкин. Данной проблеме посвящены работы А. Адебанжо, Дж. Андерсона, А. В. Андриевского, Г. Дикса [7], А. И. Карманчикова, А. Ф. Матушак, Л. Е. Никитиной, А. Ф. Присяжной, Л. А. Регуш, А. В. Рождественского, Т. С. Шеховцевой и др. Вопросы прогнозирования в профессиональном образовании изучают С. М. Маркова, С. А. Циплакова, К. П. Седых, А. В. Хижная, О. Н. Филатова [8]. Мы же под педагогическим прогнозированием, вслед за Б. С. Гершунским2, будем понимать научное исследование получения упреждающих данных о перспективах формирования профессиональных компетенций студентов инженерно-строительного вуза с целью принятия оптимальных управленческих решений администрацией архитектурно-строительного вуза.

Термин «педагогическое прогнозирование» в зарубежной литературе чаще всего описывается авторами с постсоветского пространства, а большинство написанных работ – на русском языке. Иностранные ученые чаще всего рассматривают его как часть социального либо экономического прогнозирования [9; 10]. По мнению авторов статьи, педагогическая наука имеет особенности объекта прогнозирования, хотя социальное прогнозирование, действительно, более широкое понятие, но не учитывает специфику дидактики. Педагоги должны не только уметь составлять эффективный прогноз, но и применять экстренные меры по устранению недостатков в воспитательной и образовательной работе. Некоторые отечественные авторы рассматривают педагогическое прогнозирование без применения современных вычислительных и компьютерных методов, что является недопустимым, с нашей точки зрения, в век информационных технологий и «больших данных» (Big Data – объемы информации, которые невозможно упорядочить без специальной компьютерной обработки). В целом проблема педагогического прогнозирования актуальна и в ней имеется ряд не до конца исследованных вопросов, например, существует не так много технологий прогнозирования в дидактике.

Авторы статьи не согласны с мнением О. Н. Васильевой, считающей, что нужно вернуться «к знаниевой парадигме образования, когда критерием ранжирования выпускника при распределении на работу по окончании вуза был средний арифметический балл диплома как объективный образовательный результат» [11]. Competence-based education (как принято его называть в зарубежной литературе) начало формироваться в 1960 гг. в США и на данный момент является основным подходом во всех вузах, которые готовят специалистов по Болонской системе. Подробный обзор международного современного состояния развития компетентностного подхода дан Д. К. Нямаи, М. Мугамби и Р. Имон-дже [12]. Достаточно полный анализ неизученных в рамках компетент-ностного подхода вопросов и проблем представляет А. Безуйденхоут [13]. М. Элли рассматривает определение «профиль компетенций» без проведения математических расчетов, что не отражает в полной мере этого понятия [14]. Однако методы прогнозирования компетенций студентов строительного вуза рассмотрены недостаточно даже в иностранной литературе: чаще всего объектом является только диагностика.

Ряд авторов посвятили работы вычислительным методам в педагогике Digital Humanities и Educational Data Mining: Р. С. Дж. Д. Бейкер, П. С. Ин-вентадо [15], А. Датт, Т. Хераван, М. А. Исмаил [16], К. Ромеро, С. Вентура [17] Д. Трейси, Э. Ф. М. Хой-

ем [18], К. Крейц [19], М. Г. Коляда, Т. И. Бугаева, Р. В. Майер. Большинство иностранных работ можно отнести к разделу Data Science, т. е. авторы придерживаются механистического подхода, обрабатывая накопленную в процесе прохождения дистанционных курсов log-файлов ³ , не придавая большой роли педагогической интерпретации «раскопанной» информации, что неприменимо к результатам обучения в классическом вузе. Компетенции инженеров-строителей с использованием образовательной аналитики пока не изучались.

Особенности профессиональной подготовки и психологии инженеров-строителей рассматриваются в публикациях А. М. Адаменко, В. В. Костыгиной, М. К. Тутушкиной, Т. И. Шевцовой, Е. С. Шелеповой и др. Большинство русскоязычных работ применяют классические педагогические методы и подходы. В зарубежных ислледованиях часто поднимаются вопросы улучшения качества образования инженеров-строителей [20]. Например, Е. Редондо, Д. Фонсека, А. Санчес, А. Наварро предлагают применять современные технологии для улучшения качества подготовки инженеров-строителей [21]. Наиболее полный современный систематический обзор подготовки инженеров-строителей представили П.-Х. Диао и Н.-Дж. Ших [22], в котором уделили особое внимание проблеме при- менения современных компьютерных технологий в рамках деятельностного подхода при подготовке студентов-строителей.

Несмотря на многочисленность публикаций по данной проблематике, организационно-методические вопросы разработки количественных прогнозов рассмотрены недостаточно. В настоящей работе автор впервые представляет поэтапную технологию вычисления и прогнозирования сформированности образовательных результатов (в рамках компетентностного подхода) студентов строительного вуза.

Материалы и методы

Трактуя термин «образовательные результаты», мы будем использовать точку зрения компетентностного подхода, рассматривающего в качестве главного результата обучения сформированность у выпускника совокупности компетенций, расширяющего практическую составляющую обучения.

Под технологией прогнозирования будем понимать совокупность этапов и операций, последовательное выполнение которых позволит получать верную упреждающую информацию об изучаемом объекте. За основу взята технология педагогического прогнозирования, предложенная М. Г. Колядой ⁴ . Была разработана технология педагогического прогнозирования (табл. 1).

Т а б л и ц а 1. Технология прогнозирования образовательных результатов студентов-строителей

T a b l e 1. Learning outcomes prediction technology

Этап / Step	Метод компьютационной педагогики / Methods of computational pedagogy	Время применения / Application time
1	2	3

I. Стадия ретроспекции / Retrospection stage

1 Определение целей и задач педагоги- Интернет-аналитика, контент-ана-ческого прогнозирования / Determining лиз / Web Mining, Text Mining the goals and objectives of pedagogical forecasting

До начала учебного процесса / Before the start of the educational process

• 2    Предпрогнозная ориентация. Отслеживание результатов подготовительной информации / Prediction orientation; tracking results of preparatory information

• 3    Предварительная систематизация собранной информации об учебном процессе в строительном вузе / Preliminary systematization of the collected information about the educational process in a building university

• 4    Разработка предварительной программы исследования / Developing a preliminary research program

Продолжение табл. 1 / Table 1 continuation

Неформализованные методы, кластеризация, визуальная аналитика («лица Чернова») / Informal methods, clustering, Visual Mining (“Chernov’s faces”)

Организационная аналитика, карты будущего и SWOT-анализ / Organizational EDM; future maps and SWOT analysis

Неформализованные методы / Informal methods

II. Стадия постановки диагноза / Diagnostic Stage

1 Составление предварительного перечня показателей модели по данным из различных источников / Сompiling a preliminary list of model indicators based on data from various sources

• 2    Сбор данных прогнозного фона (экономический, социологический, социально-культурный, политический и международный, правовой, педагогический, демографический, природный, философский, научно-технический, организационный) / Сollecting forecast background data (economical, sociological, socio-cultural, political and international, legal, pedagogical, demographic, natural, philosophical, scientific and technical, organizational)

• 3    Сведение предварительного перечня показателей к виду, который поможет представить наилучший вид педагогического прогноза / Information of the preliminary list of indicators to the type that will help to present the best type of pedagogical forecast

Неформализованные методы, «логический квадрат компетенций будущего инженера-строителя», «профиль компетенций», описательный анализ, классификация, визуальная аналитика, системы нечеткой логики / Informal methods, “The logical square of the competencies of the future Civil Engineer”, “Competency profile”; descriptive analysis, classification, The Visual Mining; fuzzy logic systems

Постулирование с использованием литературных источников, системный анализ, образовательная аналитика в реальном времени, визуальная аналитика, факторный анализ, «профиль прогнозного фона» / Postulating using literary sources, system analysis, Real -Time EDM, The Visual the DM, factor analysis, “Forecast background profile”

Аналитика в реальном времени: визуальная и многомерная, индивидуальный профиль компетенций инженеров-строителей / Real - Time EDM, Visual DM, OLAP, individual Civil Engineer’s competency profile

4 Анализ диагностической информации / Аналитика в реальном времени: Diagnostic information analysis          визуальная и многомерная, дина мический индивидуальный профиль компетенций инженеров-строителей / Real - Time EDM; Visual DM, OLAP, dynamic Civil Engineer’s competency profile

После вступительной кампании / After the entrance campaign

После 1-й сессии / After 1st examination session

По завершении 1-го года обучения / Upon completion of 1st year of study

2 курс / 2nd year of study

После 2 курса / After 2nd year of study

Окончание табл. 1 / End of table 1

• 5 Построение базовой модели образовательных результатов будущих инженеров-строителей и отбор подходящий методов прогнозирования, доработка базовой модели / Building a basic students educational results model and selecting suitable forecasting methods; refinement of the base model

Множественная регрессия, создание системы уравнений / Multiple regression, creating a system of equations

До зимней сессии на 3 курсе / Before the winter examination session in 3rd year of study

• III. Стадия проспекции / Prospection Stage

  • 1    Построение динамических рядов прогнозирования по каждому показателю базовой модели / Building dynamic series of forecasting for each indicator of the base model

  • 2    Определение абсолютного оптимума с условным абстрагированием от ограничения прогнозного фона / Determining the absolute optimum with conditional abstraction from the limitation of the forecast background

  • 3    Верификация педагогического прогноза и экспертиза / Verification of pedagogical forecast and examination

  
  

  Построение временных рядов, аналитика в реальном времени: визуальная и многомерная / Сonstruction of time series, Real - Time EDM, OLAP, Visual EDM

  Решение системы прогнозных уравнений / solution of the system of predictive equations

  
  

  • 4    Корректировка базовой модели прогнозирования / Adjustments to the core forecasting model

  • 5    Разработка рекомендаций / Development of recommendations

  
  

  Дихотомия (в том числе многомерная), экспертные оценки, статистические методы, визуальная аналитика / Dichotomy (including multidimensional), expert opinions, statistical methods, Visual EDM Нейронные сети, образовательная аналитика / Neural networks, EDM

  Неформализованные методы / Informal methods

  
  

  До начала 4 курса / Before the start of 4^th year of study

  До зимней сессии на 4 курсе / before the winter session in 4^th year of study

  После окончания бакалавриата / After graduation of a Bachelor degree programme

  
  

Результаты исследования

Для проверки эффективности созданной технологии была собрана экспериментальная информация об экзаменационных баллах, результатах прохождения практики и изучения дисциплин, оцени- вающиеся зачетом (всего 77 различных дисциплин и практик). Приняли участие 102 студента, обучающиеся по направлению подготовки 08.03.01 «Строительство», фрагмент исходных данных представлен в таблице 2.

Т а б л и ц а 2. Рейтинговые баллы будущих инженеров-строителей по некоторым дисциплинам

T a b l e 2. Rating estimates (ranking points) of future construction engineers in a number of disciplines (fragment)

№	ФИО / Full name	Дисциплина / Academic disciplines
		Практика / Curricular practical training	Инженерная геология / Engineering geology	Основы гидравлики и теплотехники / Fundamentals of hydraulics and heat engineering	Теоретическая механика / Theoretical mechanics		Металловедение и сварка / Metallurgy and Welding	Основы архитектуры и строительных конструкций / Fundamentals of architecture and building structures
1	Коченков А. К.	75 / С	65 / D	75 / C	75 / C		75 / C	75 / C
2	Кравцов А. И.	90 / А	60 / E	70 / D	60 / E		60 / E	75 / C
102	Кугушев И. А.	75 / С	60 / E	75 / C	75 / C		75 / C	75 / C

В рамках регламентированного объема статьи мы не сможем описать все этапы прогнозирования, поэтому продемонстрируем только фрагмент проведенных операций, представленных числовыми величинами.

Прежде всего была собрана информация о прогнозном фоне (совокупности внешних факторов) по результатам опросов преподавателей, студентов и экспертов в строительной сфере. Он включил в себя следующие элементы:

• 1.    Экономический:

  – возможность трудоустройства (наличие рабочих мест с достойной заработной платой и условиями труда);

  – количество бюджетных мест (в том числе в других вузах);

  – экономическая ситуация: необходимость искать подработку в неучебное время.

• 2.    Социологический:

  – возможность трудоустройства молодых специалистов в строительной отрасли;

  – социальная защищенность студентов, преподавателей и молодых специалистов; уровень профсоюзов.

• 3.    Социально-культурный:

  – популярность работы в строительной отрасли;

  – мнение родителей, родственников, друзей;

  – студенческий коллектив;

  – социальное окружение;

  – достижения одногруппников, конкуренция: чем сильнее студенты академической группы, тем выше мотивация к собственным достижениям;

  – мотивация;

  – общий уровень культуры населения.

• 4.    Политический и международный:

  – поддержка государством популярности строительной отрасли и трудоустройство молодых специалистов;

  – уровень государства на мировом рынке строительства;

  – международное сотрудничество со строительными корпорациями;

  – ведение боевых действий;

  – степень свободы преподавателя по выбору методик;

  – степень свободы инженера в выборе технических средств.

• 5.    Правовой:

  – государственный заказ на обучение инженеров-строителей;

  – взаимодействие между предприятиями и вузами;

  – бюрократия, степень свободы эксперта, составляющего прогноз; степень влияния работодателей и руководства вуза на результаты прогноза.

• 6.    Педагогический:

  – предрасположенность к инженерной деятельности и математике;

  – умение самостоятельно обучаться;

  – модель поведения преподавателя, психологическая обстановка на занятиях;

  – применение новых эффективных педагогических и информационных технологий;

  – качество учебных программ, стандартов (образовательных и профессиональных), методического обеспечения: условно принимаем минимальным, поскольку преподаватели ограничены ФГОС;

  – уровень квалификации преподавателей.

• 7.    Демографический:

  – количество выпускников школ;

  – наличие кадров предпенсионного и пенсионного возраста в строительной сфере;

  – возрастной состав преподавателей вуза.

• 8.    Природный:

  – природные ритмы, график, санитарно-гигиенические условия;

  – природные катастрофы;

  – тип местности (грунты, погодные условия);

  – состояние здоровья.

• 9.    Философский: пересмотр места в жизни и обществе.

• 10.    Научно-технический:

  – материальное обеспечение вуза;

  – материально-техническое оснащение строительной отрасли в государстве.

• 11.    Организационный:

  – условия проживания в общежитии: студенту необходимо тратить время на приготовление пищи и на самообслуживание;

  – транспорт: значительное количество времени занимают поездки домой и к месту учебы;

  – волонтерская, культурная, профсоюзная и спортивная деятельность, увлечения: с одной стороны, студент тратит много времени на занятия, не связанные с обучением, с другой – увлечения играют роль психологической разгрузки;

  – профориентационная работа среди молодежи;

  – опыт эксперта, составляющего прогноз.

Подробнее проблема учета влияния внешних факторов на результаты прогнозирования будет рассмотрена в одной из последующих статей.

Сложность учета прогнозного фона состоит в том, что большинство его показателей не поддаются количественному описанию. При написании работы мы руководствовались важнейшим педагогическим принципом гуманизма, поэтому считаем недопустимым использование некоторой конфиденциальной информации о студентах (например, наличие инвалидности или отсутствие родителей) даже в зашифрованном виде, с измененными именами и фамилиями. Поэтому в рамках исследования нами использовались формализованные значения прогнозного фона.

Также были проанализированы государственные образовательные стандар-ты5, реализуемые ГОУ ВПО «Донбасская национальная академия строительства и архитектуры» в ходе обучения студентов. Весовой коэффициент развития каждой единичной компетенции рассчитывали по формуле [2; 13]:

где К _{компетенции} – весовой коэффициент единичной компетенции из перечня, предлагаемого ГОС (9 универсальных компетенций (УК), 9 общепрофессиональных (ОПК), 22 профессиональные (ПК)), a _j – количество дисциплин или практик, v _j – количество зачетных единиц по дисциплине или практике, n – количество академических дисциплин, способствующих формированию каждой единичной компетенции, N – перечень изучаемых академических дисциплины.

Расчеты проводили в среде табличного редактора MS Excel, фрагмент представлен на рисунке 1.

На рисунке 2 продемонстрированы следующие измерения многомерного куба (в программе реализовано 8 измерений, но их невозможно визуализировать все одновременно): «Академическая группа» (мера – список студентов, содержит информацию о 102 студентах, учащихся направления

с

D W X Y । ВК BL ВМ CG CZ DA DB ЕО ЕР EQ

1	Дисциплина subject	ЗЕТ/ of labor	ПК-1/ PC-1	ПК-2/ PC-2	ПК-3/ PC-3	ПК-1/ PC-1	ПК-2/ PC-2	ПК-3/ PC-3	Сумма / .Amount	ПК-1/ PC-1	ПК-2/ PC-2	ПК-3/ PC-3	ПК-1/ PC-1	ПК2/ PC-2	ПК-3 PC-3
20	Основы пщравлики и теплотехники The basics of hydraulics and heat engineering	5		1	1	0	5	5	15	0,0000	0,2597	0,1623	0,0000	0,0694	0,1111
33	Строительные материалы / Construction Materials	6	1		1	6	0	6	48	0,2857	0,0000	0,1948	0,0909	0,0000	0,1333
34	Технология металлов и сварка / Metal Technology and Welding	2	1	1	1	2	2	2	16	0,0952	0,1039	0,0649	0,0303	0,0278	0,0444
79	Вес компетенции' Competency weight		0,045	0,054	0,034	0,048	0,052	0,032	1

Р и с. 1. Пример расчета весовых коэффициентов единичных компетенций в среде MS Excel

F i g. 1. Example of calculation of unit competence weights in MS Excel

Р и с. 2. Многомерная таблица, предназначенная для вычисления динамики достижения образовательных результатов студентов инженерно-строительного вуза6

F i g. 2. OLAP-cube “Learning outcomes of future construction engineering students”

подготовки 08.03.01. Строительство), «Учебные дисциплины» (мера: оценка за экзамен, прохождение практики, курсовой проект либо отметка «зачтено» – 77 различных вариантов), «Компетенции» (в соответствии с государственным образовательным стандартом).

Для расчета индивидуального профиля компетенций студента, воспользовались формулой:

• 7    = n

('i = ^ E, x Ej , (2)

• 7    = 1

где Сj – уровень развития индивидуальной компетенции студента из перечня, Kj – весовой коэффициент индивидуаль- ной компетенции, Ej – оценка студента за экзамен, зачет или результат прохождения практики.

Далее был применен динамический подход (Real-Time Data Mining [4]): поочередно подставляя результаты сдачи экзаменов по завершении учебных семестров и вычисляя погрешность каждого последующего прогнозирования. Для прогнозирования применена функция MS Excel ПРЕДСКАЗ, вычисляющая простую линейную регрессию. MS Excel позволяет проводить регрессионный анализ в автоматическом режиме, поэтому в рамках статьи математические выкладки представлять не будем. Фрагмент таблицы с расчетами представлен на рисунке 3.

Р и с. 3. Фрагмент таблицы «Расчет оптимального времени прогнозирования компетентности студентов строительных направлений подготовки» в среде MS Excel

• ⁶ Ташкинов Ю. А. Моделирование образовательных результатов будущих инженеров-строителей с использованием технологии многомерной аналитики в MS Excel // Научная сокровищница образования Донетчины. 2019. № 2. С. 33–38.

А	А	| KV	KW	. KX	KY	KZ	LA	LB	LC        LD	LF	LG	LH	U	LK	4
1	average	0,0	0,0	13,7	26,5	40,9	55,2	65,2	68,5	error			forecast
2	Competence	GC-1	GC-1	GC-1	GC-1	GC-1	GC-1	GC-1	GC-1 GC-1	GC-1	GC-1      GC-1		GC-1	GC-1	GC-1
3		Jan.16	JuL16	Jan.17	Jul.17 Jan.18		Jul.18 Jan.19		Jul.19 comment	3 semester	4 semester 5 semesteroe 3 semester			4 semester 5 semester
92	KochenkovA.K.	0,0	0,0	15,0	27,5	42,5	55,7	65,7	69,0 3semester	7,88%	3,71%	3,10%	74,78	71,66	71,22
93	Kravtsov A,I.	0,0	0,0	13,8	25,6	40,6	55,4	65,4	68,7 3semester	0,24%	3,18%	1,71%	68,55	66,53	67,53
96	Kugushev LA.	0,0	0,0	13,8	26,3	41,3	54,6	64,6	67,9 3semester	0,91%	0,14%	1,22%	68,55	68,01	68,77
1№										77	07

F i g. 3. Fragment of the table “Calculation of the optimal time for predicting the competence of students enrolled in construction engineering programmes” in MS Excel

В этой таблице прогноз, составленный на момент окончания третьего академического семестра (ячейка LJ92), вычисляется по формуле:

LJ92=ПРЕДСКАЗ (LC$1; KV92:KX92;KV$1:KX$1) LJ92=FORECAST(LC$1;

KV92:KX92;KV$1:KX$1),

где LC$1 – уровень развития единичной компетенции будущего инженера-строителя из перечня, представленного в ФГОС; KV92:KX92 – уровень компетентности студента Коченкова (при изменении цифрового ряда в формуле меняется порядковый номер студента из списка), рассчитанный исходя из экспериментальных данных, по состоянию на конец первого, второго и третьего академических семестров соответственно; KV$1:KX$1 – уровень компетентности студента строительного вуза из усредненной модели по состоянию на конец первого, второго и третьего академических семестров соответственно, рассчитанный по формуле:

Подобным образом был проведен расчет (см. рис. 3) для четвертого и пятого академических семестров (столбцы LK; LL). Для некоторых компетенций, не представленных на фрагментах таблиц, потребовалось провести прогнозы позже, включая седьмой семестр, поскольку на ранних стадиях отдельные единичные компетенции не поддавались прогнозированию.

Перед нами стояла задача получить не только как можно более точный прогноз сформированности образовательных результатов будущих инженеров-строителей, но в первую очередь сделать данный прогноз как можно раньше. Количественно точность (качество измерений, выражаемое в соответствии рассчитанных значений истинным) можно измерить по величине относительной погрешности ⁷ . В качестве критерия точности прогноза выбрана погрешность измерения, рассчитанная по формуле (для 3 семестра – см. ячейку LF92, рис. 3):

LF92=ДОВЕРИТ(0,05;

СТАНДОТКЛОН(LJ92;LC92);2)/ срзнач(lc92;lj92)        (5)

LF92=CONFIDENCE(0,05;

STDEV(LJ92;LC92);2)/AVERAGE(LC92;LJ92), где где C – средний уровень сформирован-ности компетенций у студентов инженерно-строительного вуза; Сj – уровень сформированности каждой компетенции из ГОСа; N – общее число формируемых компетенций (N = 40).

k(z - ж)2 4 (n-i)

СТАНДОТКЛОН =

Для вычисления погрешности с доверительным интервалом 95 % применена формула:

.

Ф. Тетлок и Д. Гарднер ⁸ в качестве показателя того, что событие, вероятно, произойдет, выбрал величину 75 % (для нашей выборки это можно интерпретировать, как прогнозов высокой точности).

75 % * 102 измерения = 77. (9)

Е. О. Кравец ⁹ в качестве показателя высокой точности берет значение погрешности 5 %. В качестве критерия отбора семестра, на котором следует проводить прогнозирование, применили ситуацию, при которой погрешность расчета составляет не более 5 % для не менее чем 77 из 102 измерений как можно на более раннем этапе прогнозирования:

LD 92 = ЕСЛИ( LE $106 > 77;"2семестр";

ЕСЛИ( LF $106 > 77;……"3семестр";

ЕСЛИ( LG $106 > 77;"4семестр";

"5семестр")))

LD 92 = IF( LE $106 > 77;"2semester";

IF ( LF $106 > 77;……"3semester";

IF ( LG $106 > 75;"4semester";

"5semester")))

и

LF 108=СЧЁТЕСЛИ(L4:L105;"да")

LF 108= COUNTIF (L4:L105;" yes "). ⁽¹¹⁾

Было расчитано количество студентов, для которых прогноз выполнялся с точностью до 5 %.

Ошибки интерпретировали следующим образом: менее 5 % – высокая точность прогноза; 5–10 – хорошая точность;

10–20 – удовлетворительная точность; более 20 % – неудовлетворительный результат.

Все результаты составленного нами прогноза можно характеризовать как «удовлетворительные», а более 80 % расчетов – «прогнозы высокой точности», т. е. даже без учета прогнозного фона разработанная нами технология является достаточно эффективной и вместе с тем гуманистической. Результаты верификации прогноза по формуле (5) представлены на рисунке 4.

В ряде случаев погрешность выше 10 % (удовлетворительная точность). Заметим, что целью было составление прогноза как можно раньше, иногда до завершения студентом второго курса. При составлении прогнозов на более поздних сроках погрешность значительно понижается. Реальные и прогнозные профили средних значений компетенций представлены в виде лепестковой диаграммы (рис. 5).

Так, предсказанные минимальные значения развития единичных компетенций практически всегда меньше, чем реальные, причем различия незначительны. Поэтому реальные значения будут не ниже полученных в результате составления прогноза.

«Побочным» результатом стала разработка «Калькулятора компетенций будущего инженера-строителя» (на рисунке 6 представлен результат работы этой программы).

Данная аналитическая панель обладает мощным прогностическим потенциалом. Можно увидеть место в академическом рейтинге, что позволит поощрить самых талантливых студентов, используя объективную свежую информацию, а обучающиеся с низким рейтингом могут попытаться повысить успеваемость. В правой части аналитической панели (рис. 6, «Факт/целевое значение») представлена диаграмма развития компетенций, где штриховая линия

4	в	и	AF	AJ	AQ
1	ФИО / Full name	ПК 1/РС-1	ПК-2/ РС-2	ПК-3 / РС-3	Среднее/mean
92	Кравцов АЛ.	0,24%	1,92%	5,23%	0,41%
93	Кресанов Г.Г.	0,41%	0,56%	4,95%	1,53%
96	Кудашов В.II.	2,56%	0,58%	3,03%	0,15%
105	Среднеезначени / mean	3,55%	3,11%	4,57%	1,43%

Р и с. 4. Фрагмент таблицы вычисленных погрешностей прогнозов по определению образовательных результатов будущих инженеров-строителей

F i g. 4. Fragment of a table of calculated forecast errors for determining the learning outcomes of future construction engineers

ПК-16(7сем.)/РС-16(7кт.)

УК-8(7сем.)/6С-3(7ит.)

ПК-22(6сем.)/РС-22(6$ет.)

yK-4(3ceM.)/GC-4(3sem.)

УК-6(Зсем.)/СС-6(5$ет.)

ОПК-5(Зсем.)/СРС-5(Ззет.)

ОПК-6(Зсем.)/6РС-6(3»т.)

ПК-21(6сем.)/РС-21(6»т.)

ПК.ЦЗсе».)/РС-1(Ззет.)

ПК-20(6сем.)/РС-20|6ят.)

ПК-19(5сем.)/РС-19(6зет.)

ПК-17(6сем.)/РС-17(6мт.)

УК-3(6сем.)/6С-3(6зет.)

ПК-8(5«м.)/РС-8(5зет.)

1К-6(5еем.)/РС-6(5зет.)

ПК-5(5сем.)/РС-5|5$ет.)

ПК4(5«м.)/РМ(5»т.)

ПК-18(5сем.)/РС-18(5«т.)

ПК-15(5сем.)/РС-15(5ят.)

ПК-14(5сем.)/РС-14|5$ет.)

Средн(3сем.)/ауегз§е(3$ет.)

УК-2(4сем.)/6С-2(4зет.)

УК-7(4сем.)/бС-7(4»т.)

ОПК-1(4«м.)/6РС-1(4ит.)

ОП К-2 (4се м. J/GPC-3 (4se т.)

ОПК-3(4сем.)/6РС-3(4ят.)

ОПК-7(4сем.)/6РС-7(4зет.)

ОПК-8(4«м.)/6РС-8(4зет.)

ПК-2(4сем.)/РС-2(4зет.)

ПК-3(4«м.)/РС-3(4ит.)

ПК-7(4«м.)/РС-7(4зет.)

ПК-13(5сем.)/РС-13(5мт.)

"^WWw

ПК-12(5сем.)/РС-12(9«т.)

ПК-11(5сем.)/РС.11(5»т.)

ПК-9(4сем.)/РС-9(4зет.)

УК-1(5сем.)/6С-1(5ит.)

УК-5(5сем)/СС-5(5зет.)

0ПК4(5сем.,/СРС4(5зет:,     '

минимальное предсказанное / min predicted value     —♦■ прогнозное минимальное ' min real value

Р и с. 5. Сравнение прогнозируемого среднего профиля компетенций будущего инженера-строителя с реальными значениями

F i g. 5. Comparison of the predicted profile of competences of a future construction engineer with real values показывает целевое значение – 100 %-й уровень развития каждой единичной компетенции.

Таким образом, реальные образовательные результаты почти всегда не ниже прогнозируемых. В связи с этим

Р и с. 6. Интерактивная аналитическая панель «Калькулятор компетенций будущего инженера-строителя»

F i g. 6. Interactive dashboard “Competence calculator of a future construction engineer”

можем считать составленные прогнозы эффективными.

Обсуждение и заключение

В настоящей работе определено минимальное время составления эффективных прогнозов. Уже после зимней сессии на II курсе можно проводить прогнозирование следующих компетенций: УК-4, УК-6, ОПК-5, ОПК-6, ПК-1 и средний уровень компетентности будущего инженера в строительной отрасли. После летней сессии – предсказать компетенции УК-2, УК-7, ОПК-1, ОПК-2, ОПК-3, ОПК-7, ОПК-8, ПК-2, ПК-3, ПК-7, ПК-9. После зимней сессии III курса – УК-1, УК5, УК-9, ОПК-4, ОПК-9, ПК-10, ПК-11, ПК-12, ПК-13, ПК-14, ПК-15, ПК-18, ПК-4, ПК-5, ПК-6, ПК-8. По окончании третьего курса – УК-3, ПК-17, ПК-19, ПК-20, ПК-21, ПК-22. Только после зимней сессии на IV курсе можно проводить прогнозирование УК-8, ПК-16. Кроме этого, представленный в рамках статьи подход позволяет определять ведущую компетенцию (по которой у студента наивысшие баллы), а также те дисциплины, которым следует уделить больше внимания, поскольку формируемые на них компетенции развиты недостаточно.

Рассмотренная технология прогнозирования не требует специальных знаний и навыков: достаточно уметь использовать редактор таблиц MS Excel на уровне пользователя.

Результаты работы будут полезны: – преподавателям инженерно-строительного вуза (а при определенной модификации и педагогам других учебных заведений) для планирования индивидуальных консультаций для «талантливых» и «слабых» студентов;

– кураторам академических групп, заместителям деканов и проректоров по учебной работе для предотвращения возникновения у студентов пробелов в знаниях и планирования гармонического развития специалистов;

– студентам строительных вузов и их будущим работодателям (представителям строительных компаний) для оптимального подбора лучших профессий;

– педагогам-исследователям для развития педагогической прогностики;

– представителям министерств строительства и просвещения для создания стратегий в области профессиональной подготовки будущих инженеров-строителей.

В дальнейшем планируется доработка технологии педагогического прогнозирования образовательных результатов будущих инженеров-строителей, в частности разбитие на воспроизводимые стадии и этапы, проверка возможности применения регрессионного анализа для выделения системы уравнений, которые позволили бы путем простой подстановки экзаменационных баллов вычислять уровень компетентности студента в строительной отрасли на данный момент времени.

СПИСОК

ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ

Поступила 24.02.2020; принята к публикации 23.06.2020; опубликована онлайн 30.09.2020.

Об авторе :

Ташкинов Юрий Андреевич, ассистент кафедры прикладной химии ГОУ ВПО «Донбасская национальная академия строительства и архитектуры» (286123, Украина, г. Макеевка, ул. Державина, д. 2), аспирант кафедры инженерной и компьютационной педагогики ГОУ ВПО «Донецкий национальный университет» (283001, Украина, г. Донецк, ул. Университетская, д. 24), ORCID: , Publons ID: juriy-andreyevich-tashkinov,

Автор прочитал и одобрил окончательный вариант рукописи .