Development of supplier evaluation methodology in the implementation of innovative projects

С начала 1980-х годов производственные предприятия сосредоточили свои усилия на постоянном совершенствовании, с целью повышения конкурентоспособности и прибыльности бизнеса. Такие программы, как JIT (Just-in-Time), TQM (Total Quality Management), стали основой управленческих стратегий ведения бизнеса. Данные подходы требуют нового мышления в организации и управлении закупками.

ГРНТИ 06.73.15

Статья поступила в редакцию 21.03.2022.

Управление закупками является одной из составных частей производственной цепи, где поставщик выступает основным звеном, непосредственно влияющим на качество и безопасность готового продукта. Решение о выборе поставщика играет ключевую роль в снижении затрат, поддержании стандартов качества и повышении производительности компании. Поскольку на каждом из товарных рынков осуществляют свою деятельность большое количество поставщиков, производящих подобную продукцию, возникает сложность в нахождении лучшего способа их оценки и отбора.

Организациям необходимо выстроить процесс коммуникации с поставщиками. Данный процесс включает оценку способности поставщика удовлетворять ожиданиям и требованиям к качеству и безопасности продукции [1]. Например, при внедрении и поддержании систем менеджмента качества и безопасности пищевой продукции на предприятии, в соответствии с требованиями стандартов ISO 9001:2015 и ISO 22000:2019, обязательными условиями являются проведение оценки поставщиков и мониторинг результатов их деятельности.

Для проведения оценки поставщиков наиболее часто используют метод рейтинговых оценок, как наиболее простой и удобный в воспроизведении. Данный метод применяют в тех случаях, когда необходим быстрый расчёт показателей. С другой стороны, при использовании метода рейтинговых оценок есть вероятность получения необъективных данных. Это происходит из-за недостаточной квалификации экспертов в необходимой области, либо из-за неверной формулировки вопросов [2].

Итогом оценки становится перечень поставщиков, с которыми ведется дальнейшая работа по заключению договорных отношений. Окончательный выбор поставщика осуществляется лицом, принимающим решения, например, специалистом отдела закупок.

В связи с вышеизложенным актуальной становится исследовательская задача, направленная на поиск моделей оценки, снижающих влияние субъективных факторов на выбор поставщика.

Интеграция цифровых средств коммуникации в деятельность предприятий сегодня растет экспоненциально [3]. Развитие математического аппарата позволяет задавать численные параметры модели и решать управленческие задачи эконометрическим способом [4]. В качестве технологии, помогающей организациям в процессе выбора поставщиков, выступает искусственный интеллект, где машины, обученные лицами, принимающими решения, или историческими данными, могут предоставлять прогнозы и рекомендации по выбору поставщиков. Одним из процессов искусственного интеллекта, который может существенно повысить качество закупочной деятельности, является машинное обучение.

Использование методов машинного обучения в управлении закупками стало объектом исследования ряда ученых. В частности, Абдулла A., Барьяннис Д. и Баги И. описали и применили модель машинного обучения для наиболее подходящего поставщика. Набор данных для машинного обучения взят из практики деятельности двух нефтегазовых компаний Ливии: Sri Oil и Lifeco [5].

Харикришнакумар Р., Дэнд А., Наннапанени С. и Кришнан К. в своей работе предлагают использовать алгоритмы контролируемого машинного обучения, позволяющие разделить поставщиков на четыре категории: отличные, хорошие, удовлетворительные и неудовлетворительные. В их исследовании алгоритмы контролируемого обучения (классификации) применяются к задаче оценки поставщика, где модель обучается на основе предыдущих исторических данных, а затем тестируется на новом наборе [6].

В работе [7] Баклушинский В.В. и Пустынникова Е.В. представили результаты составления и тестирования моделей машинного обучения, созданных в целях оценки надежности предприятий как поставщиков. Перечисленными авторами разработаны модели, способные проводить оценку поставщиков и ранжировать их с учетом качественных характеристик.

Цель, задачи и методы исследования

Целью исследования является доказательство возможности и целесообразности применения методов машинного обучения в процессе оценки и выбора поставщиков. Для достижения поставленной цели необходимо решить следующие задачи:

• 1)    определить состав критериев;

• 2)    сформировать обучающую выборку;

• 3)    разработать и обучить модель оценки поставщиков;

• 4)    оценить точность и преимущества предлагаемой модели.

Объектом настоящего исследования является процедура оценки поставщиков продукции. Предметом исследования выступает анализ возможностей и ограничений использования моделей машинного обучения при проведении оценки поставщиков продукции.

Практическая значимость работы обусловлена возможностью применения предложенной методики при проведении предприятиями оценки поставщиков продукции.

Для решения задачи классификации поставщиков в работе использован метод случайного леса. Основанием для его выбора стали преимущества метода, а именно высокая точность, устойчивость к выбросам, способность обрабатывать данные с большим числом признаков и классов.

В рамках работы с алгоритмом случайного леса строятся несколько различных комбинаций деревьев принятия решений. Финальную классификацию получают путем усреднения результатов всех деревьев. Дерево принятия решений наглядно показывает, что почти каждый выбор поставщика связан с некоторой неопределенностью, а также с риском, присущим этому решению. В рамках решения задачи выбора поставщика предлагается использовать бинарное дерево.

Результаты исследования

В настоящий момент существует множество критериев оценки поставщика. В связи с отсутствием единого перечня критериев оценки каждая организация проводит оценку поставщиков, согласно тем критериям, которые были выбраны, как наиболее приемлемые и отражающие деятельность изготовителя как «надёжного» или «ненадёжного» поставщика. Т.е. критерии оценки и отбора поставщиков зависят от того, насколько важен в производственном или торговом процессе тот или иной продукт, материал или изделие.

На основе анализа научных источников и документированных процедур мясоперерабатывающего предприятия Приморского края и сервиса доставки продуктовых наборов составлен перечень критериев для оценки поставщиков (таблица). В качестве критериев выбраны следующие показатели: качество и стоимость продукции, срок доставки, надежность поставок, наличие у поставщика документированных системы менеджмента качества (СМК) и системы менеджмента безопасности пищевой продукции (СМБПП), реакция поставщика на рекламации, ценовая политика поставщика, транспортные расходы, наличие и правильность оформления товарно-сопроводительной документации (ТСД), репутация, соответствие маркировки и качество упаковки, ассортимент продукции.

Таблица 1

Перечень критериев для оценки поставщиков

Наименование	Показатель	Оценка
Блок 1 Стратегически важные критерии для организации-покупателя
Качество продукции	Продукция соответствует требованиям нормативной документации (НД)	2
	Наличие единичного несоответствия требованиям НД, отсутствие повторного несоответствия по одному и тому же показателю	1
	Показатели качества и безопасности поставляемой продукции не стабильные, регулярные повторные несоответствия	0
Стоимость продукции	Ниже среднеотраслевого значения более чем на 5%	2
	Соответствует среднеотраслевому значению	1
	Выше среднеотраслевого значения более чем на 5%	0
Срок доставки	Срок доставки полностью удовлетворяет контрагента	1
	Срок доставки не удовлетворяет контрагента	0
Блок 2 Требования к качественным характеристикам поставщика и продукции
Надежность поставок	Поставщик поставляет товар в срок, в указанном объёме	2
	Поставщик поставляет товар с небольшой задержкой, либо имеются отклонения в объёме поставки	1
	Поставщик поставляет товар с задержкой, имеются отклонения в объёме поставки	0

Окончание табл. 1

Наименование	Показатель	Оценка
Наименование	Показатель	Оценка
Наличие у поставщика документированной СМК	Система сертифицирована и функционирует	2
	Система сертифицирована, функционирует, но требует совершенствования	1
	Система сертифицирована, но не функционирует, либо она отсутствует	0
Наличие у поставщика документированной СМБПП	Система сертифицирована и функционирует	2
	Система сертифицирована, функционирует, но требует совершенствования	1
	Система сертифицирована, но не функционирует, либо она отсутствует	0
Реакция поставщика на рекламации	Оперативно и эффективно реагирует на претензии, замечания, предложения	2
	Недостаточно оперативно реагирует на претензии, замечания, предложения	1
	Несвоевременно реагирует и неэффективно отрабатывает претензии, замечания, предложения	0
Ценовая политика поставщика	Наличие системы скидок	1
	Отсутствие системы скидок	0
Репутация    постав щика	Наличие достаточного денежного ресурса для выполнения обязательств по контракту. Имеет опыт добросовестного сотрудничества с контрагентами. Отличается высокой корпоративной культурой	2
	Наличие достаточного денежного ресурса для выполнения обязательств по контракту. Имеет негативный опыт сотрудничества с контрагентами (не больше двух случаев)	1
	Недостаточное количество денежного ресурса для выполнения обязательств по контракту. Имеет негативный опыт сотрудничества с контрагентами	0
Транспортные   рас ходы	Расходы на транспортировку не предусмотрены	1
	Расходы на транспортировку предусмотрены	0
Наличие и правильность оформления ТСД	ТСД правильно оформлена и предоставляется своевременно в полном объёме	2
	ТСД правильно оформлена и предоставляется своевременно не в полном объеме	1
	ТСД оформлена с нарушениями, либо предоставлена несвоевременно	0
Соответствие маркировки и качество упаковки	Маркировка соответствует требованиям НД. Упаковка обеспечивает сохранность товара	2
	Маркировка частично не соответствует требованиям НД. Упаковка обеспечивает сохранность товара	1
	Маркировка не соответствует требованиям НД. Упаковка не обеспечивает сохранность товара	0
Ассортимент продукции	Широкий ассортимент продукции. Включает все необходимые позиции	2
	Ограниченный ассортимент продукции. Ограниченное число необходимых позиций	1
	Узкий ассортимент продукции. Не более одной позиции	0

Критерии разделены на два блока: стратегически важные критерии для организации-покупателя и требования к качественным характеристикам поставщика и продукции. Заведомо предполагается, что поставщик вначале будет оценен в соответствии с критериями первого блока. Следующим шагом является оценка поставщиков по критериям второго блока.

Для всех критериев оценки поставщиков введены порядковые шкалы. Следует отметить, что на практике для получения более точной конечной оценки лучше использовать фактические значения по критериям, связанным с материальными затратами, к таким критериям относятся: стоимость продукции, наличие скидок (с указанием размера скидки), транспортные расходы.

Формирование обучающей выборки

Исследование проведено на основе набора данных, источниками которых является информация, полученная в ходе анализа годового отчёта отдела закупок мясоперерабатывающего предприятия и сервиса доставки продуктовых наборов, а также открытая информация, опубликованная на сайте Россельхознадзора.

Основные этапы исследования [8]:

• 1)    поиск источников с целью нахождения данных для формирования обучающей выборки. В качестве атрибутов принята информация, полученная в ходе анализа годового отчета отдела закупок мясоперерабатывающего предприятия и листа оценки поставщиков сервиса доставки продуктовых наборов. Также использовалась открытая информация, опубликованная на сайте Россельхознадзора, цены, представленные в каталогах производителей продукции, отзывы потребителей и ответы на них. Проанализированы сайты поставщиков с целью выявления срока доставки продукции;

• 2)    перечисленные выше данные были соединены в единую таблицу с помощью программного обеспечения Microsoft Office Excel;

• 3)    формирование обучающей выборки из полученного на предыдущем этапе набора. В качестве выборки из таблицы извлечены данные по 250 предполагаемым поставщикам. На основе оценок по критериям каждому поставщику присвоен статус: 1 – привлекательный для сотрудничества, 0 – непривлекательный;

• 4)    преобразование таблицы Excel в CSV файл и выгрузка данных в Microsoft Azure Machine Learning Studio;

• 5)    разделение выборки случайным образом на тренировочную и тестовую части в отношении 80/20. Тестовая выборка использовалась для проверки точности классификации;

• 6)    выбор алгоритма машинного обучения. В качестве алгоритма выбран случайный лес (Random Forest);

• 7)    настройка гиперпараметров модели с помощью модуля Tune Model Hyperparameters. Цель этапа заключается в определении оптимальных параметров для модели машинного обучения. Модуль создает и тестирует несколько моделей, используя различные сочетания параметров. Модуль сравнивает метрики по всем моделям пока не найдет «наилучшую» модель. В качестве основного параметра, по которому осуществлен поиск «наилучшей» модели, была выбрана метрика AUC (от англ. – area under the curve);

• 8)    обучение модели и получение результатов прогнозирования на тестовой выборке;

• 9)    оценка точности модели.

Таким образом, была сформирована база данных для проведения обучения модели классификации поставщиков на удовлетворяющих условиям сотрудничества и не удовлетворяющих.

Разработка и обучение модели машинного обучения

Моделью машинного обучения является приложение искусственного интеллекта, которое дает возможность автоматически учиться и совершенствоваться на основе собственного опыта без явного участия человека. Для решения задачи оценки поставщиков используется метод классификации. Результатом оценки является присвоение тому или иному поставщику заранее известного класса: 1 – привлекательный для сотрудничества, 0 – непривлекательный.

Классификация относится к категории задач подхода «обучения с учителем». Подход «обучения с учителем» является оптимальным, если заранее известно, чему необходимо научить машину. Под учителем понимается либо сама обучающая выборка, либо тот, кто указал на заданных объектах правильные ответы. Модель машинного обучения принимает решение по отнесению того или иного элемента к классу по рассчитанным вероятностям и этот параметр настраивается.

На основе построенного дерева принятия решений выявлены критерии, оказывающие наибольшее влияние на принятие решения о выборе поставщика: «качество продукции», «срок доставки» и «стоимость продукции», что соответствует условиям, по которым формировались отклики в обучающей выборке. Возможность анализа логики отнесения элементов к классам является преимуществом дерева принятия решений, так как можно быстро перенастроить модель под необходимые условия, по которым предприятие выбирает поставщиков.

Оценка точности модели

Для количественной оценки точности модели используется показатель, который рассчитывается, как площадь под кривой ошибок (ROC-кривой) и показывает производительность используемого метода. Площадь под ROC-кривой – один из самых популярных функционалов качества в задачах бинарной классификации. ROC-кривая показывает зависимость доли истинно положительных объектов от доли ложноположительных объектов.

Метрика AUC обозначает область под кривой ошибок. AUC измеряет всю двухмерную область под всей ROC-кривой. На практике в зависимости от значения AUC эффективность модели интерпретируется следующим образом:

• •    AUC ≤ 0,5 – модель не работает;

• •  0,5 < AUC < 0,6 – модель работает удовлетворительно;

• •  0,6 ≤ AUC < 0,8 – модель работает хорошо;

• •  0,8 ≤ AUC ≤ 1 – модель работает превосходно.

Когда AUC = 0, такой классификатор всегда распознает положительный пример как отрицательный, т.е. вероятность ошибки составляет 100%.

На рисунке представлены показатели точности обученной модели оценки поставщиков.

Рис. Показатели точности обученной модели

Как видно из рисунка, метрика AUC обученной модели составила 0,882, следовательно, модель работает превосходно и можно сделать вывод, что модель обеспечивает высокую точность вычислений и пригодна для использования.

Платформа для решения задач машинного обучения, используемая в рамках текущей работы, также позволяет рассчитать классические параметры точности модели: accuracy , recall , precision и оценка F1 .

Метрика accuracy рассчитывается по формуле 1 и отражает долю правильных ответов, она является общей оценкой точности для всех классов:

TP+TN

accuracy = -----------,

TP+TN+FP+FN

где TP – верно определенный моделью класс 1; TN – верно определенный моделью класс 0; FP – модель ошибочно предсказала класс 1; FN – модель ошибочно предсказала класс 0.

Precision можно интерпретировать, как долю объектов, которые классификатор назвал положительными, при этом являющихся действительно положительными, а recall показывает, какую долю объектов положительного класса из всех объектов нашел алгоритм [3]. Precision и recall рассчитываются по следующим формулам 2 и 3:

precision = recall = —

TP

TP+FP ' TP

TP+FN

■

(2)(3)

Из метрик accuracy , precision и recall для текущей задачи релевантными являются precision и recall . Оценка F1 достигает своего наилучшего значения при приближении к «1» и наихудшего при приближении к «0».

Из полученных значений метрик можно сделать вывод, что модель обеспечивает высокую точность вычислений и пригодна для использования. Данная модель позволит оценить поставщика, как привлекательного или непривлекательного для сотрудничества.

Заключение

За счёт использования моделей машинного обучения оценка поставщиков формируется, исходя из анализа результатов их деятельности, что позволяет снизить влияние субъективных факторов [2]. Следует отметить, что разработанная методика отличается универсальностью, и может использоваться для оценки организаций любого типа при модификации состава критериев.

Использование полученных результатов упростит процесс выбора поставщиков, будет содействовать развитию конкуренции на товарных рынках Российской Федерации, позволит предприятиям сократить управленческие расходы и сэкономить время на осуществление поиска, оценки и выбора добросовестных поставщиков.

Направления дальнейших исследований определяются универсальностью предложенной методики и возможностью ее применения не только для оценки поставщиков в пищевой отрасли, но и в других отраслях экономики при условии модификации состава критериев. Применение моделей машинного обучения для оценки и выбора поставщиков возможно для организаций любого типа. Кроме того, представленность информации о предприятиях в открытом доступе позволяет создавать различные классификаторы, применяемые для оценки поставщиков.