Теоретико-методологические подходы к моделированию оценки успеха проектов

Пермский государственный национальный исследовательский университет, 614990, г. Пермь, ул. Букирева, 15

Н.В. Кодейх, магистрант кафедры стратегического менеджмента

Национальный исследовательский университет - Высшая школа экономики (Пермский филиал), 614046, г. Пермь, ул. Студенческая, 38

В статье исследуются теоретические основы и оцениваются методологические подходы к процессу моделирования оценки успешности и эффективности проекта. Обосновывается возможность и целесообразность применения положений теории нечетких множеств для оценки успешности проекта. — Ключевые слова: проект; успех проекта; оценки успеха проекта; моделирование оценки; теория нечетких множеств.

Современные условия функционирования любого хозяйствующего субъекта предъявляют повышенные требования к уровню и качеству управления в связи со сложной и нестабильной общеэкономической и общеполитической обстановкой, продолжением развития кризисных процессов в мировой и национальных экономиках, высокой степенью неопределенности будущего, масштабными и интенсивными процессами смены технологических поколений и повсеместной цифровизации информации, а также сохраняющимся на протяжении длительного периода времени высоким уровнем конкуренции.

Одним из инструментов, призванных обеспечивать надлежащий уровень управления бизнесом и содействовать успешному существованию и развитию любых хозяйствующих субъектов, является применение принципов и методов проектного подхода.

Помимо того что использование принципов проектного подхода само по себе требует определенного уровня развития сферы управления хозяйствующим субъектом, возникает задача оценки конкретного результата, получаемого по итогам реализации проекта. Эта задача особенно важна, потому что одним из основополагающих принципов проектного подхода является нацеленность на конкретный результат. Важно точно понимать, получен ли ожидаемый (запланированный) результат, в какой степени удалось достичь того, что планировалось (предполагалось), как можно оценить полученный результат и, наконец, был ли реализованный проект в достаточной степени эффективным.

Следует отметить, что если экономические результаты реализации проекта всегда оцениваются в той или иной форме, то оценка успеха проекта в настоящее время не является общепринятой практикой. Основной причиной сложившегося на данный момент положения является отсутствие четко определенного содержания термина «успех проекта». Сейчас этот термин имеет широкое и неоднозначное толкование, что обусловливает проблему выбора, компоновки и приоритезации параметров оценки успеха проекта.

Наиболее распространенный в настоящее время подход к оценке успеха проекта заключается в проведении двух не связанных между собой оценок с организационно-

технологической и экономической точек зрения. Такая оценка, во-первых, неполная и несколько односторонняя, а во-вторых, она недостаточно точна, поскольку при получении данных по отдельным элементам применяются различные принципы и методы. Наконец, оценка успеха проекта проводится, как правило, постфактум и представляет интерес только в историческом аспекте. Она не позволяет своевременно выявлять проблемы, возникающие в ходе реализации проекта, вырабатывать и реализовывать необходимые для изменения ситуации управленческие решения.

В связи с изложенным возникает проблема поиска такого подхода к анализу и оценке успеха проекта, который позволил бы получить совокупный результат, отражающий все аспекты реализации проекта, в том числе социальные и экологические, которые чаще всего не могут быть выражены количественно. В такой оценке все параметры должны быть увязаны в единую систему и согласованы между собой логически и методологически. Наконец, для эффективного управления необходима такая оценка, которая правильно отражала бы действительные результаты реализации проекта и могла использоваться на любом этапе реализации проекта.

Традиционно успешным считается проект, выполненный в установленные сроки, в рамках запланированного бюджета и с надлежащим качеством [2]. Вопрос оценки успешности проекта имеет значение для всех заинтересованных (участвующих) сторон и рассматривается ими с различных позиций. Оценка эффективности проекта, а также расчет эффекта от реализации проекта являются важными с позиции анализа экономической целесообразности самого проекта, отдачи вложенных в него инвестиций, а также качества работы менеджера проекта и проектной команды.

При оценке успешности реализации проекта наряду с экономической эффективностью необходимо давать оценку социального эффекта, который может выражаться степенью удовлетворенности результатами проекта отдельных групп или общества в целом.

Несмотря на то что вопросы анализа и оценки успеха/неудачи проектов рассматривались во многих работах отечественных и зарубежных авторов [11], конкретизированное и унифицированное содержание термина «успешный проект» не сформулировано.

В зарубежной экономической практике высказываются предложения по разработке самостоятельной теории успеха проекта [6]. Например, Baccarini [4] предлагает упрощенную формулировку успеха проекта, выделяя в ней два основных элемента: успех управления проектом + успех продукта проекта. И хотя здесь результаты успеха управления проектом и успе- ха продукта проекта связаны между собой, непосредственные причинно-следственные связи между ними слабы и их сложно формализовать и измерить. Поэтому рассматриваемая модель даже в расширенном виде недостаточна для измерения успеха проекта, так как она упускает ряд параметров, связанных с продуктом, в частности, добавленную стоимость и удовлетворенность пользователя/заказчика (либо других заинтересованных сторон проекта).

В оценке успеха проекта, как правило, заинтересовано несколько субъектов, к тому же совсем не обязательно, что все они являются участниками проекта. Поэтому подходы к анализу успеха и критерии его оценки различны для разных субъектов.

В соответствии с теорией управления проектами основными участниками проекта являются [8; 10]: заказчик – сторона, заинтересованная в осуществлении проекта и достижении его целей; инициатор проекта – лицо, которое идентифицирует потребность в проекте и инициирует проект; спонсор (куратор) проекта – сотрудник (обычно руководитель высшего звена) организации, реализующей проект; менеджер проекта – лицо, ответственное за управление проектом. В зависимости от типа, вида, сложности и масштаба проекта в нем также могут участвовать: инвестор, подрядчик (генеральный подрядчик), субподрядчик, поставщики, органы власти, потребители конечной продукции. Данный перечень участников проекта и заинтересованных лиц является весьма общим и неполным, но даже из краткого описания их функций, интересов очевидно, что подходы к оценке успешности и эффективности могут не только существенно различаться между собой, но и противоречить друг другу.

При исследовании подходов к оценке успешности проектов необходимо учитывать, что параметры, которые лежат в основе базовой модели оценки успеха проекта, также могут противоречить друг другу [3]. Известно множество случаев, когда проект, не будучи исполненным в рамках заданных ограничений (время, бюджет и качество), тем не менее был признан успешным. На практике встречаются и другие ситуации, когда при полном соблюдении всех заданных при разработке ограничений проект успеха не достиг.

Как отмечалось ранее, в общем виде успешным считается такой проект, результаты реализации которого соответствуют изначально заданным параметрам: времени реализации, бюджету, качеству [9; 10]. Обычно желаемые параметры проекта задаются заказчиком и руководителем проекта на этапе инициации проекта либо подготовки и утверждения устава проекта. В процессе реализации проекта заданные пара- метры могут корректироваться по объективным обстоятельствам.

Одна из общепризнанных наиболее удачных моделей оценки успешности проекта представлена на рисунке. Модель объединяет все основные характеристики успешного проекта и представляет их во взаимосвязи и в объеме.

Модель успешного проекта [цит. по: 9]

Тем не менее при проведении анализа и оценки успешности конкретного проекта применение этой модели несколько ограничено ввиду специфики выбранных параметров. Причины ограничения заключаются в том, что: а) не все из числа выбранных параметры оценки могут быть описаны количественно; б) точная формулировка качественных параметров затруднена, и их сложно описать даже в обобщенных терминах. Кроме того, некоторые из параметров, включённых в модель, могут проявиться спустя какое-то время после завершения проекта и иметь долговременные последствия.

Еще одной достаточно распространенной проблемой при оценке успеха является нечеткая формулировка ожидаемого результата проекта, что также не позволяет достаточно точно оценить, был проект успешным или нет.

Частично указанные проблемы могут быть решены путем использования для оценки модели успеха информационной системы, предложенной ДеЛоуном и МакЛином [5]. Модель включает шесть основных измерителей успеха:

• -    качество системы;

• -    качество информации;

• -    возможность использования информации;

• -    удовлетворенность пользователя;

• -    индивидуальное воздействие;

• -    организационное воздействие.

На наш взгляд, в исследуемой модели присутствуют четыре характеристики, которые делают ее пригодной для оценки успеха проекта. К таким характеристикам следует отнести следующие:

• -    простота (сокращение множества измерителей до 6);

• -    приемлемость;

• -    аналогичность общим намерениям оценить успех;

• -    возможность повторного использования.

Усовершенствованная модель ДеЛоуна и МакЛина объединяет успех управления проектом и успех продукта проекта. Она включает следующие измерители:

• 1)    качество процессов управления проектом;

• 2)    соблюдение сроков;

• 3)    соблюдение бюджета;

• 4)    конкретная система качества;

• 5)    конкретное качество информации;

• 6)    конкретное качество услуг;

• 7)    удовлетворенность заинтересованных сторон проекта;

• 8)    использование (пригодность);

• 9)    удовлетворенность пользователя;

• 10)    чистые выгоды.

Модель не включает тип системы и относящиеся к участникам аспекты измерения успеха проекта. Поэтому она требует расширения, что ведет к ее усложнению и затрудняет измерение. Например, все десять предложенных измерителей применительно только к пяти участникам проекта и шести параметрам системы приведут к возникновению 300 комбинаций. В этой связи серьезной задачей становится выбор ограниченного числа наиболее емких показателей и их формализация.

Letts, Ryan and Grossman [6; 7] предлагают оценивать успешность проекта на основа- нии того, были ли в результате реализации проекта решены три следующие задачи:

• а)    содействие организации-заказчику в осуществлении текущей деятельности на более высоком качественном уровне;

• б)    улучшение способности организации-заказчика к дальнейшему росту;

• в)    повышение способности организации-заказчика к изменениям.

Еще один подход к оценке успеха проекта предложен в работе Koelmans [9], который предлагает анализировать и оценивать успех проекта по таким направлениям:

• -    что означает успешный проект?

• -    как именно можно измерить успех проекта?

• -    как следует вести проект к успеху?

В данном случае успех проекта рассматривается с позиций трех основных субъектов оценки: бизнеса (заказчика), сотрудников (команды проекта) и местного сообщества. Сам процесс оценки аналогичен составлению иерархической структуры индикаторов (аналогичной Works Breakdown Structure), где каждому из индикаторов присваивается вес и на этом основании рассчитывается взвешенная величина, которая и является общей оценкой для каждого из основных участников. Такая оценка позволяет получить достаточно объективный результат. Однако набор индикаторов и их структура будут различаться по субъектам анализа и оценки. Поэтому для уточнения оценки такие иерархические графы могут быть далее развернуты по составным элементам (декомпозиция до 3-го или 5-го элемента).

Применение метода иерархической декомпозиции для оценки успеха проекта, по нашему мнению, позволяет:

• -    снизить субъективность и уменьшить количество элементов восприятия, поскольку такая оценка является более объективной;

• -    обеспечить более согласованную оценку успеха относительно различных проектов;

• -    снабдить менеджера проекта инструментарием, который призван помочь в достижении максимального успеха при реализации проектов.

Наряду с задачей анализа и оценки успешности проекта существует необходимость в оценке эффективности проекта и в увязке этих двух критериев оценки, что требует разработки комплексной универсальной модели, которой пока не существует. Кроме того, все исследованные подходы ориентированы в большей степени на количественные показатели и позволяют получить преимущественно статическую (моментную) оценку, но не дают возможности отслеживать изменение ситуации в динамике, а также каким-либо образом прогнозировать ве- роятный исход реализации проекта. Широко используемый в этих целях план-факт-анализ требует заданных количественных показателей и не обеспечивает возможности анализировать и оценивать изменения качественных характеристик проекта.

Для решения задачи получения объективной динамической оценки успешности и эффективности проекта могут быть использованы методы экономико-математического моделирования. Экономико-математическая модель представляет собой формализованное описание управляемого экономического объекта (процесса), включающее заранее заданные, известные параметры, показатели и искомые неизвестные величины, в совокупности характеризующие состояние объекта и процесс его функционирования, объединенные между собой связями в виде математических зависимостей, соотношений, формул. Такая модель отражает только основные, существенные свойства изучаемого объекта, которые наиболее важны с точки зрения управления. Основное требование к экономико-математическим моделям состоит в их адекватности (соответствии) моделируемым экономическим объектам или процессам.

Существуют различные классификации экономико-математических моделей в зависимости от уровня моделируемого объекта (макроэкономические и микроэкономические), от изменения объектов управления во времени (динамические и статические), от непрерывности изменений показателей функционирования объекта во времени (дискретные и непрерывные). По типу применяемого математического аппарата выделяют экономико-статистические корреляционно-регрессионные модели (эконометрические модели), балансовые, оптимизационные модели (модели линейного и нелинейного программирования), игровые и сетевые модели.

Каждый из названных типов моделей имеет свои отличительные характеристики, ограничения и степень применимости к решению задачи анализа и оценки успешности проекта. В частности, балансовые модели не могут применяться к полностью некоммерческим проектам либо к тем проектам, в которых социальная составляющая доминирует над коммерческой, поскольку они являются инструментом согласования доходов и расходов денежных средств. Использование игровых моделей, предполагающих наличие нескольких лиц, принимающих решения, которые влияют друг на друга, затруднено тем, что для корректной разработки модели необходимо собрать и обобщить большой массив данных. Что касается сетевой модели, то она достаточно широко востребована в проектной деятельности в целом в связи с тем, что в ней предполагается последовательность осуществления определенных этапов. Однако такая модель в большей степени применима непосредственно в ходе реализации проекта, и только для оценки одной из составляющих его успеха – соблюдения сроков его осуществления.

Более предпочтительными для оценки и анализа успеха проекта выглядят эконометрические и оптимизационные модели (динамическое программирование). Такие модели позволяют оценивать сложные системы, изменяющиеся во времени, когда необходимо учитывать динамику показателей. Преимуществом таких моделей является возможность разработки модели в двух вариантах: с памятью либо без памяти. В первом случае в модель должны быть включены все данные за предшествующие периоды (здесь применяются методы эконометрического моделирования). Во втором – включаются только данные за один определенный период (т.е. осуществляется попытка представить тот момент, когда проект еще не завершен на практике, и переиграть данную ситуацию, чтобы решить, как следовало бы поступить, чтобы проект был выполнен более успешно; здесь применяются методы динамического программирования).

Эти модели при сравнительно высокой эффективности и привлекательности именно для оценки и анализа реализации проекта с точки зрения его успешности достаточно сложно реализуемы на практике. Во-первых, для разработки модели и установления математически формализованных связей между ее элементами необходим обширный массив первичных данных, которые зачастую либо отсутствуют, либо являются разрозненными, либо в значительной степени неоднородны. Кроме того, следует помнить, что одной из основных отличительных характеристик проекта является его уникальность, что подразумевает отсутствие достаточной частоты повторяемости событий и достаточных данных, которые могли бы быть обобщены и проанализированы для детального выявления причинно-следственных связей между ними. Такой подход к анализу и оценке успеха проекта в большей степени применим к однотипным проектам, осуществляемым в рамках текущей деятельности хозяйствующего субъекта.

Определенные трудности при моделировании вызывает формулировка целевых функций. Как уже неоднократно отмечалось, оценка успеха проекта – категория субъективная, зависит от множества обстоятельств, и критерии такой оценки, устанавливаемые различными субъектами (участниками) проекта, могут быть несогласованными или противоречить друг другу.

С нашей точки зрения, большинство из указанных проблем оценки успеха проекта в определенной степени могут быть решены путем применения аппарата теории нечетких множеств. Очевидно, что обычные количественные методы анализа систем (а проект, безусловно, является сложной системой) не могут быть достаточно эффективными при анализе гуманистических систем, т.е. тех, в которых существенная роль принадлежит суждениям и знаниям человека. Для реалистического моделирования поведения таких систем целесообразно сократить использование количественных методов и применять вместо этого лингвистический подход, в соответствии с которым в качестве значений переменных допускаются не только числа, но и слова или предложения естественного или искусственного языка. Такие переменные составляют основу нечеткой логики и приближенных способов рассуждений, которые в большей степени отвечают сложности и неточности гуманистических систем, чем традиционные численные методы анализа [1].

В соответствии с существующей в современной экономической науке тенденцией воспринимать хозяйствующий субъект как органическую структуру, где процессы в большей степени приближены к естественным, нежели являются формальными, применение «нечеткого» подхода тем более обоснованно, поскольку наиболее важным становится не столько формальная корректность задействованных процедур в процессе выработки управленческих решений, сколько конечная ценность полученного результата.

Кроме того, в сложных системах (таких, как проект), где человек играет активную роль, выступая одновременно в нескольких качествах, действует так называемый принцип несовместимости: для получения существенных выводов о поведении сложной системы необходимо отказаться от высоких стандартов точности и строгости, которые характерны для сравнительно простых систем, и привлекать к ее анализу подходы, которые являются приближенными по своей природе.

Категория нечеткости и связанные с ней модели и методы тем более уместны в анализе и оценке успешности проекта, поскольку с их появлением стало возможно подвергать количественному анализу те явления, которые раньше либо могли быть учтены только на качественном уровне, либо требовали использования весьма грубых моделей.

Применение теории нечетких множеств в процессе анализа и оценки успешности проектов позволяет определять допустимые параметры взаимосвязанных изменений, предварительно устанавливая выверенные правила образования суждения об интегрированной оценке изменений. В результате использования положений теории нечётких множеств формируется не только объективная оценка успеха без отрыва от нефинансовых и неэкономических показателей, но и оценка, учитывающая субъективные суждения.

Теория нечетких множеств, положения которой целесообразно использовать для оценки успеха проектов, представляет собой расширение классической теории множеств. В классической теории множеств принадлежность элементов некоторому множеству понимается в бинарных терминах в соответствии с чётким условием – элемент либо принадлежит, либо не принадлежит данному множеству. В теории нечётких множеств допускается градуированное понимание принадлежности элемента множеству; степень принадлежности элемента описывается при помощи функции принадлежности. Функция принадлежности как характеристика нечеткого множества отображает некоторое множество (носитель нечёткого множества) в отрезке от нуля до единицы. Значение функции принадлежности показывает степень принадлежности соответствующего элемента носителя рассматриваемому нечёткому множеству. Это значение постепенно меняется от 0 (полная непринадлежность) до 1 (полная принадлежность).

При применении лингвистического способа оценки используют три экстремальных значения: минимальное, максимальное и среднее. Особенностью таких оценок является то, что их максимальная точность не ограничена и определяется только требуемой точностью описания процесса. Согласно теории нечетких множеств порог, равный 0,5, считается точкой перехода.

Поскольку в процессе управления проектом и оценки его успеха часто возникает ситуация, в которой менеджеры проекта или заказчики не могут правильно оценить существенность изменений различных количественных показателей или корректно определить тенденции в изменении качественных показателей, то применение аппарата нечетких множеств становится не только методом анализа и оценки, но и способом контроля управленческих решений, осуществления прогнозирующих процедур и проведения экспертной диагностики. Методология нечеткой логики, которая позволяет дать количественное представление неточных значений, расширяет возможности решения задачи оценки успеха и эффективности проекта как итогового состояния сложного объекта или сложной системы, когда необходимо делать заключение исходя из совокупности количественной и качественной информации различного рода. Предлагаемый подход к оценке успеха проекта обеспечивает возможность увязать воедино количественные и качественные параметры, дать объективную картину фактического состояния дел и представить информацию для принятия необходимых управленческих решений. Полученная на основе изложенного подхо- да модель оценки успеха проекта в полной мере отвечает требованиям объективности, комплексности и релевантности.

Таким образом, предложенная в настоящей статье идея разработки модели оценки успешности проекта с использованием нечеткой логики заполняет определенные пробелы, существующие в настоящее время в методологии анализа и оценки успешности проектов, и содействует повышению качества и эффективности проектного управления.