Методика группового экспертного опроса при выборе компонентов ИТ-инфраструктуры в процессе ее модернизации

Административное управление ИТ-инфраструктурой крупного предприятия предполагает периодическое осуществление мероприятий модернизации. В ее процессе осуществляется выбор компонентов ИТ-инфраструктуры либо с целью замены существующих, либо для внедрения новых. В качестве типовых компонентов рассматриваются информационные системы, информационно-телекоммуникационные сервисы, программные продукты, технические средства. Такие компоненты являются сложными системами, обоснованный выбор которых сопряжен со значительными трудностями (вследствие важности правильного выбора и высокой неопределенности), для преодоления которых применяют методы групповой экспертизы.

Методы групповой экспертизы широко применяются для анализа набора альтернатив в различных сферах науки и техники [1-2]. Вопросы экспертизы альтернатив в области ИТ-администрирования имеют существенные особенности. Во-первых, выбор конкретного компонента является редкой задачей, что приводит к необходимости разработки системы критериев (в большинстве случаев такая задача состоит в назначении коэффициентов частных показателей) в каждом новом случае. Во-вторых, необходимо учитывать компетенцию эксперта при выполнении им экспертизы. В-третьих, эксперты (как входящие в состав ИТ-подразделения, так и внешние консультанты) обладают различной компетенцией (причем различной по каждому частному параметру) и априори неизвестной (можно говорить только о средней компетенции). Это приводит к необходимости динамического назначения весов экспертам в соответствии с их квалификацией. Такие отличия накладывают существенные ограничения на используемые методы экспертизы.

Анализ показывает, что в области экспертизы при выборе компонентов ИТ-инфраструктуры используются значительные допущения на условия экспертизы. В первую очередь это связано с отказом от учета компетенции экспертов, несмотря на наличие разработанных методов ее учета для различных видов используемых оценок, в частности интервальных [3]. Также предполагается, что к моменту экспертизы система критериев для оценивания сформирована, что в большинстве случаев не соответствует истине. Определение системы критериев также требует проведения значительного объема подготовительной работы [4-5]. Вопросы отбора и ранжирования экспертов считаются рассмотренными заранее [6]. При этом следует отметить, что в общем случае это тоже задача экспертного выбора.

Вопросы экспертного оценивания альтернатив компонентов ИТ-инфраструктуры (в первую очередь крупных систем класса ERP) широко рассматриваются в литературе [7-8]. При этом производится упорядочивание систем по системе критериев. В литературе [9-10] широко рассмотрены как методы определения системы критериев, так и методы определения весов частных показателей с применением экспертных методов. Последние достижения в этой области связаны с развитием известных систем оценок (например, для программных средств – стандарта ISO 9126) путем расширения системы критериев [11]. В процессе экспертного выбора используются методы анализа иерархий, методы аналитических сетей, многокритериальный анализ, математическая оптимизация [9; 12-13]. Методы экспертного оценивания различаются используемыми типами оценок частных показателей. Среди них выделяются балльные, интервальные, вероятностные, нечеткие оценки, ранги [3; 9; 13].

Основным недостатком существующих подходов к оценке альтернатив компонентов ИТ-инфра- структур является необходимость последовательного решения трех частных задач - определения системы критериев, определение квалификации экспертов и упорядочивание альтернатив. На практике это приводит к увеличению времени экспертизы (либо к уменьшению количества задач экспертизы). Такое обстоятельство обусловливает необходимость разработки методики параллельного группового экспертного опроса при выборе компонентов ИТ-инфраструктуры с учетом квалификации экспертов и использование многокритериального анализа исследуемых альтернатив.

Постановка задачи

Задача экспертизы заключается в упорядочивании множества альтернатив на основе многокритериальных оценок. В процессе экспертизы предполагается, что построение множества альтернатив выполнено на основе методов генерации альтернатив до этапа экспертизы. С учетом этого задача экспертизы формулируется следующим образом.

Дано: множество A = {a,}, i = (1,/) альтернатив компонентов (не более 10); множество K = y,j = M частных критериев их оценки; множество C = {c,},Z = (u) коэффициентов относительной компетенции экспертов в области экспертизы квали икационных качеств экспертов; множество E = {eJ,m = (l,£) экспертов, участвующих в экспертизе.

Найти: ранжирование R = V^ альтернатив a, e A по множеству K критериев с учетом относительной важности критериев и компетентности экспертов. Компетентность экспертов определяется на основе экспертного опроса по каждому частному показателю. Значимость критериев определяется также на основе экспертного опроса.

Результаты решения

В целях сокращения времени на проведение экспертизы предлагается одновременно проводить все три частные экспертизы (определение квалификаций экспертов, определение значимости частных параметров, упорядочивание альтернатив).

Методика группового экспертного опроса (см. рис. 1) по выбору компонентов ИТ-инфраструктуры предполагает выполнение следующей последовательности действий:

• 1.    Подготовка обобщенного перечня критериев оценки альтернатив компонент ИТ-инфраструктуры (базовой системы критериев). Критерии должны учитывать функциональные и

• качественные характеристики компонентов. Количество критериев должно быть невелико (не более 10-20), чтобы обеспечить возможность их экспертного оценивания. Определение весов частных критериев в процессе экспертизы позволяет задать систему критериев для конкретного выбираемого компонента.

• 2.    Подбор экспертов для проведения экспертизы. В процессе экспертизы должен быть осуществлен выбор достаточного количества экспертов с необходимым уровнем компетенции. На практике в ИТ-подразделения количество экспертов составляет от двух (исполнитель-эксперт и начальник проекта) до десяти-пятнадцати человек. Возможность привлечения внешних экспертов допускается только в исключительных случаях. Выбор экспертов может быть осуществлен согласно методикам [6; 14-15], предназначенным для использования при нечетких данных.

• 3.    Подготовка экспертного опроса. Данный этап предполагает формирование перечня альтернатив и опросного листа (см. таблицу 1). Разработка перечня альтернатив осуществляется с использованием методов экспертной генерации альтернатив. Опросный лист включает постановку задачи выбора компонента ИТ-инфраструктуры (требования и ограничения) и вопросы экспертизы. Подготовка экспертизы на основе заранее созданных шаблонов позволяет умень-

• шить время на его подготовку. Вопросы экспертизы связаны с оценкой значимости частных критериев, квалификации экспертов по частным критериям и оценку ИТ-компонента по частным критериям.

• 4.    Проведение экспертного оценивания. Данный этап заключается в одновременном решении трех задач экспертного оценивания: определения квалификации экспертов по частным критериям, определения важности критериев, ранжирования альтернатив. Заключается в определении экспертами оценок по частным критериям с использованием балльного подхода.

• 5.    Обработка результатов экспертизы. Предполагается проведение в автоматизированном режиме на основе подсчета результатов. На выходе рассчитывается упорядоченное по системе критериев множество альтернатив.

  

Необходимость экспертного построения системы критериев определяется сложностью объекта анализа. Как следует из литературы [7; 12-13] для большинства компонентов ИТ-инфраструктуры нет согласованного перечня показателей (например, ERP-системы оценивают по 5-100 показателям), а также их весовых коэффициентов. Система критериев существенным образом зависит от условий применения компонента – требований бизнес-процессов предприятия к автоматизации и способностей ИТ-подразделений поддерживать его работоспособность и функциональность. Расширение экспертного обсуждения позволит повысить обоснованность системы критериев, согласно которой осуществляется ранжирование альтернатив.

В работе для ранжирования альтернатив предлагается использовать аддитивную систему критериев. Такой подход предполагает расчет оценки B_; каждой ^ai альтернативы по формуле

(D где Wi – весовой коэффициент, значение которого определяется в процессе экспертизы.

Таблица 1 Шаблон опросного листа

Критерий Вес Экс1 ЭксЬ Al AI Крит. 1 Крит, j XJ Уп VjL ЬЛ bH Крит. J где Xj – оценка значимости J -го критерия, У и – оценка квалификации I -го эксперта по j -му критерию, b^ – оценка i-ой альтернативы по j -му критерию. Показатели оцениваются по десятибалльной шкале.

Рис. 1. Методика экспертизы выбора компонентов ИТ-инфраструктуры

Рассмотрим механизм решения частных задач экспертизы, реализуемый в процессе упорядочивания множества альтернатив компонентов. Формализация решения частных задач экспертизы дана согласно [4].

Задача 1. Определение значимости критериев оценивания. Дано: множество K = {k},j = (\,J) критериев оценки альтернатив; множество сЦеДлЦи?) коэффициентов относительной компетенции экспертов в области экспертизы. Найти: множеств нормированных коэффициентов w = ^vj\j=M относительной значимости критериев в системе критериев. Справедливо j равенство^.^-В процессе экспертизы экс пертами определяются значения x j для всех критериев, где i – номер эксперта.

Решение задачи. Расчет нормированного веса критерия проводится по формуле

Wj

He X j

/=1

j L

2 Ic'x

J = V = 1

Задача 2. Определение компетентности экспертов по частным критериям. Дано: множество к = у,] = М критериев оценки альтернатив; множество C = {c_z},/ = (u) коэффициентов относительной компетенции экспертов, множество ^Е = ^т^^т = ^^Е) экспертов, участвующих в экспертизе. Найти: множество нормированных коэффициентов V = [v_jm\,j = (l,j\m^^ относительной компетентности экспертов по частному

L критерию. Справедливо равенство Zv> =L В процессе экспертизы экспертами определяются значения Vjm для всех критериев и всех экспертов.

Решение задачи. Расчет компетентности I -го эксперта по 7-му критерию производится по формуле vim=^4-----•       (3)

/=1 m =1

Задача 3. Ранжирование альтернатив по системе критериев с учетом компетентности экспертов по каждому показателю. Дано: множество A = {(7;}, I = (1,/) альтернатив (не более 10); множество К = \к^,к = ^,А^ критериев их оценки; множество нормированных коэффициентов V = ^’jm\ J = ^Лт = <\,Ц относительной компетентности экспертов по частным критериям; множество нормированных коэффициентов ^ = {w },7 = (i,j) относительной значимости критериев. Найти: ранжирование tf = w альтернатив a, e A по множеству K критериев с учетом их относительной важности и компетентности экспертов.

Решение задачи. Эксперты в процессе анализа назначают оценку b™ /-ой альтернативы по 7-му критерию. Выполнение упорядочивания осуществляется в три этапа:

• 1.    На первом этапе рассчитывают оценку В , i -ой альтернативы по j -му критерию по формуле

• 2.    На втором этапе рассчитывают суммарную оценку i -й альтернативы по всей системе критериев

• 3.    На третьем этапе получают такое ранжирование R = M множества альтернатив, что выполняется неравенство B(r,^>B(r_i+1U^.

B^^iB,. (5)

7=1

Внедрение предлагаемой методики в практическую деятельность ИТ-подразделения предприятия предполагает совершенствование системы экспертизы. В настоящей работе предлагается в качестве базы для внедрения компонентов методики использовать распределенные экспертно-моделирующие системы [16]. Распределенная эк-спертно-моделирующая система предназначена для организации очной и очно-заочной экспертизы по вопросам развития ИТ-инфраструктуры, частной задачей которой является обоснованный выбор новых компонентов. Существующие в рамках распределенных экспертно-моделирую-щих сетей средства обеспечения экспертизы (в частности, моделирования и доступа к информационным ресурсам) предполагают обеспечение экспертов требуемыми данными (в том числе информационно-имитационными моделями ИТ-инфраструктуры различной детализации).

В качестве основных элементов модернизации такой системы поддержки экспертизы предлагаются следующие меры:

• -    разработка и внедрение базовых критериев выбора ИТ-компонента (с учетом условий предприятия и ее ИТ-инфраструктуры);

• -    разработка и внедрение базовых опросных листов (включающих оценку весов, компетентности экспертов и самих альтернатив);

• -    внедрение новых механизмов экспертизы (см. задачи 1-3);

• -    разработка и внедрение средств автоматизации обработки данных экспертизы на основе формул (2)-(5).

Использование предлагаемой методики, с одной стороны, позволяет повысить эффективность динамической разработки системы критериев (в том случае если до этого экспертная оценка не использовалась), а с другой стороны – улучшить оперативность экспертизы (за счет совмещения процессов решения трех частных задач экспертизы и частичной их автоматизации).

С целью проверки применимости работы методики в рамках ИТ-подразделения на базе прототипа РЭМС-системы реализованы требуемые компоненты, в том числе прототип системы критериев и на его основе базовые опросные листы. К экспертизе привлекается 15 экспертов. Поток экспертных задач по выбору программных и аппаратных компонентов, технических решений в сфере развития кабельной сети составляет около 10-20 задач в месяц. Для сокращения времени постановки задачи (описания требований и ограничений) используются средства видео- и аудиоконференц-связи. Для решения задачи анализа альтернатив привлекаются группы наиболее компетентных экспертов в составе 3-5 человек.

Данные исследования функционирования прототипа показывают результативность и непротиворечивость результатов. Обработка опросных листов осуществляется в автоматическом режиме. Результат экспертизы предоставляется лицу, принимающему решения (руководителю проекта по внедрению анализируемого компонента).

Заключение

Предложена методика группового экспертного опроса в целях решения задач упорядочивания набора альтернатив при выборе компонента ИТ-инфраструктуры. Отличие предлагаемой методики в одновременном решении трех частных задач экспертизы (составления системы критериев, определения компетентности экспертов и непосредственно задача ранжирования). Анализ практического внедрения показал применимость методики для внедрения в практику ИТ-подразделений крупных предприятий. Дальнейшее направление исследований – совершенствование методики и формальное оценивание эффекта от ее применения в различных условиях (структур и процессов развития ИТ-инфраструктур и возможностей поддерживающих ИТ-подразделений). При этом предполагается рассмотреть и другие схемы оценивания альтернатив по системе критериев (например, с использованием нечетких чисел и интервальных методов).