Мониторинг ожидаемой эффективности в ходе выполнения инновационного проекта в формате научного исследования

В работе [1] рассмотрен вопрос о ценности и стоимости информации, синтезируемой в процессе выполнения инновационного проекта, которые отражают степень достижения целевого эффекта, то есть являются показателем результативности выполненного исследования. Что касается обобщенного показателя эффективности, то он, как известно, интегрирует, наряду с результативностью, еще два частных показателя – оперативность и

Белова Наталья Александровна аспирант кафедры информационных систем в экономике и управлении, Российский новый университет, Москва. Сфера научных интересов: теория систем, теория информации, теория принятия решений, ценность информации. Автор трех опубликованных научных работ.

ресурсоемкость процесса. Очевидно, что обеспечение текущего контроля трех этих частных показателей эффективности необходимо для управления ограниченными ресурсами и прогнозирования вероятности и степени достижения цели проекта.

При этом установленное априори время (продолжительность) выполнения проекта естественным образом выделяется в отдельный неуправляемый ресурс лица, принимающего решение (далее – ЛПР), определяющий момент (дату) завершения проекта. К этому моменту цель проекта должна быть достигнута, и синтезированная в ходе его выполнения новая (ценная) информация верифицирована, измерена, структурирована и представлена в виде соответствующих научных положений.

В практике управления проектами возможна также и такая постановка порядка выполнения проекта, когда его продолжительность жестко не ограничивается и увязывается со степенью достижения поставленной цели. Подобная ситуация рассмотрена в работах [2; 3]. В частности, в работе [3] обсуждается алгоритм мониторинга продолжительности проекта с учетом количества получаемой информации.

Следует, однако, подчеркнуть, что целью инновационного проекта, выполняемого в формате исследования, является синтез именно ценной (целевой) информации, относящейся к конкретной предметной области и вносящей в нее новые (оригинальные) результаты. По существу, цель исследования состоит в снятии или сокращении неопределенности, обусловленной объективным существованием того или иного противоречия, составляющего познавательную проблему, требующую выдвижения продуктивной гипотезы, поэтому изначально цель может быть конкретизирована как приемлемый объем синтезированной информации в виде объективно новых (оригинальных) результатов исследования. Как следствие, возникает задача измерения ценности и новизны генерируемой информации, а также ее себестоимости, детерминируемой расходом ресурсов (бюджета) проекта (или НИР).

При этом ресурсы, составляющие бюджет проекта, в условиях дефицита времени, требуемого для достижения цели, могут быть направлены на приобретение недостающей ценной информации на рыночных условиях [1]. В связи с этим возникает задача контроля и оптимизации соотношения остаток времени – остаток ресурсов по мере продвижения к завершению проекта.

Таким образом, объединение перечисленных задач приводит к постановке общей задачи мониторинга ожидаемой эффективности исследовательского проекта посредством

Мониторинг ожидаемой эффективности в ходе выполнения инновационного проекта ...

измерения и контроля объема и степени ценности и оригинальности синтезируемой информации (результативность), остатка времени на достижение целевого эффекта (оперативность) и расхода бюджетных ресурсов (ресурсоемкость).

Материалы и методы

Проблема измерения стоимости информации обстоятельно рассмотрена в монографии Д. Хаббарда [4]. Ожидаемая стоимость привлекаемой информации вводится как разность между ожидаемыми потерями от упущенных благоприятных возможностей (expected opportunity loss) до и после измерения , уменьшающего неопределенность ситуации принятия решения. В сущности, такой подход базируется на привлечении критерия А. Харкевича [5], связывающего ценность семантической информации с увеличением вероятности достижения цели:

I„ = logP! - logP0 = log(PJP0), где P0 – априорная вероятность достижения цели; P1 – апостериорная вероятность достижения цели.

В подходе, развиваемом Д. Хаббардом, стоимость информации считается эквивалентной стоимости измерений (оценивания альтернатив), позволяющих снизить неопределенность, а ожидаемые потери от упущенных возможностей – затраты, обусловленные выбором ошибочного решения (стратегии). Такие потери рассчитываются путем умножения вероятности допустить ошибку (выбрать неоптимальное решение) на цену ошибки.

Приведенный в [4] график (см. Рисунок 1) ожидаемой стоимости информации отображает ее зависимость от роста объема привлекаемой информации и косвенно иллюстрирует ее изменение во времени. При этом под ожидаемой стоимостью полной информации понимается величина ожидаемых потерь от упущенных благоприятных возможностей до проведения измерений.

Рисунок 1. График роста ожидаемой стоимости информации

Источник: [4].

Подчеркнем, что согласно [4] ожидаемая стоимость информации сначала стремится к быстрому росту, а затем выходит на асимптоту по мере приближения к ожидаемой стоимости полной информации.

В рамках задачи мониторинга эффективности процесса порождения ценной информации обсуждаются три пути ее получения [1]: 1) поиск в информационном поле, тре- бующий затрат лимитированного ресурса времени; 2) приобретение на рыночных условиях за счет затрат имеющихся финансовых (материальных) ресурсов; 3) генерация с использованием интеллектуальных ресурсов команды проекта.

Проанализируем процесс поиска ценной (полезной) информации в сравнении с данными, приводимыми Д. Хаббардом [4]. Очевидно, что на начальном этапе команда проекта, как правило, располагает ограниченным объемом сведений относительно существующих доступных источников искомой информации. В частности, неясно, в каких периодических изданиях публикуются статьи по актуальной тематике, какие авторы ведут исследования в данной предметной области, какие имеются другие источники ценной информации. В связи с этим на данном этапе поиска ценной информации команде проекта приходится постоянно отсеивать сведения, несущие информационный шум: неактуальные, несвоевременные, неточные, тривиальные и др. Ошибочным решением в таком случае будет выбор подобных сведений в качестве ценной информации.

По мере углубленного ознакомления с предметной областью и соответствующей литературой поиск актуальных данных существенно ускоряется, поскольку команде проекта становится известной локализация источников искомых сведений, что позволяет вести их целенаправленный поиск в научной периодике, патентном фонде и среди других источников. В этот период ЛПР формирует необходимые метаданные (данные о данных), позволяющие обеспечить эффективный поиск ценной (полезной) информации среди огромного количества доступных сведений. Для данного случая можно принять следующее определение: метаданные – это структурированная информация, которая описывает, поясняет, указывает местоположение и иным образом облегчает поиск и использование информационного ресурса, а также управление им [6]. Необходимо подчеркнуть, что в рамках настоящей работы авторы ограничиваются интерпретацией метаданных в контексте так называемой библиотечной науки (Library Science) и оставляют в стороне вопросы развития и использования технологий баз данных и информационно-поисковых систем.

Иными словами, в качестве метаданных текстовых публикаций, в том числе в электронных библиотечных каталогах, рассматриваются их библиографические описания и аннотации, рубрики тематических классификаторов, к которым относится содержание данных публикаций, и другие их характеристики.

Благодаря использованию определенных таким образом метаданных команда проекта получает возможность оперативно овладеть текущим состоянием предметной области и перейти к отслеживанию появления в реальном времени новых публикаций и других источников, что, естественно, существенным образом замедляет рост объема ценной информации I _ц.

Сопоставим графическое отображение такого процесса с графиком роста ожидаемой стоимости информации (см. Рисунок 1), который представим в виде зависимости роста ожидаемой стоимости информации C от времени (см. Рисунок 2).

Как видим, выход на асимптоту в нашем случае (см. Рисунок 2, б ) обусловлен исчерпанием ценных информационных ресурсов и временного ресурса ( t ₀), лимитированного сроком завершения проекта ( t ₁). Однако этому этапу предшествуют этапы замедленного начала ( t _s) и быстрого линейного роста после завершения процесса формирования метаданных ( t _m).

Что касается возрастания ценности новой информации, то оно обеспечивается ее дальнейшим структурированием – обобщением и преобразованием данных в закономерности предметной области.

Мониторинг ожидаемой эффективности в ходе выполнения инновационного проекта ...

Рисунок 2. Графики роста ожидаемой стоимости информации ( а ) и ожидаемого объема ценной информации ( б ) Источник : графики выполнены авторами.

При этом следует отметить следующее немаловажное обстоятельство. Как правило, генерация новой (оригинальной) информации ЛПР и командой проекта сопровождается публикацией полученных результатов исследования в периодической печати для установления обратной связи между создаваемым инновационным продуктом и предметной областью исследования, вследствие чего в процессе выполнения проекта полученная новая (ценная) информация способствует развитию предметной области в целом.

Обсуждение

Если согласно принципу системного подхода рассматривать предметную область как развивающуюся динамическую систему, то публикации команды проекта представляют собой подаваемые на нее как на объект управления управляемые воздействия, в то время как публикации других авторов играют роль не управляемых, но наблюдаемых воздействий.

В свою очередь, рассмотрение создаваемого инновационного продукта как изолированного объекта управления позволяет считать внесение в него новой информации, уменьшающей его априорную неопределенность, управляющими воздействиями, направленными на достижение цели проекта.

Следует, однако, отметить, что поначалу вовлекаемые в проект данные обладают относительно невысокой ценностью, и это обстоятельство следует учитывать при измерении ценности создаваемого продукта и его потенциальной стоимости. Семантическая энтропия вовлекаемых данных существенным образом снижается в результате их структурирования и обобщения до уровня метаданных.

Примем распространенное определение: данные – отдельные факты, фиксируемые как результаты наблюдений и измерений и характеризующие свойства объектов и процессов конкретной предметной области . Согласно этому определению, речь идет об эмпирических фактах, стоимость получения которых определяются затратами на проведение соответствующих измерений. При этом отметим, что эмпирические факты, не согласующиеся с принятыми закономерностями, могут иметь более высокую научную ценность, чем факты, их подтверждающие.

Следует также иметь в виду, что команда проекта априори располагает определенными исходными данными, детерминирующими постановку цели проекта, стоимость которых не связана с затратами бюджета проекта.

Вернемся к анализу стоимости трех составляющих ценной информации.

Приобретение информации: если цена, назначенная владельцем информации, признана приемлемой, то она и составит стоимость C ₁ привлеченных данных (в денежной форме).

Поиск ценной информации в виде данных и формирование данных о данных определяют себестоимость C ₂, равную затратам ресурсов в процессе выполнения указанных процедур.

Генерация (порождение) новой ценной информации. Выделим две составляющие ее себестоимости:

• •    себестоимость С ₃процедур генерации знаний как результат обобщения данных в виде частных закономерностей, выявленных в процессе выполнения исследования;

• •    себестоимость С ₄ генерации знаний как результат развития и обобщения закономерностей, касающихся предметной области в целом; отметим, что затраты бюджета проекта на генерацию знаний могут включать затраты на вознаграждение привлеченного эксперта.

Примем следующее определение: знания – это закономерности предметной области, полученные в качестве обобщенного результата практической деятельности и профессионального опыта, позволяющие их обладателю ставить и решать практические задачи в предметной области.

Теперь, когда все составляющие ожидаемой стоимости инновационного продукта Сz проекта выражены в денежной форме, она может быть формально представлена в виде аддитивной свертки частных показателей со своими весовыми коэффициентами ai, отражающими вклад каждой составляющей в итоговую стоимость создаваемого продукта:

с , — Е

a C i —a C + a 2 C 2 + a 3 C 3 + a 4 C 4 .

Таким образом, затраты бюджета проекта интегрируют себестоимость порожденной информации с себестоимостью операций по ее поиску и обработке, а также со стоимостью приобретенной информации. Более того, затраты априори лимитированного времени на выполнение соответствующих процедур приобретают адекватную стоимостную оценку (время = деньги), что позволяет оперировать понятием обобщенной ресурсоемко-сти проекта (временной ресурс вкупе со всеми остальными ресурсами).

Теперь мониторинг ожидаемой эффективности можно свести к контролю обобщенной ресурсоемкости и измерению (оцениванию) возрастания ценности (уровня новизны) результатов исследования по мере их обработки и структурирования. При этом, однако, независимый контроль остающегося запаса времени остается актуальной задачей, поскольку с исчерпанием временных ресурсов все работы по проекту автоматически завершаются.

Очевидно, что ценность как вовлекаемой, так и генерируемой информации непосредственно не определяется ее стоимостью, поэтому необходимо рассмотреть подходы к измерению ценности порождаемой информации на разных этапах ее структурной организации.

Как уже отмечалось, обобщение исходных вовлеченных данных позволяет построить структурированные метаданные в виде данных о данных , что дает возможность оперативно выявлять ценную информацию из большого массива неактуальных сведений, циркулирующих в информационном поле.

Очевидно, что дальнейшая исследовательская деятельность команды проекта должна следовать алгоритму научной методологии: систематизация данных – установление эмпирических закономерностей – выдвижение и проверка гипотез – выбор оптимальной гипотезы – формализация новых научных положений, обладающих признаками научной новизны .

Мониторинг ожидаемой эффективности в ходе выполнения инновационного проекта ...

Такие положения представляют собой метаданные в виде знаний – закономерностей предметной области, полученных в качестве обобщенного результата практической деятельности и профессионального опыта , позволяющих команде проекта ставить и решать инновационные практические задачи в рамках исследуемой предметной области.

Ранжирование перечисленных выше информационных объектов по степени их ценности дает следующий ряд предпочтений:

данные ^ данные о данных ^ гипотезы ^ закономерности (знания) (знак ^ здесь означает меньшую ценность).

Во временном измерении изменение количества ценной информации, вовлекаемой в проект, как правило, измеряется возрастанием вероятности достижения цели как функции непрерывной переменной [7]:

, / _х ,    ( P ( t + dt ) )

^dI ( t ) = log 2 I P ( t ) I , где P ( t ) - вероятность достижения цели.

В рассматриваемом случае по мере продвижения исследования к моменту его завершения (исчерпания временных ресурсов) ЛПР имеет возможность последовательно оценивать вклад каждого из обработанных информационных объектов в достигаемый на соответствующем этапе уровень приемлемых значений объема и ценности порождаемой информации.

Заключение

Постановка задачи мониторинга ожидаемой эффективности инновационного (исследовательского) проекта приводит к необходимости измерения двух ее существенных показателей – себестоимости порожденной информации и ее ценности (научной новизны).

Монетизация затрат временных ресурсов позволяет оперировать обобщенной ресур-соемкостью исследования и сосредоточить усилия команды проекта на контроле достигаемой ценности на каждом из естественно возникающих этапов исследования и обеспечении в конечном итоге приемлемого уровня ценности к моменту его завершения.

Выше обоснован качественный характер изменения скорости накопления ценной информации по мере продвижения от сбора данных к этапу формирования метаданных и далее – к установлению закономерностей в условиях появления признаков исчерпания внешних информационных ресурсов и обобщенных ресурсов проекта.

Измерение ценности информации, порожденной в процессе выполнения проекта, представляет собой неординарную задачу, требующую привлечения методологии экспертного оценивания. Предварительное оценивание достигнутого уровня ценности (научной новизны) результатов исследования относится к прерогативе ЛПР, однако их окончательную оценку со временем даст научное сообщество своей реакцией на публикацию результатов проекта.