Концепция оценки потенциала коммерциализации результатов исследований и разработок

готовности проекта к коммерциализации.

В настоящее время в нашей стране действует Федеральная система мониторинга результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы для оценки наукометрических характеристик научных организаций. В ней важными параметрами для оценки являются следующие: количество созданных объектов интеллектуальной собственности (ОИС), число научных сотрудников, их ученые степени и публикации, данные о внедрении результатов исследований и другая информация.

Можно ли считать эти параметры исчерпывающими или хотя бы показательными? Нетрудно показать, что нет. Так, наличие объектов интеллектуальной собственности является важной частью инноваци- онного процесса, однако не может являться основным показателем потенциала коммерциализации. По данным российского ФИПС, до 40% патентов перестают поддерживаться в течение первых трех лет после регистрации. Это индикатор того, что после сдачи отчетности научные организации перестают поддерживать патенты, не прилагая усилий к внедрению и коммерциализации этих результатов. Число сотрудников и количество ученых степеней косвенным образом характеризует наличие «научной среды», но не является прямым индикатором потенциала коммерциализации, а наличие публикаций по теме проекта до защиты результата интеллектуальной деятельности лишь снижает конкурентоспособность решения.

Методология QuickLook описывает рекомендации для экспертов по оценке потенциала коммерциализации технологий путем первич- ного и вторичного анализа рынка и лицензионных договоров. По существу, данная методология также является вариантом экспертной оценки с присущими ей достоинствами и недостатками [10].

Существуют и другие способы оценки инновационной активности научных организаций, например, через сравнение инновационной выручки. Такой подход ясно говорит о недооценке специфики инновационного процесса и места научных организаций в инновационном цикле. Инновационный проект на стадии развития до уровня готовности TRL6-7 является по определению затратным. В ходе его осуществления в результате проводимых работ и соответствующих им затрат происходит снижение рисков и соответственно повышение потенциала коммерциализации НИОКР. При этом затраченные на НИОКР средства капитализируются в приобретение знаний. Их объем в привязке к проекту удобно измерять в обратных риску единицах – уровнях готовности, включая, но не ограничиваясь только параметром технологической готовности [2].

TRL (Technology Readiness Level), или по ГОСТ Р 56861-2016 уровень готовности технологии (УГТ), – степень развития разрабатываемой технологии с целью ее внедрения в конечный продукт. Степень развития технологии оценивают по многоуровневой шкале в зависимости от специфики продукта.

TRL является метрикой оценки готовности результатов НИОКР (технологий, материалов, компонентов, производственных процессов, систем, подсистем и др.) к использованию их в производстве, установках, процессах для реализации целей последних, а также технологического риска, связанного с использованием данных технологий в настоящий момент.

Действительно, риски представляют собой неотъемлемый аспект НИОКР как составной части инновационных проектов, они являются их движущей силой, влияют на потенциал их коммерциализации. Чем выше риски, тем ниже потенциал коммерциализации. Далеко не все инновационные проекты доходят до фазы коммерциализации. Известен факт того, что венчурных инвесторов интересуют только инновационные проекты, приносящие многократные прибыли, которые смогут компенсировать потери в большей части проектов инновационного пакета.

Для описания концепции потенциала коммерциализации определим наиболее важные термины.

– Инновационный проект – совокупность процессов по коммерциализации результатов НИОКР.

– Коммерциализация результатов НИОКР / инновационного проекта – разработка и систематическая реализация владельцем (совладельцем) прав (инициаторами или заказчиком) востребованного рынком продукта, выручка от производства и реализации которого существенно превышает затраты на весь жизненный цикл, включая затраты, понесенные на этапе НИОКР.

Важно понимать, что термин «коммерциализация результатов НИОКР» относится в первую очередь к заказчику НИОКР, поскольку именно он предполагает получить дополнительный доход от использования его результата. Для него стадия НИОКР связана с затратами, которые он предполагает окупить в последующей инвестиционной фазе инновационного проекта. Для исполнителя научных исследований возможность коммерциализации результатов может быть получена только в случае совместного с заказчиком и обусловленного соглашением с ним владения результатами интеллектуальной деятельности, созданными в ходе выполнения НИОКР.

Согласно нашему определению потенциал коммерциализации может быть реализован только в случае продолжения развития научной разработки на более высокие уровни готовности проекта инициатором либо заказчиком. А предпосылками для этого является успешное преодоление рисков, характерных для стадии научных исследований и конструкторских разработок.

Поэтому для согласованного понимания роли научных организаций в цепочке создания инноваций – инновационном цикле требуется единая сквозная мультидисциплинарная цифровая шкала для измерения уровня рисков (технологического, инженерного, производственного, нормативного, достаточности компетенций и мотивации команды проекта, обращения с интеллектуальной собственностью, вывода конечного продукта на рынок, в том числе с учетом прогноза уровня конкуренции). Эти риски определяют суммарный риск невозврата инвестиций, в том числе на стадии НИОКР.

В мировой практике высокотехнологичных компаний методология уровней технологической готовности Technology Readiness Level (TRL) и процедура оценки Technology Readiness Assessment (TRA) [6, 7, 9, 11, 14, 15] успешно используются для оценки технологи- ческих рисков и продолжают совершенствоваться.

Оценка уровня готовности технологии производится для следующих целей:

– определение текущего уровня готовности технологии и его динамики;

– определение нерешенных проблем разработки технологии и связанных с этим затрат и технологический рисков;

– обеспечение эффективного управления НИОКР.

Применительно к управлению научными исследованиями молодых ученых в вузе эта методология успешно реализована в совместном проекте Госкорпорации «Росатом» и Национального исследовательского технологического университета «МИСиС». Полученные результаты приведены в работе [4].

Несмотря на то, что методология TRL позволяет оценить только технологический уровень готовности научной разработки, применение даже только такой оценки демонстрирует существенный прогресс в понимании потенциала коммерциализации как отдельных проектов, так и пакета научных разработок, которым, как правило, обладает каждая научная организация.

Потенциал коммерциализации может относиться к отдельным НИОКР и к организации в целом. В этом случае в качестве самой простой визуализации результатов можно использовать распределение числа НИОКР по различным уровням технологической готовности, то есть формирование TRL-спектра.

Методология оценки уровней технологической готовности научных разработок давно применяется для анализа результатов исследований и разработок за рубежом, например в Департаменте энергетики США (US DOE).

Ниже на рис. 1 и 2 приведены и проанализированы примеры TRL-спектров.

На риc. 1 приведен TRL-спектр по уровням готовности 349 НИОКР, выполненных в Департаменте энергетики США за 2014 год [8]. Только

Число НИОКР

В Advanced Energy

Systems

• □    Carbon Capture

• ■    Carbon Storage

• ■    Crosscutting

Research

Рис. 1. Распределение по уровням TRL числа НИОКР Департамента энергетики США в 2014 году Число НИОКР

• □ Сумма НИОКР

Рис. 2. Распределение числа НИОКР по уровням технологической готовности для группы отраслевых научных организаций

• 5% из них имеют результат дости- нее этот вопрос обсуждается в ста- а передаются в заинтересованные жения уровня готовности TRL6 и тье далее. Проекты с уровнем бо- компании.

выше, когда снимаются основные лее TRL7, по всей вероятности, не По TRL-спектру можно получить технологические риски. Подроб- финансируются этим ведомством, важную информацию о средних и максимальных величинах TRL проектов портфеля, соответствия данного состояния задачам организации. Из представленных на рис. 1 данных, например, можно заключить, что для коммерциализации на момент оценки уровней технологической готовности пакета НИОКР может быть потенциально предложен только каждый двадцатый проект. В то же время даже для этих проектов кроме TRL-спектра требуется дополнительная информация для оценки потенциала их коммерциализации.

На рис. 2 приведен TRL-спектр для группы отраслевых научных организаций, полученный авторами статьи при анализе результатов 552 НИОКР.

Из рис. 2 видно, что форма зависимости распределения принципиально другая, чем для НИОКР, выполненных по линии Департамента энергетики США (рис. 1). Имеется смещение максимума результатов НИОКР в область более высоких уровней технологической готовности, и абсолютно максимальное значение достигается при TRL9. При анализе причин такого расхождения возникло предположение, что надо отдельно проанализировать НИОКР по исследованиям и разработкам и по НИОКР-услугам для организаций, по статистике которых приведена представленная на рис. 2 зависимость.

Формулировки проекта ФЗ «О научной, научно-технической и инновационной деятельности в Российской Федерации» допускают в рамках прикладных научных исследований не только создание новых технологий, товаров, но и оказание услуг.

Разделить НИОКР на услуги и на продуктовые НИОКР важно, поскольку первые, строго говоря, не подходят под определение коммерциализации. И, следовательно, их учет может нарушить статистику, применяемую для оценки потенциала коммерциализации.

НИОКР-разработка . Проведение научных исследований, направленных на создание нового конкурентоспособного востребованного на рынке результата (разработка/со-вершенствование технологии, создание нового продукта, решающего задачи потребителя, не реализуемые другими средствами). Результаты являются охраноспособными.

НИОКР-услуга . Проведение аналитических или технологических работ по существующим стандар-там/регламентам/техническим условиям, в том числе требующим наличия лицензии/сертификации.

Поясним, что в контексте данной статьи аналитические работы включают как работы в области исследования веществ и материалов (ГОСТ Р 52361 2005. Контроль объекта аналитический. Термины и определения), так и испытания/измере-ния характеристик конструкций и изделий, необходимых для выполнения инновационного проекта. А технологические работы предусматривают изготовление макетов, моделей, экспериментальных образцов и их элементов, проведение технологических операций, необходимых для их изготовления и тестирования.

Услуга, как правило, не подходит под предложенное нами выше определение коммерциализации результатов НИОКР.

На рис. 3 приведены результаты выделения из массива НИОКР, представленного на рис. 2, части НИОКР-разработок без учета НИОКР-услуг.

Оранжевая линия на рис. 3 находится на уровне TRL6. Для случая НИОКР-разработок TRL6 – это

Рис. 3. Распределение результатов НИОКР по уровням технологической готовности для группы НИОКР-разработок

наличие репрезентативного полнофункционального опытного образца, определяемого следующим образом: образец (материал, компонент, элемент, система, технология), выполняющий все функции, требуемые для конечного изделия, воспроизводит все связи элементов конечного изделия, выполнен в масштабе конечного продукта и изготовлен на пилотной производственной линии. Подтверждены все рабочие характеристики в условиях, приближенных к реальности с максимально достижимой в лабораторных условиях точностью.

Предполагается, что все НИОКР- разработки) с результатами на уровне TRL6 и выше могут рассматриваться в качестве потенциальных кандидатов на формиро- вание инвестиционных проектов. Технологические риски на уровне TRL6 практически сняты.

Следует заметить, что результат интеллектуальной деятельности/объ-ект интеллектуальной собственности создается, как правило, на уровне TRL3–4, обычно как ноу-хау, и далее развивается в заявку на изобретение по мере приближения к моменту вывода созданного в результате выполнения НИОКР продукта на рынок.

Поскольку НИОКР-услуги выделяются в отдельную группу не только по содержанию, но и по значению уровня готовности, логично адаптировать к ним определение уровней готовности TRL. В литературе описание уровней технологической готовности для научной услуги авторам статьи обнаружить не удалось. Поэтому нами сформулированы и приведены в табл. 1 уровни технологической готовности для этого случая. Отметим, что НИОКР-разработка и НИОКР-услуга имеют разные формулировки уровней готовности по содержанию, но не по сути методологии уровней готовности.

Информация, приведенная в примерах, показанных на рис. 2 и 3, является по существу базой для анализа научных организаций как владельцев пакета НИОКР-раз-работок (далее – НИОКР) с точки зрения оценки потенциала вне-дрения/коммерциализации получаемых результатов научных исследований даже при использовании только параметра TRL как одного из шести параметров шкалы TPRL (Technology Project Readiness Level) [2].

Таблица 1

Определение уровней готовности TRL6–9 для НИОКР-услуги

TRL 6. Проведены разовые работы на серийном оборудовании в стандартных условиях. Изготовлены образцы/элементы продукта заказчика до TRL4–6. Результат интеллектуальной деятельности передан заказчику. Коммерциализация результата не предполагается	Проведены разовые аналитические работы в лаборатории на серийном аналитическом оборудовании в условиях, определяемых его изготовителем. Регламент аналитических работ определяется изготовителем оборудования либо создан в рамках договора специально для разовых анализов. Создание специальных внешних условий для испытуемых образцов ограничено регламентами изготовителя серийного аналитического оборудования. Изготовлен образец (макет/модель/алгоритм/ПО) по ТЗ заказчика. Результат интеллектуальной деятельности передан заказчику. Услуга оказывается специалистами широкого профиля без специальной подготовки
TRL 7. Проведены серийные работы с использованием ключевых компетенций исполнителя. Изготовлены образцы/элементы продукта заказчика до TRL7. Проведены регулярные мероприятия по обслуживанию поставленных образцов. Результат интеллектуальной деятельности передан заказчику. Коммерциализация результата не предполагается	Проведены полнофункциональные серийные аналитические работы на специальном стенде, воспроизводящем или моделирующем основные внешние условия эксплуатации исследуемых образцов. Регламент аналитических работ утвержден на уровне организации для серийных анализов. Создание специальных внешних* условий для испытуемых образцов ограничено основными воздействующими факторами. Проведены работы по адаптации/интеграции образца в инфраструктуру заказчика. Регулярное сопровождение образцов выделено в самостоятельную услугу. Услуга оказывается серийно специально обученным персоналом
TRL 8. Проведены полнофункциональные серийные аналитические работы на специальном стенде, воспроизводящем или моделирующем внешние* условия в максимально полном объеме	Регламент аналитических работ соответствует стандартам отрасли и утвержден на уровне организации для серийных анализов. Внешние условия эксплуатации исследуемых образцов воспроизведены в максимально возможном объеме. Обеспечено обоснование идентичности моделирующих условий реальным внешним воздействиям и соответствие российским стандартам. Услуга оказывается серийно сертифицированным персоналом
TRL 9. Проведены аналитические работы на специальном сертифицированном или аттестованном стенде	Услуга является уникальной и востребованной. Регламент и оборудование для аналитических работ соответствует российским или международным стандартам, организация/лаборатория, оказывающая услуги, прошла аккредитацию российских/международных сертификационных органов или имеет лицензию на оказание данного вида услуг. Услуга оказывается серийно. В портфеле присутствуют заказы от международных организаций (для организаций, работающих на международном рынке). Информация об услуге и условиях ее оказания размещена на сайте организации

* Внешние условия – условия, в которых планируется эксплуатация продукта.

Необходимо также учитывать корреляцию с характером выполняемых в организациях научных исследований: фундаментальные работы располагаются в начальной части и могут даже предшествовать TRL1, а прикладные – смещаются вправо по шкале уровней технологической готовности. При этом разработка четких формулировок уровней готовности для результатов фундаментальных научных исследований требует дополнительной проработки вместе со специалистами научных организаций, занимающихся фундаментальными исследованиями. Это может быть самостоятельной задачей в развитии методологии уровней готовности.

Потенциал и вектор коммерциализации инновационного проекта

Данные приведенного выше анализа НИОКР с использованием TRL-методологии показывают, что этот анализ дал результаты нового качества, позволяющие численно сравнивать разные НИОКР, принимать решения по развитию пакета НИОКР.

Для определенности в настоящей статье будем полагать, что коммерциализация НИОКР реализуется через проекты. При развитии проекта разработчики встречаются с расширенным по сравнению с TRL набором рисков, которые существенно влияют на эффективную коммерциализацию.

Авторы статьи приняли при обсуждении уровней готовности гипотезу: для оценки результатов НИОКР использовать методологию TRL, для инновационного проекта вследствие недостаточности использования в оценке только параметра технологической готовности использовать методологию TPRL с расширенным набором параметров, предложенную в работе [2]. Данная методология модифицирована и дополнена для сбалансированного управления развитием проектов в целом. Методология TPRL для оценки уровня готовности проектов основывается на опре- делении следующих параметров: технологической готовности TRL; производственной готовности MRL; инженерной готовности ERL; организационной готовности ORL; конкурентных преимуществ и нетехнологических рисков BRL; рыночной готовности CRL.

В данной статье авторы продолжают развитие методологии TPRL. В частности, доработаны описания параметров, проведена проверка применимости методологии на реальных технологических проектах. Вводятся следующие характеристики, существенно дополняющие параметры TPRL:

– вектор коммерциализации проекта, определяющий текущий уровень готовности проекта;

– направление развития проекта – вектор, определяющий направление развития c наименьшим риском;

– уровень динамики развития проекта – вектор, определяющий скорость изменения вектора коммерциализации между двумя точками, например, за определенный этап работ;

– фактор, характеризующий наличие подтвержденных компетенций команды в коммерциализации схожих по бизнес-моделям проектов.

Далее рассмотрим определение понятия «потенциал коммерциализации», что потребует использования указанных выше характеристик и всех параметров шкалы TPRL. Уровни готовности параметров приведены в табл. 2 по данным [2].

Чтобы ввести понятие « вектор коммерциализации НИОКР (Z ^→ )», используем аналогию с кинематикой, где положение точки определяется радиусом-вектором в пространстве (например, евклидовом или ином) относительно некоторой заранее фиксированной точки, называемой началом координат.

Аналогично этому определим вектор коммерциализации для задания текущего положения/уровня готовности технологии в шестимерном пространстве параметров TPRL (технологической готовности TRL;

производственной готовности MRL; инженерной готовности ERL; организационной готовности ORL; конкурентных преимуществ и нетехнологических рисков BRL; рыночной готовности CRL – см. табл. 2), описывающих численно уровень готовности инновационного проекта.

Каждой оси в пространстве параметров соответствует один из шести параметров. Например, одна из осей показывает значение TRL, являясь общепризнанной шкалой уровней технологической готовности. Другая ось показывает уровень рыночной готовности CRL. Данный набор может изменяться в зависимости от отрасли промышленности и специфики НИОКР или проекта.

Для геометрической интерпретации вектора коммерциализации наиболее простой является евклидова метрика. Однако концепция допускает применение и других метрик в зависимости от конкретной задачи.

Ввиду сложности наглядного отображения шестимерного пространства далее в статье будут приводиться графические иллюстрации на двухмерном пространстве «технологическая готовность TRL – рыночная готовность, коммерциализация CRL». Будем исходить из того, что для остальных четырех параметров все зависимости могут быть представлены аналогично.

Определим текущий вектор ком-→ мерциализации (Zc ) как вектор в данном пространстве, направленный из начальной точки уровней готовности (0, 0, 0, 0, 0, 0) в точку, определяющую текущий уровень готовности проекта (сt, сm, сe, сo, сb, сc); где сt – текущий уровень технологической готовности НИОКР; сm, сe, сo, сb, сc – соответственно для остальных пяти параметров. Под начальной точкой уровней готовности (0, 0, 0, 0, 0, 0) понимается уровень, при котором ни по одному из параметров не достигнут первый уровень. Из определения следует, что текущий уровень технологической готовности (TRLct) равен проекции вектора Z→c на ось TRL. Про-→ екция Zc на другие оси определяет

Таблица2

Обобщенное описание уровней готовности шести ключевых параметров TPRL [2]

i Р 0 it	® ® я. 5    2 § I 8 | 6    Р 6 I ч 8 11$		к Ф о	1 ф и О 0 i is £б5	8 0 и S $5 О 20	X 0 е и и* С 0.6Q	X 8 | i Л е 38
9	(8,9]	Улучшение и эволюция изделия	Рабочая документация	Основное и вспомогательное производство	Поддержка производство, сервиса, снижение издержек	Мониторинг конкурентов	Вывод но рынок
8	(7,8]	Продукт в составе системы	Доработка моделей	Отработка стабильного ПИЛОТНОГО производства	Оргподготов-ка производство и сервиса	Подписаны соглашения с партнерами	Отработка замечаний заказчиков
7	(6,7]	Продукт в составе мокето системы	Конструкторская подготовка CAD/ САМ	Технологическая подготовка производства	Соглашения с заинтересованными организациями	Подписаны лицензионные договоры	Предварительный вывод но рынок
6	(5,6]	Полнофункциональный образец	Изготовление на пилотной линии	Состав пилотной производственной Линии	Обученный персонал	Заявки но патенты Технические риски сняты	Точные спецификации продукта
5	(4,5]	Обоозец з реальном масштабе	Режимы пилотного производство отработаны	Изготовление в реальных условиях	Уточненная бизнес-модель	Уточненные преимущество	Уточненная модель ценообразования
4	(3,4]	Лабораторный образец	Интеграционные интерфейсы	Базовая технология производство	Требования к сервисной поддержке	Стратегия защиты ИС	Поставщики и партнеры, ценовая политика
3	(2,3]	Макетный образец	Проверка совместимости	Выбор производить\ заказывать	Уточненные технические требования к продукту	План снижения рисков	Конкурентное окружение
2	(L3	Области применения	Анализ влияния на конечную систему	Оценка доступности материалов и процессов	Партнерское окружение	Патентный анализ	Ценностное предложение
1	(0,1]	Фундаментальная концепция	Требования к инженерным ресурсам	Базовые требования к производству	Схема базовых бизнес-процессов	Первоначаль ная оценка преимуществ и рисков	Оценка полезности

соответственно значения других пяти уровней готовности.

→

Вектор Zc имеет координаты (ct, cm, ce, co, cb, cc) и благодаря учету основных значимых для внедрения НИОКР параметров характеризует его текущий уровень развития по шкале параметров TPRL. При этом модуль этого вектора | Z→c | = (ct2 + cm2 + ce2 + co2 + cb2 + cc2)1/2 отражает интегрально продвижение по всем шести параметрам (уровням готовности), что позволяет его использовать в том числе и для оцен- ки капитализации знаний, полученных в процессе развития проекта.

В условиях, когда результат проекта принципиально важен по техническим или экономическим причинам, например, когда результаты проекта используются в качестве элементов в сложной системе (комплексном проекте), имеющем жесткую дорожную карту, авторами статьи рекомендуется в качестве уровня готовности проекта использовать наименьший из шести фактически достигнутых в данный мо- мент времени проекта уровней готовности TPRL.

В приведенном примере на рис. 5 показан статус реального проекта по осям TPRL, из которых наименьшим является уровень производственной готовности MRL – 2. В силу данного подхода текущий уровень готовности всего проекта равен 2.

Действительно, чем меньше уровень готовности, тем выше риск реализации проекта. Самый высокий риск соответствует в приведенном примере производственной готовности. Этот риск и будет определять риск реализации проекта на данной стадии развития проекта.

На первый взгляд, такой подход можно охарактеризовать как очень жесткий. В литературе [5] используется подход к оценке уровня готовности, основанный на усредненном уровне готовности по всем шести параметрам. Однако такое усреднение может привести к занижению оценки суммарного риска ввиду нелинейности шкал по каждому из параметров. Действительно, если в нашем примере уровень рыночной готовности и коммерциализации CRL равен 2, то у разработчика нет ясного представления о проблеме потребителя, конкурирующих технологиях, ключевых характеристиках продукта, соответственно об объеме спроса на продукт, о его рыночной стоимости, а также о себестоимости продукта. В итоге более высокий уровень готовности НИОКР (TRL равен 5) не компенсирует эти проблемы и не может снизить рыночные риски, а следовательно, интегральные риски проекта. В этом случае уместно критически отнестись к рискам возникновения проблем в духе закона Мерфи: « Всё, что может пойти не так, пойдет не так ».

Предложенный подход является максимально простым и одновременно консервативным, применимым для сложных систем в условиях фиксированного времени выхода на рынок. Однако для перспективных проектов с фокусом коммерциализации на открытом рынке целесообразно использовать иной, более гибкий комплексный подход. Этот подход изложен далее.

Целевая траектория развития проекта вводится исходя из следующих соображений. Как отмечено в статье [3], гармоничное соотношение «риск – прибыль» для успешной реализации проекта достигается при пропорциональном развитии по всем осям TPRL. Действительно, целесообразно запланировать достижение уровней готовности MRL, ERL, ORL и других таким образом, чтобы снизу они ограничивались мак- симальными результатами, которые должны быть уже достигнуты при заданном уровне TRL, а сверху – результатами, которых достигать преждевременно.

Поясним сказанное на примере. Для уровня TRL6 выполнение требований CRL4 (уточнены конкуренты, поставщики, модели ценообразования) является недостаточным, так как рыночный анализ на CRL4 не учитывает значения себестоимости производства и влияния ограничений рынка на эту себестоимость, а следовательно, на технологию производства, пути продвижения и продаж. Это означает, что рыночные риски еще весьма высоки, не совсем ясно, будет ли продукт востребован рынком, а опережающие затраты на разработку технологии уже понесены, возможно преждевременно. С другой стороны, при TRL3 нет оснований для выполнения условий CRL5 (уточнена ценовая политика, выбраны каналы продаж, приоритетные поставщики), поскольку для этого недостаточно данных по продукту, не сформирован окончательно облик продукта. Это означает, что исследования

→

→

→

Рис. 4. Представление вектора коммерциализации Z в координатах TRL-CRL ,

где Z→c – текущий вектор коммерциализации проекта, Z→f – целевой → вектор коммерциализации проекта, ∆Zc – приращение вектора коммерциализации проекта между последовательными точками во времени 1 и 2, ∆→Zf – критический путь развития проекта

рынка и обоснование востребованности продукта могут быть нереалистичными, поскольку опираются на гипотетические данные о свойствах продукта.

Таким образом, опережение развития проекта по уровню готовности одного из параметров сопряжено с повышенными дополнительными рисками по другим параметрам. Иными словами, наименьшим риском обладает сбалансированное/ гармоничное развитие проекта при равномерном росте уровней готовности по всем параметрам TPRL. На диаграмме TRL-CRL такому развитию будет соответствовать движение по биссектрисе между осями (целевая траектория развития на рис. 4.).

Для целей управления проектами важным является то, как проект развивается во времени с учетом календарного плана. Динамика развития проекта является одним из основных показателей его эффективности. Действительно, чем быстрее происходит движение по уровням готовности, по целевой траектории движения проекта, тем больше вероятность опере-

Рис. 5. Диаграмма для выбора наименьшего уровня готовности проекта по шести TPRL-параметрам

дить конкурентов. Для разных отраслей промышленности этот уровень может отличаться. Например, для IT-разработки мобильных приложений скорость может достигать девяти уровней готовности за год. А в области атомной энергетики она составляет не более одного уровня в год.

Динамика развития проекта между точками 1 и 2 состояния проекта во времени, разделенными интервалом Δt (см. рис. 4), в простран- стве параметров уровней готовности может быть охарактеризована ΔZ→c / Δt = (Z→c 2 – Z→c 1) / Δt. Числен- но динамика равна модулю вектора | Δ (Z→c) / Δt |.

Если под (Z→f ) понимать конечный (целевой) вектор коммерциализации НИОКР, например уровень готовности, равный 9 (см. рис. 4) по всем характеристикам готовности ft = fm = fe = fo = fb = fc = 9 (организовано промышленное производство продукта), то вектор разности Δ(Z→f) = (Z→f) – (Z→c) показывает разработчику критический путь развития проекта и задает шаги, необходимые для развития НИОКР, наименее рисковые с точки зрения достижения и внедрения его результатов в срок, за отведенный бюджет, в пределах имеющихся компетенций. Критический путь развития проекта представляет согласованное движение по всем уровням готовности по кратчайшей траектории от начальной точки к конечной, что в шестимерном пространстве выражается вектором Δ(Z→f ).

Работа, проведенная авторами статьи по определению состояния →

( Zc ) для НИОКР разных стадий в координатах TRL-CRL, дала результаты, приведенные на рис. 6, обсуждение которых приводится ниже.

Кружками на рис. 6 обозначено положение конкретных НИОКР с оценкой их результатов по параметрам уровней готовности по координатам TRL и CRL. Пунктирные линии показывают область результатов НИОКР, уровни готовности которых по осям TRL и CRL отличаются от целевой траектории развития проектов (см. рис. 4.) на один уровень. Проекты вне этой области находятся в зоне риска.

Для значений уровней готовности на рис. 6 приняты следующие определения.

TRL1. Сформулированы фундаментальная концепция технологии и обоснование ее полезности.

TRL2. Определены целевые области применения технологии и ее критические элементы.

TRL3. Получен макетный образец и продемонстрированы его ключевые характеристики.

TRL4. Получен лабораторный образец, подготовлен лабораторный стенд, проведены испытания базовых функций связи с другими элементами системы.

TRL5. Изготовлен экспериментальный образец в реальном масштабе по полупромышленной технологии, проведено испытание с эмуляцией основных внешних условий.

TRL6. Изготовлен репрезентативный полнофункциональный образец на пилотной производственной линии, подтверждены рабочие характеристики в условиях, приближенных к реальности.

TRL7. Прототип системы продемонстрирован в составе системы в реальных условиях эксплуатации.

TRL8. Окончательное подтверждение работоспособности образца. Разработка функционирующей реальной системы завершена.

TRL9. Изделие удовлетворяет всем требованиям: инженерным, производственным, эксплуатационным – по качеству и надежности. Возможна модификация по снижению себестоимости, развитию и эволюции системы. Функционирующая реальная система подтверждена в ходе реальной эксплуатации и успешного выполнения испытательных заданий.

CRL1. Определено наличие потребности рынка по литературным источникам: тренды, обзоры, конференции, динамика патентования.

CRL2. Определены и оценены целевые потребительские сегменты.

CRL3. Проведены конкурентный анализ, анализ поставщиков, уточнены характеристики продукта, способы монетизации.

CRL4. Уточнены конкуренты, поставщики, модели ценообразования.

CRL5. Уточнена ценовая политика, выбраны каналы продаж, приоритетные поставщики.

CRL6. Уточнены спецификации продукта по каждому целевому сегменту, построена уточненная бизнес-модель.

CRL7. Осуществлен предварительный вывод на рынок.

CRL8. Проведена отработка замечаний заказчиков.

CRL9. Произведен вывод на рынок.

На рис. 6 видно, что отдельные НИОКР распределены в целом в области биссектрисы (целевой траектории развития). Отдельные отклонения от этой тенденции свидетельствуют о том, что менеджеры проектов выбрали стратегию с высокими рисками коммерциализации. Подробнее об этом говорится в разделе, посвященном цифровой оценке потенциала коммерциализации.

Используя понятие вектора коммерциализации , можно перейти собственно к потенциалу → коммерциализации P_ap ( Z ), являющемуся скалярной интегральной характеристикой (численным индексом) прогноза возможно-сти/вероятности успешного внедрения и коммерциализации результата НИОКР (технологии, продукта).

Коммерциализация в рамках данной статьи понимается в смысле определения данного в первом разделе.

Определим потенциал коммер-→ циализации Pap(Zc) как вероятность коммерциализации результатов НИОКР с текущего до целевого уровня проекта, определяемых → → соответственно Zc и Zf.

Под ^→ Zf можно понимать не только организацию промышленного производства, но и, например, создание полномасштабного опытного образца продукта (демонстратора). Форма внедрения зависит от специфики проекта и должна быть определена в начале проекта, на этапе НИОКР с уровнем технологической готовности TRL1-2.

Далее для примера будем считать, что →Zf = (9, 9, 9, 9, 9, 9, 9). В предлагаемом подходе каждый из шести параметров TPRL характеризуется собственным уровнем готовности с соответствующей ему вероятностью внедрения. В силу того, что параметры TPRL рассматрива- ются как независимые (строго говоря, это не совсем так, но такое допущение имеет право на жизнь для упрощения изложения концепции), то по общим правилам определения вероятности наступления события, зависящего от нескольких независимых событий, вероятность достижения конечного результата (коммерциализации) равна произведению вероятностей наступления этих событий →

P_ap ( Zc ) = р_ct р_cm р_ce р_co р_cb р_cc , [2], где р_cx – вероятность внедрения при достижении параметра X уровня готовности C . Для определения →

P_ap ( Zc ) нам остается только решить вопрос, как определить уровень текущей готовности и соответствующую ему вероятность коммерциализации.

Представляется очевидным, что потенциал коммерциализации НИОКР зависит как от текущего уровня готовности проекта, так и от возможностей/ресурсов/ком-петенций команды проекта/ор-ганизации довести проект до внедрения, задаваемого вектором ^→ Zf (см. рис. 4). При этом вероятность достижения уровней готовности в

Рис. 6. Результаты оценки реальных проектов НИОКР визуализированы на двумерной диаграмме TRL–CRL

области подтвержденных компетенций гораздо выше, чем вероятность достижения тех же значений уровней готовности в области, где компетенции не подтверждены и нет опыта подобных работ.

Параметры, определяющие текущий уровень проекта, можно условно разделить на специфические для проекта технические параметры (TRL, MRL, ERL), развитие которых определяется в значительной степени физической природой продукта (объективными факторами), и другие нетехнологические параметры (ORL, BRL, CRL), развитие которых определяется в большей степени компетенциями команды (субъективными факторами) и подтверждается референциями.

На пути разработки могут встретиться естественные ограничения как объективного, так и субъективного характера, которые не всегда → удается преодолеть. Поэтому P ( Z ) меньше единицы, что особенно заметно в проектах с низкими значениями уровней готовности.

→

Величину P(Z ) можно оценить по экспертным оценкам и/или на основе обработки статистики внедрения НИОКР соответствующей отрасли промышленности. Например, для аэрокосмической отрасли, являющейся пионером в деле внедрения методологии уровней готовности, распределение численных значений вероятности успешного внедрения результатов аппаратных проектов в зависимости от TRL представлена S-образной кривой (цифровой профиль риска по данным) [12].

Цифровые профили риска по другим параметрам TPRL в общем случае могут отличаться от профиля TRL, приведенного на рис. 7. Экспертным путем для каждого из них целесообразно ввести специфические профили рисков как функцию от уровня готовности параметра, присущую конкретной предметной области и организации. Однако для целей демонстрации концепции оценки потенциала коммерциализации конкретное значение рисков (координат) S-образного профиля зависимости не является критичным. Без нарушения общности можно при- нять, что по всем параметрам TPRL S-образные профили риска являются идентичными.

Дополнительным аргументом в пользу данного допущения является принцип, заложенный в определение уровней готовности для параметров TRPL. Принцип основан на соответствии равных уровней готовности для разных параметров TPRL по вероятности коммерциализации. Первичным при определении такой вероятности является уровень TRL, поскольку именно технологическая готовность определяет облик продукта, его ключевые преимущества, первичные перспективы коммерциализации. Для этого уровня задается шкала вероятности – S -образная кривая.

Применение S -кривой ко всем параметрам позволяет определить значение вероятности коммерциализации в каждой точке пространства TPRL, или в нашем примере на плоскости TRL-CRL. Значение этой вероятности равно произведению вероятностей для соответствующих уровней TRL и CRL, поскольку риски по этим параметрам име-

Вероятность внедрения НИОКР

Значение уровня TRL

Рис. 7. Профиль вероятности успешного внедрения для параметра технологической готовности [1]

ют принципиально разную природу и могут рассматриваться как независимые.

Действительно, существуют различные факторы риска, уменьша- ющие вероятность перехода проекта в фазу коммерциализации, в том числе следующие: проблемы с интеграцией результата проекта в технологическую схему конечного продукта (ERL), высокая себестоимость производства (MRL), отсутствие эффективного организационного механизма коммерциализации (ORL), недостаточность ценностного предложения/ отсутствие ключевого преимущества по сравнению с альтернативными решениями (BRL), регулирование вопросов интеллектуальной собственности, низкая востребованность продукта рынком (CRL). Реализация всех перечисленных в качестве примера факторов риска зависит от принципиально разных по своей природе причин, поэтому авторы полагают их независимыми.

C учетом сказанного выше для расчета потенциала коммерциализа-→ ции проекта Pap(Zcr) используется составной вектор Z→cr . С учетом референтных компетенций команды примем для Z→cr значения TRL, MRL, ERL, соответствующие текущему уровню проекта: соответственно сt, сm, сe, и для ORL, BRL и CRL – уровни, соответствующие максимальным подтвержденным компетенциям участников команды проекта по этим параметрам: ro, rb, rc.

Таким образом, потенциал коммерциализации будет выражен как

P_ap ( Z ^→ cr ) = P_ap ( сt, сm, сe, ro, rb, rc ) =

= р сt р сm р сe р ro р rb р rc .

Поясним на примере. Пусть текущий вектор коммерциализации Z ^→ c = (4, 3, 3, 2, 4, 3), референтный (подтвержденным компетенциям) вектор коммерциализации Z ^→ r = (6, 6, 6, 6, 6, 6), а конечный вектор коммерциализации ^→ Zf = (9, 9, 9, 9, 9, 9).

Тогда для расчета потенциала коммерциализации исполь- зуем в качестве аргумента вектор Z→cr = (4, 3, 3, 6, 6, 6). Далее по формуле (1) с учетом произведения вероятностей наступления событий по параметрам уровней готовности и данных рис. 7 получаем Pap(Z→cr ) = (0,45·0,3·0,3·0,8·0,8·0,8)= = 0,02.

Если же компетенции не подтверждены (нет референтных решений более высокого уровня, чем текущий), то три последние координаты ORL, BRL, CRL остаются на текущем уровне. В этом случае потенциал коммерциализации P_ap ( Z ^→ c ) = (0,45·0,3·0,3·0,12·0,45·0,3) = = 0,00066.

Рассчитанная величина потенциала коммерциализации показывает, что при наличии подтвержденных компетенций из сотни аналогичных проектов с референциями команды по параметрам ORL, BRL и CRL на уровне 6 будут успешно реализованы два проекта. В то время как при отсутствии подтвержденных компетенций будут успешно реализованы только семь проектов из десяти тысяч. На экспертном уровне можно сказать, что при таких низких показателях готовности проекта и компетенций команды сложно ожидать более высокой степени успешного внедрения.

Наличие компетенций по ORL, BRL и CRL может быть сформировано заранее, если развитие проекта идет по принципам TPRL. То есть перед следующим уровнем целесообразно набирать недостающие компетенции, что возможно также за счет привлечения партнеров, дополняющих пул собственных компетенций команды проекта.

Таким образом, качественное составление календарного плана проекта в соответствии с методологией TPRL позволяет существенно повысить потенциал коммерциализации проекта. Например, в рассмотренном примере он возрастает в 30 раз.

Подтверждением тому являются данные публичной статистики. Так, например, на основе анализа результатов 3200 стартапов компа- ния Startup Genome Report подсчитала, что умирают 92% запущенных стартапов [13].

В статье [5] качественно показана та же тенденция с вероятностью реализации стартапов 1%. При этом в ней приводится в основном статистика по IT-стартапам, где вероятность коммерциализации на порядок выше, чем у аппаратных стартапов. Более того, коммерциализация проводится в такой гибкой организационной структуре, как стартап, не обремененной установившимися бюрократическими процедурами крупных корпораций.

Применительно к научным исследованиям, выполняемым вузами, дальнейшее развитие практики Минобрнауки предварительной оценки перспектив коммерциализации НИОКР при финансировании исследований, например, в рамках Федеральной целевой прораммы «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2014–2020 годы» с обязательным участием индустриального партнера, заинтересованного во внедрении и коммерциализации результатов НИОКР, является безусловно необходимым фактором достижения экономической эффективности научных исследований, финансируемых из средств государственного бюджета. Использование оценки результатов и динамики развития проектов с помощью методологии уровней готовности, разрабатываемое и внедряемое Минобрнауки в последнее время, также подтверждает целесообразность дальнейшего развития обсуждаемой методологии.

Резюмируя сказанное, отметим, что в настоящей статье предложена концепция применения методологии TPRL для численного определения потенциала коммерциализации НИОКР. В рамках концепции введено понятие «вектор коммерциализации», определяющий путь развития

Управление инновациями: новые подходы ставят новые проблемы

проекта в направлении наибольшего потенциала коммерциализации. Корректность положений концепции показана численными оценками потенциала коммерциализации и их сравнением с публичной статистикой выживания стартапов.

В статье показана существенная роль компетенций команды проекта в величине потенциала коммерциализации. На примере параметра TRL проведен анализ распределения и показано различие по уровню технологической готовности

НИОКР-разработок и НИОКР-ус-луг. Предложены определения этих понятий. Для НИОКР-услуг определены формулировки уровней TRL6-9.

Основные положения концепции и обоснованная в ней методология оценки потенциала коммерциализации НИОКР перспективны для использования в инновационных отраслях промышленности, научных учреждениях и высших учебных заведениях. Ее реализация может быть полезна для ускорения инновационного процесса в стране. Представленная концепция может также использоваться в процессе подготовки кадров в вузах по широкому кругу направлений и специальностей.

Авторы не претендуют на отсутствие в статье дискуссионных положений, но надеются, что высказанные предложения будут полезны для научных сотрудников, серьезно занимающихся внедрением своих разработок.

• 1.    Комаров А.В., Слепцова М.А., Чечеткин Е.В., Шуртаков К.В., Третьякова М.В. Оценка команды исполнителей научно-технического проекта // Экономика науки. 2017. Т. 3, № 4. С. 250–261.

• 2.    Петров А.Н., Сартори А.В., Филимонов А.В. Комплексная оценка состояния научно-технических проектов через уровень готовности технологий // Экономика науки. 2016. Т. 2, № 4. С. 244–260.

• 3.    Путин В.В. Важнейшим конкурентным преимуществом ныне являются знания, технологии, компетенции. Это ключ к настоящему прорыву, к повышению качества жизни // Высшее образование сегодня. 2018. № 3. С. 2–5.

• 4.    Сартори А.В, Сушков П.В., Манцевич Н.М. Школа бережливого НИОКР: практика подготовки исследователей в вузе с использованием грантов эндаумент-фонда // Высшее образование сегодня. 2018. № 7. С. 2–9.

• 5.    Соколов М. Почему «взлетает» только 1% стартапов – и это нормально. URL: http://www.automotivecouncil.co.uk/wpcontent/ uploads/2011-02/Automotive-Technology-and-Manufacturing-Readiness-Levels.pdf (дата обращения: 14.11.2018).

• 6.    Automotive Technology and Manufacturing Readiness Levels (2011) A guide to recognised stages of development. URL: https:// docplayer.net/23627310-Automotive-technology-and-manufacturing-readiness-levels-a-guide-to-recognised-stages-of-development-within-the-automotive-industry.html (дата обращения: 14.11.2018).

• 7.    Bockenheimer C. The Airbus SHM Development Process // 2nd International Symposium on NDT in Aerospace. З. We.4. A.2.

• 8.    DOE/National Energy Technology Laboratory-2015/1710. Technology Readiness Assessment // 2014 Technology Readiness Assessment – Clean Coal Research Program, January 2015, 144 P. URL: https://www.netl.doe.gov/File Library/Research/Coal/ Reference Shelf/DOE-NETL-20151710-2014-Technology-Readiness-Assessment-Comprehensive.pdf (дата обращения: 14.11.2018).

• 9.    Graettinger C.P., Caroline P. et al. Using the Technology Readiness Levels Scale to Support Technology Management in the DOD’s ATD/ STO Environments (A Findings and Recommendations Report Conducted for Army CECOM). URL: https://resources.sei.cmu.edu/ asset_files/SpecialReport/2002_003_001_13931.pdf (дата обращения: 14.11.2018).

• 10.    Harbert A.P. Mind Map and Demonstration of the Quicklook Methodology for Technology Commercialization. URL: (https:// repositories.lib.utexas.edu/bitstream/handle/2152/22506/harbert_thesis_20126.pdf?sequence=1 (дата обращения: 14.11.2018).

• 11.    Mankins J.C. Technology readiness levels / Advanced Concepts Office of Space Access and Technology NASA. URL: https://

  www.researchgate.net/publication/247705707_Technology_Readiness_Level_-_A_White_Paper , (дата обращения: 14.11.2018).

• 12.    Mavris D.N., Bandt O., Brewer J.T. A method for the Identification and Assessment of Critical Technologies Needed for an Economically Valuable HSCT // School of Aerospace Engineering Georgia Institute of Technology Atlanta. URL: https://smartech.gatech.edu/ bitstream/handle/1853/6364/AIAA-95-3887.pdf?sequence=1&isAllowed=y (дата обращения: 14.11.2018).

• 13.    Startup Genome Report Extra on Premature Scaling. URL: https://s3.amazonaws.com/startupcompass-public/StartupGenomeReport2_ Why_Startups_Fail_v2.pdf,f (дата обращения: 14.11.2018).

• 14.    Technology Readiness Assessment (TRA) Guidance (2011) United States Department of Defense. URL: https://www.skatelescope . org/public/2011-11-18_WBS-SOW_Development_Reference_Documents/DoD_TRA_July_2009_Read_Version.pdf (дата обращения: 14.11.2018).

• 15.    The TRL Scale as a Research & Innovation Policy Tool (2014) / EARTO Recommendations. URL: http://www.earto.eu/fileadmin/ content/03_Publications/The_TRL_Scale_as_a_R_I_Policy_Tool_-_EARTO_Recommendations_-_Final.pdf (дата обращения: 14.11.2018) .

• 1.    Komarov A.V., Slepczova M.A., Chechetkin E.V., Shurtakov K.V., Tret`yakova M.V. Ocenka komandy` ispolnitelej nauchno-texnicheskogo proekta // E`konomika nauki. 2017. Т. 3, № 4. S. 250–261.

• 2.    Petrov A. N., Sartori A. V., Filimonov A. V. Kompleksnaya ocenka sostoyaniya nauchno-texnicheskix proektov cherez uroven` gotovnosti texnologij // E`konomika nauki. 2016. Т. 2, № 4. S. 244–260.

• 3.    Putin V.V. Vazhnejshim konkurentny`m preimushhestvom ny`ne yavlyayutsya znaniya, texnologii, kompetencii. E`to klyuch k nastoyashhemu prory`vu, k povy`sheniyu kachestva zhizni // Vy`sshee obrazovanie segodnya. 2018. № 3. S. 2–5.

• 4.    Sartori A.V, Sushkov P.V., Mancevich N.M. Shkola berezhlivogo NIOKR: praktika podgotovki issledovatelej v vuze s ispol`zovaniem grantov e`ndaument-fonda // Vy`sshee obrazovanie segodnya. 2018. № 7. S. 2–9.

• 5.    Sokolov M. Pochemu «vzletaet» tol`ko 1% startapov – i e`to normal`no. URL: http://www.automotivecouncil.co.uk/wpcontent/ uploads/2011-02/Automotive-Technology-and-Manufacturing-Readiness-Levels.pdf (data obrashheniya: 14.11.2018).

• 6.    Automotive Technology and Manufacturing Readiness Levels (2011) A guide to recognised stages of development. URL: https:// docplayer.net/23627310-Automotive-technology-and-manufacturing-readiness-levels-a-guide-to-recognised-stages-of-development-within-the-automotive-industry.html (data obrashhe-niya: 14.11.2018).

• 7.    Bockenheimer C. The Airbus SHM Development Process // 2nd International Symposium on NDT in Aerospace. Z. We.4. A.2.

• 8.    DOE/National Energy Technology Laboratory-2015/1710. Technology Readiness As-sessment // 2014 Technology Readiness Assessment –Clean Coal Research Program, January 2015, 144P. URL: https://www.netl.doe.gov/File Library/Research/Coal/ Reference Shelf/DOE-NETL-20151710-2014-Technology-Readiness-Assessment-Comprehensive.pdf (data obrashheniya: 14.11.2018).

• 9.    Graettinger C. P., Caroline P. et al. Using the Technology Readiness Levels Scale to Support Technology Management in the DOD’s ATD/STO Environments (A Findings and Recommendations Report Conducted for Army CECOM). URL: https://resources.sei.cmu . edu/asset_files/SpecialReport/2002_003_001_13931.pdff (data obrashheniya: 14.11.2018).

• 10.    Harbert A.P. Mind Map and Demonstration of the Quicklook Methodology for Technol-ogy Commercialization. URL: https:// repositories.lib.utexas.edu/bitstream/handle/2152/22506/harbert_thesis_20126.pdf?sequence=1 (data obrashheniya: 14.11.2018).

• 11.    Mankins J.C. Technology readiness levels / Advanced Concepts Office of Space Access and Technology NASA. URL: https:// www.researchgate.net/publication/247705707_Technology_Readiness_Level_-_A_White_Paper (data obrashheniya: 14.11.2018).

• 12.    Mavris D.N., Bandt O., Brewer J.T. A method for the Identification and Assessment of Critical Technologies Needed for an Economically Valuable HSCT // School of Aerospace Engineering Georgia Institute of Technology Atlanta. URL: https://smartech.gatech.edu/ bitstream/handle/1853/6364/AIAA-95-3887.pdf?sequence=1&isAllowed=y (data obrashheniya: 14.11.2018).

• 13.    Startup Genome Report Extra on Premature Scaling. URL: https://s3.amazonaws.com/startupcompass-pub-lic/StartupGenomeReport2_ Why_Startups_Fail_v2.pdf (data obrashheniya: 14.11.2018).

• 14.    Technology Readiness Assessment (TRA) Guidance (2011) United States Department of Defense. URL: https://www.skatelescope . org/public/2011-11-18_WBS-SOW_Development_Reference_Documents/DoD_TRA_July_2009_Read_Version.pdf (data obrashheniya: 14.11.2018).

• 15.    The TRL Scale as a Research & Innovation Policy Tool (2014) / EARTO Recommendations. URL: http://www.earto.eu/fileadmin/ content/03_Publications/The_TRL_Scale_as_a_R_I_Policy_Tool_-_EARTO_Recommendations_-_Final.pdf (data obrashheniya: 14.11.2018).