Онтологический инжиниринг для разработки интеллектуальной системы анализа угроз и оценки рисков кибербезопасности энергетических объектов

Автор: Массель А.Г., Гаськова Д.А.

Журнал: Онтология проектирования @ontology-of-designing

Рубрика: Прикладные онтологии проектирования

Статья в выпуске: 2 (32) т.9, 2019 года.

Бесплатный доступ

В статье описываются результаты применения онтологического инжиниринга при разработке интеллектуальной системы анализа угроз и оценки рисков нарушения кибербезопасности энергетических объектов. Построено онтологическое пространство знаний проблемной области оценки рисков, включающей идентификацию, анализ и оценивание рисков инцидентов кибербезопасности, способных вызвать экстремальные ситуации в энергетике. Представлены архитектура разрабатываемой интеллектуальной системы и задачи, для решения которых выполнялся онтологический инжиниринг. Онтологическое пространство знаний представлено онтологиями, разработка которых ведётся для каждого блока интеллектуальной системы. Приводятся онтологии, отражающие основные понятия кибербезопасности, включая актуальные угрозы в энергетическом секторе, классификацию рисков и компоненты сценария возникновения экстремальной ситуации в энергетике. Разработанные онтологии позволили интегрировать понятия основных областей исследования, в числе которых энергетическая безопасность, кибербезопасность, сценарное планирование и управление рисками. В работе использованы методы системного анализа, методические основы построения интеллектуальных информационных систем в энергетике, методы поддержки принятия решений, методы инженерии знаний, включая онтологический инжиниринг. Новизна работы - в структурировании экспертных знаний и построении онтологического пространства знаний, которое используется для разработки интеллектуальной системы анализа угроз и оценки рисков нарушения кибербезопасности объектов энергетики.

Еще

Кибербезопасность, онтологический инжиниринг, энергетические объекты, интеллектуальная система

Короткий адрес: https://sciup.org/170178821

IDR: 170178821   |   УДК: 004.8:620.9   |   DOI: 10.18287/2223-9537-2019-9-2-225-238

Ontological engineering for the development of the intelligent system for threats analysis and risk assessment of cybersecurity in energy facilities

The article describes the main results of applying ontological engineering in the development of the intelligent system for threats analysis and risk assessment of cybersecurity violations in energy facilities. The ontological knowledge space for the problem area of risk assessment has been built, comprising identification, analysis and evaluation of the risk of cybersecurity incidents that can cause extreme situations in the energy sector. The paper highlights the intellectual system architecture being developed and tasks for which the ontological engineering was carried out. The ontological knowledge space is represented as combining ontology subsystems, the development of which is carried out for each block of the intelligent system. The authors provide ontologies that reflect the basic concepts of cybersecurity, including current threats in the energy sector, risk classification and components of the emergency situation scenario in the energy sector. The produced ontologies allowed to integrate the concepts of the main research areas, including energy security, cybersecurity, scenario planning, and risk management. We used methods of system analysis, methodological foundations for building intelligent information systems in energy research, methods for supporting decision-making, methods of knowledge engineering, methods of semantic modeling, including ontological engineering. The novelty of the work is in the structuring of expert knowledge and the construction of the ontological knowledge space, which is used to develop an intelligent system for analyzing threats and assessing the risks to the cybersecurity of energy facilities.

Еще

Текст научной статьи Онтологический инжиниринг для разработки интеллектуальной системы анализа угроз и оценки рисков кибербезопасности энергетических объектов

Распоряжением Правительства Российской Федерации от 28 июля 2017 года № 1632-р утверждена программа «Цифровая экономика Российской Федерации». Цифровая энергетика развивается с учётом федеральных стратегий и отраслевых программ [1]. При этом цифровизация объектов энергетики (ОЭ) может вызывать возникновение киберугроз, связанных с внедрением новых решений, применением новых бизнес-моделей, которые сопровождаются отсутствием или недостаточностью информации для оперативного принятия решений по обеспечению безопасности объекта. В связи с этим необходимо расширять область знаний об объектах, рассматривать взаимосвязи технологических процессов на ОЭ и их влияние на состояние энергетической безопасности как самого объекта, так и внешней среды. Энергетическая безопасность рассматривается как состояние защищённости страны, её граждан, обще- ства, государства, экономики от угроз дефицита в обеспечении их потребностей в энергии экономически доступными топливно-энергетическими ресурсами приемлемого качества в нормальных условиях и при чрезвычайных обстоятельствах, а также от нарушений стабильности, бесперебойности топливо- и энергообеспечения [2]. Эти угрозы определяются как внешними (геополитическими, макроэкономическими, конъюнктурными) факторами, так и состоянием и функционированием энергетического сектора страны [3]. В последнее время список угроз расширен угрозами кибербезопасности, реализация которых может спровоцировать экстремальные ситуации в энергетике, чреватые значительным снижением возможностей обеспечения энергоресурсами потребителей. Киберугрозы рассматриваются как один из важнейших современных видов угроз энергетической безопасности [4].

Применение онтологического инжиниринга для систематизации основных понятий предметной области (ПрО) может связать все виды угроз, их взаимовлияния друг на друга и на остальные концепты ПрО.

Понятие онтологического инжиниринга относится к инженерии знаний – разделу инженерной деятельности, направленной на использование знаний в компьютерных системах для решения сложных задач [5]. Целями онтологического инжиниринга являются повышение уровня интеграции информации, необходимой для принятия управленческих решений, повышение эффективности информационного поиска, предоставление возможности совместной обработки знаний на основе единого семантического описания пространства знаний.

В энергетическом секторе широко применяется онтологический инжиниринг для поддержки принятия стратегических решений, обеспечивающий взаимосвязи и согласованность исследований при разработке систем онтологий. Система онтологий, включающая онтологии ситуационного управления, а также методика проведения исследований стратегий развития энергетики представлена в работе [6]. В работе [7] онтология топливно-энергетического сектора (ТЭК) применяется при моделировании критических инфраструктур энергетики. Формальное описание отраслей энергетики и компонентов интеллектуальной системы (ИС) поддержки принятия стратегических решений применяется в исследованиях энергетической безопасности [8, 9]. При разработке системы оперативного мониторинга технологической инфраструктуры нефтегазодобывающих предприятий применялся формат представления данных в виде объектов онтологии [10]. Исследование кибербезопасности и её основные понятия в соответствии с ISO/IEC 27032:2012 «Информационные технологии. Методы обеспечения безопасности. Руководящие указания по кибербезопасности», а также основные особенности кибербезопасности в энергетике изложены в работе [11].

1    Применение онтологий при разработке ИС

С целью исследования возможных обстоятельств нарушения энергетической безопасности, вызванных реализацией киберугроз, авторами разрабатывается ИС анализа угроз и оценки рисков нарушения кибербезопасности ОЭ [12]. Общая архитектура ИС представлена на рисунке 1 и включает:

  •    экспертную систему (ЭС) «Cyber» - продукционная ЭС, предназначенная для сопровождения аудита безопасности на энергетическом предприятии и выявления типовых уязвимостей, угроз и векторов атак информационно-технологической системы (ИТС) объекта;

  •    блок Байесовских сетей доверия (БСД), предназначенный для моделирования экстремальной ситуации, вызванной нарушением кибербезопасности, и определения вероятности наступления последствий;

  •    блок оценки рисков последствий от реализации киберугроз, включающий ранжирование активов и ОЭ в соответствии с величиной риска и критериев ранжирования.



    Рисунок 1 – Архитектура ИС анализа угроз и оценки рисков нарушения кибербезопасности ОЭ


Разработка ИС основана на методике анализа угроз и оценки рисков (АУОР) нарушения информационно-технологической безопасности энергетических комплексов [13], переработанной для ОЭ и дополненной аспектами кибербезопасности. ИС разрабатывается для решения следующих групп задач:

  •    анализ киберугроз;

  •    моделирование сценариев;

  •    оценивание рисков, включающих ранжирование объектов и их активов.

Под анализом киберугроз понимается комплекс мероприятий по идентификации риска, включающий подготовку к анализу угроз и риска, в том числе установление контекста менеджмента риска, сбор и анализ данных, установление границ АУОР, а также предварительную оценку критичности активов рассматриваемого объекта. Для реализации последнего посредством ЭС «Cyber» предлагается провести аудит безопасности ИТС объекта в форме анкетирования, на основе чего определяется список предполагаемых активов, содержащих уязвимости, а также вероятные (тривиальные) угрозы.

В качестве критериев для составления анкет и проведения анкетирования предлагается использовать известные векторы атак реализации киберугроз. Выделены два основных направления векторов атак на промышленные компании: нецелевые атаки, направленные на IT-инфраструктуру, воздействие на которую может негативно повлиять на штатное функционирование промышленных систем; целевые атаки, направленные на промышленное оборудование. В первом случае рассматривается проникновение в корпоративную сеть и получение доступа к локальной вычислительной сети. Во втором - проникновение из корпоративной сети в технологическую и развитие атаки до получения доступа к критически важным системам [14].

Моделирование сценариев осуществляется в разрабатываемом блоке Байесовских сетей, который предназначен для анализа риска. Эта группа задач включает построение графа, отражающего вероятностные взаимосвязи между идентифицированными уязвимостями активов, угрозами, средствами контроля и последствиями. Ситуацию на объекте, например, нормальное функционирование, критическая или чрезвычайная ситуация, предлагается опреде- лять вероятностным интегральным показателем, который является потомком всех узлов последствий, основанным на индикативном анализе.

Для оценивания рисков разрабатывается блок оценки рисков, который включает качественное и количественное оценивание рисков инцидентов безопасности, приводящих к экстремальным ситуациям в энергетике.

Риски определяются тройкой:

  • (1)                           R = {T, V, D},

где T - угрозы, V - уязвимости, D - ущерб при реализации угрозы.

Оценивание рисков включает три основных процесса:

  •    описание рисков всех значимых сценариев в соответствии с классификацией;

  •    измерение уровня риска, в процессе которого присваиваются качественные значения критичности и последствий риска;

  •    количественное измерение уровня риска основывается на байесовской вероятности наступления последствий и оценке возможного ущерба в денежном эквиваленте.

Группа задач ранжирования объектов и их активов связана с определением критических активов на основе величины риска внутри объекта, а также определением ОЭ, наиболее подверженных рискам наступления экстремальных ситуаций за счёт реализации киберугроз.

Величина риска внутри объекта определяется как:

  • (2)                               R o = {Т о , V o , D o },

где T o - совокупность угроз, V o - совокупность уязвимостей активов на объекте, D o -сумма ущербов при реализации угрозы.

Для решения этих задач разрабатывается одноименный блок ИС.

Онтология задач (нижний уровень) и реализующих их блоков ИС (верхний уровень) представлена на рисунке 2.

Рисунок 2 - Онтология задач и инструментальных средств анализа угроз и оценки рисков нарушения кибербезопасности ОЭ

При проектировании системной архитектуры ИС необходимо решить задачи классификации основных понятий, установления взаимосвязей между ними, выявления основных процессов и методов, применяемых при оценке рисков кибербезопасности, а также структуризации знаний по анализу угроз и оценке рисков нарушения кибербезопасности ОЭ. Для решения этих задач была разработана система онтологий для каждого блока ИС.

2 Онтологическое пространство знаний ИС анализа угроз и оценки рисков

Онтологическое пространство знаний, представляющее собой систему онтологий, логически объединённых по каждому разделу ПрО, представлено на рисунке 3. Система онтологий включает онтологии, отражающие основные концепты разделов ПрО и их взаимосвязи. В качестве разделов ПрО выступают анализ киберугроз, включая предварительную подго- товку и результирующую модель угроз; вероятностные сценарии, с учётом анализа угроз; оценка рисков, с учётом последствий наступления экстремальных ситуаций, и выявление критически значимых активов ОЭ.

Онтология критериев ранжирования

Онтология типовых уязвимостей

Онтология угроз

Онтология типовых векторов атак Онтология бизнес-процессов

Онтология условий и факторов

Онтология причинно-следственных вязей экстремальной ситуации

Онтология критериев оценки рисков

Рисунок 3 - Онтологическое пространство знаний для разработки ИС анализа угроз и оценки рисков нарушения кибербезопасности ОЭ

Онтология последствий и индикаторов ЭБ

Онтология компонентов ИТ системы ЭО

Онтология стандартов безопасности

Онтология типовых компонентов физической инфраструктуры

Онтология типовых активов ИТ системы ЭО

Оценка Рисков

Онтология рисков кибербезопасности

  • 2.1    Анализ киберугроз

    Анализ угроз до сих пор остаётся нетривиальной задачей. Наибольшая сложность заключается в сопоставлении уязвимостей активов информационно-технологических (ИТ) систем, используемых на предприятии, и возможных угроз безопасности, реализация которых повлечёт ощутимые потери для рассматриваемого объекта. Разрабатываемая онтология для анализа угроз представлена на рисунке 4 и включает восемь взаимосвязанных онтологий.

    Рисунок 4 - Онтология анализа угроз


В настоящее время не существует единого нормативно-правового пространства, охватывающего вопросы обеспечения безопасности в области энергетики. Нормативные документы охватывают различные области безопасности и используют различную терминологию. Анализ нормативных документов, в том числе международных, отражен, например, в работах [15, 16]. Онтология стандартов безопасности разрабатывается с целью кластеризации знаний по методам проведения оценки безопасности, а также методам обеспечения безопасности для каждой из областей кибербезопасности: безопасности приложений, информационной безопасности, сетевой безопасности, безопасности Интернет и защите ключевых информационных систем объектов критических инфраструктур [17]. Разрабатываемую онтологию стандартов планируется применять при составлении анкеты для проведения аудита безопасности с использованием ЭС «Cyber» [18].

С целью определения основных угроз в энергетике, связанных с нарушением кибербезопасности на объектах, разработана онтология угроз, представленная на рисунке 5. Уязвимости и угрозы содержатся в базах данных, например, «Банк данных угроз безопасности информации» ФАУ «ГНИИИ ПТЗИ ФСТЭК России» [19], международная база данных уязвимостей «Common Vulnerabilities and Exposures» (CVE) [20]. Их описания включают слабые места конкретного программного продукта. Основные задачи онтологического инжиниринга в данной области заключаются в установлении актуальных уязвимостей и угроз для энергетики и их классификации для типовых компонентов и активов ИТС. Соответствующие онтологии разрабатываются для формирования структуры и дальнейшего наполнения базы знаний ЭС «Cyber» с целью автоматизации проведения аудита безопасности на предприятии.

|кономические бывает

ВКЛ1

юяны бывает Компрометация * ---бывает— Эксплуатация^ mK)4aeT_BT ;teH№ язвимогтеи ПО

- Репутационные

Аварии, взрывы, -вызывают-»]Каскадные аварии | является юточником пожары

►[Отказ в обслуживании (DOS)]

► Временные атаки классифицируются включают

Социальная инженерия*

бывает—Н Атаки управляющего центра мают включает-

Атаки протоколов ►

| Маршрутные атаки

—Н Botnet |

Деятельность хактивистов |--[Экстремистские действия *-

Компрометация учетных данных

Эксплуатация уязвимостей ПО

Эксплуатация уязвимостей конфигурации

Вредоносные программы

Угрозы задержки или отказа связи

Атака нарушения целостности

Террористические акты

(Атака классифицируются

(Низкая квалификация -

Спланированные| классифицируются [по источнику возникновения] включает- Внутренний ---- бывают         *| Внешний]

по степени преднамеренности]

| Киберхалатностьр бывают [Случайные]-    бывают

Угрозы повреждения содержимого включают

►Экологические

► Техногенные включают

Управленческо-правовыер — ►(Экономические I

[ Киберугрозы -^—►{ Т ехногенные]-вкл ючают

(Угрозы энергетической безопасности - вызывают включают классифицируются            у

| Социально-политическиер—«[Природные] | Последствия -

Рисунок 5 – Онтология угроз энергетической безопасности

Связи между уязвимостями и угрозами устанавливаются путём формирования векторов атак. Типовые векторы атак на промышленные предприятия и корпоративные информационные системы описаны в исследованиях ведущих компаний, таких как Лаборатория Касперского [21] и Positive Technologies [14, 22], типовые угрозы в энергетике описаны в [23]. Векторы атак в ИС описываются в виде продукционных правил, в соответствии с которыми строится граф для определения вероятности наступления экстремальных ситуаций в ОЭ.

В ходе аудита безопасности анализируются активы ИТС рассматриваемого объекта и выявляются критически значимые и содержащие уязвимости. Онтологический инжиниринг в данной области проводился на трёх уровнях автоматизированной системы управления тех- нологическими процессами. Особое внимание при этом уделялось верхнему уровню диспетчерского управления, поскольку характерной особенностью последствий реализации угроз на данном уровне является возможность получения административного доступа к системе управления предприятием. Полученная онтология применяется при разработке анкеты для проведения аудита безопасности предприятия.

Анализ киберугроз ведётся на основе онтологического инжиниринга основных бизнес-процессов ИТС ОЭ, целью которого является обоснование полноты выявляемых уязвимостей. Для формирования базы данных об ОЭ выполняется онтологический инжиниринг типовых компонентов их физической инфраструктуры, а также компонентов ИТС, под которыми понимаются автоматизированные информационные системы, использующиеся на предприятиях энергетики.

Онтологический инжиниринг в рамках анализа угроз позволил систематизировать разрозненную информацию об ОЭ, их характеристиках и компонентах, бизнес-процессах, активах, связанных с ними уязвимостях и угрозах нарушения кибербезопасности, а также стандартах безопасности, применимых в энергетическом секторе. Представленные онтологии применяются в разрабатываемой ЭС в части формирования структуры самого компонента и базы знаний, алгоритма проведения аудита безопасности, и в дальнейшем при вероятностном моделировании сценариев.

  • 2.2    Моделирование сценариев экстремальных ситуаций в энергетике

Задачи по прогнозированию условий функционирования и развития систем энергетики и ТЭК, оценке их состояния, выбор альтернатив и мер по предотвращению критических и чрезвычайных ситуаций в энергетике решаются в рамках модельных сценарных исследований [7]. При решении задачи прогнозирования поведения ОЭ в условиях нарушения кибернетической безопасности, вызывающих реализацию угроз энергетической безопасности (ЭБ), проводился онтологический инжиниринг, по результатам которого сформирована система онтологий, представленная на рисунке 6.

Рисунок 6 – Онтология экстремальных ситуаций в энергетике

Количество инцидентов, связанных с реализацией киберугроз на промышленных предприятиях, растет [14], а возглавляет список энергетический сектор [21]. На основе онтологии экстремальных ситуаций в энергетике, вызванных киберугрозами, определены структура ИС, блоки БСД и оценки рисков.

Построение сценариев в ИС осуществляется в блоке БСД. Такие блоки хорошо зарекомендовали себя в качестве инструмента вероятностного моделирования для анализа как угроз ЭБ [24], так и экономических рисков [25] и рисков информационных технологий [26].

Для построения бизнес-логики блока БСД разработана онтология сценария экстремальной ситуации в энергетике, вызванной нарушением кибербезопасности на объекте. Рисунок 7 демонстрирует основные концепты сценария, их характеристики и взаимосвязи. Сценарий экстремальной ситуации в энергетике представляет собой вероятностные оценки возможных ситуаций, представленные последовательностью уязвимостей, киберугроз, угроз энергетиче- ской безопасности и угрозами причинения ущерба рассматриваемому предприятию и/или территориально-приближенной внешней среде либо энергосистеме в целом, а также пессимистические оценки основных количественных характеристик исследуемых ОЭ в условиях нарушения кибербезопасности рассматриваемого объекта [27].

вызывают

Условия

Внешние

Уязвимости форми содержат состоит из

;вычаиные

:остояния оценивают включают оценивает

ИТ система включает

^Критерииj

У

Интегральный показатель

Энергетический объект формируют-[Вектор атаки

[ Обеспечение безопасности] [Обеспечение надежности] [ Обеспечения устойчивости]

______________1________________ +                             ^

■[ Экстремальные ситуации] —। бывают

------------включает-вызывают^ | ш]*”      | Угрозы ЭБ гоцениваются /

I

]    [ Шкала [ -включает

________________^"""формирует

Вероятность ущерба |

Ситуация _6ыв1ают в энергетике

Рисунок 7 – Онтология сценария экстремальной ситуации в энергетике, вызванной киберугрозами

Помимо присутствия уязвимостей в активах ИТС или отсутствия средств защиты и методов обеспечения надежности, немаловажными при возникновении той или иной ситуации являются текущее состояние системы и влияющие на неё факторы, например, такие, как сезонность, экологическая значимость прилегаемой территории, социальные факторы и другие. Это направление онтологического инжиниринга основывается на исследованиях устойчивости энергетических систем [28, 29] и их технологической безопасности [30].

В процессе формирования графа экстремальной ситуации оценивается вероятность наступления некоторых негативных событий, таких, как падение мощности, снижение нагрузки, отключение групп потребителей и др. В работах по исследованию ЭБ разработаны индикаторы, по которым можно судить о наступлении той или иной экстремальной ситуации [2]. В этом направлении разрабатывается онтология последствий и индикаторов ЭБ на основе анализа описанных инцидентов, например [31, 32].

  • 2.3    Оценки рисков

Процесс оценки рисков включает в себя два этапа: анализ рисков и оценивание рисков. Анализ рисков сопровождается идентификацией значимых угроз и уязвимостей, а также оценкой вероятности реализации угроз и уязвимостей [33].

Анализ рисков проводится в рамках решения задач по анализу киберугроз и моделированию сценариев экстремальных ситуаций в энергетике. Для решения задачи по оцениванию рисков применяется онтологический инжиниринг в области управления рисками, результаты которого представлены на рисунке 8.

Риск рассматривается как сочетание последствий некоторого события (инцидента) и связанной с ним возможностью возникновения (вероятностью), а оценка рисков – как процесс идентификации, анализа и оценивания, в соответствии с международным стандартом ISO/IEC 27005:2011 «Информационная технология – Методы и средства обеспечения безопасности – Менеджмент риска информационной безопасности».

Рисунок 8 – Онтология оценки рисков нарушения кибербезопасности ОЭ

Риски кибербезопасности рассматриваются, с одной стороны, как риски киберсреды, а с другой - как вид рисков ЭБ, связанных с нарушением функционирования физической инфраструктуры ОЭ, приводящим к негативным последствиям. Онтология рисков кибербезопасности в энергетике представлена на рисунке 9.

Рисунок 9 – Онтология рисков кибербезопасности в энергетике

Основные критерии оценки рисков отражены в законе от 26 июля 2017 года № 187-ФЗ «О защите критической информационной инфраструктуры Российской Федерации». На основе данного закона разработана онтология критериев оценивания рисков.

Оценка рисков основывается главным образом на стандарте ISO/IEC 27005, а также методике АУОР [13]. На заключительном этапе оценки рисков предлагается проводить ранжирование объектов. Для этого вводится критерий значимости объекта:

K s = {C, R, F}, где Ks - критерий значимости; С - критерий оценки рисков, R - интегральный показатель рисков объекта, F- объект, представленный совокупностью основных характеристик.

Критерии оценки рисков складываются из оценки влияния на технологическую, экологическую или социальную составляющую рисков, в зависимости от того, какой фактор более важен (определяется экспертным путём). Интегральный показатель рисков объекта склады- вается из формулы (2). В качестве F принимают основные характеристики ОЭ, например производственная мощность. Объектам выставляются ранги согласно оценке показателя критерия значимости. Пользователь определяет проранжированый список ОЭ с учётом критерия значимости и величины рисков наступления экстремальной ситуации при возникновении киберугроз на каждом из объектов.

Заключение

Рассмотрены ПрО анализа угроз и оценки рисков нарушения кибербезопасности в энергетике. Применение онтологического инжиниринга позволило структурировать знания экспертов и данные стандартов в области безопасности. Приведены онтологии, использованные при разработке ИС анализа угроз и оценки рисков нарушения кибербезопасности ОЭ, объединенные в онтологическое пространство знаний ПрО. Дано описание взаимосвязей онтологий и показано их применение в ИС.

Результаты получены в рамках выполнения госзадания ИСЭМ СО РАН № АААА-А17-117030310444-2, а также в рамках проектов, поддержанных грантами РФФИ № 19-07-00351, Бел_мол_а № 19-57-04003, № 18-07-00714, мол_а № 18-37-00271, № 17-07-01341.

Список литературы Онтологический инжиниринг для разработки интеллектуальной системы анализа угроз и оценки рисков кибербезопасности энергетических объектов

  • Массель, Л.В. Методы и интеллектуальные технологии научного обоснования стратегических решений по цифровой трансформации энергетики / Л.В. Массель // Энергетическая политика. № 5. 2018. - С.30-42.
  • Энергетическая безопасность России: проблемы и пути решения / Н.И. Пяткова, В.И. Рабчук, С.М. Сендеров, М.Б. Чельцов. Новосибирск: СО РАН, 2011. - 198 с.
  • Энергетическая безопасность России // Н.И. Воропай, С.М. Сендеров, Н.И. Пяткова, Г.Б Славин. Новосибирск: Наука, 1998. - 302 с.
  • Массель, Л.В. Киберопасность как одна из стратегических угроз энергетической безопасности / Л.В. Массель, Н.И. Воропай, С.М. Сендеров, А.Г. Массель // Вопросы кибербезопасности. № 4 (17). 2016. - С.2-10.
  • Гаврилова, Т.А. Инженерия знаний. Модели и методы. / Т.А. Гаврилова, Д.В. Кудрявцев, Д.И. Муромцев. - СПб.: Издательство «Лань», 2016. - 324 с.