Оценка антропологического воздействия интерфейсов на этапе проектирования программно-аппаратного обеспечения
Автор: Шалагин С.В., Шалагина Г.Э.
Журнал: Онтология проектирования @ontology-of-designing
Рубрика: Общие вопросы формализации проектирования: онтологические аспекты и когнитивное моделирование
Статья в выпуске: 4 (54) т.14, 2024 года.
Бесплатный доступ
В информационном обществе по мере расширения и углубления предметной области человеческой деятельности происходит её непрерывная формализация, которая основана на онтологических моделях технических и естественных систем. Полнота информации о сложной предметной области, воспринимаемая пользователем, влечёт его информационную перегрузку. Данное обстоятельство способствует применению алгоритмов, представляющих информацию о предметной области в сжатом виде. В работе вводятся модифицированные показатели и качественные критерии, которые позволяют оценить возможность появления ошибок при сжатии информации о предметной области и оценить антропомерность интерфейса при использовании задаваемых экспертами пороговых значений показателей, как для алгоритмов искусственного интеллекта, так и для пользователей. Предложен метод количественной оценки антропологического воздействия интерфейсов прикладного уровня на этапе проектирования программно-аппаратного обеспечения. Метод включает восемь этапов, на которых оценивается понятность интерфейса программно-аппаратного обеспечения для адресатов: алгоритмов искусственного интеллекта и пользователей. Предложенный метод позволяет уменьшить вероятность создания деструктивного программно-аппаратного обеспечения.
Интерфейс, информационное воздействие, онтологическая модель, актор, пользователь, антропомерность, программно-аппаратное обеспечение, проектирование
Короткий адрес: https://sciup.org/170207426
IDR: 170207426 | DOI: 10.18287/2223-9537-2024-14-4-483-492
Текст научной статьи Оценка антропологического воздействия интерфейсов на этапе проектирования программно-аппаратного обеспечения
По мере распространения и внедрения киберфизических систем (КФС) в деятельность общества всё бо̀льшее значение приобретают интерфейсы прикладного уровня. При использовании указанных интерфейсов организуется взаимодействие программно-аппаратного обеспечения (ПАО), включённого в состав КФС, с различными акторами, как естественными (пользователи), так и искусственными (алгоритмы искусственного интеллекта, ИИ) [1]. От параметров интерфейса зависит качество взаимодействия акторов с ПАО различного назначения (см., например, [2, 3]). В контексте перехода от индустриального Общества 3.0 к постиндустриальному Обществу 4.0 акцент делался в бо̀льшей степени на физическое воздействие и в меньшей степени на информационное воздействие ПАО на пользователя [2]. С переходом к Обществу 5.0 акцент постепенно смещается в сторону информационного воздействия на актора. В связи с увеличением сложности и комплексности цифровых образов объектов информационное воздействие производится не только на пользователей, но и на ИИ. Это воздействие может носить латентный характер.
Технический объект и связанная с его созданием предметная область (ПрО) имеют искусственное происхождение и основаны на информационных моделях, описываемых формальными выражениями [4-10]. Данные выражения могут быть преобразованы ПАО в визуальные или аудио-визуальные отображения, понятные пользователю [9-11]. Развитие КФС сопровождается расширением и углублением внедрения вычислительной техники в естественные системы [12, 13]. Становится актуальным вопрос обеспечения относительно полноты отображения естественной ПрО через формальные выражения [14]. Если цифровой образ ПрО будет отображён в полном объёме, то на пользователя будет обрушена лавина информации, ведущая к его информационной перегрузке. Если цифровой образ будет отображён для пользователя в сжатом виде, используя алгоритмы ИИ, то повышается вероятность порождения у пользователя искажённого или неполного представления о ПрО, вызванного тем, что при сжатии может быть утеряна информация о характеристиках ПрО, важных для пользователя [15].
Информационное воздействие на пользователя ПАО заключается в том, что он составляет своё представление о ПрО на основе её онтологических моделей (ОМ). Оценка антропологического воздействия интерфейса на этапе проектирования ПАО может быть получена при использовании ОМ ПрО [16-20].
1 Количественные показатели для оценки ОМ ПрО
В период информационного Общества 4.0 стала возможной передача больших объёмов формализованной информации, что способствовало применению ИИ в качестве посредника между ПАО и пользователем.
В концепции Общества 5.0 адресатом может быть не только пользователь, но и ИИ. В данной связи актуализируются формализация информации о ПрО и антропомерность представления информации при проектировании интерфейса между ПАО и пользователем [15]. Понятие антропомерности интерфейса предполагает комплексный учёт трёхуровневой структуры антропологического знания: физического уровня (удобство технических устройств), социокультурного уровня (учёт норм, обычаев, социальных ритмов) и философского уровня (воодушевлённость техническими возможностями для свободы творчества). Функция антропомерности - величина качественная. В [16] введены количественные показатели таких характеристик ОМ ПрО, как её вербальная и системная понятность, в т.ч. среднее время понимания актором терминов ПрО и связей между ними. В данной работе предложена модификация указанных параметров применительно к возникающим в ОМ ПрО ошибкам первого и второго рода [21].
ОМ ПрО можно представить в виде помеченного графа G = (V, E, C), где V, E и C есть множества вершин графа, дуг, а также меток вершин CV и дуг CE, соответственно; C = CV о CE; |V| = n, E| = m, |CV| = n (если нет повторений понятий), |CE| е [1, m]. Число тер минов в ОМ формально определено как сумма N = |CV| + |CE|: N е[n + 1, n + m]. В случае, ко гда в графе G не все термины и/или связи между ними понятны актору, на него производится деструктивное информационное воздействие. Т.е. воздействие, связанное с оперированием на основе неверного представления о ПрО, возникающего ввиду неполного или недостоверного понимания её ОМ. Вербальная понятность ОМ определена коэффициентом [16]:
k w =
N — N us
N
где Nus - множество терминов, допустимых в ОМ, но непонятных адресату. Для разъяснения этих терминов требуется сформировать Nus матриц вида AS = (aijs), где aijs = 1, если j-я опера- ция применяется для трактовки i-го термина, иначе aijs = 0. Среднее время понимания адресатом Nus терминов определяется согласно формуле [16]:
T = ( Z N Z ‘ = 1 Е ' = 1 а -ф T~. (2)
При этом значение Т не должно превышать заданного допустимого граничного значения T max . Системная понятность ОМ (а также истинность или ложность связей между понятиями) определяется в [16] по аналогии с (1):
k sw =------ us- , (3)
m где mus - множество связей в ОМ, непонятных адресату или неверно понятых адресатом. Для оценки времени выяснения значений связей, непонятных адресату, можно воспользоваться формулой подобной (2).
Согласно [21] выделяют ошибки первого и второго рода. Ошибка первого рода - когда нулевая гипотеза верна, но по статистическому критерию отвергнута, признана ошибочной, произошло ложное срабатывание. Ошибка второго рода - когда нулевая гипотеза не верна, но согласно статистическому критерию ошибочно признана правильной.
В качестве нулевой гипотезы принимается отсутствие внутри ПрО события, значимого для пользователя (далее - События). Ошибкой первого рода будет то, что ОМ сигнализирует актору о наличии в ПрО События, которое на самом деле отсутствует. Ошибка второго рода - когда ОМ не идентифицирует в ПрО наличие События, которое в ней на самом деле присутствует. Можно модифицировать критерии (1) и (3) под данное определение События и ОМ ПрО и определить на основе критерия (1) вербальную понятность ОМ для адресата относительно ошибок первого и второго рода согласно двум критериям:
k W = N - Ns} , (4)
k (2) = N - N^
W N ’ где N - то же, что и в (1), Nu(1s) и Nu(s2) - множества терминов, допустимых в ОМ, но (4) -неверно понятых и (5) - непонятных адресату, соответственно.
Системную понятность ОМ относительно ошибок первого и второго рода на основе критерия (3) можно определить так:
С = m m , (6)
m k (2) _ m - mu2) kSW =
m где переменная m определена по аналогии с (3), mu(1s) - множество связей в ОМ неверно понятых адресатом, mu 2) - множество связей в ОМ, которые адресат не понял или не вос принял. Для оценки времени уточнения значения mUs) в (6) формула (2) модифицируется в следующий вид:
т(1)/y Nus )y k у ' z/1).^^1)
T ( Z s = 1 Е i = 1 Е j = 1 a ijs T j )- T ax
а для оценки времени выяснения m U 2) в (7) формула (2) представима как:
T <2> = ( Е N T Е k = Е ' = , a j ’ Tj 2 > ) - T® (9)
В (8) параметр N(uls) определён как в (4), aj = 1, если j -я операция применяется для коррекции неверной трактовки i-го термина, иначе aj = 0, тj^ - время, отведённое на применение j-й операции; в (9) параметр NU2) определён как в (5), aj) = 1, еслиj-я операция применяется для объяснения адресату i-го термина, иначе aj2) = 0, тj2) - время, отведённое на применение j-й операции.
В результате можно получить количественные показатели, которые позволяют оценить характеристики ОМ ПрО относительно ошибок адресата первого и второго рода:
-
■ вербальную понятность - показатели (4) и (5);
-
■ системную понятность - показатели (6) и (7);
-
■ время выяснения множества связей в ОМ - показатели (8) и (9).
В качестве адресатов могут быть пользователь и ИИ. Предполагается, что адресат формирует собственный образ ПрО как ОМ. Получаются две ОМ ПрО: для ИИ, которая представлена как помеченный граф G AI ; для пользователя, представленная в виде помеченного графа Gu . Указанные графы G AI и Gu представимы по аналогии с описанным графом G .
2 Метод оценки антропомерности интерфейса ПАО
Использование показателей (4) - (7) позволяет количественно оценить возможность ошибок адресата первого и второго рода при идентификации наличия События в ПрО путём взаимодействия с интерфейсом ПАО.
В ситуации, когда адресатом является ИИ, требуется, чтобы внутри ИИ была сформирована формальная ОМ (ФормОМ) ПрО в виде помеченного графа G AI . Для указанной модели оценка антропомерности заключается в вычислении показателей, количественно характеризующих возможность совершения и/или коррекции ошибок первого и второго рода.
(1) 7(2) 7(1) 7(2) 7(1)
Пусть для (4) - (9) экспертами заданы пороговые значения: k w , k w , k sw , k sw , T max и
Tmax, соответственно. Смысл их введения заключается в формализации процесса валидации интерфейса ПАО. Можно определить два множества показателей. Первое включает параметры (4), (6), (8), характеризующие наличие в терминах и связях GAI ошибок первого рода, идентификация и коррекция которых требует времени T (1). Второе множество включает параметры (5), (7), (9). Они характеризуют наличие в терминах и связях GAI ошибок второго рода, исправление которых требует времени T(2). Если хотя бы один показатель из заданного множества превышает пороговое значение, то интерфейс ПАО считается не антропомерным.
В противном случае интерфейс ПАО считается антропомерным. Формально указанное пра- вило задаётся при использовании пороговых функций вида:
/ ( a , b ) = ’
0:
1:
a < b a > b ,
где a - значение одного из показателей (4) - (9), b - его пороговое значение. Если функция /( a, b) равна 0, то показатель, тестируемый при её использовании, не превышает порогово- го значения; иначе - превышает. Можно ввести критерии:
p 1 ( G AI , k w , k sw , T max ) = max ( / ( k^, k w ) , / ( k ^W , k sw ) , / ( T (1), T Sx p 2 ( GAI , kS? , kSw , T max ) = max ( / ( k ^2) , kS? ) , у/ ( k^ , kSw ) , W ( T (2), T Sx
,
,
где k W , k W и T (1) вычислены на основе параметров графа G AI согласно (4), (6) и (8), соответственно; к ^ , k SW и T (2) вычислены на основе параметров графа G AI согласно (5), (7), (9).
Имеет место утверждение: для идентификации критического количества ошибок первого рода в терминах и связях графа G AI , время коррекции которых не превышает T Lx , требуется, чтобы значение критерия (10) было равно единице; для идентификации критического количества ошибок второго рода в терминах и связях графа G AI , время коррекции которых не (2)
превышает T max , требуется, чтобы значение критерия (11) было равно единице.
Критерии, аналогичные (10) и (11), вводятся для случая, когда адресатом при взаимодействии с интерфейсом ПАО является пользователь. При этом интерфейсная часть ПАО формируется при использовании ИИ, для которого выполняются следующие условия:
P 1 ( G AI , k w , k sw , T Lax ) = 0 и p 2 ( G AI , k w\ k Sv , T ^ax ) = 0 .
Т.е. ПрО для пользователя является ОМ, отображаемая при использовании графа GAI, а пользователь строит свою ОМ, заданную графом Gu. На основе указанного графа вычисляются показатели (4) - (9), для которых эксперты определяют свои пороговые значения kw , kw\ kSw, kSW, TLaX и T2X, соответственно, а также критерии (10) и (11): n(G к(1) ^(1) Тт (2) ^2) т(2И pl (Gu, kw , ksw, Tmax ) и p2 (Gu, kw , kSw, Tmax ) .
На основе приведённого утверждения, показателей (4) - (9) и критериев (10) и (11) предложен метод оценки антропомерности интерфейса ПАО (далее - Метод), который включает восемь этапов.
Этап 1. Синтез размеченного графа G AI , соответствующего заданной ПрО.
Этап 2. Вычисление показателей (4) - (9) для G AI .
Этап 3. Задание экспертами пороговых значений показателей (4) - (9), kw , k^, kSw, -j-(2) -(1) -(2) _ _ _ , „ r k S w , T max и T max , соответственно, для графа GAI.
Этап 4. Вычисление критериев (10) и (11) на основе графа G AI и пороговых значений, заданных на этапе 3, для которых проверяется условие (12); в случае не выполнения данного условия осуществляются переход к этапу 1 и редукция количества вершин и/или дуг G AI пока условие (12) не будет выполнено.
Этап 5. Синтез размеченного графа Gu на основе полученного графа G AI .
Этап 6. Вычисление показателей (4) - (9) для Gu .
Этап 7. Задание экспертами пороговых значений показателей (4) - (9), k (т) , k (w) , kSw , kSw , T ^x и T ax для графа G u .
Этап 8. Вычисление критериев (10) и (11) на основе графа Gu и пороговых значений, заданных на этапе 7.
Замечание 1 . В случае, когда на этапе 8 критерии р 1 ( Gu , k^ , k^ , T H) = 0 и P 2 ( Gu , k^, k S2) , T m^ ) = 0, интерфейс ПАО считается антропомерным для пользователя.
Замечание 2. Интерфейс ПАО считается не антропомерным в случае, когда на этапе 4 не выполняется условие (12) либо не выполняется условие, указанное в замечании 1.
3 Анализ результатов
Метод позволяет оценить антропомерность интерфейса ПАО, составной частью которого является ИИ. Ведущая роль при оценке антропомерности интерфейса принадлежит экспер- там, которые задают пороговые значения для показателей (4) - (9). Указанные показатели позволяют оценить наличие или отсутствие в интерфейсе ПАО предпосылок для возникновения ошибок первого и второго рода, которые приводят к негативному информационному воздействию на пользователя.
На этапе 1 происходит формирование ФормОМ ПрО для ИИ. Граф G AI может быть сформирован в соответствии с методом, изложенным в [1]. Важным является то, что в G AI понятия и связи между ними выражены, как правило, в терминах формальных грамматик. Такая форма представления ОМ ПрО больше адаптирована под алгоритмы ИИ, чем под пользователя-человека.
На этапе 2 осуществляется количественная оценка того, насколько адекватно граф G AI отображает заданную ПрО. Показатели (4) - (9) позволяют экспертам выявить слабые места ФормОМ ПрО, представленной в виде графа G AI . Во-первых, какого рода ошибки могут быть потенциально допущены ИИ; во-вторых, где кроется источник ошибок - в вербальной или системной понятности ФормОМ, либо во времени, которое требуется для уточнения и/или выявления тех или иных понятий.
На этапе 3 эксперты принимают решение: какие значения показателей (4) - (9) считать допустимыми для ФормОМ ПрО, представленной в виде графа G AI .
На этапе 4 предполагается, что ПрО относительно консервативна: в противном случае потребуется обновление графа G AI с целью отслеживания его соответствия ПрО и, как следствие, обновление показателей (4) - (9). При увеличении множества вершин и дуг G AI возрастает вероятность превышения показателями пороговых значений, заданных экспертами, т.е. не выполнения условия (12). В случае такого превышения возможны два варианта. Первый - редукция множества состояний и/или множества дуг G AI . Второй - увеличение экспертами пороговых значений показателей (4) - (9), вычисленных для G AI . Первый вариант влечёт за собой переложение на пользователя труда по идентификации понятий ПрО и связей между ними; второй - увеличение вероятности неверной идентификации указанных понятий и связей между ними и вероятности аберрированного представления пользователя о ПрО.
На этапе 5 ПрО представлена графом G AI , который создан и оценён экспертами на этапах 1 - 4. На основе G AI создаётся размеченный граф G u , множество состояний которого и связи между ними адаптированы для пользователя. Граф G AI называется ПрО, формализованной для пользователя. Степень формализации может зависеть от того, насколько пользователь является специалистом в заданной ПрО.
На этапе 6 производится количественная оценка того, насколько граф G u отображает понятия и связи между ними, которые применяются ИИ для отображения ПрО. Количественно оценивается возможность совершения пользователем ошибок первого и второго рода при восприятии понятий формализованной ПрО и связей между ними.
Этап 7 предполагает оценку экспертами порогового уровня значений показателей (4) -(9), вычисленных для G u . Экспертами выявляются слабые места при оценке пользователем ФормОМ ПрО: какого рода ошибки он может совершить и какова вероятная природа данных ошибок - непонятность ФормОМ или недопустимое время, требуемое для уточнения и/или выявления понятий ФормОМ.
На этапе 8 производится качественная оценка антропомерности интерфейса ПАО для ПрО, формализованной для пользователя.
Разработка предложенного метода актуальна в информационном обществе в силу того, что доля населения, вовлечённого в процессы обработки компьютерной информации, продолжает расти. Производители и заказчики заинтересованы в антропомерном качестве интерфейсов ПАО.
Примеры неантропомерности интерфейсов .
Негативные для пользователя информационные эффекты наблюдались в работе систем и приложений социального мониторинга режима самоизоляции во время пандемии COVID-19. Иногда заболевшим людям тре- бовалось отвечать на запросы систем в неантропомерное с биологических позиций время: ночью, без учётов природных биоритмов и самочувствия пользователя, а за несоблюдение правил в отношении пользователей ПАО предусматривались различные санкции (штрафы, визиты полиции).
Негативные информационные воздействия на пользователя через интерфейсы ПАО могут наблюдаться в бизнесе. Создатели делового ПАО порой не учитывают и не задают в качестве значимых для его работы такие параметры, как служебное время подразделения либо отдельных должностных лиц, ограничиваясь только системным временем. Указанные недостатки ПАО являются причинами неисполнения задач в срок, ведут к штрафным санкциям, к потере деловой репутации и др.
Негативное информационное воздействие можно найти в интерфейсах электронных издательских систем. Универсальный и транснациональный характер ПАО не учитывает национальные и языковые различия. В то время как стандарты оформления текста, действующие в той или иной культуре или сфере, в различных языках отличаются. Пользователи сталкиваются с негативным информационным воздействием от несоблюдения социокультурной антропомерности, связанной с учётом языковых особенностей.
Предлагается различать вредоносное ПАО, препятствующее нормальному использованию программного обеспечения, в т.ч. несущее физический и информационный вред другому ПАО, и деструктивное ПАО, деморализующее естественного актора, способное привести человека к мысли о тщетности творческих усилий, невозможности полностью воплотить свой замысел. Введение критериев антропомерности в систему оценки нового ПАО может способствовать повышению качества процессов цифровизации в Обществе 5.0.
Заключение
В работе предложен метод, позволяющий оценить степень антропомерности интерфейса ПАО для ИИ и для пользователя. Определены количественные показатели и качественные критерии, позволяющие формализовать отдельные этапы процесса проектирования интерфейсов, антропомерных для пользователя и основанных на ФормОМ. Данный метод позволяет оценить антропомерность спроектированного для пользователя интерфейса ПАО. Модифицированные показатели позволяют снизить вероятность совершения ошибок первого и второго рода при взаимодействии с интерфейсом ПАО, а также оценить время, требуемое для выяснения связей между понятиями ПрО для ИИ и для пользователей.
Использование предложенных в работе характеристик антропомерности ПАО как критериев качества цифровизации может применяться в ходе проектирования современного ПАО. Изложенные результаты позволяют определить некоторые направления и перспективы совершенствования процесса проектирования интерфейсов, оценить и разграничить роли человека и алгоритмов ИИ как адресатов в процессе проектирования интерфейсов ПАО для заданной ПрО.
Список литературы Оценка антропологического воздействия интерфейсов на этапе проектирования программно-аппаратного обеспечения
- Shalagin S.V., Shalagina G.E. Concept Formalization in Designing: Roles of Natural and Artificial Actors. Lobachevskii Journal of Mathematics, 2023, Vol.44, No.2. P.751–757. DOI: 10.1134/S1995080223020336.
- Назаренко Н.А., Падерно П.И. Влияние интерфейса на состояние и здоровье оператора. Биотехносфера. 2009. №6. С.45–52.
- Card Stuart K., Moran Thomas P., Newell, Allen. The psychology of human-computer interaction. 1st Edition. Boca Raton: CRC Press. 1983. 488 p. DOI: 10.1201/9780203736166.
- Негода В.Н., Куликова А.А. Сквозное проектирование автоматизированных систем на основе онтологий. Онтология проектирования. 2021. Т.11, №4(42). С.450-463. DOI: 10.18287/2223-9537-2021-11-4-450-463.
- Gizatullin Z., Nuriev M. Modeling the Electromagnetic Compatibility of Electronic Means under the Influence of Interference Through the Power Supply Network (2022) Proceedings-2022 International Conference on Industrial Engineering, Applications and Manufacturing, ICIEAM 2022, P.321-326. DOI: 10.1109/ICIEAM54945.2022.9787186.
- Raikhlin V.A., Vershinin I.S., Gibadullin R.F. On the condition of covering completeness in associative steganography (2021) Journal of Physics: Conference Series, 2096 (1), art. no. 012160. DOI: 10.1088/1742-6596/2096/1/012160.
- Vershinin I.S., Gibadullin R.F., Pystogov S.V., Raikhlin V.A. Associative Steganography. Durability of Associative Protection of Information. Lobachevskii Journal of Mathematics. 2020. 41(3). P.440-450. DOI: 10.1134/S1995080220030191.
- Курейчик В.М. Математическое обеспечение конструкторского и технологического проектирования с применением САПР. М.: Радио и связь, 1990. 352 c.
- Царев М.В., Андреев Ю.С. Цифровые двойники в промышленности: история развития, классификация, технологии, сценарии использования. Известия высших учебных заведений. Приборостроение. 2021. Т.64, №7. С.517-531. DOI 10.17586/0021-3454-2021-64-7-517-531.
- Бабушкин В.М., Шарафеев И.Ш., Трутнев В.В., Галямов Р.А., Бузов А.Л., Бузова Е.А. Интеграция программно-аппаратных комплексов планирования и мониторинга производительности в условиях развития инфокоммуникационных мультисервисных технологий промышленного предприятия // Радиотехника. 2019. Т.83, №6(7). С.12-17. DOI 10.18127/j00338486-201906(7)-03.
- Шарнин Л.М., Аун С., Альбитар Х. Комплексная информационно-измерительная система местоположения беспилотных летательных аппаратов // Вестник Казанского государственного технического университета им. А.Н. Туполева. 2010. №4. С.69-77.
- Щелкунов М.Д., Каримов А.Р. Общество 5.0 в технологическом, социальном и антропологическом измерениях // Вестник экономики, права и социологии, 2019, № 3. C.158-164.
- Сойфер В.А. Human fActor. Онтология проектирования. 2021. Т.11, №1(39). С.8-19. DOI: 10.18287/2223-9537-2021-11-1-8-19.
- Шалагина Г.Э., Шалагин С.В. Гуманитаризация в естествознании и технических науках: опыт междисциплинарного исследования. Математические методы в технике и технологиях - ММТТ. 2020. Т.1. С.103-106.
- Шалагин С.В., Шалагина Г.Э. Когнитивные проблемы проектирования на основе компьютерных моделей: технический и социо-гуманитарный аспекты. Онтология проектирования. 2016. Т.6, №3(21). С.368-376. DOI: 10.18287/2223-9537-2016-6-3-368-376.
- Микони С.В. Понятность онтологической модели как характеристика еѐ качества. Онтология проектирования. 2021. Т.11, №1(39). С.20-34. DOI: 10.18287/2223-9537-2021-11-1-20-34.
- Фаянс А.М. Взгляд на формализацию смысла с позиций трансдисциплинарного подхода. Онтология проектирования. 2021. Т.11, №3(41). С.294-308. DOI: 10.18287/2223-9537-2021-11-3-294-308.
- Боргест Н.М. Социально-экономический эффект онтологического анализа при создании информационных систем. Онтология проектирования. 2021. Т.11, №1(39). С.35-50. DOI: 10.18287/2223-9537-2021-11-1-35-50.
- Редозубов А.Д. Формализация смысла. Часть 3. Формирование контекстов. Онтология проектирования. 2021. Т.11, №4(42). С.437-449. DOI: 10.18287/2223-9537-2021-11-4-437-449.
- Гвоздев В.Е., Бежаева О.Я., Насырова Р.А. Модели возникновения ошибок на предпроектной стадии разработки компонент информационно-вычислительных систем. Онтология проектирования. 2020. Т.10, №1. С.73-86. DOI: 10.18287/2223-9537-2020-10-1-73-86.
- ГОСТ Р 50779.10-2000 Статистические методы. Вероятность и основы статистики. Термины и определения. Введѐн впервые 01.07.2001.