Оценка антропологического воздействия интерфейсов на этапе проектирования программно-аппаратного обеспечения
Автор: Шалагин С.В., Шалагина Г.Э.
Журнал: Онтология проектирования @ontology-of-designing
Рубрика: Общие вопросы формализации проектирования: онтологические аспекты и когнитивное моделирование
Статья в выпуске: 4 (54) т.14, 2024 года.
Бесплатный доступ
В информационном обществе по мере расширения и углубления предметной области человеческой деятельности происходит её непрерывная формализация, которая основана на онтологических моделях технических и естественных систем. Полнота информации о сложной предметной области, воспринимаемая пользователем, влечёт его информационную перегрузку. Данное обстоятельство способствует применению алгоритмов, представляющих информацию о предметной области в сжатом виде. В работе вводятся модифицированные показатели и качественные критерии, которые позволяют оценить возможность появления ошибок при сжатии информации о предметной области и оценить антропомерность интерфейса при использовании задаваемых экспертами пороговых значений показателей, как для алгоритмов искусственного интеллекта, так и для пользователей. Предложен метод количественной оценки антропологического воздействия интерфейсов прикладного уровня на этапе проектирования программно-аппаратного обеспечения. Метод включает восемь этапов, на которых оценивается понятность интерфейса программно-аппаратного обеспечения для адресатов: алгоритмов искусственного интеллекта и пользователей. Предложенный метод позволяет уменьшить вероятность создания деструктивного программно-аппаратного обеспечения.
Интерфейс, информационное воздействие, онтологическая модель, актор, пользователь, антропомерность, программно-аппаратное обеспечение, проектирование
Короткий адрес: https://sciup.org/170207426
IDR: 170207426 | УДК: 004.4’22, | DOI: 10.18287/2223-9537-2024-14-4-483-492
Assessing the anthropological impact of interfaces in the design stage of software and hardware
In the information society, as the scope of human activity expands and deepens, continuous formalisation occurs, underpinned by ontological models of technical and natural systems. The user's perception of comprehensive information about a complex subject area leads to information overload. This situation encourages the use of algorithms that present information in a compressed form. The paper introduces modified indicators and qualitative criteria to estimate the potential for errors in compressing subject area information, as well as evaluate the anthropometric nature of the interface using threshold values set by experts, both for artificial intelligence algorithms and users. A method is proposed for quantitatively assessing the anthropological impact of application-level interfaces during the design stage of hardware and software. The method consists of eight stages, which assess the comprehensibility of the hardware and software interface for both artificial intelligence algorithms and users. This approach reduces the likelihood of developing destructive hardware and software systems.
Текст научной статьи Оценка антропологического воздействия интерфейсов на этапе проектирования программно-аппаратного обеспечения
По мере распространения и внедрения киберфизических систем (КФС) в деятельность общества всё бо̀льшее значение приобретают интерфейсы прикладного уровня. При использовании указанных интерфейсов организуется взаимодействие программно-аппаратного обеспечения (ПАО), включённого в состав КФС, с различными акторами, как естественными (пользователи), так и искусственными (алгоритмы искусственного интеллекта, ИИ) [1]. От параметров интерфейса зависит качество взаимодействия акторов с ПАО различного назначения (см., например, [2, 3]). В контексте перехода от индустриального Общества 3.0 к постиндустриальному Обществу 4.0 акцент делался в бо̀льшей степени на физическое воздействие и в меньшей степени на информационное воздействие ПАО на пользователя [2]. С переходом к Обществу 5.0 акцент постепенно смещается в сторону информационного воздействия на актора. В связи с увеличением сложности и комплексности цифровых образов объектов информационное воздействие производится не только на пользователей, но и на ИИ. Это воздействие может носить латентный характер.
Технический объект и связанная с его созданием предметная область (ПрО) имеют искусственное происхождение и основаны на информационных моделях, описываемых формальными выражениями [4-10]. Данные выражения могут быть преобразованы ПАО в визуальные или аудио-визуальные отображения, понятные пользователю [9-11]. Развитие КФС сопровождается расширением и углублением внедрения вычислительной техники в естественные системы [12, 13]. Становится актуальным вопрос обеспечения относительно полноты отображения естественной ПрО через формальные выражения [14]. Если цифровой образ ПрО будет отображён в полном объёме, то на пользователя будет обрушена лавина информации, ведущая к его информационной перегрузке. Если цифровой образ будет отображён для пользователя в сжатом виде, используя алгоритмы ИИ, то повышается вероятность порождения у пользователя искажённого или неполного представления о ПрО, вызванного тем, что при сжатии может быть утеряна информация о характеристиках ПрО, важных для пользователя [15].
Информационное воздействие на пользователя ПАО заключается в том, что он составляет своё представление о ПрО на основе её онтологических моделей (ОМ). Оценка антропологического воздействия интерфейса на этапе проектирования ПАО может быть получена при использовании ОМ ПрО [16-20].
1 Количественные показатели для оценки ОМ ПрО
В период информационного Общества 4.0 стала возможной передача больших объёмов формализованной информации, что способствовало применению ИИ в качестве посредника между ПАО и пользователем.
В концепции Общества 5.0 адресатом может быть не только пользователь, но и ИИ. В данной связи актуализируются формализация информации о ПрО и антропомерность представления информации при проектировании интерфейса между ПАО и пользователем [15]. Понятие антропомерности интерфейса предполагает комплексный учёт трёхуровневой структуры антропологического знания: физического уровня (удобство технических устройств), социокультурного уровня (учёт норм, обычаев, социальных ритмов) и философского уровня (воодушевлённость техническими возможностями для свободы творчества). Функция антропомерности - величина качественная. В [16] введены количественные показатели таких характеристик ОМ ПрО, как её вербальная и системная понятность, в т.ч. среднее время понимания актором терминов ПрО и связей между ними. В данной работе предложена модификация указанных параметров применительно к возникающим в ОМ ПрО ошибкам первого и второго рода [21].
ОМ ПрО можно представить в виде помеченного графа G = (V, E, C), где V, E и C есть множества вершин графа, дуг, а также меток вершин CV и дуг CE, соответственно; C = CV о CE; |V| = n, E| = m, |CV| = n (если нет повторений понятий), |CE| е [1, m]. Число тер минов в ОМ формально определено как сумма N = |CV| + |CE|: N е[n + 1, n + m]. В случае, ко гда в графе G не все термины и/или связи между ними понятны актору, на него производится деструктивное информационное воздействие. Т.е. воздействие, связанное с оперированием на основе неверного представления о ПрО, возникающего ввиду неполного или недостоверного понимания её ОМ. Вербальная понятность ОМ определена коэффициентом [16]:
k w =
N — N us
N
где Nus - множество терминов, допустимых в ОМ, но непонятных адресату. Для разъяснения этих терминов требуется сформировать Nus матриц вида AS = (aijs), где aijs = 1, если j-я опера- ция применяется для трактовки i-го термина, иначе aijs = 0. Среднее время понимания адресатом Nus терминов определяется согласно формуле [16]:
T = ( Z N Z ‘ = 1 Е ' = 1 а -ф T~. (2)
При этом значение Т не должно превышать заданного допустимого граничного значения T max . Системная понятность ОМ (а также истинность или ложность связей между понятиями) определяется в [16] по аналогии с (1):
k sw =------ us- , (3)
m где mus - множество связей в ОМ, непонятных адресату или неверно понятых адресатом. Для оценки времени выяснения значений связей, непонятных адресату, можно воспользоваться формулой подобной (2).
Согласно [21] выделяют ошибки первого и второго рода. Ошибка первого рода - когда нулевая гипотеза верна, но по статистическому критерию отвергнута, признана ошибочной, произошло ложное срабатывание. Ошибка второго рода - когда нулевая гипотеза не верна, но согласно статистическому критерию ошибочно признана правильной.
В качестве нулевой гипотезы принимается отсутствие внутри ПрО события, значимого для пользователя (далее - События). Ошибкой первого рода будет то, что ОМ сигнализирует актору о наличии в ПрО События, которое на самом деле отсутствует. Ошибка второго рода - когда ОМ не идентифицирует в ПрО наличие События, которое в ней на самом деле присутствует. Можно модифицировать критерии (1) и (3) под данное определение События и ОМ ПрО и определить на основе критерия (1) вербальную понятность ОМ для адресата относительно ошибок первого и второго рода согласно двум критериям:
k W = N - Ns} , (4)
k (2) = N - N^
W N ’ где N - то же, что и в (1), Nu(1s) и Nu(s2) - множества терминов, допустимых в ОМ, но (4) -неверно понятых и (5) - непонятных адресату, соответственно.
Системную понятность ОМ относительно ошибок первого и второго рода на основе критерия (3) можно определить так:
С = m m , (6)
m k (2) _ m - mu2) kSW =
m где переменная m определена по аналогии с (3), mu(1s) - множество связей в ОМ неверно понятых адресатом, mu 2) - множество связей в ОМ, которые адресат не понял или не вос принял. Для оценки времени уточнения значения mUs) в (6) формула (2) модифицируется в следующий вид:
т(1)/y Nus )y k у ' z/1).^^1)
T ( Z s = 1 Е i = 1 Е j = 1 a ijs T j )- T ax
а для оценки времени выяснения m U 2) в (7) формула (2) представима как:
T <2> = ( Е N T Е k = Е ' = , a j ’ Tj 2 > ) - T® (9)
В (8) параметр N(uls) определён как в (4), aj = 1, если j -я операция применяется для коррекции неверной трактовки i-го термина, иначе aj = 0, тj^ - время, отведённое на применение j-й операции; в (9) параметр NU2) определён как в (5), aj) = 1, еслиj-я операция применяется для объяснения адресату i-го термина, иначе aj2) = 0, тj2) - время, отведённое на применение j-й операции.
В результате можно получить количественные показатели, которые позволяют оценить характеристики ОМ ПрО относительно ошибок адресата первого и второго рода:
-
■ вербальную понятность - показатели (4) и (5);
-
■ системную понятность - показатели (6) и (7);
-
■ время выяснения множества связей в ОМ - показатели (8) и (9).
В качестве адресатов могут быть пользователь и ИИ. Предполагается, что адресат формирует собственный образ ПрО как ОМ. Получаются две ОМ ПрО: для ИИ, которая представлена как помеченный граф G AI ; для пользователя, представленная в виде помеченного графа Gu . Указанные графы G AI и Gu представимы по аналогии с описанным графом G .
2 Метод оценки антропомерности интерфейса ПАО
Использование показателей (4) - (7) позволяет количественно оценить возможность ошибок адресата первого и второго рода при идентификации наличия События в ПрО путём взаимодействия с интерфейсом ПАО.
В ситуации, когда адресатом является ИИ, требуется, чтобы внутри ИИ была сформирована формальная ОМ (ФормОМ) ПрО в виде помеченного графа G AI . Для указанной модели оценка антропомерности заключается в вычислении показателей, количественно характеризующих возможность совершения и/или коррекции ошибок первого и второго рода.
(1) 7(2) 7(1) 7(2) 7(1)
Пусть для (4) - (9) экспертами заданы пороговые значения: k w , k w , k sw , k sw , T max и
Tmax, соответственно. Смысл их введения заключается в формализации процесса валидации интерфейса ПАО. Можно определить два множества показателей. Первое включает параметры (4), (6), (8), характеризующие наличие в терминах и связях GAI ошибок первого рода, идентификация и коррекция которых требует времени T (1). Второе множество включает параметры (5), (7), (9). Они характеризуют наличие в терминах и связях GAI ошибок второго рода, исправление которых требует времени T(2). Если хотя бы один показатель из заданного множества превышает пороговое значение, то интерфейс ПАО считается не антропомерным.
В противном случае интерфейс ПАО считается антропомерным. Формально указанное пра- вило задаётся при использовании пороговых функций вида:
/ ( a , b ) = ’
0:
1:
a < b a > b ,
где a - значение одного из показателей (4) - (9), b - его пороговое значение. Если функция /( a, b) равна 0, то показатель, тестируемый при её использовании, не превышает порогово- го значения; иначе - превышает. Можно ввести критерии:
p 1 ( G AI , k w , k sw , T max ) = max ( / ( k^, k w ) , / ( k ^W , k sw ) , / ( T (1), T Sx p 2 ( GAI , kS? , kSw , T max ) = max ( / ( k ^2) , kS? ) , у/ ( k^ , kSw ) , W ( T (2), T Sx
,
,
где k W , k W и T (1) вычислены на основе параметров графа G AI согласно (4), (6) и (8), соответственно; к ^ , k SW и T (2) вычислены на основе параметров графа G AI согласно (5), (7), (9).
Имеет место утверждение: для идентификации критического количества ошибок первого рода в терминах и связях графа G AI , время коррекции которых не превышает T Lx , требуется, чтобы значение критерия (10) было равно единице; для идентификации критического количества ошибок второго рода в терминах и связях графа G AI , время коррекции которых не (2)
превышает T max , требуется, чтобы значение критерия (11) было равно единице.
Критерии, аналогичные (10) и (11), вводятся для случая, когда адресатом при взаимодействии с интерфейсом ПАО является пользователь. При этом интерфейсная часть ПАО формируется при использовании ИИ, для которого выполняются следующие условия:
P 1 ( G AI , k w , k sw , T Lax ) = 0 и p 2 ( G AI , k w\ k Sv , T ^ax ) = 0 .
Т.е. ПрО для пользователя является ОМ, отображаемая при использовании графа GAI, а пользователь строит свою ОМ, заданную графом Gu. На основе указанного графа вычисляются показатели (4) - (9), для которых эксперты определяют свои пороговые значения kw , kw\ kSw, kSW, TLaX и T2X, соответственно, а также критерии (10) и (11): n(G к(1) ^(1) Тт (2) ^2) т(2И pl (Gu, kw , ksw, Tmax ) и p2 (Gu, kw , kSw, Tmax ) .
На основе приведённого утверждения, показателей (4) - (9) и критериев (10) и (11) предложен метод оценки антропомерности интерфейса ПАО (далее - Метод), который включает восемь этапов.
Этап 1. Синтез размеченного графа G AI , соответствующего заданной ПрО.
Этап 2. Вычисление показателей (4) - (9) для G AI .
Этап 3. Задание экспертами пороговых значений показателей (4) - (9), kw , k^, kSw, -j-(2) -(1) -(2) _ _ _ , „ r k S w , T max и T max , соответственно, для графа GAI.
Этап 4. Вычисление критериев (10) и (11) на основе графа G AI и пороговых значений, заданных на этапе 3, для которых проверяется условие (12); в случае не выполнения данного условия осуществляются переход к этапу 1 и редукция количества вершин и/или дуг G AI пока условие (12) не будет выполнено.
Этап 5. Синтез размеченного графа Gu на основе полученного графа G AI .
Этап 6. Вычисление показателей (4) - (9) для Gu .
Этап 7. Задание экспертами пороговых значений показателей (4) - (9), k (т) , k (w) , kSw , kSw , T ^x и T ax для графа G u .
Этап 8. Вычисление критериев (10) и (11) на основе графа Gu и пороговых значений, заданных на этапе 7.
Замечание 1 . В случае, когда на этапе 8 критерии р 1 ( Gu , k^ , k^ , T H) = 0 и P 2 ( Gu , k^, k S2) , T m^ ) = 0, интерфейс ПАО считается антропомерным для пользователя.
Замечание 2. Интерфейс ПАО считается не антропомерным в случае, когда на этапе 4 не выполняется условие (12) либо не выполняется условие, указанное в замечании 1.
3 Анализ результатов
Метод позволяет оценить антропомерность интерфейса ПАО, составной частью которого является ИИ. Ведущая роль при оценке антропомерности интерфейса принадлежит экспер- там, которые задают пороговые значения для показателей (4) - (9). Указанные показатели позволяют оценить наличие или отсутствие в интерфейсе ПАО предпосылок для возникновения ошибок первого и второго рода, которые приводят к негативному информационному воздействию на пользователя.
На этапе 1 происходит формирование ФормОМ ПрО для ИИ. Граф G AI может быть сформирован в соответствии с методом, изложенным в [1]. Важным является то, что в G AI понятия и связи между ними выражены, как правило, в терминах формальных грамматик. Такая форма представления ОМ ПрО больше адаптирована под алгоритмы ИИ, чем под пользователя-человека.
На этапе 2 осуществляется количественная оценка того, насколько адекватно граф G AI отображает заданную ПрО. Показатели (4) - (9) позволяют экспертам выявить слабые места ФормОМ ПрО, представленной в виде графа G AI . Во-первых, какого рода ошибки могут быть потенциально допущены ИИ; во-вторых, где кроется источник ошибок - в вербальной или системной понятности ФормОМ, либо во времени, которое требуется для уточнения и/или выявления тех или иных понятий.
На этапе 3 эксперты принимают решение: какие значения показателей (4) - (9) считать допустимыми для ФормОМ ПрО, представленной в виде графа G AI .
На этапе 4 предполагается, что ПрО относительно консервативна: в противном случае потребуется обновление графа G AI с целью отслеживания его соответствия ПрО и, как следствие, обновление показателей (4) - (9). При увеличении множества вершин и дуг G AI возрастает вероятность превышения показателями пороговых значений, заданных экспертами, т.е. не выполнения условия (12). В случае такого превышения возможны два варианта. Первый - редукция множества состояний и/или множества дуг G AI . Второй - увеличение экспертами пороговых значений показателей (4) - (9), вычисленных для G AI . Первый вариант влечёт за собой переложение на пользователя труда по идентификации понятий ПрО и связей между ними; второй - увеличение вероятности неверной идентификации указанных понятий и связей между ними и вероятности аберрированного представления пользователя о ПрО.
На этапе 5 ПрО представлена графом G AI , который создан и оценён экспертами на этапах 1 - 4. На основе G AI создаётся размеченный граф G u , множество состояний которого и связи между ними адаптированы для пользователя. Граф G AI называется ПрО, формализованной для пользователя. Степень формализации может зависеть от того, насколько пользователь является специалистом в заданной ПрО.
На этапе 6 производится количественная оценка того, насколько граф G u отображает понятия и связи между ними, которые применяются ИИ для отображения ПрО. Количественно оценивается возможность совершения пользователем ошибок первого и второго рода при восприятии понятий формализованной ПрО и связей между ними.
Этап 7 предполагает оценку экспертами порогового уровня значений показателей (4) -(9), вычисленных для G u . Экспертами выявляются слабые места при оценке пользователем ФормОМ ПрО: какого рода ошибки он может совершить и какова вероятная природа данных ошибок - непонятность ФормОМ или недопустимое время, требуемое для уточнения и/или выявления понятий ФормОМ.
На этапе 8 производится качественная оценка антропомерности интерфейса ПАО для ПрО, формализованной для пользователя.
Разработка предложенного метода актуальна в информационном обществе в силу того, что доля населения, вовлечённого в процессы обработки компьютерной информации, продолжает расти. Производители и заказчики заинтересованы в антропомерном качестве интерфейсов ПАО.
Примеры неантропомерности интерфейсов .
Негативные для пользователя информационные эффекты наблюдались в работе систем и приложений социального мониторинга режима самоизоляции во время пандемии COVID-19. Иногда заболевшим людям тре- бовалось отвечать на запросы систем в неантропомерное с биологических позиций время: ночью, без учётов природных биоритмов и самочувствия пользователя, а за несоблюдение правил в отношении пользователей ПАО предусматривались различные санкции (штрафы, визиты полиции).
Негативные информационные воздействия на пользователя через интерфейсы ПАО могут наблюдаться в бизнесе. Создатели делового ПАО порой не учитывают и не задают в качестве значимых для его работы такие параметры, как служебное время подразделения либо отдельных должностных лиц, ограничиваясь только системным временем. Указанные недостатки ПАО являются причинами неисполнения задач в срок, ведут к штрафным санкциям, к потере деловой репутации и др.
Негативное информационное воздействие можно найти в интерфейсах электронных издательских систем. Универсальный и транснациональный характер ПАО не учитывает национальные и языковые различия. В то время как стандарты оформления текста, действующие в той или иной культуре или сфере, в различных языках отличаются. Пользователи сталкиваются с негативным информационным воздействием от несоблюдения социокультурной антропомерности, связанной с учётом языковых особенностей.
Предлагается различать вредоносное ПАО, препятствующее нормальному использованию программного обеспечения, в т.ч. несущее физический и информационный вред другому ПАО, и деструктивное ПАО, деморализующее естественного актора, способное привести человека к мысли о тщетности творческих усилий, невозможности полностью воплотить свой замысел. Введение критериев антропомерности в систему оценки нового ПАО может способствовать повышению качества процессов цифровизации в Обществе 5.0.
Заключение
В работе предложен метод, позволяющий оценить степень антропомерности интерфейса ПАО для ИИ и для пользователя. Определены количественные показатели и качественные критерии, позволяющие формализовать отдельные этапы процесса проектирования интерфейсов, антропомерных для пользователя и основанных на ФормОМ. Данный метод позволяет оценить антропомерность спроектированного для пользователя интерфейса ПАО. Модифицированные показатели позволяют снизить вероятность совершения ошибок первого и второго рода при взаимодействии с интерфейсом ПАО, а также оценить время, требуемое для выяснения связей между понятиями ПрО для ИИ и для пользователей.
Использование предложенных в работе характеристик антропомерности ПАО как критериев качества цифровизации может применяться в ходе проектирования современного ПАО. Изложенные результаты позволяют определить некоторые направления и перспективы совершенствования процесса проектирования интерфейсов, оценить и разграничить роли человека и алгоритмов ИИ как адресатов в процессе проектирования интерфейсов ПАО для заданной ПрО.
Список литературы Оценка антропологического воздействия интерфейсов на этапе проектирования программно-аппаратного обеспечения
- Shalagin S.V., Shalagina G.E. Concept Formalization in Designing: Roles of Natural and Artificial Actors. Lobachevskii Journal of Mathematics, 2023, Vol.44, No.2. P.751–757. DOI: 10.1134/S1995080223020336.
- Назаренко Н.А., Падерно П.И. Влияние интерфейса на состояние и здоровье оператора. Биотехносфера. 2009. №6. С.45–52.
- Card Stuart K., Moran Thomas P., Newell, Allen. The psychology of human-computer interaction. 1st Edition. Boca Raton: CRC Press. 1983. 488 p. DOI: 10.1201/9780203736166.
- Негода В.Н., Куликова А.А. Сквозное проектирование автоматизированных систем на основе онтологий. Онтология проектирования. 2021. Т.11, №4(42). С.450-463. DOI: 10.18287/2223-9537-2021-11-4-450-463.
- Gizatullin Z., Nuriev M. Modeling the Electromagnetic Compatibility of Electronic Means under the Influence of Interference Through the Power Supply Network (2022) Proceedings-2022 International Conference on Industrial Engineering, Applications and Manufacturing, ICIEAM 2022, P.321-326. DOI: 10.1109/ICIEAM54945.2022.9787186.
- Raikhlin V.A., Vershinin I.S., Gibadullin R.F. On the condition of covering completeness in associative steganography (2021) Journal of Physics: Conference Series, 2096 (1), art. no. 012160. DOI: 10.1088/1742-6596/2096/1/012160.
- Vershinin I.S., Gibadullin R.F., Pystogov S.V., Raikhlin V.A. Associative Steganography. Durability of Associative Protection of Information. Lobachevskii Journal of Mathematics. 2020. 41(3). P.440-450. DOI: 10.1134/S1995080220030191.
- Курейчик В.М. Математическое обеспечение конструкторского и технологического проектирования с применением САПР. М.: Радио и связь, 1990. 352 c.
- Царев М.В., Андреев Ю.С. Цифровые двойники в промышленности: история развития, классификация, технологии, сценарии использования. Известия высших учебных заведений. Приборостроение. 2021. Т.64, №7. С.517-531. DOI 10.17586/0021-3454-2021-64-7-517-531.
- Бабушкин В.М., Шарафеев И.Ш., Трутнев В.В., Галямов Р.А., Бузов А.Л., Бузова Е.А. Интеграция программно-аппаратных комплексов планирования и мониторинга производительности в условиях развития инфокоммуникационных мультисервисных технологий промышленного предприятия // Радиотехника. 2019. Т.83, №6(7). С.12-17. DOI 10.18127/j00338486-201906(7)-03.
- Шарнин Л.М., Аун С., Альбитар Х. Комплексная информационно-измерительная система местоположения беспилотных летательных аппаратов // Вестник Казанского государственного технического университета им. А.Н. Туполева. 2010. №4. С.69-77.
- Щелкунов М.Д., Каримов А.Р. Общество 5.0 в технологическом, социальном и антропологическом измерениях // Вестник экономики, права и социологии, 2019, № 3. C.158-164.
- Сойфер В.А. Human fActor. Онтология проектирования. 2021. Т.11, №1(39). С.8-19. DOI: 10.18287/2223-9537-2021-11-1-8-19.
- Шалагина Г.Э., Шалагин С.В. Гуманитаризация в естествознании и технических науках: опыт междисциплинарного исследования. Математические методы в технике и технологиях - ММТТ. 2020. Т.1. С.103-106.
- Шалагин С.В., Шалагина Г.Э. Когнитивные проблемы проектирования на основе компьютерных моделей: технический и социо-гуманитарный аспекты. Онтология проектирования. 2016. Т.6, №3(21). С.368-376. DOI: 10.18287/2223-9537-2016-6-3-368-376.
- Микони С.В. Понятность онтологической модели как характеристика еѐ качества. Онтология проектирования. 2021. Т.11, №1(39). С.20-34. DOI: 10.18287/2223-9537-2021-11-1-20-34.
- Фаянс А.М. Взгляд на формализацию смысла с позиций трансдисциплинарного подхода. Онтология проектирования. 2021. Т.11, №3(41). С.294-308. DOI: 10.18287/2223-9537-2021-11-3-294-308.
- Боргест Н.М. Социально-экономический эффект онтологического анализа при создании информационных систем. Онтология проектирования. 2021. Т.11, №1(39). С.35-50. DOI: 10.18287/2223-9537-2021-11-1-35-50.
- Редозубов А.Д. Формализация смысла. Часть 3. Формирование контекстов. Онтология проектирования. 2021. Т.11, №4(42). С.437-449. DOI: 10.18287/2223-9537-2021-11-4-437-449.
- Гвоздев В.Е., Бежаева О.Я., Насырова Р.А. Модели возникновения ошибок на предпроектной стадии разработки компонент информационно-вычислительных систем. Онтология проектирования. 2020. Т.10, №1. С.73-86. DOI: 10.18287/2223-9537-2020-10-1-73-86.
- ГОСТ Р 50779.10-2000 Статистические методы. Вероятность и основы статистики. Термины и определения. Введѐн впервые 01.07.2001.