Оценка антропологического воздействия интерфейсов на этапе проектирования программно-аппаратного обеспечения

Бесплатный доступ

В информационном обществе по мере расширения и углубления предметной области человеческой деятельности происходит её непрерывная формализация, которая основана на онтологических моделях технических и естественных систем. Полнота информации о сложной предметной области, воспринимаемая пользователем, влечёт его информационную перегрузку. Данное обстоятельство способствует применению алгоритмов, представляющих информацию о предметной области в сжатом виде. В работе вводятся модифицированные показатели и качественные критерии, которые позволяют оценить возможность появления ошибок при сжатии информации о предметной области и оценить антропомерность интерфейса при использовании задаваемых экспертами пороговых значений показателей, как для алгоритмов искусственного интеллекта, так и для пользователей. Предложен метод количественной оценки антропологического воздействия интерфейсов прикладного уровня на этапе проектирования программно-аппаратного обеспечения. Метод включает восемь этапов, на которых оценивается понятность интерфейса программно-аппаратного обеспечения для адресатов: алгоритмов искусственного интеллекта и пользователей. Предложенный метод позволяет уменьшить вероятность создания деструктивного программно-аппаратного обеспечения.

Еще

Интерфейс, информационное воздействие, онтологическая модель, актор, пользователь, антропомерность, программно-аппаратное обеспечение, проектирование

Короткий адрес: https://sciup.org/170207426

IDR: 170207426   |   DOI: 10.18287/2223-9537-2024-14-4-483-492

Текст научной статьи Оценка антропологического воздействия интерфейсов на этапе проектирования программно-аппаратного обеспечения

По мере распространения и внедрения киберфизических систем (КФС) в деятельность общества всё бо̀льшее значение приобретают интерфейсы прикладного уровня. При использовании указанных интерфейсов организуется взаимодействие программно-аппаратного обеспечения (ПАО), включённого в состав КФС, с различными акторами, как естественными (пользователи), так и искусственными (алгоритмы искусственного интеллекта, ИИ) [1]. От параметров интерфейса зависит качество взаимодействия акторов с ПАО различного назначения (см., например, [2, 3]). В контексте перехода от индустриального Общества 3.0 к постиндустриальному Обществу 4.0 акцент делался в бо̀льшей степени на физическое воздействие и в меньшей степени на информационное воздействие ПАО на пользователя [2]. С переходом к Обществу 5.0 акцент постепенно смещается в сторону информационного воздействия на актора. В связи с увеличением сложности и комплексности цифровых образов объектов информационное воздействие производится не только на пользователей, но и на ИИ. Это воздействие может носить латентный характер.

Технический объект и связанная с его созданием предметная область (ПрО) имеют искусственное происхождение и основаны на информационных моделях, описываемых формальными выражениями [4-10]. Данные выражения могут быть преобразованы ПАО в визуальные или аудио-визуальные отображения, понятные пользователю [9-11]. Развитие КФС сопровождается расширением и углублением внедрения вычислительной техники в естественные системы [12, 13]. Становится актуальным вопрос обеспечения относительно полноты отображения естественной ПрО через формальные выражения [14]. Если цифровой образ ПрО будет отображён в полном объёме, то на пользователя будет обрушена лавина информации, ведущая к его информационной перегрузке. Если цифровой образ будет отображён для пользователя в сжатом виде, используя алгоритмы ИИ, то повышается вероятность порождения у пользователя искажённого или неполного представления о ПрО, вызванного тем, что при сжатии может быть утеряна информация о характеристиках ПрО, важных для пользователя [15].

Информационное воздействие на пользователя ПАО заключается в том, что он составляет своё представление о ПрО на основе её онтологических моделей (ОМ). Оценка антропологического воздействия интерфейса на этапе проектирования ПАО может быть получена при использовании ОМ ПрО [16-20].

1 Количественные показатели для оценки ОМ ПрО

В период информационного Общества 4.0 стала возможной передача больших объёмов формализованной информации, что способствовало применению ИИ в качестве посредника между ПАО и пользователем.

В концепции Общества 5.0 адресатом может быть не только пользователь, но и ИИ. В данной связи актуализируются формализация информации о ПрО и антропомерность представления информации при проектировании интерфейса между ПАО и пользователем [15]. Понятие антропомерности интерфейса предполагает комплексный учёт трёхуровневой структуры антропологического знания: физического уровня (удобство технических устройств), социокультурного уровня (учёт норм, обычаев, социальных ритмов) и философского уровня (воодушевлённость техническими возможностями для свободы творчества). Функция антропомерности - величина качественная. В [16] введены количественные показатели таких характеристик ОМ ПрО, как её вербальная и системная понятность, в т.ч. среднее время понимания актором терминов ПрО и связей между ними. В данной работе предложена модификация указанных параметров применительно к возникающим в ОМ ПрО ошибкам первого и второго рода [21].

ОМ ПрО можно представить в виде помеченного графа G = (V, E, C), где V, E и C есть множества вершин графа, дуг, а также меток вершин CV и дуг CE, соответственно; C = CV о CE; |V| = n, E| = m, |CV| = n (если нет повторений понятий), |CE| е [1, m]. Число тер минов в ОМ формально определено как сумма N = |CV| + |CE|: N е[n + 1, n + m]. В случае, ко гда в графе G не все термины и/или связи между ними понятны актору, на него производится деструктивное информационное воздействие. Т.е. воздействие, связанное с оперированием на основе неверного представления о ПрО, возникающего ввиду неполного или недостоверного понимания её ОМ. Вербальная понятность ОМ определена коэффициентом [16]:

k w =

N N us

N

где Nus - множество терминов, допустимых в ОМ, но непонятных адресату. Для разъяснения этих терминов требуется сформировать Nus матриц вида AS = (aijs), где aijs = 1, если j-я опера- ция применяется для трактовки i-го термина, иначе aijs = 0. Среднее время понимания адресатом Nus терминов определяется согласно формуле [16]:

T = ( Z N Z = 1 Е ' = 1 а T~.                    (2)

При этом значение Т не должно превышать заданного допустимого граничного значения T max . Системная понятность ОМ (а также истинность или ложность связей между понятиями) определяется в [16] по аналогии с (1):

k sw =------ us- ,                                            (3)

m где mus - множество связей в ОМ, непонятных адресату или неверно понятых адресатом. Для оценки времени выяснения значений связей, непонятных адресату, можно воспользоваться формулой подобной (2).

Согласно [21] выделяют ошибки первого и второго рода. Ошибка первого рода - когда нулевая гипотеза верна, но по статистическому критерию отвергнута, признана ошибочной, произошло ложное срабатывание. Ошибка второго рода - когда нулевая гипотеза не верна, но согласно статистическому критерию ошибочно признана правильной.

В качестве нулевой гипотезы принимается отсутствие внутри ПрО события, значимого для пользователя (далее - События). Ошибкой первого рода будет то, что ОМ сигнализирует актору о наличии в ПрО События, которое на самом деле отсутствует. Ошибка второго рода - когда ОМ не идентифицирует в ПрО наличие События, которое в ней на самом деле присутствует. Можно модифицировать критерии (1) и (3) под данное определение События и ОМ ПрО и определить на основе критерия (1) вербальную понятность ОМ для адресата относительно ошибок первого и второго рода согласно двум критериям:

k W = N - Ns} ,                                  (4)

k (2) = N - N^

W N ’ где N - то же, что и в (1), Nu(1s) и Nu(s2) - множества терминов, допустимых в ОМ, но (4) -неверно понятых и (5) - непонятных адресату, соответственно.

Системную понятность ОМ относительно ошибок первого и второго рода на основе критерия (3) можно определить так:

С = m m ,                             (6)

m k (2) _ m - mu2) kSW =

m где переменная m определена по аналогии с (3), mu(1s) - множество связей в ОМ неверно понятых адресатом, mu 2) - множество связей в ОМ, которые адресат не понял или не вос принял. Для оценки времени уточнения значения mUs) в (6) формула (2) модифицируется в следующий вид:

т(1)/y Nus )y k у ' z/1).^^1)

T     ( Z s = 1 Е i = 1 Е j = 1 a ijs T j )- T ax

а для оценки времени выяснения m U 2) в (7) формула (2) представима как:

T <2> = ( Е N T Е k = Е ' = , a j ’ Tj 2 > ) - T®                        (9)

В (8) параметр N(uls) определён как в (4), aj = 1, если j -я операция применяется для коррекции неверной трактовки i-го термина, иначе aj = 0, тj^ - время, отведённое на применение j-й операции; в (9) параметр NU2) определён как в (5), aj) = 1, еслиj-я операция применяется для объяснения адресату i-го термина, иначе aj2) = 0, тj2) - время, отведённое на применение j-й операции.

В результате можно получить количественные показатели, которые позволяют оценить характеристики ОМ ПрО относительно ошибок адресата первого и второго рода:

  •    вербальную понятность - показатели (4) и (5);

  •    системную понятность - показатели (6) и (7);

  •    время выяснения множества связей в ОМ - показатели (8) и (9).

В качестве адресатов могут быть пользователь и ИИ. Предполагается, что адресат формирует собственный образ ПрО как ОМ. Получаются две ОМ ПрО: для ИИ, которая представлена как помеченный граф G AI ; для пользователя, представленная в виде помеченного графа Gu . Указанные графы G AI и Gu представимы по аналогии с описанным графом G .

2    Метод оценки антропомерности интерфейса ПАО

Использование показателей (4) - (7) позволяет количественно оценить возможность ошибок адресата первого и второго рода при идентификации наличия События в ПрО путём взаимодействия с интерфейсом ПАО.

В ситуации, когда адресатом является ИИ, требуется, чтобы внутри ИИ была сформирована формальная ОМ (ФормОМ) ПрО в виде помеченного графа G AI . Для указанной модели оценка антропомерности заключается в вычислении показателей, количественно характеризующих возможность совершения и/или коррекции ошибок первого и второго рода.

(1) 7(2) 7(1) 7(2) 7(1)

Пусть для (4) - (9) экспертами заданы пороговые значения: k w , k w , k sw , k sw , T max и

Tmax, соответственно. Смысл их введения заключается в формализации процесса валидации интерфейса ПАО. Можно определить два множества показателей. Первое включает параметры (4), (6), (8), характеризующие наличие в терминах и связях GAI ошибок первого рода, идентификация и коррекция которых требует времени T (1). Второе множество включает параметры (5), (7), (9). Они характеризуют наличие в терминах и связях GAI ошибок второго рода, исправление которых требует времени T(2). Если хотя бы один показатель из заданного множества превышает пороговое значение, то интерфейс ПАО считается не антропомерным.

В противном случае интерфейс ПАО считается антропомерным. Формально указанное пра- вило задаётся при использовании пороговых функций вида:

/ ( a , b ) = ’

0:

1:

a b a b ,

где a - значение одного из показателей (4) - (9), b - его пороговое значение. Если функция /( a, b) равна 0, то показатель, тестируемый при её использовании, не превышает порогово- го значения; иначе - превышает. Можно ввести критерии:

p 1 ( G AI , k w , k sw , T max ) = max ( / ( k^, k w ) , / ( k ^W , k sw ) , / ( T (1), T Sx p 2 ( GAI , kS? , kSw , T max ) = max ( / ( k ^2) , kS? ) , у/ ( k^ , kSw ) , W ( T (2), T Sx

,

,

где k W , k W и T (1) вычислены на основе параметров графа G AI согласно (4), (6) и (8), соответственно; к ^ , k SW и T (2) вычислены на основе параметров графа G AI согласно (5), (7), (9).

Имеет место утверждение: для идентификации критического количества ошибок первого рода в терминах и связях графа G AI , время коррекции которых не превышает T Lx , требуется, чтобы значение критерия (10) было равно единице; для идентификации критического количества ошибок второго рода в терминах и связях графа G AI , время коррекции которых не (2)

превышает T max , требуется, чтобы значение критерия (11) было равно единице.

Критерии, аналогичные (10) и (11), вводятся для случая, когда адресатом при взаимодействии с интерфейсом ПАО является пользователь. При этом интерфейсная часть ПАО формируется при использовании ИИ, для которого выполняются следующие условия:

P 1 ( G AI , k w , k sw , T Lax ) = 0 и p 2 ( G AI , k w\ k Sv , T ^ax ) = 0 .

Т.е. ПрО для пользователя является ОМ, отображаемая при использовании графа GAI, а пользователь строит свою ОМ, заданную графом Gu. На основе указанного графа вычисляются показатели (4) - (9), для которых эксперты определяют свои пороговые значения kw , kw\ kSw, kSW, TLaX и T2X, соответственно, а также критерии (10) и (11): n(G к(1) ^(1) Тт              (2) ^2) т(2И pl (Gu, kw , ksw, Tmax ) и p2 (Gu, kw , kSw, Tmax ) .

На основе приведённого утверждения, показателей (4) - (9) и критериев (10) и (11) предложен метод оценки антропомерности интерфейса ПАО (далее - Метод), который включает восемь этапов.

Этап 1. Синтез размеченного графа G AI , соответствующего заданной ПрО.

Этап 2. Вычисление показателей (4) - (9) для G AI .

Этап 3. Задание экспертами пороговых значений показателей (4) - (9), kw , k^, kSw, -j-(2)  -(1)    -(2)  _    _  _         , „ r k S w , T max и T max , соответственно, для графа GAI.

Этап 4. Вычисление критериев (10) и (11) на основе графа G AI и пороговых значений, заданных на этапе 3, для которых проверяется условие (12); в случае не выполнения данного условия осуществляются переход к этапу 1 и редукция количества вершин и/или дуг G AI пока условие (12) не будет выполнено.

Этап 5. Синтез размеченного графа Gu на основе полученного графа G AI .

Этап 6. Вычисление показателей (4) - (9) для Gu .

Этап 7. Задание экспертами пороговых значений показателей (4) - (9), k (т) , k (w) , kSw , kSw , T ^x и T ax для графа G u .

Этап 8. Вычисление критериев (10) и (11) на основе графа Gu и пороговых значений, заданных на этапе 7.

Замечание 1 . В случае, когда на этапе 8 критерии р 1 ( Gu , k^ , k^ , T H) = 0 и P 2 ( Gu , k^, k S2) , T m^ ) = 0, интерфейс ПАО считается антропомерным для пользователя.

Замечание 2. Интерфейс ПАО считается не антропомерным в случае, когда на этапе 4 не выполняется условие (12) либо не выполняется условие, указанное в замечании 1.

3    Анализ результатов

Метод позволяет оценить антропомерность интерфейса ПАО, составной частью которого является ИИ. Ведущая роль при оценке антропомерности интерфейса принадлежит экспер- там, которые задают пороговые значения для показателей (4) - (9). Указанные показатели позволяют оценить наличие или отсутствие в интерфейсе ПАО предпосылок для возникновения ошибок первого и второго рода, которые приводят к негативному информационному воздействию на пользователя.

На этапе 1 происходит формирование ФормОМ ПрО для ИИ. Граф G AI может быть сформирован в соответствии с методом, изложенным в [1]. Важным является то, что в G AI понятия и связи между ними выражены, как правило, в терминах формальных грамматик. Такая форма представления ОМ ПрО больше адаптирована под алгоритмы ИИ, чем под пользователя-человека.

На этапе 2 осуществляется количественная оценка того, насколько адекватно граф G AI отображает заданную ПрО. Показатели (4) - (9) позволяют экспертам выявить слабые места ФормОМ ПрО, представленной в виде графа G AI . Во-первых, какого рода ошибки могут быть потенциально допущены ИИ; во-вторых, где кроется источник ошибок - в вербальной или системной понятности ФормОМ, либо во времени, которое требуется для уточнения и/или выявления тех или иных понятий.

На этапе 3 эксперты принимают решение: какие значения показателей (4) - (9) считать допустимыми для ФормОМ ПрО, представленной в виде графа G AI .

На этапе 4 предполагается, что ПрО относительно консервативна: в противном случае потребуется обновление графа G AI с целью отслеживания его соответствия ПрО и, как следствие, обновление показателей (4) - (9). При увеличении множества вершин и дуг G AI возрастает вероятность превышения показателями пороговых значений, заданных экспертами, т.е. не выполнения условия (12). В случае такого превышения возможны два варианта. Первый - редукция множества состояний и/или множества дуг G AI . Второй - увеличение экспертами пороговых значений показателей (4) - (9), вычисленных для G AI . Первый вариант влечёт за собой переложение на пользователя труда по идентификации понятий ПрО и связей между ними; второй - увеличение вероятности неверной идентификации указанных понятий и связей между ними и вероятности аберрированного представления пользователя о ПрО.

На этапе 5 ПрО представлена графом G AI , который создан и оценён экспертами на этапах 1 - 4. На основе G AI создаётся размеченный граф G u , множество состояний которого и связи между ними адаптированы для пользователя. Граф G AI называется ПрО, формализованной для пользователя. Степень формализации может зависеть от того, насколько пользователь является специалистом в заданной ПрО.

На этапе 6 производится количественная оценка того, насколько граф G u отображает понятия и связи между ними, которые применяются ИИ для отображения ПрО. Количественно оценивается возможность совершения пользователем ошибок первого и второго рода при восприятии понятий формализованной ПрО и связей между ними.

Этап 7 предполагает оценку экспертами порогового уровня значений показателей (4) -(9), вычисленных для G u . Экспертами выявляются слабые места при оценке пользователем ФормОМ ПрО: какого рода ошибки он может совершить и какова вероятная природа данных ошибок - непонятность ФормОМ или недопустимое время, требуемое для уточнения и/или выявления понятий ФормОМ.

На этапе 8 производится качественная оценка антропомерности интерфейса ПАО для ПрО, формализованной для пользователя.

Разработка предложенного метода актуальна в информационном обществе в силу того, что доля населения, вовлечённого в процессы обработки компьютерной информации, продолжает расти. Производители и заказчики заинтересованы в антропомерном качестве интерфейсов ПАО.

Примеры неантропомерности интерфейсов .

Негативные для пользователя информационные эффекты наблюдались в работе систем и приложений социального мониторинга режима самоизоляции во время пандемии COVID-19. Иногда заболевшим людям тре- бовалось отвечать на запросы систем в неантропомерное с биологических позиций время: ночью, без учётов природных биоритмов и самочувствия пользователя, а за несоблюдение правил в отношении пользователей ПАО предусматривались различные санкции (штрафы, визиты полиции).

Негативные информационные воздействия на пользователя через интерфейсы ПАО могут наблюдаться в бизнесе. Создатели делового ПАО порой не учитывают и не задают в качестве значимых для его работы такие параметры, как служебное время подразделения либо отдельных должностных лиц, ограничиваясь только системным временем. Указанные недостатки ПАО являются причинами неисполнения задач в срок, ведут к штрафным санкциям, к потере деловой репутации и др.

Негативное информационное воздействие можно найти в интерфейсах электронных издательских систем. Универсальный и транснациональный характер ПАО не учитывает национальные и языковые различия. В то время как стандарты оформления текста, действующие в той или иной культуре или сфере, в различных языках отличаются. Пользователи сталкиваются с негативным информационным воздействием от несоблюдения социокультурной антропомерности, связанной с учётом языковых особенностей.

Предлагается различать вредоносное ПАО, препятствующее нормальному использованию программного обеспечения, в т.ч. несущее физический и информационный вред другому ПАО, и деструктивное ПАО, деморализующее естественного актора, способное привести человека к мысли о тщетности творческих усилий, невозможности полностью воплотить свой замысел. Введение критериев антропомерности в систему оценки нового ПАО может способствовать повышению качества процессов цифровизации в Обществе 5.0.

Заключение

В работе предложен метод, позволяющий оценить степень антропомерности интерфейса ПАО для ИИ и для пользователя. Определены количественные показатели и качественные критерии, позволяющие формализовать отдельные этапы процесса проектирования интерфейсов, антропомерных для пользователя и основанных на ФормОМ. Данный метод позволяет оценить антропомерность спроектированного для пользователя интерфейса ПАО. Модифицированные показатели позволяют снизить вероятность совершения ошибок первого и второго рода при взаимодействии с интерфейсом ПАО, а также оценить время, требуемое для выяснения связей между понятиями ПрО для ИИ и для пользователей.

Использование предложенных в работе характеристик антропомерности ПАО как критериев качества цифровизации может применяться в ходе проектирования современного ПАО. Изложенные результаты позволяют определить некоторые направления и перспективы совершенствования процесса проектирования интерфейсов, оценить и разграничить роли человека и алгоритмов ИИ как адресатов в процессе проектирования интерфейсов ПАО для заданной ПрО.

Список литературы Оценка антропологического воздействия интерфейсов на этапе проектирования программно-аппаратного обеспечения

  • Shalagin S.V., Shalagina G.E. Concept Formalization in Designing: Roles of Natural and Artificial Actors. Lobachevskii Journal of Mathematics, 2023, Vol.44, No.2. P.751–757. DOI: 10.1134/S1995080223020336.
  • Назаренко Н.А., Падерно П.И. Влияние интерфейса на состояние и здоровье оператора. Биотехносфера. 2009. №6. С.45–52.
  • Card Stuart K., Moran Thomas P., Newell, Allen. The psychology of human-computer interaction. 1st Edition. Boca Raton: CRC Press. 1983. 488 p. DOI: 10.1201/9780203736166.
  • Негода В.Н., Куликова А.А. Сквозное проектирование автоматизированных систем на основе онтологий. Онтология проектирования. 2021. Т.11, №4(42). С.450-463. DOI: 10.18287/2223-9537-2021-11-4-450-463.
  • Gizatullin Z., Nuriev M. Modeling the Electromagnetic Compatibility of Electronic Means under the Influence of Interference Through the Power Supply Network (2022) Proceedings-2022 International Conference on Industrial Engineering, Applications and Manufacturing, ICIEAM 2022, P.321-326. DOI: 10.1109/ICIEAM54945.2022.9787186.
  • Raikhlin V.A., Vershinin I.S., Gibadullin R.F. On the condition of covering completeness in associative steganography (2021) Journal of Physics: Conference Series, 2096 (1), art. no. 012160. DOI: 10.1088/1742-6596/2096/1/012160.
  • Vershinin I.S., Gibadullin R.F., Pystogov S.V., Raikhlin V.A. Associative Steganography. Durability of Associative Protection of Information. Lobachevskii Journal of Mathematics. 2020. 41(3). P.440-450. DOI: 10.1134/S1995080220030191.
  • Курейчик В.М. Математическое обеспечение конструкторского и технологического проектирования с применением САПР. М.: Радио и связь, 1990. 352 c.
  • Царев М.В., Андреев Ю.С. Цифровые двойники в промышленности: история развития, классификация, технологии, сценарии использования. Известия высших учебных заведений. Приборостроение. 2021. Т.64, №7. С.517-531. DOI 10.17586/0021-3454-2021-64-7-517-531.
  • Бабушкин В.М., Шарафеев И.Ш., Трутнев В.В., Галямов Р.А., Бузов А.Л., Бузова Е.А. Интеграция программно-аппаратных комплексов планирования и мониторинга производительности в условиях развития инфокоммуникационных мультисервисных технологий промышленного предприятия // Радиотехника. 2019. Т.83, №6(7). С.12-17. DOI 10.18127/j00338486-201906(7)-03.
  • Шарнин Л.М., Аун С., Альбитар Х. Комплексная информационно-измерительная система местоположения беспилотных летательных аппаратов // Вестник Казанского государственного технического университета им. А.Н. Туполева. 2010. №4. С.69-77.
  • Щелкунов М.Д., Каримов А.Р. Общество 5.0 в технологическом, социальном и антропологическом измерениях // Вестник экономики, права и социологии, 2019, № 3. C.158-164.
  • Сойфер В.А. Human fActor. Онтология проектирования. 2021. Т.11, №1(39). С.8-19. DOI: 10.18287/2223-9537-2021-11-1-8-19.
  • Шалагина Г.Э., Шалагин С.В. Гуманитаризация в естествознании и технических науках: опыт междисциплинарного исследования. Математические методы в технике и технологиях - ММТТ. 2020. Т.1. С.103-106.
  • Шалагин С.В., Шалагина Г.Э. Когнитивные проблемы проектирования на основе компьютерных моделей: технический и социо-гуманитарный аспекты. Онтология проектирования. 2016. Т.6, №3(21). С.368-376. DOI: 10.18287/2223-9537-2016-6-3-368-376.
  • Микони С.В. Понятность онтологической модели как характеристика еѐ качества. Онтология проектирования. 2021. Т.11, №1(39). С.20-34. DOI: 10.18287/2223-9537-2021-11-1-20-34.
  • Фаянс А.М. Взгляд на формализацию смысла с позиций трансдисциплинарного подхода. Онтология проектирования. 2021. Т.11, №3(41). С.294-308. DOI: 10.18287/2223-9537-2021-11-3-294-308.
  • Боргест Н.М. Социально-экономический эффект онтологического анализа при создании информационных систем. Онтология проектирования. 2021. Т.11, №1(39). С.35-50. DOI: 10.18287/2223-9537-2021-11-1-35-50.
  • Редозубов А.Д. Формализация смысла. Часть 3. Формирование контекстов. Онтология проектирования. 2021. Т.11, №4(42). С.437-449. DOI: 10.18287/2223-9537-2021-11-4-437-449.
  • Гвоздев В.Е., Бежаева О.Я., Насырова Р.А. Модели возникновения ошибок на предпроектной стадии разработки компонент информационно-вычислительных систем. Онтология проектирования. 2020. Т.10, №1. С.73-86. DOI: 10.18287/2223-9537-2020-10-1-73-86.
  • ГОСТ Р 50779.10-2000 Статистические методы. Вероятность и основы статистики. Термины и определения. Введѐн впервые 01.07.2001.
Еще
Статья научная