Квалиметрические подходы к оценке качества программного обеспечения инженерного анализа

Целью данного исследования является анализ подходов к разработке методов оценки качества программного обеспечения (ПО) инженерного анализа, применяемого для решения задач автомобилестроения, и выработка рекомендаций по применению тех или иных методов.

В настоящее время всё больше изделий в различных отраслях промышленности становятся наукоемкими и высокотехнологичными. Согласно Д.В. Антипову, «… с каждым годом требования потребителей к качеству продукции неуклонно возрастают и расширяются. Компания, стремящаяся укрепить свои позиции на конкурентном рынке, должна постоянно инвестировать в качество…» [1]. Это в значительной мере касается и автомобилестроительной отрасли – не случайно автопром «… является одной из самых конкурентный и высокотехнологичных отраслей промышленности» [2]. Тем более что согласно применяемой в автомобильной промышленности в последние годы новой концепции организации инжиниринга (использование модульной структуры), «наблюдается интенсификация процесса проектирования <...>. Такая интенсификация обеспечивает разработку основных систем автомобиля по всей линейке перспективных моделей с максимальной унификацией и применением результатов разработки на автомобилях разных моделей.» [3].

Интенсификация проектирования автомобилей и их узлов и компонентов с целью вывода на рынок конкурентоспособной продукции в кратчайшие сроки требует решения сложных мультидис-циплинарных задач и современного и грамотного подхода, который невозможен без использования методов компьютерного моделирования, т.е. без применения специализированного ПО – про граммных систем компьютерного инжиниринга (CAE-систем) различных классов и назначения.

В настоящее время на рынке Российской Федерации присутствуют в основном CAE-системы российской разработки. При этом у многих предприятий осталось приобретенное до 2022 года ПО зарубежных производителей (вендоров), которое предназначено для решения мультидисциплинар-ных задач либо моделирования производственных процессов, однако в подавляющем большинстве случаев его невозможно обновить либо получить на данное ПО релевантную техническую поддержку. Соответственно, перед российскими предприятиями, научно-исследовательскими институтами и техническими вузами остро стоит вопрос о выборе и внедрении в свою деятельность отечественного ПО инженерного анализа, не уступающего ушедшим с российского рынка зарубежным аналогам. В свою очередь, перед российскими разработчиками CAE-систем встает задача скорейшего усовершенствования своей продукции, улучшение ее качества и конкурентоспособности для удовлетворения растущей потребности отечественного рынка и, в перспективе, для вывода данного ПО на рынки дружественных стран.

Таким образом, важной задачей является разработка методов оценки качества ПО инженерного анализа (в первую очередь – CAE-систем), а также оценка влияния качество данного ПО на его конкурентоспособность на рынке.

МЕТОДЫ ИССЛЕДОВАНИЯ

Используемые предприятиями и НИИ CAE-системы условно можно разделить на три группы:

• -    предназначенные для решения различных физико-механических задач, такие как анализ механики деформируемого твердого тела, расчет усталости конструкций, задачи гидрогазодинамики, динамики и кинематики сложных механических систем, теплопередачи, разрушения и др., численными методами (Группа 1);

• -    предназначенные для моделирования различных технологических процессов (литья металлов / пластмасс, обработки металлов давлением, экструзии, сварки, и др.) и расчета возможных дефектов, возникающих в результате применения этих процессов при изготовлении изделия (Группа 2);

• -    предназначенные для 1D моделирования, при котором создается расчетная модель, в которой цифровые аналоги всех блоков изделия (например, автомобиля) симулируют реальную работу, а также моделируются связи между отдельными блоками (Группа 3).

Особняком стоит выделить онлайн-базы (электронные базы) физико-механических свойств материалов, которые, не являясь CAE-системами по своей сути, играют важную роль в процессе инженерного анализа, позволяя находить и импортировать верифицированные данные о материалов (карты материалов) в CAE-системы, в которых инженеры создают расчетные модели.

Предлагается рассмотреть несколько методов оценки качества ПО инженерного анализа и сравнения конкретной CAE-системы с эталонной.

Самый простой, и в то же время самый оперативный способ – простейший расчетный метод, представляющий собой количественное сравнение функциональных характеристик. При этом для более показательной оценки рекомендуется добавить весовые коэффициенты функциональным характеристикам (например, используя систему баллов), привлекая соответствующих экспертов, которые могут оценить значимость той или иной характеристики для решения определенных инженерных задач.

Соответствующим способом в [4] проведено в качестве примера сравнение двух программных систем прочностного анализа российской разработки (CAE Fidesys и APM WinMachine) с аналогичным ПО китайского разработчика – ZWSim Structural. В количественное сравнение соответствующих характеристик включены весовые коэффициенты каждой характеристики, определенные экспертом. Автор предлагает также простейший (базовый) метод оценки конкурентоспособности ПО, используя формулу

K = Q /p , (1) где K является безразмерным показателем конкурентоспособности ПО, Q – качеством, измеряемым в набранных баллах (с учетом весовых коэффициентов), а p – ценой одного рабочего места ПО в условных единицах.

Однако данный подход применим лишь для первичной, грубой оценки качества ПО – в силу того, что не в полной мере учитывает единичные и не учитывает комплексные показатели качества продукта. Как отмечается в [5], использование единичных и комплексных показателей качества ПО имеет особенную значимость для лиц, принимающих решение о закупке ПО и его внедрении в деятельность предприятия (или вуза). Это объясняется в том числе и тем, что при рассмотрении внедрения того или иного ПО в деятельность организации следует принимать во внимание как возможности ПО в области решения инженерных задач (с учетом соответствующих весовых коэффициентов, определяемых, помимо прочего, значимостью, сложностью и частотой решения соответствующих задач, которые для каждой отрасли производства либо для каждого направления обучения в вузе могут быть свои), так и качество технической поддержки, системы лицензирования и других важных характеристик ПО. При это немаловажно отметить, что «…практически все соглашаются с тем, что всякое качество имеет бесконечное число количественных градаций» [6], что означает, что при выборе единичных показателей качества ПО и формировании групповых показателей качества ПО требуется использовать разумное количество функциональных свойств и параметров столь сложного продукта, которое представляет собой современная CAE-система.

В [7] разрабатываются критерии качества ПО инженерного анализа на примере ПО для моделирования технологического процесса – литья пластмасс под давлением. Показано, что к узкоспециализированному ПО (входящему в условную Группу 2, определенную выше), предназначенному для моделирования технологических процессов, применимы те же подходы оценки качества, что и к более широко распространенному ПО инженерного анализа (предназначенного, например, для решения задач механики деформируемого твердого тела или гидрогазодинамики), т.к. принципы работы того и другого ПО идентичны. Показано, что для разработки критериев качества ПО требуется провести систематизацию тех или иных характеристик ПО, по которым оценивается его качество. Традиционно наиболее удобный способ реализации такого подхода – построение дерева показателя качества, что достаточно распространено в квалиметрии [8].

При этом отмечается, что оценивать характеристики ПО, которые являются единичными показателями качества, зачастую целесообразно с привлечением экспертов, которые разрабатывают шкалу экспертной оценки характеристик продукта и присваивают определенное количество баллов каждому из единичных показателей по таким критериям, как, например, актуальность конкретного свойства для пользователя, широта функциональных возможностей, степень влияния на качество и скорость выполняемых расчетов [7].

С помощью данной шкалы создается таблица показателей качества ПО, выбирается эталонное ПО, относительно которого будет проводиться сравнение других программных продуктов с эталоном, и оцениваются значения единичных и комплексных показателей качества:

A *B *C

_ j jj

n ,

У A.. *B *C ij ij ij

где m _ij – коэффициент весомости единичных показателей, i – номер группы, j – номер признака внутри группы.

Оценку по всей группе показателей и определить коэффициент весомости для всей группы можно, соответственно, по формулам:

n

ПК i _ ^ A * B j * C * m₉ ;                          (3)

i = 1

^_

ПК ,

n

Ё ПК, i = 1

.

Так, в [7] приводится таблица (см. Таблицу 1 [7]) оценки качества ПО инженерного анализа (в конкретном случае – предназначенного для моделирования технологического процесса литья пластмасс, что особенно актуально для решения задач автомобильной отрасли, где количество полимерных изделий велико, а точность их изготовления очень важна) с точки зрения пользователя, коэффициент весомости показателей в которой зависит от баллов по шкале экспертной оценке, вводимой экспертами, работающими в ПО данного класса. При этом анализируются функциональные характеристики ПО, декларируемые вендором в рабочей документации (в данном случае – ПО Moldex3D [9]). Соответственно, заполнив данную таблицу и применив для расчета формулы 2-4, можно оценить комплексный показатель качества ПО, взятого за эталон, а далее произвести аналогичный расчет для сравниваемых программных продуктов и определить их отставание от эталона (либо установить тот факт, что определенное ПО имеет комплексный показатель качества выше, чем у эталона).

Как видно из примеров выше, в силу большого количества единичных показателей качества (при анализе современного ПО для инженерного анализа), многие из которых сложно измерить количественно и для которых требуется экспертная оценка, оптимальным является интегральный метод оценки качества ПО, включающий в себя как применение расчетного метода, так и экспертного подхода.

С точки зрения методов исследования качества ПО также возможно рассмотреть применение QFD метода – метод развертывания функции качества.

Таблица 1. Расчет комплексного показателя качества ПО для инженерного анализа.

Группы показателей	Показатель качества	А	В	С	Оценка показателя (А*Б*С)	Коэф, весомости	Оценка группы показателей	Коэф. весомости для группы
Препроцессор	Интерфейс	3	3	2	18	0,290	16,700	0,404
	Генератор сетки	3	2	3	18	0,290
	Задание условий процесса	3	3	2	18	0,290
	Настройки решателя	2	2	2	8	0,130
Промежуточные значения					62	1,000
Решатель	Течение расплава	3	3	1	9	0,107	11,997	0,291
	Литье с водой / газом	1	3	1	3	0,036
	Расчет коробления / усадки	3	3	2	18	0,214
	Литье со вставкой	2	3	1	6	0,071
	RTM-технология	1	3	1	3	0,036
	Литье композитов	2	3	2	12	0,144
	Расчет охлаждения	3	3	2	18	0,214
	Конформное охлаждение	2	3	1	6	0,071
	Подпрессовка	1	3	1	3	0,036
	Параллельные расчеты	2	1	3	6	0,071
Промежуточные значения					84	1,000
Постпроцессор	Визуализация потоков	3	3	2	18	0,450	12,600	0,305
	Оценка эффективности охлаждения	3	2	2	12	0,300
	Рассечение модели	2	2	1	4	0,100
	Диаграммы и графики	2	2	1	4	0,100
	Автоматизированные отчеты	1	2	1	2	0,050
Промежуточные значения					40	1,000
						Сумма	41,297	1,000

Комплексный показатель качества*                     |              |            | 46,816 |

^Рассчитывается какКПК= 16,700*0,404+ 11,997*0,291 + 12,600*0,305 = 14,081

Развертывание функции качества продукта, согласно QFD-методу, осуществляется с использованием матричной диаграммы (рис. 1), названной в соответствии со своей формой «Дом качества» [10].

При этом центральная часть дома «3» – таблица, столбцы которой соответствуют характеристикам продукта «2», а строки – требованиям потребителя «1». В клетках отмечается уровень зависимости (при наличии). Крышу дома «5» представляют сведения о корреляции между характеристиками

Рис. 1. Общая структура Дома качества

продукта, при этом правая комната «4» включает в себя оценку выполнения требований (с точки зрения потребителя) для существующих на рынке аналогов продукта, а левая комната «1» - столбец важности требований для конечного пользователя. Подвал дома «6» содержит результаты анализа характеристик конкурирующей продукции (аналогов), целевые значения характеристик разрабатываемого продукта и оценки абсолютной и относительной важности характеристик (фактически - коэффициенты ве- сомости) [10].

Для применения QFD к анализу качества ПО, применяемого для решения задач автомобильной промышленности, требуется прежде всего определить, какое ПО стоит рассматривать в приоритете. Согласно [11], автомобильная промышленность представляет собой наиболее динамичную и восприимчивая к инновациям отрасль, в которой целесообразно внедрение передовых производственных технологий (ППТ) и создание «фабрик будущего». Так, «…внедрение ППТ на российских предприятиях автомобильной промышленности позволяет вместо рабочей документации, применяемой в рамках традиционной модели производства, представлять результат в виде цифрового двойника, который дает возможность:

• –    за счет применения виртуальных испытаний снижать число натурных испытаний в 20 раз, что приводит к сокращению затрат, которые для натурных испытаний очень высоки (разработанные математические модели для автомобилестроения позволяют получить отличия от данных натурных испытаний в пределах 5 %)» [11].

Для создания цифрового двойника необходимо создание адекватных компьютерных, а далее цифровых моделей отдельных узлов автомобиля и/или автомобиля в сборе с максимальной детализацией. При этом разработанные модели должны позволять решать весь спектр значимых для автомобильной промышленности задач: расчета статической и динамической прочности элементов конструкции, нелинейной динамики (краш-тесты), аэродинамики (включая задачи обтекания корпуса автомобиля, расчет прижимной силы, грязевую аэродинамику, задачи взаимодействия «жидкость-конструкция», задачи теплопереноса, задачи расчета эффективных свойств и разрушения композиционных материалов).

Соответственно, в приоритете исследования качества ПО методом QFD рекомендуется рассматривать такие CAE-системы (или их модули), которые позволяют решать перечисленные выше задачи.

Как отмечено в [10], развертывание функции качества при производстве сложного (наукоемкого) продукта требует глобальных маркетинговых исследований, затрагивающих все аспекты потребностей рынка, а также активное подключение разработчиков искомого продукта. Тем не менее, базово можно предположить, что в структуре Дома качества характеристикам продукта (графа «2») будут соответствовать такие позиции, как функциональные возможности препроцессора, функциональные возможности решателя, наличие базы данных свойств материалов, наличие тех или иных конечных элементов и т.д., а требованиям потребителя (графа «1») – скорость решения, удобство интерфейса, совместимость с другим ПО (например, CAD-системами) и пр. При этом для заполнения левой (графа «1») и правой (графа «4») комнат Дома качества, в которых указывается, соответственно, важность требования для потребителя (фактически – весовой коэффициент) и выполня-емость требования с точки зрения потребителя, целесообразно использовать именно экспертный метод оценки.

В ходе дальнейшей работы планируется на примере российского ПО для прочностного анализа и для моделирования технологического процесса литья пластмасс под давлением осуществить применение QFD метода на практике, беря во внимание сравнение отечественного ПО с ближайшими (по заявленным функциональным возможностям) зарубежными аналогами.

КЛЮЧЕВЫЕ ФАКТОРЫ ВЛИЯНИЯ НА КАЧЕСТВО

Как показано в [7], на качество, равно как и конкурентоспособность ПО, значительно могут влиять как минимум три фактора, такие как оценка качества с точки зрения функциональных возможностей, стоимость (цена использования ПО), а также уровень технической поддержки. При этом особое значение придается такому показателю (фактору качества), как техническая поддержка рассматриваемого ПО. Так, петля качества по М. Портеру (рис. 2), которая иллюстрирует схему управления качеством продукции на всех этапах ее жизненного цикла [12], техническая поддержка продукции (в том числе ПО) является неотъемлемой составляющей успешного достижения качества продукции, что в конечном счете выражается в росте ее конкурентоспособности на рынке.

Таким образом, для более адекватной оценки качества инженерного ПО как комплексного продукта необходимо оценивать и качество технической поддержки, оказываемой вендором, который разрабатывает данное ПО.

Это доказывает и исследование, результаты которого приведены в [7]. Согласно данному исследованию, группе инженеров, использующих ПО инженерного анализа, предлагалось оценить различные факторы, влияющие на качество ПО. Среднее значение (вес) влияния фактора технической поддержки на качество ПО, по мнению профильных специалистов, составило 0,24 (при теоретически максимально возможном значении 1,00). Вдвойне актуальным является качество технической поддержки ПО, используемого при решении задач автомобилестроительной отрасли - динамичном и высококонкурентном бизнесе, в котором решения должны приниматься максимально быстро, и

Рис. 2. Петля качества продукции по М. Портеру задержки в использовании одного из основных продуктов всего глобального цикла разработки автомобилей - ПО инженерного анализа - недопустимы.

Как правило техническая поддержка представляет из себя совокупность предоставления пользователю ПО обновлений и исправлений ПО, а также услугу в виде ответов на вопросы по работоспособности и функциональным возможностям ПО. При этом услуги, в свою очередь, у большинства вендоров подразделяются на а) короткие и быстрые по времени ответы на базовые вопросы, б) углубленные консультации по применению ПО в сложных задачах [7]. При этом качество услуги является понятием достаточно субъективным, сложно измеряемым количественно, что хорошо показано в [13], поэтому неизбежно включение в метод оценки качества технической поддержки экспертного подхода, при котором группа компетентных лиц оценивают качество услуги, исходя из своего опыта и степени удовлетворенностью оказанной услугой. Исследование, описанное в [7], изучает мнение сотрудников Центра компьютерного инжиниринга ФГАОУ ВО «Санкт-Петербургский политехнический университет», занимающих должности инженеров-расчетчиков и начальников инженерных отделов, относительно весомости факторов (показателей) качества технической поддержки ПО инженерного анализа. Целевой группе из 25 опрошенных было предложено выбрать один из вариантов ответа – результаты представлены в Таблице 2 [7].

Таблица 2. Результаты опроса целевой группы инженеров-расчетчиков

Опрос 1: Что важнее в плане качества технической поддержки инженерного ПО?
Вариант ответа	Голосов	% от кол-ва участников
Регулярность выхода обновлений	4	16%
Быстрые ответы на базовые вопросы	9	36%
Возможность получения углубленных консультаций	12	48%

Данная выборка демонстрирует, что приоритеты инженеров-расчетчиков расставлены именно на получение услуг в виде ответов на базовые вопросы и получения углубленных консультаций, при этом регулярность выхода обновлений не столь критична. Однако данное распределение весовых коэффициентов факторов технической поддержки нельзя экстраполировать на всю промышленность в целом, т.к. в каждой отрасли превалируют свои ключевые задачи, а также отрасли промышленностью отличаются друг от друга динамикой разработки новой продукции. Поэтому профильным специалистам, отвечающим за выбор соответствующего ПО на предприятии, либо инженерам по качеству, рекомендуется проводить подобные опросы в рамках своего предприятия с целью установить свои весовые коэффициенты факторов технической поддержки.

В продолжении работы планируется уделить больше внимания критериям оценки каждого из упомянутых выше факторов технической поддержки. В частности, планируется разработать метрики для оценки качества каждого из факторов, включающих в себя не только экспертный подход, позволяющий оценить субъективную удовлетворенность пользователя полученными ответами на вопросы, заданные службе технической поддержки вендора, но и количественные метрики [14], такие как объективно измеримая скорость реакции службы технической поддержки (скорость предоставления ответов), частота выхода обновлений ПО, процент решаемых с первого раза вопросов.

Стоит также отметить, что исследование, проведенное в [7], позволяет провести оценку качества технической поддержки ПО инженерного анализа относительно другого, эталонного ПО. Для этого рекомендуется воспользоваться следующей зависимостью:

QTS^^a-^ + ^ + y^ , (5)

TSe *e “e ^e где QTSi – интегральный показатель качества, безразмерная величина, характеризующая отношение качества технической поддержки i-го инженерного ПО к эталонному решению того же класса; TSi – значение качества технической поддержки i-го инженерного ПО, а TSe – эталонного ПО. Fi и Fe – соответствующая регулярность выхода обновлений ПО, сравниваемая в одних и тех же единицах (например, месяцах), Ri и Re –время предоставления ответов на вопросы пользователей (измеряемое как среднее арифметическое времени предоставления всех ответов на вопросы пользователя за выбранную единицы времени – месяц либо год), Ci и Ce – возможность получения у разработчика ПО углубленных консультаций; α, β, γ – весовые коэффициенты показателей качества технической поддержки, при этом справедливо равенство:

a + p + у = 1 . (6)

При этом остается дискуссионным вопрос о значениях коэффициентов Ci и Ce . Согласно [7], они могут принимать значение либо «0,5» – частично присутствует, либо «1» – присутствует в полном объеме, однако можно оставить выбор значения данных коэффициентов (в диапазоне [0-1]) на усмотрение компетентного инженера по качеству (имеющего профильное образование и подготовку [15]) на конкретном предприятии, на котором осуществляется анализ того или иного ПО относительно эталона с учетом специфики продукции и задач данного предприятия.

РЕЗУЛЬТАТЫ И ВЫВОДЫ

Автомобилестроительная отрасль является одной из наиболее динамично развивающихся и конкурентоспособных отраслей промышленности. Для решения большинства ключевых задач автомобилестроения необходимо использовать передовое ПО инженерного анализа. Зачастую на рынке присутствует несколько аналогов, в той или иной степени удовлетворяющих потребности заказчика, поэтому выбор использования того или иного ПО целесообразно осуществлять, исходя из оценки качества и конкурентоспособности ПО.

В ходе работы рассмотрены используемые в литературе подходы к оценке качества ПО инженерного анализа, а также к сравнению качества исследуемого ПО к эталону, за который обычно принимается известный на рынке программный продукт. Так, простейший метод оценки конкурентоспособности ПО заключается в рассмотрении соотношения (1), при котором конкурентоспособность является отношением безразмерного показателя качества к цене рабочего места ПО в условных единицах.

Более глубокие методы исследования качества ПО представляют требуют комплексного метода, который включает в себя как расчетный метод, так и экспертный подход. Также показано, что целесообразно осуществлять построение дерева показателей качества, декомпозируя групповые показатели качества на более мелкие группы, а те, в свою очередь, на единичные показатели качества, и используя экспертный подход для формирования коэффициентов весомости соответствующих показателей. Данный метод эффективен для оценки комплексного показателя качества ПО и сравнения по этому показателю исследуемого ПО с эталоном.

Из факторов, влияющих на качество, а также конкурентоспособность ПО инженерного анализа, следует особенно выделить техническую поддержку, оказываемую разработчиком соответствующего ПО. Совокупность факторов, влияющих на качество технической поддержки, состоит из регулярности выхода обновлений ПО, предоставления быстрых ответов пользователю на базовые вопросы и наличием возможности получения углубленных консультаций по сложным вопросам. При этом каждый из факторов имеет соответствующий весовой коэффициент, влияющий на значение данного фактора в анализе качества технической поддержки; данные весовые коэффициенты рекомендуется устанавливать, базируясь на мнении компетентных специалистов – пользователей искомого ПО. Также предложена расчетная формула (5), позволяющая оценить качество технической поддержки исследуемого ПО к эталонному значению.

В дальнейшем планируется углубить исследование вопросов, связанных с оценкой качества и конкурентоспособности ПО инженерного анализа. В частности, показано, что QFD-метод – метод развертывания функции качества – не имеет принципиальных ограничений для анализа качества инженерного ПО, что в дальнейшем планируется показать на примере оценки качества ПО для прочностного анализа и для анализа технологического процесса. Также целесообразно выделить количественно измеримые метрики для анализа качества услуг технической поддержки инженерного ПО, что позволит получить расчетные формулы для оценки качества технической поддержки TS_i и доработать расчетную формулу (5), позволяющую сравнивать качество технической поддержки исследуемого ПО с соответствующей технической поддержкой эталона.