О достоверности и сопоставимости результатов экспертных измерений в пищевой промышленности

В Законе РФ «Об обеспечении единства измерений» № 102-ФЗ от 26 июня 2008 г. [12] говорится о «потребности граждан, общества и государства в получении объективных, достоверных и сопоставимых результатов измерений».

Результаты экспертных измерений, по сути, представляют собой субъективные мнения экспертов об отдельном свойстве продукции, товара или услуги, которые обычно выражаются в баллах. И они вызывают недоверие к результатам экспертных измерений. Именно для получения объективных результатов измерений создаются экспертные комиссии, проводятся опросы потребителей. Результаты работы экспертной комиссии могут быть выражены в баллах или словесно.

В обоих случаях нельзя говорить о достоверности и сопоставимости результатов измерений. Следует отметить, что достоверность измерений – это характеристика, определяющая степень доверия к полученным результатам измерений, а мерой достоверности является доверительная вероятность. Что касается сопоставимости, то Большой энциклопедический словарь дает следующее определение: сопоставимость – обеспечение сравнимости статистических показателей, полученных различными методами в различные периоды времени, в разных странах или оцененных в различных целях. В метрологии для оценки сопоставимости результатов измерений используются такие характеристики, как воспроизводимость и повторяемость (сходимость).

Кроме того, согласно РМГ 29-2013 [11] повторяемость (сходимость) измерений – близость между показаниями или измеренными значениями величины, полученными при повторных измерениях для одного и того же или аналогичных объектов при условиях, включающих применение одной и той же методики измерений, того же средства измерений, участие тех же операторов в течение короткого промежутка времени.

В случае экспертных измерений их достоверность может характеризоваться степенью доверия к экспертной комиссии, организации и проведения опроса, анкетирования и т.п. В качестве меры доверия к экспертной комиссии может быть принята вероятность правильного решения экспертной комиссии, которая может быть определена на основе вероятности правильного решения каждого эксперта по результатам решения тестовой задачи. Безусловно, степень доверия к результатам опроса, анкетирования определяется правильностью их организации и проведения. Понятно, что участие в опросе должно быть свободным и добровольным и во время опроса никто не может быть принужден к выражению своих мнений и убеждений или отказу от них. Например, при организации и проведении голосований, где привлекаются наблюдатели, отсутствие нареканий со стороны наблюдателей, общественных организаций, граждан к проведению голосований является гарантией достоверности результатов голосования. Поэтому достоверность результатов анкетирования и опроса может характеризоваться отсутствием нареканий со стороны анкетируемых и опрашиваемых к организации и проведения анкетирования и опроса, для чего необходимо организовать широкое обсуждение результатов через средства массовой информации.

Что касается сопоставимости (сходимости) результатов экспертных измерений, то не во всех без исключения случаях могут быть выполнены повторные измерения одного и того же объекта в течение короткого промежутка времени. В этих случаях следует воспользоваться такой характеристикой прецезионности, как воспроизводимость. Также необходимо отметить, что, согласно РМГ 29-2013, воспроизводимость (измерений) - близость между показаниями или измеренными значениями величины в условиях, при которых результаты измерений (или испытаний) получают одним и тем же методом на идентичных объектах испытаний, в разных лабораториях, разными операторами, с использованием различного оборудования. А мерой прецизионности является стандартное отклонение. В связи с этим изучение достоверности и сопоставимости результатов экспертных измерений в пищевой промышленности имеет особую актуальность.

Целью работы является обеспечение единства экспертных измерений, в частности обеспечение объективности, достоверности и сопоставимости органолептических измерений.

Для выполнения поставленной цели проведен анализ нормативных документов на методы контроля органолептических показателей пищевых продуктов и прописана технология обеспечения объективности, достоверности и сопоставимости экспертных измерений.

Анализ нормативных документов на методы контроля органолептических показателей пищевых продуктов

Недоверие к результатам субъективных измерений, в частности органолептических, общеизвестно. Причиной тому является несовершенство нормативных документов на методы контроля органолептических показателей. В них нет требований к условиям проведения измерений, помещению для проведения органолептических измерений, экспертам, шкалам измерений, обработке результатов измерений, показателям точности измерений.

В настоящее время стандартизированы методы контроля органолептических показателей следующих пищевых продуктов:

• -    хлеб и хлебобулочные изделия (ГОСТ 5667-65)[1];

• -    изделия кондитерские (ГОСТ 5897-90) [2];

• -    продукция безалкогольной промышленности (ГОСТ 6687.5-86) [3];

• -    крупка и макаронные изделия из твердой пшеницы (ГОСТ ИСО 7304-94) [4];

• -    рыба, морские млекопитающие, морские беспозвоночные и продукты их переработки (ГОСТ 7631-85) [5];

• -    продукты мясные (ГОСТ 9959-91) [7];

• -    концентраты пищевые (ГОСТ 15113.3-77) [8];

• -    крупа (ГОСТ 26312.2-84) [9];

• -    консервы и пресервы из рыбы и морепродуктов (ГОСТ 26664-85) [10];

• -    консервы молочные (ГОСТ 29245-91) [11].

Анализ вышеперечисленных документов на методы контроля органолептических показателей в пищевой промышленности показывает, что во многих документах отсутствуют: нормы точности измерений (правильность, сходимость, воспроизводимость); шкалы измерений; критерии оценки качества решений; требования к экспертам, условиям проведения измерений, к помещениям, где проводятся измерения, и т.п. (табл. 1).

Результаты анализа показывают, что только в ГОСТ ИСО 7304-94 и ГОСТ 9959-91 частично присутствуют требования к шкалам измерений, экспертам, условиям проведения измерений, помещению и обработке результатов измерений [15].

Такое состояние вопроса требует переработки большинства нормативных документов в части установления требований к экспертам, обработки результатов измерений, оценке качества решений и норм точности измерений.

Таблица 1

Наличие требований в НД к проведению органолептических измерений

Наименование требований к проведению органолептических измерений	1Г1 40 40 н о	о 04 04 ОО н о	40 ОО ио ОО 40 40 н о	о О и К н и о	04 04 04 04 Н о	°? 40 Н о	к. Н и О	оо О) н о	°? 40 40 С4 н о	04 VT С4 04 С4 н о
Шкала измерений	-	-	-	±	±	-	-	-	-	-
Требования к экспертам	-	-	-	±	±	-	-	-	-	-
Требования к условиям проведения измерений	-	-	-	-	+	-	-	-	-	-
Требования к помещению	-	-	-	±	+	-	-	-	-	-
Требования к обработке результатов измерений	-	-	-	+	±	-	-	-	-	-
Критерий оценки качества решений	-	-	-	-	-	-	-	-	-	-
Нормы точности измерений:
- правильность	-	-	-	-	-	-	-	-	-	-
- сходимость	-	-	-	-	-	-	-	-	-	-
- воспроизводимость	-	-	-	-	-	-	-	-	-	-

Примечание: знак «+» означает наличие требований в нормативных документах, «±» - частичное наличие, «-» - отсутствие.

Технология обеспечения объективности, достоверностии сопоставимости экспертных измерений

Понятно, что любая экспертиза должна проводиться компетентными лицами – экспертами. Для получения объективных результатов измерений необходимо формировать компетентную экспертную комиссию. Если есть база данных по экспертам, то выбор экспертов можно осуществлять автоматически, указав регион, стаж работы, занимаемую должность, образование и т.п. Если такой базы данных нет, то выбор экспертов осуществляется по тем же принципам. После выбора экспертов необходимо определить вероятность правильного реше- ния каждого эксперта и экспертной комиссии в целом по результатам решения теста с известными ответами. По результатам решения тестовой задачи проводится окончательный выбор экспертов и определяется согласованность мнений экспертов по известной формуле:

12S

W =  „ ,  „-----г, п2(т3 — т)

где S – сумма квадратов отклонений суммы рангов каждого объекта экспертизы от среднего арифметического ранга; n – число экспертов; m – число объектов экспертизы [14, 16].

Если экспертная комиссия согласована (W = 0,75), то формирование экспертной комис- сии можно считать завершенным и следует приступить к проведению экспертизы, при условии, что помещение, где проводится экспертная оценка, соответствует требованиям ГОСТ Р ИСО 8589-2005 «Органолептический анализ. Руководство по проектированию помещений для исследования» и в нем соблюдаются нормальные условия проведения измерений и установлены шкалы измерений.

И заключительным этапом проведения экспертизы является обработка полученных данных. В целях обеспечения объективности, достоверности и сопоставимости результатов экспертных измерений были проведения исследования на примере хлебобулочных изделий.

Пример 1 . Для проведения экспертных измерений органолептических показателей хлебобулочных изделий была создана экспертная комиссия, состоящая из 5 экспертов. По результатам решения тестовой задачи экспертами были получены следующие данные: первый эксперт из десяти вопросов дал правильные ответы на 8, второй – 9, третий – 10, четвертый – 9, пятый - 10. Следовательно, вероятность правильного решения экспертов составляет: 0,8; 0,9; 1,0; 0,9; 1,0. Согласованность мнений экспертов равна W = 0,78, что является достаточным. Результаты экспертных измерений органолептических показателей на примере хлебобулочных изделий представлены в таблице 2. Полагая, что оценки, проставленные экспертами, линейны, можно определить среднее арифметическое и среднее квадратическое отклонение (СКО).

Таблица 2

Результаты экспертных измерений органолептических показателей хлебобулочных изделий в баллах

Эксперты	О			рганолептические показатели
	внешний вид			состояние мякиша			вкус	запах
	форма	поверхность	цвет	пропе-ченность	промес	пористость
1	5	4	5	5	5	4	5	4
2	4	4	5	5	4	4	4	4
3	5	4	4	5	4	4	5	4
4	4	4	5	5	4	4	4	4
5	5	4	5	5	4	4	5	4
Среднее арифметическое по показателям	23 (4,6)	20 (4,0)	24 (4,8)	25 (5,0)	21 (4,2)	20 (4,0)	23 (4,6)	20 (4,0)
СКО	0,55	0	0,45	0	0,45	0	0,55	0

Принимая в качестве уровня доверия минимальную вероятность правильного решения 0,8 и максимальное СКО, можно констатировать, что результат измерения органолептических показателей хлебобулочных составляет 4,4 при доверительной вероятности 0,8 и воспроизводимости 0,55.

Пример 2 . Создана экспертная комиссия, состоящая из 5 экспертов, и предложено определить уровень качества продукции словесно: «отлично», «очень хорошо», «хорошо», «выше среднего», «среднее», «ниже среднего», «удовлетворительно», «плохо», «очень плохо». Результаты словесных описаний качества продукции приведены в таблице 3.

Какую же оценку получили продукты? У продукта № 1 две оценки «отлично», по одной оценке «очень хорошо», «хорошо» и «выше среднего». Вполне вероятно, что продукт № 1 не получит оценку «отлично» и «выше среднего», так как оценка «выше среднего» встречается только один раз и оценка «отлично» только два раза из пяти возможных. Из двух оставшихся вариантов («очень хорошо» и «хорошо») один из них может быть принят на основе компромиссного решения. Подобным образом могут быть приняты решения по остальным продуктам. На практике в подобных случаях решения принимаются на основе компромисса.

Таблица 3

Результатов словесных описаний уровня качества продукции

Образцы	Эксперты
	1	2	3	4	5
Продукт № 1	отлично	очень хорошо	хорошо	выше среднего	отлично
Продукт № 2	очень хорошо	хорошо	очень хорошо	хорошо	очень хорошо
Продукт № 3	отлично	отлично	очень хорошо	отлично	отлично
Продукт № 4	отлично	отлично	очень хорошо	отлично	очень хорошо
Продукт № 5	очень хорошо	хорошо	очень хорошо	хорошо	очень хорошо

Можно применить какой-либо критерий. Например:

• -    если больше 80 % оценок «отлично» и «очень хорошо», то принимается оценка «отлично»;

• -    если больше 80 % оценок «отлично», «очень хорошо» и «хорошо», то принимается оценка «очень хорошо»;

• -    если больше 80 % оценок «очень хорошо», «хорошо», то принимается оценка «хорошо»;

• -    если больше 80 % оценок «очень хорошо», «хорошо» и «выше среднего», то принимается оценка «хорошо»;

• -    если больше 80 % оценок «хорошо», «выше среднего» и «удовлетворительно», то принимается оценка «выше среднего»;

• -    если больше 80 % оценок «выше среднего», «удовлетворительно» и «плохо», то принимается оценка «удовлетворительно»;

• -    если больше 80 % оценок «удовлетворительно», «плохо» и «очень плохо», то принимается оценка «плохо».

Согласно принятому выше критерию продукт № 1 получает оценку «очень хорошо», продукт № 2 – «хорошо», продукт № 3 – «отлично», продукт № 4 – «отлично», продукт № 5 – «хорошо», а общая оценка по группе продукции – «очень хорошо».

Во втором примере что можно сказать об объективности, достоверности и сопоставимости результатов измерений? В этом случае такие характеристики измерений как объективность и достоверность зависят от экспертной комиссии, а сопоставимость и воспроизводимость – от условий проведения измерений. С другой стороны, в нашем случае результаты измерений выражены не в количественной форме и говорить о сопоставимости (сходимости) и воспроизводимости результатов не имеет смысла. Поэтому во втором случае можно определять только достоверность измерений, которая будет выражена через степень доверия к экспертной комиссии.

Заключение

Таким образом, исследования показали, что в случае экспертных измерений можно регламентировать только такой показатель качества измерений, как достоверность измерения.