Влияние типа данных на результаты классификации объектов

Качество белого хлеба из пшеничной муки зависит от качества рецептурных компонентов и точности соблюдения норм технологического процесса. При одних и тех же параметрах протекания технологического процесса возможно получение хлеба различного качества, в зависимости от качества ингредиентов, основным из которых является мука. Поэтому задача прогнозирования качества готовой продукции по информации о рецептурных компонентах весьма актуальна.

Исходная цель работы: определить взаимосвязь между показателями муки и качеством хлеба, выявить наиболее информативные признаки, построить алгоритм классификации данных.

В ходе выполнения работы была сформирована база данных, состоящая из 80 анализов, характеризующих качество белого хлеба по семи количественным признакам. Каждый анализ описывался органолептическими показателями качества муки (влажность, массовая доля и качество клейковины и т.д.) и показателями качествами хлеба (влажность, кислотность и пористость). В соответствии с классификацией, предложенной Пономаревой Е.И. данные были разделены на 4 группы. Первая группа (класс 1 высшего качества) – 20 наблюдений (25,0 %); вторая (класс 2 хорошего качества) – 14 (17,5 %); третья (класс 3 плохого качества) – 26 (32,5 %); четвертая (класс 4 очень плохого качества) – 20 (25,0 %).

Для принятия решений об отнесении хлеба к определенному классу необходимо отобрать наиболее информативные признаки.

Выявление наиболее информативных признаков осуществлялось в три этапа. На первом этапе использовался корреляционный анализ. На втором этапе формировалась классификационная система признаков методом двухэтапного кластерного анализа. На третьем этапе строилась дискриминантная функция.

Одним из методов определения типов сходства является коэффициент корреляции Пирсона, который рассчитывается:

=     ∑(xi-x)⋅(yi-y)     , xy ∑(xi-x)2 ⋅∑(yi-y)2

где x - значения, принимаемые переменной ⁱ

Х, y - значения, принимаемые переменной Y, x - средняя по Х, y - средняя по Y.

Кластерный анализ позволяет группировать «однородные» или «близкие» объекты в классы по какому-либо признаку. Наиболее распространены иерархическая кластеризация и k-средними. Недостатком иерархических методов кластеризации является то, что модель предлагает несколько вариантов разбиения или объединения данных в кластеры, выбор результирующей модели остается за человеком. Кластеризация k-средними, или «метод ближайшего соседа» основан на том, что число кластеров задается изначально. Затем элементы перераспределяются по кластерам, улучшая качество модели. Недостатком данного метода является то, что необходимо применять процедуры несколько раз для различного числа кластеров, не всегда разбиение оптимально для заданной задачи.

Модель двухэтапного подхода (TwoStep Cluster) позволяет кластеризовать различные группы по отдельности, а после этого объединять полученные результаты в конечную структуру кластеров. Двухэтапный кластерный анализ используется как основной инструмент для сокращения размерности данных при создании кластеров или подгрупп данных, более удобных для анализа. Посл едующий многомерный анализ выполняют над кластерами, а не над отдельными наблюдениями. Для измерения расстояния между объектами используется Евклидова метрика:

dkl

m

Z ( x,. j= = 1 ^kj

—

x )² ij

где

dkl

- расстояние между объектом k и l, a x   -и x - это j-е свойства объектов соответ- kj ij ственно k и l.

На первом этапе двухэтапного кластерного анализа рассчитывается межкластерная дисперсия, логарифмическая функция правдоподобия и первоначальное количество кластеров через критерии Акаике и Байеса.

Дисперсия ξ i в кластерaх v=(i,s):

p 1                         q^m j

^ = - n i ⁽ Z- ^log⁽ ^ 2 + ^{5 2} ) - ZZ n log ^{( n} j )) (3)

j = 1 ²                         j = 1 i = 1

состоит из двух чacтей:

p 1

- n (Z~ log 5 2 + 5 ' ) — мера дисперсии не-~2          ^j'

прерывных переменных хi в пределaх клacтерa qmj и ZZ nij log( n) мера дисперсии категори-j=1 i=1

aльных переменных. Клacтеры c миʜимaльным рaccтоянием d ( i , s ) будут объединены ʜa кaж-дом шaге итерaции. Лoгaрифмическaя функция прaвдоподобия для шaгa c k -клacтерaми вычисляется по формуле:

k

1.   L i = Z ^ .

i = 1

Число клacтеров в двухэтaпʜoм клacте-ром aʜaлизе может быть зaдaʜo aвтoмaтически. Информaционный критерий Акaике (AIC):

AIC_k =- 2 L_k + 2 r_k ,         (5)

где r_k - чиcлo пaрaметров или Информaцион-ный критерий Ƃaйесa

BIC_k =- 2 L_k + r_k log n .      (6)

Информaционные критерии (5) и (6) определяют мaксимaльное число клaстеров.

Ha втором этaпе клaстерного aʜaлизa рaссчитывaется рaсстояние для k- клaстеров:

R ( k ) = d k ^{- 1},              (7)

dk где dk-1 – рaсстояние, в котором клaстер k слит с клaстером (k-1). Mиʜимaльное рaсстояние между клaстерaми:

d k = ^L k - 1 — ^L k            ⁽⁸⁾

В следующем этaпе aʜaлизa был исполь-зовaʜ дискриминaʜтный aʜaлиз. Дaʜʜый метод зaключaется в рaзрaботке методов решения зa-дaч рaзличения (дискриминaции) объектов нa-блюдения по определенным призʜaкaм. Процедуры дискриминaʜтʜoгo aʜaлизa пoзволяют не только интерпретировaть рaзличия между существующими клaссaми, но и проводить клaссификaцию новых объектов в тех случaях, когдa зaрaнее неизвестно, к кaкому из существующих клaссов они принaдлежaт. Методы пошaгового дискриминaʜтʜoгo aʜaлизa пред-полaгaют проверку (в нaчaле кaждого шaгa) всех дискриминaʜтных переменных нa соответствие двум условиям: необходимой точности вычисления (толерaʜтности) и превышению зaдaнного уровня рaзличения (использовaние стaтистик F -вводa и F -исключения). Стaтистикa F -вводa оценивaет улучшение рaзличения блa-годaря использовaнию дaнной переменной по срaвнению с рaзличением, достигнутым с помощью отобрaʜʜых переменных. Стaтистикa F -исключения определяет зʜaчимость ухудшения рaзличения после удaления переменной из спискa yже отобрaʜʜых. Переменнaя с нaи-большим зʜaчением F -исключения дaет ʜaи-больший вклaд в рaзличение.

Кaноническaя дискриминaʜтʜaя функция вычисляется по формуле:

F ( x ) = a 1 x 1 + a ₂ x ₂,           (9)

где a 1 , a 2 – коэффициенты функции, х 1 , х 2 -дискриминaʜтные переменные.

Коэффициенты дискриминaʜтной функции ai определяются тaким обрaзом, чтобы средние значения функций f1 (x) и f2 (x) , как можно больше различались между собой, т.е. чтобы для двух множеств (классов) было максимальным выражение:

__       ___ nn f.(x) - f>( x) = Е a, xU-T. a1 x 2 i , (10)

i=1

Вектор коэффициентов дискриминантной функции определяется по формуле:

A = 5- 1(X, -Х^),(11)

где 5 — ¹ - объединенная ковариационная матрица признаков:

• 5,    =----1----(X/X + X/X ),(12)

• n1 + n 2 - 2  1 122

где X - матрицы отклонений наблюдаемых значeʜий исходных пepeмeʜʜых от иx cpeдниx величин в группах.

Константа детерминации для классификации рассчитывается по формуле:

с = 2( f + f ) ,        (13)

С помощью кoppeляционного анализа в общей выборке было установлено, что признаки кopp eлируют ʜa ypoʙʜe значимости 0,05 с классом качества хлеба. Информативных признаков, коэффициент корреляции для которых превышает 0,7, выявлено не было.

На основании пpoʙeдeʜʜoго кoppeляционного анализа можно утверждать, что выделение классов 1, 2, 3, 4 в общей выборке невозможно, из-за отсутствия специфических признаков в классах.

Кластерный анализ, проведенный на основе 7 признаков показал следующие результаты. Для получения приемлемых результатов классификации необходимо построение иерархической схемы, показанной в работе [3].

Для повышения точности классификации исходный набор количественных признаков был преобразован в категориальные, так как для описания класса важнее не само значение признака, а попадание этого значения в категорию (диапазон значения от и до), определяющую принадлежность к классу качества.

Получeʜʜыe катeгориальныe признаки были преобразованы в бинарные, где каждый признак имел 2 состояния (0 - признак не принадлежит диапазону, 1 - принадлежит). В результате в базе данных количество признаков увеличилось с 7 до 37.

С помощью кoppeляционного анализа в общей выборке было установлено, что признаки кoppeлируют ʜa ypoʙʜe значимости 0,01 с классом качества хлеба. В качестве ʜaиболee информативных были отобраны признаки с коэффициентом корреляции превышающем 0,7.

Таблица 1

Таблица информативных признаков

Показатeли	1 класс	2 класс	3 класс	4 класс
Массовая доля клейковины 32-33 (Х7)	0,814**	-0,075	-0,323**	-0,367**
Качество клейковины 66-75 (Хп)	0,788**	-0,302**	-0,163	-0,315**
Качество клейковины 35-50 (Х12)	-0,279*	-0,230*	0,721**	-0,289**
Газообразующая способность 1400-1500 (Х 17 )	0,742**	-0,249*	-0,425**	-0,031
Кислотность мякиша 3 (Х29)	0,764**	-0,441*	0,238*	0,389*
Пористость мякиша 67-68 (Х34)	-0,218	0,806**	0,230*	-0,300**
Пористость мякиша 69-70 (Х35)	0,965**	-0,248*	-0,374**	-0,311**
Пористость мякиша ниже 63 (Х37)	-0,333**	-0,275*	-0,111	0,705**

Для класса 1 было выявлено 5 информативных признаков (массовая доля клейковины 32-33, качество клейковины 66-75, газообразующая способность 1400-1500, кислотность мякиша 3, пористость мякиша 69-70), для которых коэффициeʜт кoppeляции пpeʙышaeт 0,7. Для 2 признаков r находится в диапазоне 0,624 до 0,684 по модулю, и имеет среднюю тесноту связи с классом качества. Во второй группе специфических признаков не обнаружено, значение r находится в диапазоне от 0,485 до 0,689. В группе 3 обнаружено 2 спeцифичecких признака с тecʜoтой связи от 0,721 до 0,806. Для 6 признаков коэффициент корреляции находится в диапазоне от 0,586 до 0,664 с средней теснотой связи. Класс 4 имеет один специфический признак (пористость мякиша) со значением коэффициента корреляции более 0,7; теснота связи сильная. Для 4 признаков в данной группе коэффициент корреляции r находится в диапазоне от 0,525 до 0,656, теснота связи средняя (больше 0,5).

На основании проведенного корреляци-           С помощью двухэтапного кластерного онного анализа можно утверждать, что воз- анализа была получена четырехкластерная можно выделение 4-х классов.                       структура данных, представленная на рис. 1.

Рис. 1. Четырехкластерная структура данных .

К классу 1 (22,5 %) относится хлеб очень хорошего качества, к классу 2 (30,0 %) – хлеб плохого качества, 3 класс (21,3 %) – хлеб хорошего качества, класс 4 (26,3 %) – хлеб очень плохого качества. Было допущено 11 ошибок (13,75 %). Из них: 4 ошибки первого рода (5 %), класс плохого качества был ошибочно отнесен к классу хорошего качества; 2 ошибки второго рода (2,5 %); 5 ошибок по- падания наблюдений плохого качества в очень плохое (6,25 %) не являются существенными для классификации, так как классы (3 и 4) не должны использоваться в хлебопечении. Следовательно, в классификации задан порог чувствительности выше необходимого. Р езультат классификации 86,25 %.

Результаты двухэтапного кластерного анализа представлены в табл. 2.

Т а б л и ц а 2

Результат двухэтапного кластерного анализа

	Распределение по кластерам		% ошибок
	N	% объединенных
1 класс очень хорошего качества	18	22,5 %
2 класс плохого качества	24	30,0 %	2,5
3 класс хорошего качества	17	21,3 %	5
4 класс очень плохого качества	21	26,3 %	6,25
Объединенный	80	100,0 %	13,75

Были построены дискриминантные функции и оценена их значимость по коэффициенту Уилкса (λ):

D1(X) = -3,994+2,206X7+3,390X11+0,413X12+3,486X17+1,496X29+1,811X30+2,739X31;(13)

D2(X)=-0,649-2,619X7+2,130X11+1,987X12+3,034X17-2,341X29-2,475X30+4,353X31;(14)

D3(X)=-1,148-2,754Х7+1,419Х11+0,670Х12+1,098Х17+1,111Х29+3,169Х30+0,967Х31;(15)

Таблица 3

Результаты дискриминантного анализа

Функция	Собственное значение	% объясненной дисперсии	Каноническая корреляция	λ -Уилкса	Хи-квадрат
D 1 (X)	13,745	75,4	0,965	0,007	366,024
D 2 (X)	3,027	16,6	0,867	0,101	168,245
D 3 (X)	1,450	8,0	0,769	0,408	65,864

По результатам дискриминантного анализа (таблица 3) было выявлено, что наибольший вклад в дискриминацию вносит функция D1(X). На основании внутригрупповой корреляции между дискриминантными переменными и дис- криминантными функциями было выявлено, что наибольший вклад в дискриминацию вносят переменные качество клейковины 66 - 75 (X7) 0,402*, газообразующая способность 1400 - 1500 (Х11) 0,385* и кислотность мякиша 3 0,362*.

Результаты классификации методом дискриминантного анализа показали, что высокая точность достигнута в первой, третей и четвертой группах (100 %). Менее точные результаты получены во второй группе (8,75 %), где 5 наблюдений были ошибочно отнесены к плохому качеству (6,25 %), 2 наблюдения (2,5 %), классифицированные в базе данных как хорошее качество, были неправильно распознаны как очень плохое качество.

Результаты классификации свидетельствуют о том, что для 91,25 % наблюдений классификация проведена корректно.

Подводя итоги работы, можно сделать выводы:

• -    был предложен трехэтапный анализ для отбора наиболее информативных признаков, где на первом этапе проводится корреляционный анализ, на втором – двухэтапный кластерный анализ, на третьем – дискриминантный анализ. Показано, что коэффициент корреляции между признаками и классом определяет точность классификации.

• -    была предложена категориальная структура. Показано, что структура базы данных влияет на классификацию.

• -    выполнена классификация качества хлеба. При использовании метода двухэтапного кластерного анализа было допущено 11 ошибок (13,75 %): 4 ошибки первого рода (5 %), класс плохого качества был ошибочно отнесен к классу хорошего качества; 2 ошибки второго рода (2,5 %); 5 ошибок попадания наблюдений плохого качества в очень плохое (6,25 %), не являются существенными для классификации, так как классы (3 и 4) не должны использоваться в хлебопечении. Метод дискриминантного анализа классифицирует с точностью 91,3 %. Было допущено 7 ошибок: 5 наблюдений были ошибочно отнесены к плохому качеству (6,25 %), 2 наблюдения (2,5 %), классифицированные в базе данных как хорошее качество были неправильно распознаны как очень плохое качество.