Введение в оценку качества кластерного анализа

Имеется множество объектов, характеризуемых набором параметров. Требуется провести кластеризацию объектов и оценить качество кластерного анализа с помощью базовых метрик, основанных на гипотезах компактности и отделимости кластеров.

Целью исследование является проведение сравнительного анализ методов оценки качества кластеризации.

м ^|с ; |

сс=^

7=1i=i где M - количество кластеров,

С - j-й кластер, ху eX - объекты кластеризации.

м

CS = n^(x —

7=1

где n =|X|.

Индекс Данна (Dunn Index)

Индекс Данна рассчитывается по формуле:

• 1.    Материал и методы исследования

В работе использовались следующие методы оценки качества кластеризации [1]:

Компактность кластеров (Cluster

Cohesion)

Компактность кластеров обеспечивается минимизацией внутри кластерного расстояния:

• — x_j) 2 ^ min,

Отделимость    кластеров    (Cluster

Separation)

Определяется, например, суммой квадратов отклонений от среднего:

X j ) 2 ^ max,

_ minCkec{minCieC\Ck{8(ck,ci)}} тахскес{^(ск)}       , где δ – меж кластерное расстояние (оценка отделимости кластеров):

8 (c_k>^c i ) = ^т1П х^ _Ск, х jEc^t-X¹¹';

△ (c_fc) — диаметр кластера (оценка компактности кластеров):

Л^(с_к) = ma^x x_ix_jEc_k ^llx i ^-x j ¹¹

Исходные данные для исследования

Для апробации рассматриваемых методов оценки качества кластеризации используется

база данных из ресурса Wolfram Mathematica [2, 3]. На рисунке 1 представлен фрагмент (5 записей) исходных данных.

data = ResourceData["Sample Data: Fisher's Irises"] //

[данные ресурса

[массив дан-■ ■ [максимальное число элементов

Species	Sepal Length	SepalWidth	PetalLength	Petalwidth
setosa	5.1cm	3.5 cm	1.4 cm	0.2cm
setosa	4.9 cm	3. cm	1.4 cm	0.2cm
setosa	4.7 cm	3.2 cm	1.3 cm	0.2cm
setosa	4.6 cm	3.1 cm	1.5 cm	0.2 cm
setosa	5.cm	3.6 cm	1.4 cm	0.2 cm

A A rows 1-5 of 150 V V

Рис. 1. Фрагмент исходных данных

2. Основные результаты и их обсуждение

В качестве предварительного результата исследования на рисунке 2 приведена класте-

ризация данных по двум характеристикам, что позволяет визуально оценить качество разбиения на кластеры.

Рис. 2. Разбиение на три кластера по двум характеристикам

Результаты кластеризации по всем пара- кластеров, поэлементно и в среднем по кла-метрам исследуемых объектов (профили трех стерам) представлены на рисунке 3.

Рис. 3. Кластерные профили

Результаты экспериментального сравнения базовых методов оценки качества кластеризации сведены в таблицу 1.

Например, индекс Данна достигает наибольшего значения при разбиении объектов на три кластера.

В таблице 2 представлена матрица ошибок, показывающая корректность разделения на кластеры в сравнении с эталонной экспертной классификацией.

Таблица 1 Результаты сравнения

Показатель	Число кластеров
	2	3	4
CalinskiHarabasz	513.925	561.594	415.438
DaviesBouldin	0.404293	0.666039	0.847592
Dunn	0.0765063	0.109435	0.0547176
RSquared	0.559903	0.666593	0.688495
Silhouette	0.681046	0.551192	0.413767
StandardDeviation	1.01458	0.732416	0.699557

Таблица 2. Матрица ошибок

Класс	versicolor	virginica	setosa	∑
versicolor	47	3		50
virginica	14	36		50
setosa			50	50
∑	61	39	50	150