聚類clustering，無監(jiān)督學習unsupervised learning分類也。 聚類有不少經(jīng)典的方法，我們先從基本概念，本質(zhì)屬性開始討論，慢慢把這些方法掌握，應用到實際問題中。

1、基本概念。

? 既然要把給出的特征向量分成不同的類里，我們首先應該想到的是，什么是類(cluster或者group)？ 在研究過程中大家不斷的給出一些定義， 但是都比較模糊和寬泛，很難找到一個大家都容易接受的定義，最近的一個，差不多大家都比較認同的定義是這樣描述的。

"continuous regions of this space containing a relatively high density of points, separated from other high density regions by regions of relatively low density of points"

this space 是指特征向量空間，每個特征向量被看成空間中的一個點。

什么是聚類呢？?

我們需要聚類的數(shù)據(jù)集是：X = {x_1, ..., x_N}， 表示有N個特征向量需要聚類。

定義X的m聚類，就是將X分成m組向量，每一組類用C表示，C_1, ..., C_m

其中 C_i != 空集； C的并是X； 任意兩個類的交集是空集。在同一個類中的特征向量是相似的（similar），不同類中的特征向量不相似（dissimilar），量化這兩個詞有點困難，可能需要根據(jù)你的實際情況來定義相似性和不相似性。?

大約有三種不同的類別，如下圖

圖1， Compact Cluster

圖 2， Elongated clusters

圖3、 Spherical and ellipsoidal clusters

這三種不同的cluster類型，對相似度的量化有所差異。

前面描述的這種聚類方式一般稱之為硬聚類（hard 或者 crisp）

還有一種方式是軟聚類，就是說每個特征屬于某個類有一個隸屬度來表述它，比如x屬于C_1的隸屬度為0.2， 屬于C_2的隸屬度為0.8 ，對于兩類的情況，這樣是合理的。

2、 關(guān)于proximity measure

之前寫這篇博文的時候，不想寫這部分，現(xiàn)在覺得還是寫寫的好啊，保證知識的完整性，多多思考還是好的。

我們可以用 相似度(similarity)或不相似度(dissimilarity) 來量化兩個特征向量、特征向量與一組特征向量以及兩組特征向量之間的proximity。

多數(shù)人認為兩個向量的proximity測度是最基礎(chǔ)的，proximity就翻譯成近鄰吧。

什么是相似度？定義兩個向量之間的相似度，它是一個函數(shù)，滿足如下規(guī)則：

? ?* 相似度函數(shù)與特征向量的輸入順序無關(guān)。 s(v1, v2) = s(v2, v1)

? ?* 任意的同一個特征向量的相似度取得最大值。 s(v,v) 取得相似度函數(shù)的值域中的最大值。并且當且僅當輸入向量相同的時候，才能取得這個最大值。

? ?* 還有一個不等式需要滿足： s(x,y) s(y,z) <= [s(x,y)+s(y,z)]s(x,z), for all x,y,z in X

什么是不相似度？ 也用函數(shù)定義，也滿足一下規(guī)則：

? ?* 當且僅當兩個輸入向量相同時，不相似度函數(shù)取到最小值，就是說只有這個時候，兩個向量才最不不相似，就是最相似。

? ?* 不相似度函數(shù)的值與輸入順序無關(guān)。

? ?* 滿足三角不等式。 d(x,z) <= d(x,y) + d(y,z) , 對任意 x，y，z in X都成立。

常用的，或者現(xiàn)在大家用過的相似度與不相似度函數(shù)，大家可以參考 《Pattern Recognition》第四版 影印版 604頁。

在書中根據(jù)特征向量的類型，分了幾種情況。 向量的分量為可連續(xù)實數(shù)時、向量的分量為整數(shù)時、混合類型情況，還有模糊測度，數(shù)據(jù)缺失情況下的測度。

關(guān)于特征向量與一組特征向量之間的測度，可以由兩個方向我們選擇。一種是，集合中的每個向量都參與與給定的另一個向量之間測度，去個最大的或者最小的，等等。

一種是找一個類的代表，用給定的向量與這個代表之間做測量，來表示類與給定向量之間的近鄰測度。

相似的，兩組特征向量之間也可以采用這兩個方向。?

這就給了我們一些選擇的余地，根據(jù)我們的需要作出相應的認為選擇。

對某個類選一個代表出來也是可以研究下的，不過現(xiàn)在能想到的，大家都差不多想到了，我們只有在實際用的時候給出一個合適的測度，來對我們后面?zhèn)€聚類工作更適合就好了。

向compact類型的類，我們可以考慮均值矢量，均值中心，中值中心等。 像線性或者其它形狀的類，我們也許可以找一些跟形狀類似的代表。