要知道模式識別講什么內容。主要解決什么問題，我們如何進入這個領域，總要知道一些基本的概念，一些基本的、現(xiàn)有的方法。

概念性的東西，參考希臘的那本《Pattern Recognition》，我看的是第四版的影印版，有時候也會看看Duda的模式分類，這本書有電子版原版，原版影印版在國內已經絕版了。有時候也會參考wikipedia，這個網(wǎng)站確實不錯！

1、模式識別

?英文是 Pattern recognition。 有時候業(yè)內的人常把它簡單寫成PR，他是一門科學，將多個對象分到不同的類別的學科。wikipedia解釋說，PR是機器學習的一個學科，而機器學習又是人工智能的一個分支。不想把問題描述的這么全面，我們只在模式識別里面看問題。

?Pattern recognition is a scientific discipline whose goal is the classification of objects into a number of categories or classes.?

?根據(jù)不同的應用背景，這里的object可以是很多東西，比如圖像啊什么的，我們不關心這個object到底是啥，為了表明我們真的不關心，干脆不叫他object了，叫一個更加高級的名字，就叫pattern，中文翻譯為模式。這樣模式識別就是把模式分到不同的類里了，這就不難理解Duda為啥把他的書叫模式分類了。?

2、features, feature vectors, classifiers

就是特征，特征向量，還有分類器。每個需要我們分類的模式，可能有很多特征，那么特征就可以認為是模式的函數(shù)，一般這個函數(shù)是實值的，至少我沒有遇到過復數(shù)的特征，如果是復數(shù)，我們可以看成兩個特征。因為每個模式可能有多個特征，所以我們把這些特征弄成一個向量，因為在代數(shù)里面，向量都是用列向量來描述的，這里我們也會用列向量來描述，以便我們好使用代數(shù)里面的結論。 這個向量我們一般稱之為特征向量，就是feature vector了。至于分類器，其本質也是函數(shù)，接受特征向量，給出類別的函數(shù)，為了方便計算機處理，我們一般用數(shù)字來表示類別。這樣分類器也是一個實值函數(shù)了。

為了能慢慢進入這個領域，我想多多在進入之前思考一下是有必要的。

模式識別里面，常常把 特征看成是隨機變量，大約可以有兩個理由說明這一點，首先同一個類之中的模式存在差異，隨機取一個模式，他的某個特征可能是隨機的，比如隨機在一堆魚里面取一條魚，他的長度特征在取之前可以認為是隨機的。 另外，我們在度量模式的特征的時候，由于儀器，設備等原因，可能會引入隨機誤差，也就是說我們很難提供100%的精確控制，來獲得精確的特征值。

為研究方便，總是給出數(shù)學記號的，L個特征x_i , i = 1,...,L，組成特征向量 X = [x_1, ...., x_L]^T

misclassification，如果分類器把輸入的模式分錯了，我們就說發(fā)生了‘錯分’，就是misclassification發(fā)生了。特別注意，每個模式都有一個特征向量，所以我們分類的時候，就是通過特征向量來分類的，把特征向量輸入到分類器（就是那個分類函數(shù)）里，然后會得到一個類別返回值，類別呢如果錯了，就說發(fā)生了錯分。

在討論分類器的時候，會討論這些問題的?，F(xiàn)在我們就使勁把這些概念先裝到腦子里，讓這些概念添加到我們的條件反射里，深入骨髓！這個東西就會是自己的了，我們就進入這個領域了。

3、那些需要解決的任務

?* 如何產生我們需要的特征？這個根據(jù)不同的應用，方法也各有不同，計算機視覺中，我們要找圖像的特征。文本分類就搞搞文本特征。具體有哪些，還需要很多時間來研究。這個過程叫 feature generation stage， 特征產生階段。

?* 我們需要產生多少特征？ 多少個特征是最好的？一般我們處理這種問題的時候，采用先找盡量多的特征，然后再根據(jù)某些規(guī)則使用這些特征中的某一些特征。這個階段叫 feature selection stage，特征選擇階段。

?* 特征有了，怎么設計分類器？如何找一個規(guī)則，在這個規(guī)則下造一個最好的分類器？哪些規(guī)則好？ 有了規(guī)則，有了模型，分類器怎么求解？這都是需要我們努力解決的問題啊。 幸運的是，我們現(xiàn)在解決了很多問題了，所以，學習PR還是有很大意義的。這個階段叫，classifier design 分類器設計階段。

?* 最后，如何來評價分類效果？ 不評價下，總是不完美的吧。說自己好，需要有標準才行。會有一些可以比的項啊，比如分類錯誤率，classification error rate。這個階段叫system evaluation stage 系統(tǒng)評估階段。

這個是傳統(tǒng)吧，人 ，本身很向往自由的，看了這個，就發(fā)現(xiàn)，自己被框住了，特別不情愿啊，總想著，是不是有其它途徑解決分類的問題啊，我不用特征向量行不行呢？直接用原始數(shù)據(jù)呢？ 原始數(shù)據(jù)不又變成特征了么。有些時候自己不情愿也沒辦法呀，想站在巨人的肩膀上成就一番事業(yè)，總是要繼承一下巨人的成就嘛，至少可以批判性的繼承呀。哈哈。

4、supervised， unsupervised， semi-supervised learning

有監(jiān)督的，無監(jiān)督的，半監(jiān)督的學習。 首先，學習是啥呢？是這樣的，我們在知道了某些特征向量屬于哪些類了，比如給了n個特征向量，其中n1個是0類，其余的為1類，根據(jù)這個信息（這個信息，我們一般稱為priori 信息，就是先驗信息?。藶樵O計一個方法，這個方法會指導計算機產生一個分類器，產生分類器的過程就是學習過程。這個定義還是抽象到機器學習領域中給出的一個一般化的概念。 前面這種學習是在知道先驗信息的條件下給出的，為了與“不知道先驗特征信息”的學習做區(qū)別，我們稱有先驗特征信息的學習叫有監(jiān)督的學習，后者是無監(jiān)督的學習，無監(jiān)督學習也叫聚類(clustering)。那個尋找分類器的過程叫做訓練training。

半監(jiān)督學習，條件是，我們知道一些特征向量所屬的類，還有一部分模式，我們不知道他們屬于哪些類。因為知道點先驗信息，所以有監(jiān)督的含義，又因為我們還有不知道，所以我們有不監(jiān)督的含義，我們的目的是根據(jù)已知的部分信息，在進行聚類。這就是半監(jiān)督的學習了。

參考資料

?Koutroumbas, Konstantinos; Theodoridis, Sergios (2008).?Pattern Recognition?(4th ed.). Boston: Academic Press

en.wikipedia.org

Duda.....