從1990到2012年，機器學(xué)習(xí)逐漸走向成熟和應(yīng)用，在這20多年里機器學(xué)習(xí)的理論和方法得到了完善和充實，可謂是百花齊放的年代。代表性的重要成果有：支持向量機(SVM，1995)、AdaBoost算法(1997)、循環(huán)神經(jīng)網(wǎng)絡(luò)和LSTM(1997)、流形學(xué)習(xí)(2000)、隨機森林(2001)。

下面我們對部分機器學(xué)習(xí)代表算法進行介紹。

?AdaBoost

Adaptive Boosting或稱為AdaBoost，是多種學(xué)習(xí)算法的融合。它是一種迭代算法，其核心思想是針對同一個訓(xùn)練集訓(xùn)練不同的分類器(弱分類器)，然后把這些弱分類器集合起來，構(gòu)成一個更強的最終分類器(強分類器)。其算法本身是通過改變數(shù)據(jù)分布來實現(xiàn)的，它根據(jù)每次訓(xùn)練集之中每個樣本的分類是否正確，以及上次的總體分類的準確率，來確定每個樣本的權(quán)值。將修改過權(quán)值的新數(shù)據(jù)集送給下層分類器進行訓(xùn)練，然后將每次訓(xùn)練得到的分類器融合起來，作為最終的決策分類器。

AdaBoost是最常用的算法，它可用于回歸或者分類算法。相比其他機器學(xué)習(xí)算法，它克服了過擬合的問題，通常對異常值和噪聲數(shù)據(jù)敏感。為了創(chuàng)建一個強大的復(fù)合學(xué)習(xí)器，AdaBoost使用了多次迭代。因此，它又被稱為“Adaptive Boosting”。通過迭代添加弱學(xué)習(xí)器，AdaBoost創(chuàng)建了一個強學(xué)習(xí)器。一個新的弱學(xué)習(xí)器加到實體上，并且調(diào)整加權(quán)向量，作為對前一輪中錯誤分類的樣例的回應(yīng)。得到的結(jié)果，是一個比弱分類器有更高準確性的分類器。

AdaBoost有助于將弱閾值的分類器提升為強分類器。上面的圖像描述了AdaBoost的執(zhí)行，只用了簡單易于理解的代碼并且在一個文件中就實現(xiàn)了。這個函數(shù)包含一個弱分類器和boosting組件。弱分類器在一維的數(shù)據(jù)中嘗試去尋找最理想的閾值來將數(shù)據(jù)分離為兩類。boosting組件迭代調(diào)用分類器，經(jīng)過每一步分類，它改變了錯誤分類示例的權(quán)重。因此，創(chuàng)建了一個級聯(lián)的弱分類器，它的行為就像一個強分類器。

目前，對Adaboost算法的研究以及應(yīng)用大多集中于分類問題，同時近年也出現(xiàn)了一些在回歸問題上的應(yīng)用。Adaboost系列主要解決了：兩類問題、多類單標(biāo)簽問題、多類多標(biāo)簽問題、大類單標(biāo)簽問題和回歸問題。它用全部的訓(xùn)練樣本進行學(xué)習(xí)。

?K-均值算法(K-Means)

K-均值是著名聚類算法，它找出代表聚類結(jié)構(gòu)的k個質(zhì)心。如果有一個點到某一質(zhì)心的距離比到其他質(zhì)心都近，這個點則指派到這個最近的質(zhì)心所代表的簇。依次，利用當(dāng)前已聚類的數(shù)據(jù)點找出一個新質(zhì)心，再利用質(zhì)心給新的數(shù)據(jù)指派一個簇。

?支持向量機(SVM)

支持向量機(Support Vector Machine,SVM)是一類按監(jiān)督學(xué)習(xí)(supervised learning)方式對數(shù)據(jù)進行二元分類(binary classification)的廣義線性分類器(generalized linear classifier)，其決策邊界是對學(xué)習(xí)樣本求解的最大邊距超平面(maximum-margin hyperplane)?；舅枷胧牵赫业郊线吘壣系娜舾蓴?shù)據(jù)(稱為支持向量(Support Vector))，用這些點找出一個平面(稱為決策面)，使得支持向量到該平面的距離最大。由簡至繁的SVM模型包括：

1)當(dāng)訓(xùn)練樣本線性可分時，通過硬間隔最大化，學(xué)習(xí)一個線性可分支持向量機;2)當(dāng)訓(xùn)練樣本近似線性可分時，通過軟間隔最大化，學(xué)習(xí)一個線性支持向量機;

3)當(dāng)訓(xùn)練樣本線性不可分時，通過核技巧和軟間隔最大化，學(xué)習(xí)一個非線性支持向量機;

在分類問題中，很多時候有多個解，在理想的線性可分的情況下其決策平面會有多個。而SVM的基本模型是在特征空間上找到最佳的分離超平面使得訓(xùn)練集上正負樣本間隔最大，SVM算法計算出來的分界會保留對類別最大的間距，即有足夠的余量。

在解決線性不可分問題時，它通過引入核函數(shù)巧妙地解決在高維空間中的內(nèi)積運算，從而很好地解決了非線性分類問題。通過核函數(shù)的引入，將線性不可分的數(shù)據(jù)映射到一個高緯的特征空間內(nèi)，使得數(shù)據(jù)在特征空間內(nèi)是可分的。

?人工神經(jīng)網(wǎng)絡(luò)ANN(Artificial Neural Network)

人工神經(jīng)網(wǎng)絡(luò)ANN(Artificial Neural Network)是由大量處理單元互聯(lián)組成的非線性、自適應(yīng)信息處理系統(tǒng)。它是一種模仿動物神經(jīng)網(wǎng)絡(luò)行為特征，進行分布式并行信息處理的算法數(shù)學(xué)模型。其基本過程可以概述如下：外部刺激通過神經(jīng)末梢轉(zhuǎn)化為電信號，傳導(dǎo)到神經(jīng)細胞(又叫神經(jīng)元);無數(shù)神經(jīng)元構(gòu)成神經(jīng)中樞;神經(jīng)中樞綜合各種信號，做出判斷;人體根據(jù)神經(jīng)中樞的指令，對外部刺激做出反應(yīng)。

人工神經(jīng)網(wǎng)絡(luò)經(jīng)歷了漫長的發(fā)展階段。最早是上個世紀六十年代提出的“人造神經(jīng)元”模型，叫做“感知器”(perceptron)。感知機模型是機器學(xué)習(xí)二分類問題中的一個非常簡單的模型。

隨著反向傳播算法、最大池化(max-pooling)等技術(shù)的發(fā)明，神經(jīng)網(wǎng)絡(luò)進入了飛速發(fā)展的階段。神經(jīng)網(wǎng)絡(luò)就是將許多個單一“神經(jīng)元”聯(lián)結(jié)在一起，這樣，一個“神經(jīng)元”的輸出就可以是另一個“神經(jīng)元”的輸入。典型的人工神經(jīng)網(wǎng)絡(luò)具有以下三個部分：

結(jié)構(gòu)(Architecture)指定了網(wǎng)絡(luò)中的變量和它們的拓撲關(guān)系。

激勵函數(shù)(Activity Rule)大部分神經(jīng)網(wǎng)絡(luò)模型具有一個短時間尺度的動力學(xué)規(guī)則，來定義神經(jīng)元如何根據(jù)其他神經(jīng)元的活動來改變自己的激勵值。

學(xué)習(xí)規(guī)則(Learning Rule)指定了網(wǎng)絡(luò)中的權(quán)重如何隨著時間推進而調(diào)整。

人工神經(jīng)網(wǎng)絡(luò)具有四個基本特征：非線性、非局限性、非常定性和非凸性。

人工神經(jīng)網(wǎng)絡(luò)的特點和優(yōu)越性，主要表現(xiàn)在三個方面：具有自學(xué)習(xí)功能、具有聯(lián)想存儲功能和具有高速尋找最優(yōu)解的能力。