支持向量機(jī)，英文為Support Vector Machine，簡(jiǎn)稱(chēng)SV機(jī)（論文中一般簡(jiǎn)稱(chēng)SVM）。它是一 種監(jiān)督式學(xué)習(xí)的方法，它廣泛的應(yīng)用于統(tǒng)計(jì)分類(lèi)以及回歸分析中。

支持向量機(jī)（Support Vector Machine）是一種十分常見(jiàn)的分類(lèi)器，曾經(jīng)火爆十余年，分類(lèi)能力強(qiáng)于NN，整體實(shí)力比肩LR與RF。核心思路是通過(guò)構(gòu)造分割面將數(shù)據(jù)進(jìn)行分離。

支持向量機(jī)屬于一般化線(xiàn)性分類(lèi)器，他們也可以認(rèn)為是提克洛夫規(guī)范化（Tikhonov RegularizaTIon）方法的一個(gè)特例。這族分類(lèi)器的特點(diǎn)是：他們能夠同時(shí)最小化經(jīng)驗(yàn)誤差與最大化幾何邊緣區(qū)，因此支持向量機(jī)也被稱(chēng)為最大邊緣區(qū)分類(lèi)器。在統(tǒng)計(jì)計(jì)算中，最大期望（EM） 算法是在概率（probabilisTIc）模型中尋找參數(shù)最大似然估計(jì)的算法，其中概率模型依賴(lài)于無(wú) 法觀(guān)測(cè)的隱藏變量（Latent Variabl）。最大期望經(jīng)常用在機(jī)器學(xué)習(xí)和計(jì)算機(jī)視覺(jué)的數(shù)據(jù)集聚 （Data Clustering）領(lǐng)域。

在支持向量機(jī)中，距離超平面最近的且滿(mǎn)足一定條件的幾個(gè)訓(xùn)練樣本點(diǎn)被稱(chēng)為支持向量。

圖中有紅色和藍(lán)色兩類(lèi)樣本點(diǎn)。黑色的實(shí)線(xiàn)就是最大間隔超平面。在這個(gè)例子中，A，B，C 三個(gè)點(diǎn)到該超平面的距離相等。

注意，這些點(diǎn)非常特別，這是因?yàn)槌矫娴膮?shù)完全由這三個(gè)點(diǎn)確定。該超平面和任何其他的點(diǎn)無(wú)關(guān)。如果改變其他點(diǎn)的位置，只要其他點(diǎn)不落入虛線(xiàn)上或者虛線(xiàn)內(nèi)，那么超平面的參數(shù)都不會(huì)改變。A，B，C 這三個(gè)點(diǎn)被稱(chēng)為支持向量（support vectors）。

一、應(yīng)用

SVM在各領(lǐng)域的模式識(shí)別問(wèn)題中有廣泛應(yīng)用，包括人像識(shí)別（face recogniTIon） 、文本分類(lèi)（text categorizaTIon） 、筆跡識(shí)別（handwriting recognition） 、生物信息學(xué) 等。

二、SVM 的優(yōu)點(diǎn)

1、高維度：SVM 可以高效的處理高維度特征空間的分類(lèi)問(wèn)題。這在實(shí)際應(yīng)用中意義深遠(yuǎn)。比如，在文章分類(lèi)問(wèn)題中，單詞或是詞組組成了特征空間，特征空間的維度高達(dá) 10 的 6 次方以上。

2、節(jié)省內(nèi)存：盡管訓(xùn)練樣本點(diǎn)可能有很多，但 SVM 做決策時(shí)，僅僅依賴(lài)有限個(gè)樣本（即支持向量），因此計(jì)算機(jī)內(nèi)存僅僅需要儲(chǔ)存這些支持向量。這大大降低了內(nèi)存占用率。

3、應(yīng)用廣泛：實(shí)際應(yīng)用中的分類(lèi)問(wèn)題往往需要非線(xiàn)性的決策邊界。通過(guò)靈活運(yùn)用核函數(shù)，SVM 可以容易的生成不同的非線(xiàn)性決策邊界，這保證它在不同問(wèn)題上都可以有出色的表現(xiàn)（當(dāng)然，對(duì)于不同的問(wèn)題，如何選擇最適合的核函數(shù)是一個(gè)需要使用者解決的問(wèn)題）。