機(jī)器學(xué)習(xí)（Machine Learning， ML）的目的是根據(jù)給定的訓(xùn)練樣本求對(duì)某系統(tǒng)輸入輸出之間依賴關(guān)系的估計(jì)，使它（這種關(guān)系）能夠?qū)ξ粗敵鲎龀霰M可能準(zhǔn)確地預(yù)測(cè)。機(jī)器學(xué)習(xí)至今沒(méi)有一個(gè)精 確的公認(rèn)的定義。作為人工智能（ArTIficial Intelligence， AI）的一個(gè)重要研究領(lǐng)域，ML的研究工作主要圍繞學(xué)習(xí)機(jī)理、學(xué)習(xí)方法和面向任務(wù)這三個(gè)基本方面進(jìn)行研究。模式識(shí)別、函數(shù)逼近和概率密度估計(jì)是三類(lèi)基本的ML問(wèn)題。

從數(shù)學(xué)的角度來(lái)考慮，機(jī)器學(xué)習(xí)問(wèn)題就是已知n個(gè)獨(dú)立同分布的觀測(cè)樣本，在同一組預(yù)測(cè)函數(shù)中求一個(gè)最優(yōu)的函數(shù)對(duì)依賴關(guān)系進(jìn)行估計(jì)，使期望風(fēng)險(xiǎn)R［f］最小。損失函數(shù)是評(píng)價(jià)預(yù)測(cè)準(zhǔn)確程度的一種度量，它與預(yù)測(cè)函數(shù)f（x）密切相關(guān)。而f（x）的期望風(fēng)險(xiǎn)依賴于概率分布和損失函數(shù)，前者是客觀存在的，后者是根據(jù)具體問(wèn)題選定的，帶有（主觀的）人為的或偏好色彩。期望風(fēng)險(xiǎn)的大小直觀上可以理解為，當(dāng)我們用f（x）進(jìn)行預(yù)測(cè)時(shí)，“平均”的損失程度，或“平均”犯錯(cuò)誤的程度。

但是，只有樣本卻無(wú)法計(jì)算期望風(fēng)險(xiǎn)，因此，傳統(tǒng)的學(xué)習(xí)方法用樣本定義經(jīng)驗(yàn)風(fēng)險(xiǎn)Remp［f］作為對(duì)期望風(fēng)險(xiǎn)的估計(jì)，并設(shè)計(jì)學(xué)習(xí)算法使之最小化。即所謂的經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化（Empirical Risk MinimizaTIon， ERM）歸納原則。經(jīng)驗(yàn)風(fēng)險(xiǎn)是用損失函數(shù)來(lái)計(jì)算的。對(duì) 于模式識(shí)別問(wèn)題的損失函數(shù)來(lái)說(shuō)，經(jīng)驗(yàn)風(fēng)險(xiǎn)就是訓(xùn)練樣本錯(cuò)誤率；對(duì)于函數(shù)逼近問(wèn)題的損失函數(shù)來(lái)說(shuō)，就是平方訓(xùn)練誤差；而對(duì)于概率密度估計(jì)問(wèn)題的損失函數(shù)來(lái) 說(shuō)，ERM準(zhǔn)則就等價(jià)于最大似然法。事實(shí)上，用ERM準(zhǔn)則代替期望風(fēng)險(xiǎn)最小化并沒(méi)有經(jīng)過(guò)充分的理論論證，只是直觀上合理的想當(dāng)然做法。也就是說(shuō)，經(jīng)驗(yàn)風(fēng)險(xiǎn)最小不一定意味著期望風(fēng)險(xiǎn)最小。其實(shí)，只有樣本數(shù)目趨近于無(wú)窮大時(shí)，經(jīng)驗(yàn)風(fēng)險(xiǎn)才有可能趨近于期望風(fēng)險(xiǎn)。但是很多問(wèn)題中樣本數(shù)目離無(wú)窮大很遠(yuǎn)，那么在有限樣本下ERM準(zhǔn)則就不一定能使真實(shí)風(fēng)險(xiǎn)較小啦。ERM準(zhǔn)則不成功的一個(gè)例子就是神經(jīng)網(wǎng)絡(luò)的過(guò)學(xué)習(xí)問(wèn)題（某些情況下，訓(xùn)練誤差過(guò)小反而導(dǎo)致推廣能力下降，或者說(shuō)是訓(xùn)練誤差過(guò)小導(dǎo)致了預(yù)測(cè)錯(cuò)誤率的增加，即真實(shí)風(fēng)險(xiǎn)的增加）。

統(tǒng)計(jì)學(xué)習(xí)理論（StaTIsTIcal Learning Theory， SLT）和支持向量機(jī)（Support Vector Machine， SVM）建立了一套較好的有限訓(xùn)練樣本下機(jī)器學(xué)習(xí)的理論框架和通用方法，既有嚴(yán)格的理論基礎(chǔ)，又能較好地解決小樣本、非線性、高維數(shù)和局部極小點(diǎn)等實(shí)際問(wèn) 題，其核心思想就是學(xué)習(xí)機(jī)器（又叫預(yù)測(cè)函數(shù)，或?qū)W習(xí)函數(shù)，或?qū)W習(xí)模型）F要與有限的訓(xùn)練樣本相適應(yīng)。在學(xué)習(xí)算法中需要選擇恰當(dāng)?shù)腇，這里的關(guān)鍵因素是F的大小，或者F的豐富程度，或者說(shuō)F的“表達(dá)能力”，VC維（Vapnik-Chervonenkis Dimension）就是對(duì)這種“表達(dá)能力”的一種描述。