在最近的一次報(bào)告中，Ben Hamner向我們介紹了他和他的同事在Kaggle比賽中看到的一些機(jī)器學(xué)習(xí)項(xiàng)目的常見誤區(qū)。

在這篇文章中，我們將從Ben的報(bào)告中了解一些常見的誤區(qū)，它們是什么及如何避免陷入這些誤區(qū)。

在報(bào)告之前，Ben向我們展示了一個(gè)解決機(jī)器學(xué)習(xí)問題大體流程。

機(jī)器學(xué)習(xí)流程，摘自Ben Hamner的《機(jī)器學(xué)習(xí)小精靈》

這個(gè)流程包括如下9步：

以一個(gè)行業(yè)問題開始

源數(shù)據(jù)

切分?jǐn)?shù)據(jù)

選擇一個(gè)評價(jià)標(biāo)準(zhǔn)

進(jìn)行特征提取

訓(xùn)練模型

特征選擇

模型選擇

生產(chǎn)系統(tǒng)

Ben強(qiáng)調(diào)這個(gè)過程是迭代的過程，而非線性的。

他也談及在這個(gè)過程中的每一步都可能出錯(cuò)，每個(gè)錯(cuò)誤都可能使整個(gè)機(jī)器學(xué)習(xí)過程難以達(dá)到預(yù)期效果。

鑒別狗和貓

Ben提出了一個(gè)研究建造一個(gè)“自動貓門”的案例，這個(gè)“門”對貓開放而對狗關(guān)閉。這是一個(gè)啟發(fā)性的例子，因?yàn)樗O(shè)計(jì)到了處理數(shù)據(jù)問題上的一系列關(guān)鍵問題。

鑒別狗和貓，摘自Ben Hamner的《機(jī)器學(xué)習(xí)小精靈》

樣本大小

這個(gè)例子的第一個(gè)賣點(diǎn)就是，模型學(xué)習(xí)的準(zhǔn)確度與數(shù)據(jù)樣本大小有關(guān)，并展示更多的樣本與更好的準(zhǔn)確度之間的關(guān)系。

他通過不斷增加訓(xùn)練數(shù)據(jù)，直到模型準(zhǔn)確度趨于穩(wěn)定。這個(gè)例子能夠很好讓你了解，你的系統(tǒng)對樣本大小及相應(yīng)調(diào)整有多敏感。

錯(cuò)誤的問題

第二個(gè)賣點(diǎn)就是這個(gè)系統(tǒng)失敗了，它對所有的貓都拒之門外。

這個(gè)例子突出了理解我們需要解決的問題的約束是非常重要的，而不是關(guān)注你想解決的問題。

機(jī)器學(xué)習(xí)工程中的誤區(qū)

Ben接著討論了解決機(jī)器學(xué)習(xí)問題中的4個(gè)常見誤區(qū)。

雖然這些問題非常常見，但是他指出它們相對比較容易被識別及解決。

過擬合，摘自Ben Hamner的《機(jī)器學(xué)習(xí)小精靈》

數(shù)據(jù)泄露：利用模型中的生產(chǎn)系統(tǒng)不能訪問的數(shù)據(jù)。在時(shí)序問題中這個(gè)問題特別常見。也可能發(fā)生在像系統(tǒng)id的數(shù)據(jù)上，id可能表示一個(gè)類標(biāo)簽。運(yùn)行模型并且仔細(xì)查看有助于系統(tǒng)的特征。完整檢查并考慮其是否有意義。

過擬合：在訓(xùn)練數(shù)據(jù)上建模太精密，同時(shí)模型中又存在一些噪聲點(diǎn)。這時(shí)過擬合會降低模型的擴(kuò)展能力， 其在更高的維度與更復(fù)雜的類界限下更甚。

數(shù)據(jù)采用和切分：相對于數(shù)據(jù)泄露，你需要非常小心地知道訓(xùn)練、測試、交叉檢驗(yàn)數(shù)據(jù)集是否是真正的獨(dú)立數(shù)據(jù)集。對于時(shí)序問題，很多想法和工作需要保證可以按時(shí)間順序給系統(tǒng)回復(fù)數(shù)據(jù)和驗(yàn)證模型的準(zhǔn)確性。

數(shù)據(jù)質(zhì)量：檢查你的數(shù)據(jù)的一致性。Ben給了一個(gè)航班起飛及著陸地點(diǎn)的數(shù)據(jù)，很多不一致，重復(fù)及錯(cuò)誤的數(shù)據(jù)需要被識別及明確地處理。這些數(shù)據(jù)會直接損害建模及模型的擴(kuò)展能力。