從事IT領(lǐng)域工作二十年以來，我發(fā)現(xiàn)人工智能技術(shù)逐步從概念轉(zhuǎn)向?qū)嶋H——機器學(xué)習(xí)技術(shù)位于前沿，并且變得更易于使用，即使對于沒有專業(yè)知識的團隊也是如此。

隨著越來越多的團隊使用預(yù)測模型，領(lǐng)導(dǎo)者和管理者必須意識到可能會扭曲團隊工作結(jié)果的常見問題。為了實現(xiàn)可靠的機器學(xué)習(xí)過程，以下是要避免的九個常見陷阱，以及可采用的最佳實踐方法。

陷阱1：抽樣偏差

任何機器學(xué)習(xí)項目的起點都是選擇訓(xùn)練數(shù)據(jù)。通常，組織機構(gòu)有一些可用的數(shù)據(jù)，或者可以識別相關(guān)的外部供應(yīng)商，例如國營企業(yè)或行業(yè)協(xié)會。這是問題開始的地方。

建模團隊及其業(yè)務(wù)贊助商必須定義要使用的數(shù)據(jù)集。選擇一個會歪曲或低估實際案例的數(shù)據(jù)集會很容易引起偏差，這會扭曲結(jié)果。例如，一個訪問只選擇在特定位置行走的人群，但卻將他們當(dāng)作健康人群的過度代表。

解決方案：為避免采樣偏差，團隊必須保證他們是真正地隨機選擇數(shù)據(jù)，而不是僅僅因為使用簡單就使用特定案例。對于指導(dǎo)有效的數(shù)據(jù)選擇而言，理想數(shù)據(jù)集的清晰定義和模型的邏輯至關(guān)重要。通過在早期階段與企業(yè)所有者合作，讓幾位評審人員驗證選擇標(biāo)準(zhǔn)，機器學(xué)習(xí)團隊可以確保他們的數(shù)據(jù)采樣方法有用并可靠。

陷阱2：不相關(guān)的功能選擇

在許多情況下，由于變量選擇的細微差別，建模師遇見了許多困難。許多技術(shù)需要大量功能集來推動學(xué)習(xí)過程。但是，為了收集足夠的學(xué)習(xí)數(shù)據(jù)，確保您獲取了正確且相關(guān)的功能可能非常具有挑戰(zhàn)性。

解決方案：構(gòu)建一個性能良好的模型的過程需要仔細的探索和分析，以確保您選擇和設(shè)計適當(dāng)?shù)墓δ?。了解領(lǐng)域和包含主題專家，是選擇正確功能最重要的兩個驅(qū)動因素。此外，諸如遞歸特征消除(recursive feature elimination，RFE)，隨機森林(random forest)，主成分分析(principal component analysis，PCA)和自動編碼器等技術(shù)有助于將建模工作集中在少數(shù)幾個更有效的功能上。

陷阱3：數(shù)據(jù)泄露

機器學(xué)習(xí)團隊可能會偶然地收集建模數(shù)據(jù)，使用的標(biāo)準(zhǔn)是團隊試圖預(yù)測結(jié)果的一部分，因此，模型會顯示出優(yōu)秀到失真的性能。例如，一個團隊可能錯誤的包含了一個在旨在預(yù)測疾病的模型中指示某些疾病治療的變量。

解決方案：建模團隊必須仔細構(gòu)建他們的數(shù)據(jù)集，在模型估計結(jié)果之前僅使用訓(xùn)練時實際可用的數(shù)據(jù)。

陷阱4：缺少數(shù)據(jù)

在某些情況下，由于缺少某些記錄，數(shù)據(jù)集會變得不完整。錯誤地調(diào)整該條件或假設(shè)沒有缺失值，建模師可能會對結(jié)果的認(rèn)知產(chǎn)生重大偏差。例如，缺失的數(shù)據(jù)可能并不總是隨機的，例如，當(dāng)調(diào)查受訪者不太可能回答某個特定問題時。因此，平均估算可能會誤導(dǎo)模型。

解決方案：如果您無法設(shè)計培訓(xùn)計劃以確保使用完整的數(shù)據(jù)集，則可以采用統(tǒng)計技術(shù)，包括丟棄缺失值的記錄，或使用適當(dāng)?shù)牟逖a策略來估算缺失的數(shù)據(jù)值。

陷阱5：不準(zhǔn)確的縮放和標(biāo)準(zhǔn)化

構(gòu)建用于機器學(xué)習(xí)工作的數(shù)據(jù)集通常需要團隊收集不同類型的輸入端，這些輸入端有著不同的衡量尺度。在建立模型之前，如果未能調(diào)整變量的值以允許通用比例，線性回歸(linear regression)，支持向量機(support vector machine，SVN)，或k近鄰(k nearest neighbors，KNN)等算法會受到很大影響。這些問題的出現(xiàn)在于范圍大的話會導(dǎo)致功能的高度變化，因此，它們可能變得多余。例如，如果您將兩者都當(dāng)作未處理的投入使用，那么薪水的數(shù)據(jù)可能會獲得比年齡更重的權(quán)重。

解決方案：在開始建立模型之前，您必須小心地對數(shù)據(jù)集進行標(biāo)準(zhǔn)化。您可以通過常用統(tǒng)計技術(shù)(如標(biāo)準(zhǔn)化或功能縮放)來轉(zhuǎn)換數(shù)據(jù)集，這取決于數(shù)據(jù)的類型和團隊的首選算法。

陷阱6：忽略異常值

忘記異常值可能會對模型的性能產(chǎn)生重大影響。例如，像AdaBoost這樣的算法會將異常值視為困難情況，并將不適當(dāng)?shù)臋?quán)重放在適當(dāng)?shù)奈恢蒙希鴽Q策樹更寬容。此外，不同的用例需要不同的離群值處理。例如，在發(fā)現(xiàn)欺詐行為的情況下，應(yīng)重點關(guān)注存款中異常值。

解決方案：要解決此類問題，您的團隊?wèi)?yīng)該使用建模算法，它能夠正確處理異常值，或者在建模前過濾異常值。良好的開端在于讓您的團隊做一個初步檢查，以確定數(shù)據(jù)中是否存在異常值。最簡單的方法是審查數(shù)據(jù)的圖標(biāo)或檢查任何數(shù)值，它們可能是幾個標(biāo)準(zhǔn)差，或更遠離平均值的數(shù)值。

陷阱7：計算錯誤功能

當(dāng)一個團隊為建模提供投入時，微分過程中的任何錯誤都可能會為模型帶來誤導(dǎo)性輸入。毫無例外，無論團隊如何構(gòu)建，模型都出乎意料地產(chǎn)生了不可靠的結(jié)果。這個問題的一個例子是，一個團隊弱化了一個依賴于計算的利用率的信用評分預(yù)測模型，因為這個團隊包括來自信用報告的不活躍貿(mào)易信息。

解決方案：建模師必須仔細檢查團隊如何獲取數(shù)據(jù)。關(guān)鍵的出發(fā)點是要了解哪些功能是原始格式，哪些是經(jīng)過設(shè)計的。自此，建模師就可以在進行建模之前檢查衍生功能的假設(shè)和計算。

陷阱8：忽略多線投入(multi-collinear inputs)

使用數(shù)據(jù)集而不考慮多重共線性預(yù)測因子(multi-collinear predictors)是誤導(dǎo)模型建構(gòu)的另一種方式(多線性輸入的存在意味著兩個或多個變量之間存在著很高的相關(guān)性)。結(jié)果使其很難識別任何一個變量的影響。在這種情況下，選定功能的微小變化會對結(jié)果產(chǎn)生重大影響。這個問題的一個例子是，廣告預(yù)算和流量作為預(yù)測變量呈現(xiàn)共線性。

解決方案：檢測多重共線性的簡單方法是計算所有變量對應(yīng)的相關(guān)系數(shù)。之后您就有諸多選擇來解決任何確定的共線性問題，如建筑構(gòu)圖或刪除冗余變量。

陷阱9：無效績效KPI

當(dāng)建模數(shù)據(jù)各種進程進入平衡狀態(tài)時，大多數(shù)建模算法表現(xiàn)最好。當(dāng)數(shù)據(jù)顯示不平衡時，衡量模型性能的正確指標(biāo)變的至關(guān)重要。例如，平均違約率為1.2%。一個模型的準(zhǔn)確度能達到98%，預(yù)測在所有情況下都不會發(fā)生變化。

解決方案：除非可以選擇生成更均衡的訓(xùn)練集，或使用基于成本的學(xué)習(xí)算法，選擇業(yè)務(wù)驅(qū)動的績效指標(biāo)是最好的解決方案。對于超出準(zhǔn)確度的模型的績效有著各種措施，如精確度，召回率，F(xiàn)1得分和受試者工作特征(receiver operating characteristic，ROC)曲線。選擇最合適的度量標(biāo)準(zhǔn)將指導(dǎo)建模算法錯誤最小化。