類失衡：假設(shè)您有一個罕見的疾病機(jī)器學(xué)習(xí)數(shù)據(jù)集，即大約8%的陽性。在這種情況下，即使你不訓(xùn)練，只是簡單地說沒有生病，這也會給出92%的準(zhǔn)確率。因此，在類不平衡的情況下，準(zhǔn)確性是不準(zhǔn)確的。

在本指南中，我們介紹了處理機(jī)器學(xué)習(xí)中不平衡類的5種策略：

對少數(shù)類進(jìn)行上采樣

對多數(shù)類進(jìn)行下采樣

更改性能指標(biāo)

懲罰算法

使用基于樹的算法

1. 上采樣少數(shù)類：指隨機(jī)復(fù)制少數(shù)類的觀察結(jié)果，使樣本數(shù)量與多數(shù)類匹配。

首先，我們將每個類的觀察結(jié)果分成不同的DataFrame。

接下來，我們將使用替換重取樣少數(shù)類，設(shè)置樣本數(shù)以匹配多數(shù)類的樣本數(shù)。

最后，我們將上采樣的少數(shù)類DataFrame與原始的多數(shù)類DataFrame相結(jié)合。

創(chuàng)建合成樣本(數(shù)據(jù)增強(qiáng))

創(chuàng)建合成樣本是上采樣的近親，有些人可能會將它們歸類在一起。例如，SMOTE算法是一種從少數(shù)類中重新采樣的方法，同時稍微調(diào)整特征值，從而創(chuàng)建“新的”樣本。

2. 下采樣多數(shù)類：下采樣涉及從多數(shù)類中隨機(jī)移除觀測值，以防止其信號支配學(xué)習(xí)算法。

首先，我們將每個類的觀察結(jié)果分成不同的DataFrame。

接下來，我們將重采樣多數(shù)類而不進(jìn)行替換，將樣本數(shù)設(shè)置為與少數(shù)類相匹配。

最后，我們將下采樣的多數(shù)類DataFrame與原始的少數(shù)類DataFrame結(jié)合起來。

3. 更改性能指標(biāo)：AUROC(ROC曲線下面積)

假設(shè)我們有一個概率的二元分類器，如邏輯回歸。

在呈現(xiàn)ROC曲線之前，必須理解混淆矩陣的概念。當(dāng)我們進(jìn)行二元預(yù)測時，可以有4種類型的結(jié)果：

我們預(yù)測0而真正的類實(shí)際上是0：這被稱為真陰性，即我們正確地預(yù)測該類是負(fù)的(0)。例如，防病毒軟件未將無害文件檢測為病毒。

我們預(yù)測0而真正的類實(shí)際上是1：這被稱為假陰性，即我們錯誤地預(yù)測該類是負(fù)的(0)。例如，防病毒軟件無法檢測到病毒。

我們預(yù)測1而真正的類實(shí)際上是0：這被稱為假陽性，即我們錯誤地預(yù)測該類是正的(1)。例如，防病毒軟件認(rèn)為無害文件是病毒。

我們預(yù)測1而真正的類實(shí)際上是1：這被稱為真陽性，即我們正確地預(yù)測該類是正的(1)。例如，防病毒軟件正確地檢測到了病毒。

為了獲得混淆矩陣，我們回顧機(jī)器學(xué)習(xí)項(xiàng)模型所做的所有預(yù)測，并計(jì)算這4種結(jié)果中的每一種發(fā)生的次數(shù)：

在這個混淆矩陣的例子中，在被分類的50個數(shù)據(jù)點(diǎn)中，45個被正確分類，5個被錯誤分類。

由于為了比較不同的模型，通常使用單個度量比使用多個度量更方便，所以我們從混淆矩陣中計(jì)算兩個度量，然后將其合并為一個:

真陽性率(TPR)，又名靈敏度、命中率和召回率，定義為+TPTP+ FN。直觀地，該度量對應(yīng)于相對于所有正數(shù)據(jù)點(diǎn)被正確認(rèn)為為正的正數(shù)據(jù)點(diǎn)的比例。換句話說，TPR越高，我們將錯過的正數(shù)據(jù)點(diǎn)越少。

假陽性率(FPR)，又名 fall-out，定義為+FPFP+ TN。直觀地，該度量對應(yīng)于相對于所有負(fù)數(shù)據(jù)點(diǎn)被錯誤地認(rèn)為是正數(shù)的負(fù)數(shù)據(jù)點(diǎn)的比例。換句話說，F(xiàn)PR越高，更多的負(fù)數(shù)據(jù)點(diǎn)將被錯誤分類。

為了將FPR和TPR合并為一個度量，我們首先計(jì)算邏輯回歸中具有許多不同閾值的前兩個度量(例如0.00、0.01、0.02、……、1.000.00;0.01、0.02、……、1.00)，然后將它們繪制在一個圖上，橫坐標(biāo)上是FPR值，縱坐標(biāo)上是TPR值。得到的曲線稱為ROC曲線，我們考慮的度量是這條曲線的AUC，我們稱之為AUROC。

下圖以圖形方式顯示AUROC：

在該圖中，藍(lán)色區(qū)域?qū)?yīng)于AUROC的曲線下面積。對角線中的虛線表示隨機(jī)預(yù)測器的ROC曲線：它的AUROC為0.5。

AUROC介于0和1之間，AUROC = 1意味著預(yù)測模型是完美的。事實(shí)上，AUROC距離0.5越遠(yuǎn)越好：如果AUROC