深度學(xué)習(xí)是一個(gè)計(jì)算繁重的過程。 降低成本一直是 Data curation 的一大挑戰(zhàn)。 關(guān)于深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)大功耗的訓(xùn)練過程，已經(jīng)有研究人員發(fā)表了其碳足跡（溫室氣體排放集合）的報(bào)告。

情況只會(huì)越來越復(fù)雜，因?yàn)槲覀冋瓉硪粋€(gè)充斥著大量的機(jī)器學(xué)習(xí)應(yīng)用程序的未來。但所幸的是，我們也看到一些能夠讓訓(xùn)練神經(jīng)網(wǎng)絡(luò)的過程變得更高效的策略正在被發(fā)明出來。

以更改單個(gè)輸入來更新神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)可能會(huì)降低其他輸入的性能。 當(dāng)前，業(yè)內(nèi)通常使用兩種解決方法：

1、在原始數(shù)據(jù)集上重新訓(xùn)練模型，并補(bǔ)充解決錯(cuò)誤的樣本；

2、使用手動(dòng)緩存（例如查找表）來代替對(duì)有問題的樣本的模型預(yù)測(cè)；

雖然簡(jiǎn)單，但是這種方法對(duì)于輸入中的細(xì)微變化并不穩(wěn)健。 例如，在自然語言處理任務(wù)中，它不會(huì)概括出同一對(duì)象的不同觀點(diǎn)或釋義。 因此，在ICLR 2020的一篇正在審核的論文中，尚未公開姓名的作者提出了一種稱為“可編輯訓(xùn)練”的替代方法。

神經(jīng)網(wǎng)絡(luò)的“修補(bǔ)”

可編輯神經(jīng)網(wǎng)絡(luò)也屬于元學(xué)習(xí)范例，因?yàn)樗鼈兓旧鲜恰皩W(xué)習(xí)允許有效修補(bǔ)”。

有效的神經(jīng)網(wǎng)絡(luò)修補(bǔ)問題不同于持續(xù)學(xué)習(xí)，因?yàn)檠芯咳藛T認(rèn)為，可編輯的訓(xùn)練設(shè)置本質(zhì)上不是順序的。

在這種情況下進(jìn)行編輯意味著在不影響其他輸入的情況下，更改輸入對(duì)子集的模型預(yù)測(cè)（與錯(cuò)誤分類的對(duì)象相對(duì)應(yīng)）。

為此，構(gòu)想出了編輯器功能，即一種給定約束的參數(shù)功能。 換句話說，非正式地，這是一個(gè)調(diào)整參數(shù)以滿足給定約束的函數(shù)，該約束的作用是強(qiáng)制執(zhí)行模型行為所需的更改。

對(duì)于圖像分類實(shí)驗(yàn)，使用標(biāo)準(zhǔn)訓(xùn)練/測(cè)試分割獲取小的CIFAR-10數(shù)據(jù)集。訓(xùn)練數(shù)據(jù)集進(jìn)一步增加了隨機(jī)裁剪和隨機(jī)水平翻轉(zhuǎn)。

在此數(shù)據(jù)集上訓(xùn)練的所有模型都遵循ResNet-18架構(gòu)，并使用具有默認(rèn)超參數(shù)的Adam優(yōu)化器。

為深度神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)Edit的自然方法是使用梯度下降。 根據(jù)作者的觀點(diǎn)，標(biāo)準(zhǔn)的梯度下降編輯器可以用動(dòng)量（momentum）、自適應(yīng)學(xué)習(xí)率（adapTIve learning rates）進(jìn)一步增強(qiáng)。

但是，在許多實(shí)際情況下，絕大部分這些編輯都不會(huì)發(fā)生。 例如，比起“卡車”或“船”，以前被分類為“飛機(jī)”的圖像更有可能需要編輯為“鳥”。 為了解決這個(gè)問題，作者采用了自然對(duì)抗樣本（NAE）數(shù)據(jù)集。

該數(shù)據(jù)集包含7500個(gè)自然圖像，這些圖像很難用神經(jīng)網(wǎng)絡(luò)進(jìn)行分類。 如果不進(jìn)行編輯，經(jīng)過預(yù)訓(xùn)練的模型可以正確地預(yù)測(cè)NAE中不到1%的數(shù)據(jù)，但是正確的答案可能在按預(yù)測(cè)概率排序的前100個(gè)類別中。

總結(jié)

可編輯訓(xùn)練與對(duì)抗訓(xùn)練有些相似，后者是對(duì)抗攻擊防御的主要方法。 這里的重要區(qū)別在于，可編輯訓(xùn)練旨在學(xué)習(xí)模型，可以有效地糾正某些樣本上的行為。

同時(shí)，對(duì)抗訓(xùn)練會(huì)產(chǎn)生對(duì)某些輸入擾動(dòng)具有魯棒性的模型。 但人們可以使用可編輯訓(xùn)練來針對(duì)合成和自然對(duì)抗示例有效地覆蓋模型漏洞。

在許多深度學(xué)習(xí)應(yīng)用程序中，單個(gè)模型錯(cuò)誤可能導(dǎo)致毀滅性的財(cái)務(wù)、名譽(yù)乃至生命危險(xiǎn)。 因此，至關(guān)重要的是要盡快糾正出現(xiàn)的模型錯(cuò)誤。

可編輯訓(xùn)練，一種與模型無關(guān)的訓(xùn)練技術(shù)，可鼓勵(lì)對(duì)訓(xùn)練后的模型進(jìn)行快速編輯，并且這種方法的有效性對(duì)于大規(guī)模圖像分類和機(jī)器翻譯任務(wù)也很有希望。

來源：愛吧機(jī)器人網(wǎng)