深度學習的熱潮還在不斷涌動，神經(jīng)網(wǎng)絡再次成為業(yè)界人士特別關注的問題，AI 的未來大有可期，而深度學習正在影響我們的日常生活。近日斯坦福大學給我們分享咯一則他對深度神經(jīng)網(wǎng)絡可解釋性的探索的論文，我們?nèi)タ纯此侨缋斫獾陌桑?/p>

近日，斯坦福大學計算機科學博士生 Mike Wu 發(fā)表博客介紹了他對深度神經(jīng)網(wǎng)絡可解釋性的探索，主要提到了樹正則化。其論文《Beyond Sparsity： Tree RegularizaTIon of Deep Models for Interpretability》已被 AAAI 2018 接收。

近年來，深度學習迅速成為業(yè)界、學界的重要工具。神經(jīng)網(wǎng)絡再次成為解決圖像識別、語音識別、文本翻譯以及其他困難問題的先進技術。去年十月，Deepmind 發(fā)布了 AlphaGo 的更強版本，從頭開始訓練即可打敗最優(yōu)秀的人類選手和機器人，表明 AI 的未來大有可期。在業(yè)界，F(xiàn)acebook、谷歌等公司將深度網(wǎng)絡集成在計算 pipeline 中，從而依賴算法處理每天數(shù)十億比特的數(shù)據(jù)。創(chuàng)業(yè)公司，如 Spring、Babylon Health 正在使用類似的方法來顛覆醫(yī)療領域。深度學習正在影響我們的日常生活。

圖 1：GradCam - 利用目標概念的梯度突出重要像素，從而創(chuàng)建決策的視覺解釋。

但是深度學習是一個黑箱。我第一次聽說它時，就對其工作原理非常費解。幾年過去了，我仍然在探索合理的答案。嘗試解釋現(xiàn)代神經(jīng)網(wǎng)絡很難，但是至關重要。如果我們打算依賴深度學習制造新的 AI、處理敏感的用戶數(shù)據(jù)，或者開藥，那么我們必須理解這些模型的工作原理。

很幸運，學界人士也提出了很多對深度學習的理解。以下是幾個近期論文示例：

Grad-Cam（Selvaraju et. al. 2017）：使用最后卷積層的梯度生成熱力圖，突出顯示輸入圖像中的重要像素用于分類。

LIME（Ribeiro et. al. 2016）：使用稀疏線性模型（可輕松識別重要特征）逼近 DNN 的預測。

特征可視化（Olah 2017）：對于帶有隨機噪聲的圖像，優(yōu)化像素來激活訓練的 DNN 中的特定神經(jīng)元，進而可視化神經(jīng)元學到的內(nèi)容。

Loss Landscape（Li et. al. 2017）：可視化 DNN 嘗試最小化的非凸損失函數(shù)，查看架構／參數(shù)如何影響損失情況。

圖 2：特征可視化：通過優(yōu)化激活特定神經(jīng)元或一組神經(jīng)元，從而生成圖像（Olah 2017）。

從上述示例中可見，學界對如何解釋 DNN 存在不同見解。隔離單個神經(jīng)元的影響？可視化損失情況？特征稀疏性？