不管是AI也好，其他學(xué)科也好，學(xué)習(xí)、研究的過程中不斷反思學(xué)科的歷史，總結(jié)學(xué)科的發(fā)展現(xiàn)狀，找出最重要的理念，總能讓人能“吾道一以貫之”。軟件工程師James Le近期根據(jù)他研究的經(jīng)驗(yàn)總結(jié)出了AI研究必須要知道的十種深度學(xué)習(xí)方法，非常具有啟發(fā)性。

The 10 Deep Learning Methods AI PracTITIoners Need to Apply

人們對機(jī)器學(xué)習(xí)的興趣在過去十年經(jīng)歷了爆炸式的發(fā)展。計(jì)算機(jī)科學(xué)項(xiàng)目中、業(yè)界會議中、媒體報(bào)道中，你都能夠看到機(jī)器學(xué)習(xí)的影子。但是似乎所有關(guān)于機(jī)器學(xué)習(xí)的討論中，人們常常會把AI能做什么和他們希望AI能做什么混為一談。

從根本上來講，機(jī)器學(xué)習(xí)其實(shí)就是使用算法從原始數(shù)據(jù)中提取信息，并以某種類型的模型表示出來；然后我們使用這個(gè)模型來推斷我們尚未建模的其他數(shù)據(jù)。

神經(jīng)網(wǎng)絡(luò)作為機(jī)器學(xué)習(xí)的一類模型，它們已經(jīng)存在了至少50年。神經(jīng)網(wǎng)絡(luò)的基本單元是節(jié)點(diǎn)，大致上模仿了哺乳動物大腦中的生物神經(jīng)元的節(jié)點(diǎn)；節(jié)點(diǎn)之間的鏈接（也是模仿生物大腦）隨著時(shí)間的推移（訓(xùn)練）而演化。

在上世紀(jì)八十年代中期和九十年代早期，許多重要的神經(jīng)網(wǎng)絡(luò)構(gòu)架都已經(jīng)做出了，不過要想獲得好的結(jié)果還需要足夠強(qiáng)大的計(jì)算能力和大體量的數(shù)據(jù)集，這些當(dāng)時(shí)在當(dāng)時(shí)很不理想，所以也導(dǎo)致人們對機(jī)器學(xué)習(xí)的熱情逐漸冷淡了下來。在21世紀(jì)初，計(jì)算機(jī)的計(jì)算能力呈現(xiàn)了指數(shù)級的增長——業(yè)界見證了計(jì)算機(jī)技術(shù)的“寒武紀(jì)大爆發(fā)”，這在之前幾乎是不可想象的。深度學(xué)習(xí)作為這個(gè)領(lǐng)域中一個(gè)重要的架構(gòu)，在計(jì)算能力爆發(fā)式增長的十年中，贏得了許多重要的機(jī)器學(xué)習(xí)競賽。這個(gè)紅利的熱度直到今年仍未降溫；今天，我們看到在機(jī)器學(xué)習(xí)的每個(gè)角落里都會提到深度學(xué)習(xí)。

最近，我也開始閱讀一些深度學(xué)習(xí)方面的學(xué)術(shù)論文。下面這些是我收集到的幾篇對深度學(xué)習(xí)領(lǐng)域的發(fā)展有重大影響的幾篇論文：

1、Gradient-Based Learning Applied to Document RecogniTIon (1998)

意義：向機(jī)器學(xué)習(xí)世界引進(jìn)了卷積神經(jīng)網(wǎng)絡(luò)

作者：Yann LeCun, Leon Bottou, Yoshua Bengio, and Patrick Haffner

2、Deep Boltzmann Machines (2009)

意義：為玻爾茲曼機(jī)提出了一種新的學(xué)習(xí)算法，其中包含許多隱藏變量層。

作者：Ruslan Salakhutdinov, Geoffrey Hinton

3、Building High-Level Features Using Large-Scale Unsupervised Learning (2012)

意義：解決了僅從未標(biāo)記的數(shù)據(jù)構(gòu)建高層次、特定類別的特征檢測器的問題。

作者：Quoc V. Le，Marc’Aurelio Ranzato，Rajat Monga，Matthieu Devin，Kai Chen，Greg S. Corrado，Jeff Dean，Andrew Y. Ng

4、DeCAF?—?A Deep ConvoluTIonal Activation Feature for Generic Visual Recognition (2013)

意義：釋放了一個(gè)深度卷積激活特征的開源實(shí)現(xiàn)——DeCAF，以及所有相關(guān)的網(wǎng)絡(luò)參數(shù)，使視覺研究人員能夠深入地在一系列視覺概念學(xué)習(xí)范例中進(jìn)行實(shí)驗(yàn)。

作者：Jeff Donahue，Yangqing Jia，Oriol Vinyals，Judy Hoffman，Ning Zhang，Eric Tzeng，Trevor Darrell

5、Playing Atari with Deep Reinforcement Learning (2016)

意義：提供了第一個(gè)可以使用強(qiáng)化學(xué)習(xí)從高維感官輸入中直接學(xué)習(xí)控制策略的深度學(xué)習(xí)模型。

作者：

Volodymyr Mnih，Koray Kavukcuoglu，David Silver，Alex Graves，Ioannis Antonoglou，Daan Wierstra，Martin Riedmiller（DeepMind 團(tuán)隊(duì)）

在這些學(xué)習(xí)和研究中，我發(fā)現(xiàn)大量非常有意思的知識點(diǎn)。在這里我將分享十個(gè)深度學(xué)習(xí)的方法，AI工程師可能會將這些應(yīng)用到他們的機(jī)器學(xué)習(xí)問題當(dāng)中。

不過，首先先讓我們來定義一下什么是“深度學(xué)習(xí)”。對很多人來說，給“深度學(xué)習(xí)”下一個(gè)定義確實(shí)很有挑戰(zhàn)，因?yàn)樵谶^去的十年中，它的形式已經(jīng)慢慢地發(fā)生了很大的變化。

先來在視覺上感受一下“深度學(xué)習(xí)”的地位。下圖是AI、機(jī)器學(xué)習(xí)和深度學(xué)習(xí)三個(gè)概念的一個(gè)關(guān)系圖。