2018年可以認(rèn)為是人工智能（AI）大爆發(fā)的一年。你只需看看那些標(biāo)語中帶AI一詞數(shù)量，宣稱自己 AI 創(chuàng)業(yè)公司的數(shù)量，大公司提到 AI 戰(zhàn)略的次數(shù)，以及技術(shù)頂會中爆滿的 AI 專場，你就知道人工智能已經(jīng)無處不在。但是，即使是這樣，AI 也只是稱為了一個流行語而已，但實(shí)際上 AI 的本質(zhì)是什么，我相信很多人都不知道。

圖 1： 這些年來大肆宣傳的概念

回顧這些年宣傳過的各種概念，多少人曾為之瘋狂。但是浪潮退去，裸泳者將會即刻出現(xiàn)。我們不應(yīng)該跟隨風(fēng)潮進(jìn)行概念炒作，相反的，我們應(yīng)該反思，這些技術(shù)都解決了什么問題？

對數(shù)據(jù)科學(xué)行業(yè)來說，也是如此。讓我們回顧一下單單“數(shù)據(jù)科學(xué)”一詞在谷歌搜索中的趨勢：

圖 2： 自2013年12月以來對“數(shù)據(jù)科學(xué)”術(shù)語的搜索（來源：谷歌趨勢）

可以看到，數(shù)據(jù)科學(xué)的趨勢一直在穩(wěn)步上升。接下來，讓我們回顧2018曾發(fā)生的事情，再來看看2019年的熱門話題。

2018 回顧

去年的這個時候，我也發(fā)表一篇關(guān)于2018年數(shù)據(jù)科學(xué)趨勢展望的文章。在那篇文章中，我主要提到的關(guān)鍵詞有：工程自動化，模型可解釋性和公平性，數(shù)據(jù)科學(xué)應(yīng)用商業(yè)化，以及特征工程工具的構(gòu)建和改進(jìn)。

自動化：一般來說，數(shù)據(jù)科學(xué)家的工作就是使他們的工作自動化，這句話可能有點(diǎn)繞口，但你認(rèn)真思考以下，數(shù)據(jù)科學(xué)出現(xiàn)的意義就是解決大規(guī)模數(shù)據(jù)情況的分析和挖掘。而我們使用的各種模型，都是致力于提供某種較為通用的方案讓機(jī)器能夠自動從數(shù)據(jù)中學(xué)習(xí)知識。并且在過去的一年里，很多大公司開源了自己的模型算法，以及整個機(jī)器學(xué)習(xí)流水線的自動化，甚至連機(jī)器學(xué)習(xí)算法的建模都能自動化，參見 Google/Amazon/阿里/騰訊 等一大批公司提出的 AutoML。

商業(yè)化：正是有了這么多可用的開源工具，數(shù)據(jù)科學(xué)領(lǐng)域內(nèi)的商業(yè)化競爭也越來越殘酷。不過幸運(yùn)的是，數(shù)據(jù)科學(xué)是一種橫向?qū)W科，你可以只對模型進(jìn)行一些微調(diào)，就可以在農(nóng)業(yè)應(yīng)用和醫(yī)療場景中使用相同的算法。因此，你也會發(fā)現(xiàn)，在2018年有很多宣稱自己是 AI 公司的，如果在某個垂直方向上失敗了，他們會迅速適應(yīng)另一個領(lǐng)域。

同樣也是由于這么多的開源工具，有一些公司直接對開源工具進(jìn)行某種適配和修改，然后賣給其它公司。這也是2018里常常出現(xiàn)的一個現(xiàn)象。

可解釋性和公平性：2018年這個領(lǐng)域也取得了巨大進(jìn)展?，F(xiàn)在有很多開源工具幫助解釋機(jī)器學(xué)習(xí)模型學(xué)習(xí)到的知識，例如 Python 中會用到的 SHAP。 此外，還有很多書籍也在探討這個問題，其中比較著名就有：Christoph Molnar 發(fā)表的《可解釋的機(jī)器學(xué)習(xí)模型》一書（獲取本書資源，請在本公眾號發(fā)消息：可解釋，即可獲取全書）。除此之外，Google 提供的 “What-If” 工具系列，也可以幫助初學(xué)者降低學(xué)習(xí)門檻，了解機(jī)器學(xué)習(xí)復(fù)雜模型的運(yùn)行原理。感謝 Google。

特征工程：雖然深度學(xué)習(xí)全面席卷整個行業(yè)，但是特征工程仍然是數(shù)據(jù)科學(xué)行業(yè)提升模型性能的主要秘訣之一。經(jīng)常參加比賽的同學(xué)就會知道，在各類比賽的獲勝方案中，沒有哪個是單單靠模型取勝的，這些參賽者都花了很多時間在特征工程上，即便是深度模型也是如此。 因此，特征工程仍舊是一個大話題，但是在2018年，也有越來越多的通用特征處理工具和算法提了出來。

最后，根據(jù) Stack Overflow 的統(tǒng)計，Python 已經(jīng)成為連續(xù)兩年增長最快的編程語言和最受歡迎的語言。按照這個速度，Python 應(yīng)該會在不久之后成為最常用的編程語言。

2019 展望

2018年的飛速發(fā)展讓我們能更廣泛更輕松的應(yīng)用數(shù)據(jù)科學(xué)，在2019年，數(shù)據(jù)科學(xué)家們關(guān)注的焦點(diǎn)是：

1. 如何最大限度地減少數(shù)據(jù)科學(xué)家花在數(shù)據(jù)清理和特征工程上的時間？

2. 如何解決機(jī)器學(xué)習(xí)模型的偏見問題？

3. 機(jī)器學(xué)習(xí)模型真的都可信嗎？

拋開這些難以回答的問題，數(shù)據(jù)科學(xué)還有很多現(xiàn)實(shí)的問題需要解決。

強(qiáng)化學(xué)習(xí)在2018年可謂是如坐過山車一般，從火爆到寒冬。但是今年強(qiáng)化學(xué)習(xí)的春天可能要到來了，比如應(yīng)用強(qiáng)化學(xué)習(xí)玩 Dota2 就是一個很好的例子。但是由于強(qiáng)化學(xué)習(xí)對于設(shè)備計算能力的要求較高，想要普及強(qiáng)化學(xué)習(xí)仍舊有很長的路要走。但是，無論如何，強(qiáng)化學(xué)習(xí)是數(shù)據(jù)科學(xué)領(lǐng)域目前學(xué)習(xí)方式最擬人化的模型，如果強(qiáng)化學(xué)習(xí)一旦廣泛應(yīng)用，將會是革命性的進(jìn)展。

如果你對強(qiáng)化學(xué)習(xí)感興趣，可以關(guān)注由 OpenAI 開發(fā)并開源的 Gym，里面有很多游戲示例可以練手。

隱私問題：2018年 facebook 由于隱私被起訴，國內(nèi)也有很多公司相繼爆出隱私問題。國際上，歐盟于2018年5月25日起，將要求數(shù)據(jù)科學(xué)履行他們制定的通用數(shù)據(jù)保護(hù)法規(guī)（GDPR），這些對全球的數(shù)據(jù)科學(xué)公司來說，都會有極大的影響。

目前，GDPR 主要關(guān)注以下兩個方面：

- 數(shù)據(jù)隱私：任何公司如果未經(jīng)用戶授權(quán)，擅自使用或者超過用戶的授權(quán)范圍使用用戶數(shù)據(jù)，會收到歐盟的巨額罰款。這帶來的問題是：以后想要獲取用戶數(shù)據(jù)，是否會越來越困難，或者，如果我們使用匿名數(shù)據(jù)，那么這些匿名數(shù)據(jù)是否真的可信？

- 向用戶解釋：對于任何完全自動化的算法形成的決策，平臺必須要能夠向用戶解釋任何發(fā)生在用戶身上的事情。在完全自動化的決策必須是可解釋的。歐盟沒有對“可解釋”下更多明確的定義，但是無論如何，迄今為止有很多機(jī)器學(xué)習(xí)模型仍舊還是不容易被解釋的，尤其是某些先進(jìn)的高級模型。那么是否意味著：一旦我們使用前沿的高級模型，是否就代表著有巨大的罰款等著我們？

值得信賴的人工智能至少要滿足這兩個條件：

（1）它應(yīng)該尊重人的基本權(quán)利，社會的法規(guī)、原則和價值觀，并且是道德的；

（2）在技術(shù)上它應(yīng)該強(qiáng)大可靠，避免對用戶造成意外傷害

隨著人工智能對社會的影響越來越大，我們有權(quán)要求這些 AI 減少偏見。幸運(yùn)的是，在國外我們已經(jīng)看到了很多公司和機(jī)構(gòu)在努力解決這個問題，比如歐盟提出了AI道德草案，谷歌重申了AI應(yīng)用的原則。AI 倫理學(xué)還有很長的路要走，希望在國內(nèi)我們也能有更多關(guān)于數(shù)據(jù)隱私和道德的討論。

圖 3：歐盟 AI 道德草案

基于云的解決方案：隨著人工智能算法變得越來越復(fù)雜，數(shù)據(jù)量越來越大，對計算機(jī)的要求越來越高?，F(xiàn)在已經(jīng)很少有大公司用個人電腦來進(jìn)行數(shù)據(jù)科學(xué)的研究。國內(nèi)如騰訊和阿里都相繼提出云上的機(jī)器學(xué)習(xí)解決方案，在未來，這一定是數(shù)據(jù)科學(xué)開發(fā)、運(yùn)行和部署的基本趨勢。

行業(yè)細(xì)分：現(xiàn)在如果你搜索一個傳統(tǒng)行業(yè)的工程師，你看到的職位名稱將會非常細(xì)化，比如機(jī)械工程師嗎、航天工程師、軟件工程師等等。

數(shù)據(jù)科學(xué)也是如此。2018年很多公司會將數(shù)據(jù)科學(xué)職位定義為“數(shù)據(jù)科學(xué)家”，但是在未來，隨著行業(yè)細(xì)分專業(yè)細(xì)分，數(shù)據(jù)科學(xué)家必定也會細(xì)分下去。國外 Netflix 公司已經(jīng)開了一個好頭，下圖中展示了 Netflix 的九個數(shù)據(jù)科學(xué)家角色：

圖 4： Netflix 的數(shù)據(jù)科學(xué)家職位

這給我們的啟示是：深耕一個領(lǐng)域。在數(shù)據(jù)科學(xué)剛開始的時候，肯定不存在許多專業(yè)化的細(xì)分領(lǐng)域。但隨著數(shù)據(jù)科學(xué)的發(fā)展，不同領(lǐng)域的細(xì)分越來越明顯，今年能夠明顯看到的就是 NLP 內(nèi)部也對 NLG / NER 等工程師進(jìn)行了細(xì)分。所以如果你還沒有確定自己的方向的話，是時候好好思考一下了。

2019年仍將是數(shù)據(jù)科學(xué)高速發(fā)展的一年，它可能不如2018瘋狂，但讓我們更理性的對待數(shù)據(jù)科學(xué)本身就是一個好事。請記住，時間是你最大的資產(chǎn)。你浪費(fèi)的每一秒都是你錯失的機(jī)會。行動起來，為數(shù)據(jù)科學(xué)更理性的明天做好準(zhǔn)備。