世界經(jīng)歷過(guò)工業(yè)革命，現(xiàn)在我們正處于數(shù)字革命的時(shí)代。機(jī)器學(xué)習(xí)、人工智能和大數(shù)據(jù)分析是當(dāng)今世界的現(xiàn)實(shí)。

我最近有機(jī)會(huì)與Talend副總裁CiaranDynes以及Datalytyx主管JusTInMullen交談。Talend是一家軟件集成供應(yīng)商，主要為企業(yè)提供大數(shù)據(jù)解決方案，而Datalytyx是大型數(shù)據(jù)工程、數(shù)據(jù)分析和云解決方案業(yè)務(wù)的領(lǐng)先提供商，其提供的服務(wù)能夠讓企業(yè)運(yùn)營(yíng)更快、更有效、更有利潤(rùn)。

大數(shù)據(jù)運(yùn)營(yíng)的演變

為了更深入地了解大數(shù)據(jù)運(yùn)營(yíng)的演變，我詢(xún)問(wèn)了JusTInMullen五年前面臨的挑戰(zhàn)，以及他們?yōu)槭裁匆枨蟋F(xiàn)代化的集成平臺(tái)。他回應(yīng)道，“我們面臨著與客戶(hù)類(lèi)似的挑戰(zhàn)。”在大數(shù)據(jù)分析之前，我們都面臨著類(lèi)似的問(wèn)題

他回應(yīng)道，“我們面臨著與客戶(hù)面臨的類(lèi)似挑戰(zhàn)。”在大數(shù)據(jù)分析之前，這就是我所說(shuō)的“數(shù)據(jù)分析困境”。在很大程度上，關(guān)于數(shù)據(jù)的分析主要是基本系統(tǒng)的手工聚合和數(shù)據(jù)處理。然后，我們可能面臨的最大挑戰(zhàn)是，在應(yīng)用不同的分析算法來(lái)分析原始數(shù)據(jù)并以有意義的方式可視化結(jié)果之前，如何對(duì)數(shù)據(jù)進(jìn)行歸納和管理，從而捋順業(yè)務(wù)關(guān)系。”

他進(jìn)一步補(bǔ)充說(shuō)，“我們的客戶(hù)希望的不僅僅是進(jìn)行一次分析，而且還希望在幾個(gè)月和幾年的時(shí)間里，不斷刷新KPI性能。”在手工數(shù)據(jù)工程實(shí)踐中，我們很難滿(mǎn)足客戶(hù)的要求，而這正是我們決定需要一個(gè)可靠、可靠的數(shù)據(jù)管理平臺(tái)來(lái)解決這些挑戰(zhàn)的時(shí)候。

數(shù)據(jù)科學(xué)的出現(xiàn)

大多數(shù)經(jīng)濟(jì)學(xué)家和社會(huì)科學(xué)家都對(duì)正在替代制造業(yè)和商業(yè)的自動(dòng)化技術(shù)感到擔(dān)憂(yōu)。如果數(shù)字化和自動(dòng)化繼續(xù)以同樣的速度增長(zhǎng)，機(jī)器有很大的可能取代人類(lèi)。當(dāng)今世界我們已經(jīng)看到了一些類(lèi)似現(xiàn)象，但在未來(lái)這種情況會(huì)更加突出。

然而，Dynes說(shuō)，“數(shù)據(jù)科學(xué)家正在為今天不同領(lǐng)域的復(fù)雜問(wèn)題提供解決方案。”他們利用數(shù)據(jù)分析中的有用信息來(lái)理解和解決問(wèn)題。數(shù)據(jù)科學(xué)是一種輸入，輸出則是自動(dòng)化。機(jī)器自動(dòng)化，但人類(lèi)提供必要的輸入來(lái)獲得想要的輸出。

這就為人工以及機(jī)器服務(wù)的相關(guān)需求創(chuàng)造了一個(gè)平衡。自動(dòng)化和數(shù)據(jù)科學(xué)都是并行的。一個(gè)過(guò)程中沒(méi)有另一個(gè)過(guò)程是不完整的。如果不能通過(guò)操控來(lái)產(chǎn)生有意義的結(jié)果，原始數(shù)據(jù)就沒(méi)有任何意義;同樣，如果沒(méi)有足夠的相關(guān)數(shù)據(jù)，機(jī)器學(xué)習(xí)就無(wú)法實(shí)現(xiàn)。

將大數(shù)據(jù)整合到商業(yè)模式中

Dynes說(shuō)：“企業(yè)正在意識(shí)到數(shù)據(jù)的重要性，并將大數(shù)據(jù)和機(jī)器學(xué)習(xí)解決方案納入他們的商業(yè)模式。”他進(jìn)一步補(bǔ)充道，“我們看到自動(dòng)化正在發(fā)生。”這在電子商務(wù)和制造業(yè)領(lǐng)域很明顯，而在移動(dòng)銀行和金融領(lǐng)域也有著巨大的應(yīng)用前景。”

當(dāng)我問(wèn)及他對(duì)于機(jī)器學(xué)習(xí)過(guò)程和平臺(tái)需求轉(zhuǎn)變的看法時(shí)，他補(bǔ)充說(shuō)，“需求一直都存在。”數(shù)據(jù)分析一直至關(guān)重要。唯一的不同是，5年前，企業(yè)壟斷了數(shù)據(jù)，數(shù)據(jù)總是被秘密存儲(chǔ)起來(lái)。“誰(shuí)擁有這些數(shù)據(jù)，誰(shuí)就擁有權(quán)力，只有少數(shù)幾家知名的市場(chǎng)參與者能夠獲得數(shù)據(jù)。”

JusTIn曾與不同的公司合作過(guò)。其中一些知名客戶(hù)包括CalorGas,Jaeger以及Wejo。在談到這些公司在實(shí)施高級(jí)數(shù)據(jù)分析或機(jī)器學(xué)習(xí)之前所面臨的挑戰(zhàn)時(shí)，他說(shuō)，“我的大多數(shù)客戶(hù)面臨的最大挑戰(zhàn)是在一處積累的關(guān)鍵數(shù)據(jù)，讓復(fù)雜的算法可以同時(shí)運(yùn)行，從而顯現(xiàn)出更好的分析結(jié)果。”數(shù)據(jù)分析要有連續(xù)性，而不是一次性的，這至關(guān)重要。”

快速數(shù)字化的原因

Dynes說(shuō)：“由于兩個(gè)主要原因，我們正在經(jīng)歷快速的數(shù)字化。”“在過(guò)去的幾年里，這種技術(shù)的發(fā)展速度呈指數(shù)級(jí)增長(zhǎng)。其次，組織文化已經(jīng)發(fā)生了巨大的變化。”他補(bǔ)充說(shuō)，“隨著開(kāi)放源代碼技術(shù)和云平臺(tái)的出現(xiàn)，數(shù)據(jù)現(xiàn)在更容易獲齲”“現(xiàn)在越來(lái)越多的人獲得了信息，他們正在利用這些信息來(lái)獲取利益。”

除了技術(shù)方面的進(jìn)步和發(fā)展，“進(jìn)入職場(chǎng)的新一代也依賴(lài)于科技。”他們嚴(yán)重依賴(lài)科技來(lái)完成日常工作。他們對(duì)透明交流持更加開(kāi)放的態(tài)度。因此，收集這代人的數(shù)據(jù)比較容易，因?yàn)樗麄円呀?jīng)準(zhǔn)備好討論自己的觀(guān)點(diǎn)和偏好。他們已經(jīng)準(zhǔn)備好提問(wèn)和回答不可能的問(wèn)題了，”Dynes說(shuō)。

當(dāng)談到公司在選擇大數(shù)據(jù)分析解決方案時(shí)所面臨的挑戰(zhàn)時(shí)，Mullen補(bǔ)充道：“在使用機(jī)器學(xué)習(xí)的同時(shí)，行業(yè)目前面臨的挑戰(zhàn)是雙重的。他們面臨的第一個(gè)挑戰(zhàn)是數(shù)據(jù)收集、數(shù)據(jù)整理、數(shù)據(jù)管理（質(zhì)量）和數(shù)據(jù)聚合。第二個(gè)挑戰(zhàn)是，在數(shù)據(jù)工程、高級(jí)分析和機(jī)器學(xué)習(xí)方面，對(duì)抗人類(lèi)技能的匱乏。

“你需要把新世界和舊世界融合在一起。”舊世界嚴(yán)重依賴(lài)大數(shù)據(jù)收集，而新世界則主要關(guān)注實(shí)時(shí)數(shù)據(jù)解決方案。

Dynes說(shuō)：“你需要把新世界和舊世界融合起來(lái)。”舊世界嚴(yán)重依賴(lài)數(shù)據(jù)收集，而新世界主要關(guān)注數(shù)據(jù)解決方案。如今，在這個(gè)行業(yè)中，已經(jīng)有一些解決方案能夠同時(shí)滿(mǎn)足這兩個(gè)要求。

他的結(jié)論是，“數(shù)據(jù)工程的重要性是不可忽視的，機(jī)器學(xué)習(xí)就像潘多拉的盒子。”其在很多領(lǐng)域都有廣泛的應(yīng)用，一旦你打造了高質(zhì)量的服務(wù)，企業(yè)就會(huì)為你帶來(lái)更多業(yè)務(wù)。這是一件好事。