從“大數(shù)據(jù)”一詞的正式出現(xiàn)距今已經(jīng)將近40年的時(shí)間，現(xiàn)如今，互聯(lián)網(wǎng)成為大數(shù)據(jù)三大來源之一，是獲取、傳播和擴(kuò)散相關(guān)信息的重要渠道。作為主要數(shù)據(jù)類型，如今的網(wǎng)絡(luò)大數(shù)據(jù)都有哪些特點(diǎn)？本文將通過傳統(tǒng)數(shù)據(jù)與網(wǎng)絡(luò)數(shù)據(jù)的對(duì)比，探討網(wǎng)絡(luò)大數(shù)據(jù)的特征。

傳統(tǒng)數(shù)據(jù)和網(wǎng)絡(luò)大數(shù)據(jù)的區(qū)別

結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)

傳統(tǒng)行業(yè)更多的是結(jié)構(gòu)化數(shù)據(jù)，存儲(chǔ)在數(shù)據(jù)庫里，可以用二維表結(jié)構(gòu)來邏輯表達(dá)實(shí)現(xiàn)的數(shù)據(jù)，像以應(yīng)用oracle、Sql Server等數(shù)據(jù)庫的制造型企業(yè)的ERP系統(tǒng)。而網(wǎng)絡(luò)大數(shù)據(jù)更多的是非結(jié)構(gòu)化數(shù)據(jù)，就是不能以二維形態(tài)描述的，例如所有格式的辦公文檔、文本、圖片、XML、HTML、各類報(bào)表、圖像和音頻/視頻信息等等，像是醫(yī)療影像系統(tǒng)、教育視頻點(diǎn)播、視頻監(jiān)控、國土GIS、 設(shè)計(jì)院、文件服務(wù)器（ PDM/FTP）、媒體資源管理等具體應(yīng)用。

數(shù)據(jù)的體量

互聯(lián)網(wǎng)擁有海量的數(shù)據(jù)，由于互聯(lián)網(wǎng)行業(yè)的特點(diǎn)，每時(shí)每刻都會(huì)產(chǎn)生海量的數(shù)據(jù)，它的數(shù)據(jù)往往是PB級(jí)的， 1個(gè)PB有多大呢？它相當(dāng)于2的50次方個(gè)字節(jié)。如果你對(duì)此沒有概念，那么簡單來說，《史記》約有52萬多漢字，1個(gè)PB能夠存儲(chǔ)至少10億部《史記》， 以百度、騰訊、阿里為代表的企業(yè)。傳統(tǒng)的一個(gè)生產(chǎn)制造工廠三個(gè)月制造的數(shù)據(jù)也不到100G。這是天大的一個(gè)差別。

數(shù)據(jù)分析的目的不同

互聯(lián)網(wǎng)行業(yè)會(huì)對(duì)這些網(wǎng)絡(luò)大數(shù)據(jù)做數(shù)據(jù)分析，挖掘，無論是過去的數(shù)據(jù)還是即時(shí)的數(shù)據(jù)，數(shù)據(jù)不再是靜止和陳舊的，任何被遺忘在服務(wù)器中的數(shù)據(jù)，都可能被重新利用，從而發(fā)現(xiàn)其中與我們、與行為、與現(xiàn)象的相關(guān)性，比如：

谷歌公司每天都會(huì)收到來自全球超過30億條的搜索指令，經(jīng)過多年數(shù)據(jù)的累計(jì)，谷歌公司建立了“咳嗽“，“發(fā)熱”等搜索關(guān)鍵字與流感地區(qū)的聯(lián)系，于是在2009年谷歌成功地在美國預(yù)測了冬季流感的傳播，并且精確到地區(qū)和州等等。而傳統(tǒng)行業(yè)則不會(huì)過多去關(guān)注過去的數(shù)據(jù)，一般月底會(huì)盤點(diǎn) ，出一些財(cái)務(wù)的數(shù)據(jù)分析報(bào)表，歷史的數(shù)據(jù)會(huì)存放于備份庫里，有問題才會(huì)去查找。

數(shù)據(jù)獲取方式的質(zhì)變

數(shù)據(jù)獲取方式的質(zhì)變是大數(shù)據(jù)能夠產(chǎn)生的核心要素。對(duì)傳統(tǒng)數(shù)據(jù)的獲取方式多是以人工的方式獲取數(shù)據(jù)，最大的特點(diǎn)是手動(dòng)輸入數(shù)據(jù)。傳統(tǒng)記錄數(shù)據(jù)的方式只能是小范圍的，少量的和準(zhǔn)確度欠佳的。而現(xiàn)在的數(shù)據(jù)獲取方式大多是通過URL傳輸和API接口，大體上數(shù)據(jù)獲取的方式有這樣幾類：爬蟲抓取、用戶留存、用戶上傳、數(shù)據(jù)交易和數(shù)據(jù)共享。

價(jià)值差異

網(wǎng)絡(luò)大數(shù)據(jù)與傳統(tǒng)數(shù)據(jù)的核心差異在于其價(jià)值的不可估量。傳統(tǒng)數(shù)據(jù)的價(jià)值體現(xiàn)在信息傳遞與表征，是對(duì)現(xiàn)象的描述與反饋，讓人通過數(shù)據(jù)去了解數(shù)據(jù)。而網(wǎng)絡(luò)大數(shù)據(jù)是對(duì)現(xiàn)象發(fā)生過程的全記錄，通過數(shù)據(jù)不僅能夠了解對(duì)象，還能分析對(duì)象，掌握對(duì)象運(yùn)作的規(guī)律，挖掘?qū)ο髢?nèi)部的結(jié)構(gòu)與特點(diǎn)，甚至能了解對(duì)象自己都不知道的信息。

在數(shù)據(jù)大爆炸的互聯(lián)網(wǎng)時(shí)代，數(shù)據(jù)的類型也是復(fù)雜多樣的，包括結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)。結(jié)構(gòu)化最常見，就是具有模式的數(shù)據(jù)。非結(jié)構(gòu)化數(shù)據(jù)是數(shù)據(jù)結(jié)構(gòu)不規(guī)則或不完整，沒有預(yù)定義的數(shù)據(jù)模型，包括所有格式的辦公文檔、文本、圖片、XML， HTML、各類報(bào)表、圖像和音頻/視頻信息等等。 網(wǎng)絡(luò)大數(shù)據(jù)采集，是大數(shù)據(jù)分析的入口，所以是相當(dāng)重要的一個(gè)環(huán)節(jié)。

傳統(tǒng)數(shù)據(jù)采集的不足

傳統(tǒng)的數(shù)據(jù)采集來源單一，且存儲(chǔ)、管理和分析數(shù)據(jù)量也相對(duì)較小，大多采用關(guān)系型數(shù)據(jù)庫和并行數(shù)據(jù)倉庫即可處理。對(duì)依靠并進(jìn)行計(jì)算提升數(shù)據(jù)處理速度方面而言，傳統(tǒng)的并行數(shù)據(jù)庫技術(shù)追求高度一致性和容錯(cuò)性，根據(jù)CAP理論，難以保證其可用性和擴(kuò)展性。

契合時(shí)代的數(shù)據(jù)采集方法：網(wǎng)絡(luò)數(shù)據(jù)采集

網(wǎng)絡(luò)大數(shù)據(jù)采集是指通過網(wǎng)絡(luò)爬蟲或網(wǎng)站公開API等方式從網(wǎng)站上獲取數(shù)據(jù)信息。該方法可以將非結(jié)構(gòu)化數(shù)據(jù)從網(wǎng)頁中抽取出來，將其存儲(chǔ)為統(tǒng)一的本地?cái)?shù)據(jù)文件，并以結(jié)構(gòu)化的方式存儲(chǔ)。它支持圖片、音頻、視頻等文件或附件的采集，附件與正文可以自動(dòng)關(guān)聯(lián)。除了網(wǎng)絡(luò)中包含的內(nèi)容之外，對(duì)于網(wǎng)絡(luò)流量的采集可以使用DPI或DFI等帶寬管理技術(shù)進(jìn)行處理。

互聯(lián)網(wǎng)極大地改變了人們的生活，大量、高速、多變的信息每天都圍繞在人們身邊，我們需要更好的處理方式，去應(yīng)對(duì)這種隨時(shí)隨地的變化。作為成都本土專業(yè)的DaaS服務(wù)商（數(shù)據(jù)即服務(wù)） ，我們推出網(wǎng)絡(luò)大數(shù)據(jù)采集系統(tǒng)，集數(shù)據(jù)采集、數(shù)據(jù)管理分析、數(shù)據(jù)交換共享為一體，實(shí)現(xiàn)數(shù)據(jù)從采集，處理到應(yīng)用的全生命周期管理。為政府、醫(yī)療、交通、旅游、金融、教育、企業(yè)等多個(gè)領(lǐng)域提供高效的大數(shù)據(jù)整體應(yīng)用解決方案 。