在這篇文章中，小編將對(duì)大數(shù)據(jù)的相關(guān)內(nèi)容和情況加以介紹以幫助大家增進(jìn)對(duì)它的了解程度，和小編一起來閱讀以下內(nèi)容吧。

一、大數(shù)據(jù)常用術(shù)語

1.ETL

ETL 指的是提取，轉(zhuǎn)換和加載。具體指的是“提取”原始數(shù)據(jù)的過程，通過清理、豐富數(shù)據(jù)將其“轉(zhuǎn)換”成適合使用的，并“加載”到適當(dāng)?shù)拇鎯?chǔ)庫中以供系統(tǒng)使用。雖然它源于數(shù)據(jù)倉庫，但ETL過程也被用來從大數(shù)據(jù)系統(tǒng)的外部資源中獲取和吸收數(shù)據(jù)。

2.Hadoop

當(dāng)想到大數(shù)據(jù)時(shí)，人們立即會(huì)想到 Hadoop 。Hadoop(具有可愛的大象標(biāo)志)是一個(gè)開源軟件框架，由所謂的 Hadoop 分布式文件系統(tǒng)(HDFS)組成，并允許使用分布式硬件對(duì)非常大的數(shù)據(jù)集進(jìn)行存儲(chǔ)，檢索和分析。如果你真的想給別人留下深刻的印象，還可以談?wù)? YARN，顧名思義，這是一種資源調(diào)度程序。取名字的人真太有才了。Apache 基金會(huì)還推出了 Hadoop，Pig，Hive 以及 Spark(是的，這些都是各種軟件的名稱)。真是服了這些名字。

3.內(nèi)存計(jì)算(In-memory computing)

一般來說，任何可以在不訪問 I / O 的情況下完成的計(jì)算都是很快的。內(nèi)存計(jì)算是一種將工作數(shù)據(jù)集完全放在集群的集體內(nèi)存中，避免將中間計(jì)算寫入磁盤的技術(shù)。Apache Spark 是一個(gè)內(nèi)存計(jì)算系統(tǒng)，它在速度超過 I / O 綁定系統(tǒng)(如 Hadoop 的MapReduce)方面擁有巨大的優(yōu)勢(shì)。

4.物聯(lián)網(wǎng)(IoT)

最新的流行語是物聯(lián)網(wǎng)(IOT)。IOT 通過互聯(lián)網(wǎng)將嵌入式對(duì)象(傳感器，可穿戴設(shè)備，汽車，冰箱等)中的計(jì)算設(shè)備進(jìn)行互連，并且能夠發(fā)送以及接收數(shù)據(jù)。IOT 生成大量數(shù)據(jù)，提供了大量大數(shù)據(jù)分析的機(jī)會(huì)。

5.機(jī)器學(xué)習(xí)(Machine learning)

機(jī)器學(xué)習(xí)是指通過提供的數(shù)據(jù)，使系統(tǒng)能夠?qū)W習(xí)，調(diào)整和改進(jìn)。通過預(yù)測(cè)和統(tǒng)計(jì)算法，他們不斷學(xué)習(xí)“正確”的行為和洞察力，隨著更多的數(shù)據(jù)流通過該系統(tǒng)，得以不斷地改進(jìn)。

6.MapReduce

MapReduce 可能會(huì)有點(diǎn)難懂。MapReduce 是一個(gè)編程模型，為了更好的理解，需注意 Map 和 Reduce 其實(shí)是兩個(gè)獨(dú)立的部分。在這種情況下，編程模型首先將大數(shù)據(jù)數(shù)據(jù)集分解成多個(gè)部分(在技術(shù)術(shù)語中稱為“元組”)，因此可以分布在不同位置的不同計(jì)算機(jī)上(即前面所述的集群計(jì)算)，這基本上就是 Map 部分。然后，該模型收集結(jié)果并將其“減少”為一個(gè)報(bào)告。MapReduce 的數(shù)據(jù)處理模式與Hadoop 的分布式文件系統(tǒng)緊密相關(guān)。

二、如何處理大數(shù)據(jù)中的冷數(shù)據(jù)

1、使用便宜但可靠的冷存儲(chǔ)

對(duì)于很少使用或存檔的數(shù)據(jù)，慢速硬盤驅(qū)動(dòng)器和磁帶是最常用的存儲(chǔ)介質(zhì)。重要的是定期測(cè)試磁盤和磁帶，以確保它們工作正常。另外，要避免將舊的驅(qū)動(dòng)器和磁帶降級(jí)為歸檔和數(shù)據(jù)備份功能——這些資源仍然有使用壽命，如果它們太舊，則更有可能出現(xiàn)故障。

2.考慮基于云的冷存儲(chǔ)

如果您不想在現(xiàn)場(chǎng)或物理外部設(shè)施中存儲(chǔ)大數(shù)據(jù)，則可以選擇使用云?；谠频睦浯鎯?chǔ)有很多選擇，您可能會(huì)找到一種存儲(chǔ)所有冷數(shù)據(jù)最合適的選擇。

3.對(duì)冷數(shù)據(jù)進(jìn)行年度評(píng)估

即使您已經(jīng)有存儲(chǔ)冷數(shù)據(jù)的方法，也并不意味著您應(yīng)該存儲(chǔ)所有數(shù)據(jù)。如果您還沒有，您可以與管理層和法律部門商議確定應(yīng)該保留哪些數(shù)據(jù)、丟棄哪些數(shù)據(jù)，每年評(píng)估一次即可。

4. 使用數(shù)據(jù)/存儲(chǔ)自動(dòng)化

大多數(shù)存儲(chǔ)提供商提供分層的數(shù)據(jù)存儲(chǔ)，這種存儲(chǔ)是通過人工智能實(shí)現(xiàn)的。人工智能會(huì)采用您定義的存儲(chǔ)數(shù)據(jù)的規(guī)則，并自動(dòng)應(yīng)用它們來確定數(shù)據(jù)的存儲(chǔ)位置。

數(shù)據(jù)存儲(chǔ)的主要層是內(nèi)存存儲(chǔ)或固態(tài)驅(qū)動(dòng)器，您經(jīng)常訪問的數(shù)據(jù)存儲(chǔ)就在其中。不常訪問的數(shù)據(jù)可以存儲(chǔ)在更便宜的硬盤存儲(chǔ)的二級(jí)數(shù)據(jù)層上。

很少使用的數(shù)據(jù)或冷數(shù)據(jù)將被分配給速度較慢的磁盤驅(qū)動(dòng)器或磁帶，這些磁盤或磁帶是您最便宜的存儲(chǔ)介質(zhì)。通過利用這種自動(dòng)化，您可以確保經(jīng)常以最低的成本存儲(chǔ)冷數(shù)據(jù)的同時(shí)，始終可以將大量熱數(shù)據(jù)提供給用戶。

最后，小編誠心感謝大家的閱讀。你們的每一次閱讀，對(duì)小編來說都是莫大的鼓勵(lì)和鼓舞。希望大家對(duì)大數(shù)據(jù)已經(jīng)具備了初步的認(rèn)識(shí)，最后的最后，祝大家有個(gè)精彩的一天。