物聯(lián)網(wǎng)正在不斷產(chǎn)生不可思議的數(shù)據(jù)量。分析師預(yù)計(jì)，2019年將有266.6億臺物聯(lián)網(wǎng)設(shè)備投入使用。此外，IDC預(yù)計(jì)，到2025年，物聯(lián)網(wǎng)設(shè)備將產(chǎn)生超過90 zettabytes的數(shù)據(jù)。

所有這些數(shù)據(jù)意味著什么？

通過流式分析，它意味著可以對拯救生命事件的實(shí)時反應(yīng)。例如，卡車接收關(guān)于道路上結(jié)冰的數(shù)據(jù)，然后，卡車不僅可以提醒駕駛員，而且還可以提醒其他車輛結(jié)冰的確切位置。

為了使這種實(shí)時數(shù)據(jù)能夠以高容量和高速度從物聯(lián)網(wǎng)傳感器和網(wǎng)絡(luò)操作中不斷流入組織，您需要一種不同于傳統(tǒng)靜態(tài)事務(wù)數(shù)據(jù)所需的數(shù)據(jù)管理解決方案。

以卡車為例。想象一下，冬天的時候，你在路上開著一輛卡車。貴公司為車輛安裝了物聯(lián)網(wǎng)傳感器，可持續(xù)監(jiān)控車輪打滑、氣溫、速度和轉(zhuǎn)速情況。突然，當(dāng)氣溫降至冰點(diǎn)以下時，車輪打滑測量值急劇上升，如果卡車或司機(jī)能在幾毫秒內(nèi)做出反應(yīng)，事故就可以避免，如果沒有，傳感器數(shù)據(jù)就沒有意義。

事件流處理

事件流處理系統(tǒng)使您能夠通過實(shí)時數(shù)據(jù)清理和分析及時處理這些數(shù)據(jù)。

讓我們定義事件流處理：“事件”是在明確定義的時間發(fā)生并記錄在數(shù)據(jù)字段集合中的任何事件; “流”是數(shù)據(jù)事件的持續(xù)流動，或者是從成千上萬個連網(wǎng)設(shè)備流入企業(yè)內(nèi)部和企業(yè)周圍的持續(xù)數(shù)據(jù)流;“處理”是指分析數(shù)據(jù)的行為。

當(dāng)事件流處理系統(tǒng)管理來自物聯(lián)網(wǎng)傳感器的數(shù)據(jù)時，它們會執(zhí)行將原始數(shù)據(jù)轉(zhuǎn)化為實(shí)時操作信息的過程。隨著大量數(shù)據(jù)快速流入系統(tǒng)，事件流處理系統(tǒng)會立即清理、規(guī)范和聚合內(nèi)存中的數(shù)據(jù)。同時，在這些數(shù)據(jù)流中編碼的實(shí)時分析模型將執(zhí)行分析，以確定特定事件是否相關(guān)，并在需要緊急行動時生成即時警報。

實(shí)時分析與事后分析

事件流處理系統(tǒng)實(shí)時過濾數(shù)據(jù)。因?yàn)檫@些系統(tǒng)最初存儲數(shù)據(jù)的內(nèi)存是有限的，所以事件流處理系統(tǒng)決定要丟棄哪些數(shù)據(jù)或者要保存哪些數(shù)據(jù)，甚至可能以聚合形式保存，因?yàn)槎鄠€事件通常比單個事件更具信息性。

例如，當(dāng)卡車在結(jié)冰的道路上有打滑的危險時，網(wǎng)絡(luò)邊緣的實(shí)時分析會立即提醒司機(jī)減速，甚至自動減速。

相比之下，傳統(tǒng)的關(guān)系數(shù)據(jù)庫管理系統(tǒng)（RDBMS）存儲所有數(shù)據(jù)，并在事后進(jìn)行清理和分析。關(guān)系數(shù)據(jù)庫管理系統(tǒng)從預(yù)定義的來源收集數(shù)據(jù)，并將其存儲在存儲系統(tǒng)中，如數(shù)據(jù)集市。一旦進(jìn)入存儲，數(shù)據(jù)就會被清理、規(guī)范化并整合到數(shù)據(jù)倉庫或Hadoop中。只有這樣，用戶才能通過報告、歷史分析，甚至預(yù)測分析和機(jī)器學(xué)習(xí)，從數(shù)據(jù)中獲得意義。

例如，對于事件流處理，如果傳感器跟蹤氣溫并且氣溫保持穩(wěn)定，則系統(tǒng)不會存儲持續(xù)的讀數(shù)。相反，它可能只保留指示變化的讀數(shù)。

多階段分析提供了優(yōu)勢

事件流處理為您提供了多個從數(shù)據(jù)中提取價值的機(jī)會。對于傳統(tǒng)的數(shù)據(jù)管理，數(shù)據(jù)是歷史的，不會改變。它可能會在事后進(jìn)行分析一兩次，而不是更多。

事件流處理系統(tǒng)首先實(shí)時分析數(shù)據(jù)，從而能夠?qū)κ录龀黾磿r響應(yīng)。然后，您可以實(shí)時或