美國(guó)政府在即將到來(lái)的大數(shù)據(jù)項(xiàng)目中將面臨重重挑戰(zhàn)，其中之一就是生成數(shù)據(jù)量不足。但事實(shí)上，Gartner最近的報(bào)告顯示，企業(yè)數(shù)據(jù)年平均增長(zhǎng)速度在40%?60%。

作為一些生成大量數(shù)據(jù)機(jī)構(gòu)（包括國(guó)家天氣服務(wù)局、國(guó)家海洋和大氣管理局）的主管政府部門(mén)，美國(guó)商務(wù)部的這一數(shù)字甚至更低。

在最近的FOSE大會(huì)上，美國(guó)商務(wù)部CIOSimonSzykman表示:“我們不存在挑戰(zhàn)的領(lǐng)域之一就是我們生成數(shù)據(jù)的能力。我們生成數(shù)據(jù)的基本能力提升很大，從很大程度上講，這一能力已超越了我們處理數(shù)據(jù)、管理數(shù)據(jù)和轉(zhuǎn)移數(shù)據(jù)的能力。”

如何管理數(shù)據(jù)，并將數(shù)據(jù)從一點(diǎn)轉(zhuǎn)移到另一點(diǎn)，將是美國(guó)政府面臨的一大挑戰(zhàn)。

Szykman還提到了商務(wù)部在大數(shù)據(jù)中遇到的其他一些重要問(wèn)題，主要為以下五個(gè)方面：

數(shù)據(jù)工程師

研究領(lǐng)域的很多科學(xué)家正在研究大數(shù)據(jù)的精密使用，比如在預(yù)防醫(yī)學(xué)、藥品設(shè)計(jì)和胎兒檢查領(lǐng)域如何開(kāi)發(fā)基因數(shù)據(jù)。但Szykman擔(dān)心的是，真正了解大數(shù)據(jù)技術(shù)構(gòu)架的人太少。

他說(shuō):“我們得好好想想大數(shù)據(jù)及我們?nèi)绾卫盟貏e是在一些特殊領(lǐng)域。無(wú)論是政府的直接應(yīng)用還是由政府出資科研，政府都在推動(dòng)大數(shù)據(jù)這一前沿技術(shù)的發(fā)展。”

保密性VS.完整性

對(duì)于那些有科研基礎(chǔ)的機(jī)構(gòu)來(lái)說(shuō)，大數(shù)據(jù)安全不僅僅是一個(gè)保密問(wèn)題。事實(shí)上，更大的擔(dān)憂(yōu)是數(shù)據(jù)的長(zhǎng)期完整性。

Syzkman說(shuō)：“這是IT界一直為之努力的議題。有時(shí)候，我們過(guò)分關(guān)注結(jié)果而忽視了安全。人們有時(shí)會(huì)問(wèn)：'我們最終都要和公眾分享這一數(shù)據(jù)，那安全有什么重要呢？'”

這一問(wèn)題的最佳答案來(lái)自科研機(jī)構(gòu)，如NOAA。他們收集的基準(zhǔn)數(shù)據(jù)正巧是美國(guó)氣候變化政策備受爭(zhēng)議所在。

Szykman說(shuō)：“不管這些政策的政治傾向性如何，它們都對(duì)經(jīng)濟(jì)有重大影響。如果我們放棄了這些長(zhǎng)期氣候記錄數(shù)據(jù)的安全性，那將造成嚴(yán)重后果。我們的確得好好想想大數(shù)據(jù)的問(wèn)題。'‘

大思路，早規(guī)劃

在向開(kāi)放數(shù)據(jù)轉(zhuǎn)移的過(guò)程中，盡早搞清楚系統(tǒng)生命周期的要求顯得越來(lái)越重要。

Szykman說(shuō):“過(guò)去沒(méi)有做的一件事就是盡早研究開(kāi)放數(shù)據(jù)在生命周期上的要求。我認(rèn)為，數(shù)據(jù)模型、分享和信息的情況會(huì)越來(lái)越普遍，而系統(tǒng)性的戰(zhàn)略會(huì)越來(lái)越多。在生命周期的早期，在我們成功安裝新的系統(tǒng)或應(yīng)用程序后，就應(yīng)該盡早考慮該問(wèn)題?！?

數(shù)據(jù)真實(shí)性

大數(shù)據(jù)的重要性不僅僅在于數(shù)據(jù)所生成的記錄，更大的價(jià)值在于根據(jù)這些數(shù)據(jù)得出科研結(jié)果的“復(fù)制能力”。

Szykman說(shuō)：“從學(xué)術(shù)層面來(lái)看，這正是你證實(shí)所做工作價(jià)值的時(shí)候:其他人也可以對(duì)結(jié)果進(jìn)行復(fù)制。另一方面，如果你丟失了得出科研結(jié)果的那些數(shù)據(jù)，這會(huì)降低結(jié)果的合理性?！?

制定基線(xiàn)

由于很少存在類(lèi)似的應(yīng)用程序，難以獲取相關(guān)信息或進(jìn)行比照，因此有時(shí)候很難評(píng)定大數(shù)據(jù)以及其他高科技項(xiàng)目的開(kāi)支和風(fēng)險(xiǎn)。出臺(tái)開(kāi)支和風(fēng)險(xiǎn)的基線(xiàn)，對(duì)大數(shù)據(jù)和數(shù)據(jù)中心來(lái)說(shuō)都是一大挑戰(zhàn)，因?yàn)檫€沒(méi)有相關(guān)標(biāo)準(zhǔn)。

他說(shuō):“操作一些簡(jiǎn)單事情有時(shí)候充滿(mǎn)挑戰(zhàn)，如計(jì)算數(shù)據(jù)中心的能耗。大數(shù)據(jù)基線(xiàn)不僅在基礎(chǔ)設(shè)施層面，還包括數(shù)據(jù)包,都需要對(duì)未來(lái)資源進(jìn)行更優(yōu)規(guī)劃。

20211021_617041f7e1811__管理大數(shù)據(jù)的五大良策