如果存儲免費，你會把它放在哪里？答案顯然是：“盡量離處理器更近的地方”。

不過如果你討論的是大數(shù)據(jù)，那么問題則稍微有些不同：如果所有的處理都是免費的，你會把它放在哪里？答案是“盡量靠近存儲的地方”。

這差不多就是存儲內(nèi)處理在大數(shù)據(jù)情境下所試圖做的事情。這種技術不是試圖將TB級從存儲系統(tǒng)遷移到處理器，而是在存儲控制器內(nèi)的處理器上運行應用程序。

當然，處理能力實際上并不是完全免費的，不過它的價格已經(jīng)大幅下滑。此外，存儲系統(tǒng)也有不再需要專門ASIC(專用集成電路)的趨勢。存儲軟件運行在傳統(tǒng)的行業(yè)標準的服務器上。這些服務器有非常強大的處理器，能力遠不止運行存儲軟件。

企業(yè)策略集團(ESG)高級分析師Mark Peters表示：“存儲廠商現(xiàn)在越來越多說的是他們的存儲服務器有空閑的處理能力。”顯然應該將這些處理能力用在存儲以外的事情上——比如運行存儲系統(tǒng)內(nèi)部的應用程序。他表示：“我認為存儲廠商是很實際的，他們在建議更加充分地利用處理資源。”

謹慎的做法是在存儲服務器內(nèi)部運行有限數(shù)量的虛擬機，并允許這些虛擬機運行合適的應用程序。這帶來了一個問題：哪些應用程序最適合用這種方式運行？

根據(jù)大數(shù)據(jù)存儲廠商DataDirect Networks營銷副總裁Jeff Denworth的說法，相對簡單的應用程序最好。DataDirect已經(jīng)在它的存儲系統(tǒng)內(nèi)提供存儲內(nèi)處理能力。Denworth解釋道：“這個環(huán)境下最好的應用程序是那些運行預處理或后處理算法、分析數(shù)據(jù)、篩選數(shù)據(jù)或應用元數(shù)據(jù)的應用程序。不過你必須記住的是它不能代替超級計算機，因為存儲系統(tǒng)內(nèi)部并沒有很高的處理能力。”

這些應用程序還必須運行在得到存儲內(nèi)虛擬機管理器支持的操作系統(tǒng)上——典型的是Linux或Windows。(DDN的系統(tǒng)使用修改后的KVM虛擬化系統(tǒng)來承載虛擬機，同時I/O基礎設施也被修改為用一組記憶體指針來呈現(xiàn)應用程序)顯然這些應用程序不能依賴于GPU加速，因為存儲設備內(nèi)沒有強大的圖形子系統(tǒng)。

存儲內(nèi)處理舉例

實際上，預處理和后處理算法是大數(shù)據(jù)環(huán)境中典型的需要的應用程序。

例如，射電天文學研究國際中心(ICRAR)的Square Kilometre Array望遠鏡每天都要產(chǎn)生100萬TB數(shù)據(jù)。這是非?？捎^的數(shù)據(jù)量，但是只有一小部分是有意義并需要保留的——其他的是沒用的可以拋棄的“噪音”。問題是如何分析這種數(shù)據(jù)并過濾出噪音。為了做到這一點，ICRAR在DDN存儲系統(tǒng)上存儲進入的數(shù)據(jù)，并在存儲系統(tǒng)內(nèi)置的虛擬機上運行數(shù)據(jù)縮減算法，使用存儲系統(tǒng)的處理資源。

1  2  

在美國能源部，超級計算機在運行天氣模擬和其他數(shù)學模型的時候要產(chǎn)生數(shù)十PB的裸數(shù)據(jù)。這些數(shù)據(jù)以每秒100GB的速度進入存儲系統(tǒng)。能源部科學數(shù)據(jù)管理SciDAC技術中心的存儲研究院Rob Ross博士表示在存儲系統(tǒng)上分析數(shù)據(jù)的好處是可以減少成本并提高速度。

他表示：“你一開始將數(shù)據(jù)從存儲遷移到計算機的速度是有限制的。”繞過這個網(wǎng)絡因素可以減少將數(shù)據(jù)從一個主機總線適配器遷移到交換機并進一步遷移到服務器進行處理所帶來的開銷，同時由于減少了跳轉(zhuǎn)，延遲時間也更低。應用程序可以運行在與存儲系統(tǒng)高速緩存一樣的記憶體地址空間中。

Ross表示：“原來的做法會在遷移數(shù)據(jù)的時候帶來網(wǎng)絡的成本以及等待數(shù)據(jù)被遷移的成本。現(xiàn)在進行存儲內(nèi)處理是更加聰明的做法。”

即將起飛

存儲內(nèi)處理這個技術實際上已經(jīng)存在一段時間了——DDN早在2009年就將這技術引入到它的存儲設備中——不過這個技術還沒什么大的影響。比如，Denworth表示只有10%的DDN客戶目前在使用這個技術。

造成這種情況的原因之一可能是因為大廠商不太情愿引入這個技術。ESG的Mark Peters解釋道：“所有推出存儲內(nèi)處理技術的公司都是小一些的公司。”除了DDN外，其他公司還包括Pivot3和Scale Computing。他表示：“我不認為大公司希望用戶了解到他們的存儲可能是運行在標準的X86服務器上。”

不過，現(xiàn)在大數(shù)據(jù)還只是剛剛嶄露頭角，隨著大規(guī)模數(shù)據(jù)倉庫在企業(yè)中越來越流行，越來越多的廠商可能會擁抱這個技術。當然這只是ESG的Mark Peters的說法：“我認為，未來在存儲系統(tǒng)內(nèi)執(zhí)行處理任務將肯定會更加流行。”

1  2  

欲知詳情，請下載word文檔 下載文檔

來源：[db:出處]

作者：tee