國家超級計算機(jī)應(yīng)用中心推出了一個存儲基礎(chǔ)設(shè)施，包括380PB的磁帶容量和由17000個SATA硬盤組成的25PB的在線磁盤存儲。

大量的存儲設(shè)施設(shè)計用于支持一個世界上最強(qiáng)大的超級計算機(jī)，稱為"藍(lán)水".由國家自然科學(xué)基金（NFS）委任，藍(lán)水預(yù)計會有11.5千萬億次每秒的峰值性能，雖然國家自然科學(xué)基金提出的規(guī)范要求為1千萬億次的持續(xù)應(yīng)用計算能力。

國家超級計算機(jī)應(yīng)用中心，坐落于伊利諾伊大學(xué)，已與Cray簽訂合同建立超級計算機(jī)。該系統(tǒng)將運(yùn)行一個Lustre并行文件系統(tǒng)，每秒超過1TB的吞吐量送到其終端存儲器上。

"藍(lán)水"項目將建造一個1千萬億次的超級計算機(jī)，處理現(xiàn)實世界的科學(xué)和工程應(yīng)用。它還有助于理解宇宙大爆炸之后如何演變，幫助預(yù)測颶風(fēng)和龍卷風(fēng)的成因，并在原子級新材料的設(shè)計上發(fā)揮其作用。

超級計算機(jī)是由超過235個Cray XE6機(jī)柜組成，采用380,000個AMD Opteron 6200 Series x82處理器和超過30個機(jī)柜的最近宣布的帶有3000個NVIDIA GPU的Cray XK6超級計算機(jī)的未來版。該系統(tǒng)將包括有190,000根內(nèi)存條組成的1.5PB的內(nèi)存。

為了支持所有這些計算能力，國家超級計算機(jī)應(yīng)用中心使用Cray Sonexion存儲系統(tǒng)部署了25PB的磁盤存儲。Sonexion是Zyratex存儲陣列的再創(chuàng)品牌。該系統(tǒng)通過一個40Gb每秒的Extreme Networks以太網(wǎng)提供了1TB每秒的總帶寬。

"我們一直在和網(wǎng)絡(luò)供應(yīng)商密切合作來確保他們準(zhǔn)備好實施40Gb以太網(wǎng)",國家超級計算機(jī)應(yīng)用中心的負(fù)責(zé)存儲和網(wǎng)絡(luò)工程的高級項目經(jīng)理米歇爾·巴特勒說，"我們不是最先使用40Gbps以太網(wǎng)的，但我們是少有的幾個之一。"

使用40Gb以太網(wǎng)的關(guān)鍵是瓜分多個10Gb以太網(wǎng)通道的能力，使國家超級計算機(jī)應(yīng)用中心可以通過多個端口傳送信息，巴特勒說。以太網(wǎng)將用于連接大約75個主機(jī)。

國家超級計算機(jī)應(yīng)用中心還選擇了DataDirect網(wǎng)絡(luò)的SFA 12K存儲陣列，提供100GBps的存儲性能來對"nearline"磁帶庫系統(tǒng)卸載數(shù)據(jù)。磁盤子系統(tǒng)可擴(kuò)展至500PB的容量，巴特勒說。

"子系統(tǒng)必須能夠卸載百萬兆字節(jié)每秒的文件系統(tǒng)，因此我們需要一個非常大的磁帶驅(qū)動器設(shè)備",她說。

在主要存儲以外，還有四個Spectra Logic 17-frame T-Finity磁帶庫，將有366,240MB/秒的IBM TS1140企業(yè)級磁帶驅(qū)動器。這些磁帶庫將提供每小時2.2PB的總讀/寫速率。

"實際上無論是LTO-5或LTO-6還是TS1140我們都評估了。我們沒有指定的磁帶驅(qū)動器，庫或任何東西。我們希望供應(yīng)商有更大的自由來給我們提出多種解決方案",巴特勒說。

巴特勒說國家超級計算機(jī)應(yīng)用中心選擇IBM磁帶驅(qū)動器而不是更流行的中型的LTO驅(qū)動器，原因是他們提供了更優(yōu)越的性能。TS1140提供了240MB/秒的吞吐量，相比之下LTO僅為140MB/秒，她說。

在需求建議中，巴特勒的團(tuán)隊強(qiáng)調(diào)了10至15個存儲供應(yīng)商要滿足的要求。除其他外，他們規(guī)定磁帶庫必須符合一定的面積，不能超過一定的功率還有散熱的要求，并應(yīng)滿足一定的可靠性和性能指標(biāo)。

巴特勒說磁帶庫總吞吐量的目標(biāo)為100GB/秒。目前，它就在89.5GB/秒左右。

Cray超級計算機(jī)通過Mellanox IS5000 InfiniBand交換機(jī)和ConnectX InfiniBand網(wǎng)絡(luò)適配器連接到其磁帶庫。交換機(jī)使用InfiniBand QDR協(xié)議，提供了每通道多達(dá)每秒8Gb的吞吐量，而且多達(dá)12個輸入/輸出通道。巴特勒說她想使用更高帶寬版的InfiniBand, FDR,但Cray的系統(tǒng)不支持。

InfiniBand FDR,提供每通道高達(dá)13.6Gbps的吞吐量，也就是12個輸入輸出通道163.6Gbps的總吞吐量。

雖然國家超級計算機(jī)應(yīng)用中心可以從各種企業(yè)級磁盤存儲供應(yīng)商選擇用于超級計算機(jī)的產(chǎn)品，但巴特勒和她的團(tuán)隊認(rèn)為如果全選Cray會得到更好的支持。

"正如你可能知道的那樣，Lustre不是很容易照看與維護(hù)，所以我們想與一個特定的軟件和硬件供應(yīng)商合作，并且能有做失效備援的和諸如這類棘手問題的設(shè)備。而且，我們2003年就開始使用Lustre了",巴特勒說，"所以我明白Cray試圖為我們簡化系統(tǒng)。"

更多計算機(jī)與外設(shè)信息請關(guān)注：21ic計算機(jī)與外設(shè)頻道