摘要:網(wǎng)絡(luò)磁盤(pán)陣列將傳統(tǒng)的以服務(wù)器為中心的存儲(chǔ)轉(zhuǎn)發(fā)改變?yōu)橐詳?shù)據(jù)為中心的直接傳輸, 從而消除了傳統(tǒng)模式下的服務(wù)器I/O瓶頸。本文基于網(wǎng)絡(luò)磁盤(pán)陣列構(gòu)建出一種高性能的海量存儲(chǔ)系統(tǒng), 其文件集中管理和數(shù)據(jù)分布存儲(chǔ)的體系結(jié)構(gòu)不僅加快了數(shù)據(jù)傳輸速度、降低了存儲(chǔ)管理開(kāi)銷, 同時(shí)也實(shí)現(xiàn)了命令與數(shù)據(jù)分流、擴(kuò)容與增速同步的目標(biāo), 從而大大提高的整個(gè)存儲(chǔ)系統(tǒng)的性能。

關(guān)鍵詞:網(wǎng)絡(luò)磁盤(pán)陣列;海量存儲(chǔ);文件集中管理;數(shù)據(jù)分布存儲(chǔ)

引　言

現(xiàn)代信息技術(shù)的飛速發(fā)展, 導(dǎo)致了用戶對(duì)存儲(chǔ)產(chǎn)品和存儲(chǔ)服務(wù)需求的爆炸性增長(zhǎng)。目前計(jì)算機(jī)存儲(chǔ)系統(tǒng)的性能遠(yuǎn)遠(yuǎn)不能滿足許多實(shí)際應(yīng)用的需求, 因而如何建立高性能的存儲(chǔ)系統(tǒng)成為人們關(guān)注的焦點(diǎn), 海量信息存儲(chǔ)技術(shù)旨在研究大容量數(shù)據(jù)存儲(chǔ)的策略和方法, 其追求的目標(biāo)在于擴(kuò)大存儲(chǔ)容量、提高存取速度、保證數(shù)據(jù)的完整性和可靠性、加強(qiáng)對(duì)數(shù)據(jù)(文件) 的管理和組織等。

網(wǎng)絡(luò)磁盤(pán)陣列系統(tǒng)(Net-RAID) 采用存儲(chǔ)設(shè)備直接聯(lián)網(wǎng)的體系結(jié)構(gòu), 改變了傳統(tǒng)的以服務(wù)器為中心的迂回傳輸模式,使所有網(wǎng)絡(luò)請(qǐng)求由服務(wù)器統(tǒng)一管理, 而數(shù)據(jù)則由磁盤(pán)陣列直接通過(guò)網(wǎng)絡(luò)接收和發(fā)送, 從而避免了數(shù)據(jù)流在服務(wù)器與存儲(chǔ)設(shè)備之間的往返傳送和存儲(chǔ)轉(zhuǎn)發(fā), 消除了服務(wù)器中CPU、內(nèi)存以及I/O 總線所存在的潛在瓶頸, 極大的提高了系統(tǒng)帶寬和服務(wù)器的平均響應(yīng)速度。

以此網(wǎng)絡(luò)磁盤(pán)陣列作為基本單元, 本文構(gòu)建出一種高性能的海量存儲(chǔ)系統(tǒng), 其文件集中管理和數(shù)據(jù)分布存儲(chǔ)的體系結(jié)構(gòu)不僅加快了數(shù)據(jù)傳輸速度、降低了存儲(chǔ)管理開(kāi)銷, 同時(shí)也實(shí)現(xiàn)了命令與數(shù)據(jù)分流、擴(kuò)容與增速同步的目標(biāo), 從而大大提高了整個(gè)存儲(chǔ)系統(tǒng)的性能。

CMDS海量存儲(chǔ)系統(tǒng)總體設(shè)計(jì)

 
體系結(jié)構(gòu)

傳統(tǒng)的集中式存儲(chǔ)體系結(jié)構(gòu)下, 網(wǎng)絡(luò)用戶訪問(wèn)文件服務(wù)器上的數(shù)據(jù)資源時(shí), 數(shù)據(jù)必須在存儲(chǔ)設(shè)備和文件服務(wù)器之間進(jìn)行多次的存儲(chǔ)轉(zhuǎn)發(fā)。因此, 服務(wù)器的CPU、主存、存儲(chǔ)設(shè)備、主從通道都有可能成為系統(tǒng)的瓶頸。而且, 無(wú)法實(shí)現(xiàn)共享存儲(chǔ), 系統(tǒng)的可擴(kuò)展性也受到很大的限制。采用具有新型I/O通道體系結(jié)構(gòu)的存儲(chǔ)系統(tǒng)可以極大地提高性能, 但一味地依靠擴(kuò)展系統(tǒng)的硬件性能終究會(huì)有上限。因此, 傳統(tǒng)存儲(chǔ)系統(tǒng)體系結(jié)構(gòu)雖可提供大的存儲(chǔ)容量, 但不適合于構(gòu)造海量存儲(chǔ)系統(tǒng)。構(gòu)造一個(gè)高性能的海量存儲(chǔ)系統(tǒng)不僅需要極大的存儲(chǔ)容量和高I/O帶寬, 還必須具有高可擴(kuò)展性、高可用性、可管理性以及低的價(jià)格。

采用分布式存儲(chǔ)系統(tǒng)結(jié)構(gòu)是實(shí)現(xiàn)海量信息存儲(chǔ)的最好選擇。將數(shù)據(jù)分割(比如說(shuō)塊)分別存放在不同的存儲(chǔ)設(shè)備上, 利用對(duì)不同存儲(chǔ)設(shè)備的并行操作來(lái)提高系統(tǒng)的性能。但分布式系統(tǒng)的存儲(chǔ)管理存在很大的難度, 統(tǒng)計(jì)數(shù)據(jù)表明, 在分布環(huán)境下, 存儲(chǔ)管理大約要消耗存儲(chǔ)成本總額的55%。集中式的存儲(chǔ)則能減少管理開(kāi)銷和提高管理質(zhì)量。可見(jiàn), 如果采用集中式的存儲(chǔ)管理, 特別是對(duì)于海量存儲(chǔ)系統(tǒng)中大量的存儲(chǔ)資源的管理, 將可以極大地降低存儲(chǔ)管理的開(kāi)銷。

顯然, 要想解決海量信息的有效存儲(chǔ)和管理, 必須構(gòu)造一種全新的存儲(chǔ)系統(tǒng)體系結(jié)構(gòu), 從根本上解決現(xiàn)有存儲(chǔ)系統(tǒng)體系結(jié)構(gòu)所存在的問(wèn)題。

針對(duì)這種情況, 本文提出了一種文件集中管理、數(shù)據(jù)分布存儲(chǔ)的高性能海量存儲(chǔ)系統(tǒng)(centralized file Managementand Dist ributed data StorageMass Storage System ) CMDSMSS, 其體系結(jié)構(gòu)如圖1所示, 它同時(shí)具備集中式存儲(chǔ)系統(tǒng)和圖1CDMS海量存儲(chǔ)系統(tǒng)體系結(jié)構(gòu)圖分布式存儲(chǔ)系統(tǒng)兩者的優(yōu)點(diǎn)。該系統(tǒng)由文件服務(wù)器和多臺(tái)網(wǎng)絡(luò)磁盤(pán)陣列(Net-RAID) 構(gòu)成, 所有的N et-RAID按傳統(tǒng)的DAS方式通過(guò)外設(shè)通道(SCSI或FC, 也可以采用網(wǎng)絡(luò)通道)掛接在文件服務(wù)器上, 然后再通過(guò)網(wǎng)絡(luò)連接掛接在包交換網(wǎng)絡(luò)上。 通過(guò)建立磁盤(pán)陣列與網(wǎng)絡(luò)用戶間的直接聯(lián)系, 使得磁盤(pán)陣列的命令與數(shù)據(jù)分流, 免除了數(shù)據(jù)流在文件服務(wù)器與磁盤(pán)陣列之間的存儲(chǔ)轉(zhuǎn)發(fā), 克服了原有系統(tǒng)的文件服務(wù)器瓶頸。如果在文件服務(wù)器上接入多臺(tái)(理論上可多達(dá)90臺(tái))Net-RAID, 則每接入一臺(tái)Net-RAID 便擴(kuò)展了一個(gè)網(wǎng)絡(luò)通道, 多個(gè)網(wǎng)絡(luò)通道可以并行傳輸以提高系統(tǒng)的I/O帶寬, 實(shí)現(xiàn)了容量和速度同步擴(kuò)展。種體系結(jié)構(gòu)充分體現(xiàn)了多通道、并行處理的原則, 它不僅在很大程度上解除了I/O操作對(duì)文件服務(wù)器性能的束縛, 也極大地提高了存儲(chǔ)系統(tǒng)的整體性能。 同時(shí),它的集中數(shù)據(jù)管理方式能節(jié)約大量的管理費(fèi)用。

 
文件組織

CMDS海量存儲(chǔ)系統(tǒng)的文件組織可以分成兩種形式:

(1)Net-RAID作為獨(dú)立的存儲(chǔ)單元, 每臺(tái)Net-RAID在文件服務(wù)器上具有單獨(dú)的目錄節(jié)點(diǎn), 每個(gè)節(jié)點(diǎn)上可以建立不同的文件系統(tǒng), 存儲(chǔ)不同類型的文件(如視聽(tīng)、文本等), 并各自處理用戶數(shù)據(jù)的存取和網(wǎng)絡(luò)傳輸。當(dāng)網(wǎng)絡(luò)用戶對(duì)不同的目錄結(jié)點(diǎn)發(fā)出請(qǐng)求時(shí), 多個(gè)請(qǐng)求可以在多個(gè)陣列上并行服務(wù)。

(2) 多個(gè)Net-RAID節(jié)點(diǎn)上的存儲(chǔ)空間被虛擬成一個(gè)存儲(chǔ)空間的單一邏輯視圖, 數(shù)據(jù)分塊存放在多個(gè)存儲(chǔ)節(jié)點(diǎn)上。隨著存儲(chǔ)節(jié)點(diǎn)的增加, 不僅系統(tǒng)的存儲(chǔ)容量得到了擴(kuò)大, 而且有助于提高系統(tǒng)的性能。具體來(lái)講, 多個(gè)小數(shù)據(jù)量的請(qǐng)求, 可以由多個(gè)存儲(chǔ)節(jié)點(diǎn)并行地獨(dú)立完成, 從而提高系統(tǒng)的吞吐量。一個(gè)大數(shù)據(jù)量的請(qǐng)求, 數(shù)據(jù)分布在多個(gè)存儲(chǔ)節(jié)點(diǎn)上, 多個(gè)存儲(chǔ)節(jié)點(diǎn)并行操作, 可以提高單個(gè)請(qǐng)求的數(shù)傳率。靈活的使用方式可以滿足不同的使用環(huán)境, 既可以滿足事務(wù)處理等多個(gè)小數(shù)據(jù)量的突發(fā)請(qǐng)求, 也可以滿足大數(shù)據(jù)量的連續(xù)請(qǐng)求(如媒體流)。我們主要研究第二種文件組織形式, 它具有以下特點(diǎn)(如圖2所示)。

(1) 獨(dú)立的文件組織管理器

文件組織管理器負(fù)責(zé)監(jiān)視文件組織系統(tǒng)中的所有操作,并為網(wǎng)絡(luò)用戶提供數(shù)據(jù)描述。當(dāng)一個(gè)網(wǎng)絡(luò)用戶試圖存取數(shù)據(jù)時(shí), 它通過(guò)數(shù)據(jù)表示向文件組織管理器發(fā)出請(qǐng)求, 文件組織管理器啟動(dòng)它的存取控制機(jī)制判斷該網(wǎng)絡(luò)用戶是否有存儲(chǔ)這一數(shù)據(jù)的權(quán)限, 然后再檢查是否有其他用戶鎖定這一數(shù)據(jù)。如果網(wǎng)絡(luò)用戶不能存取數(shù)據(jù), 文件組織管理器就會(huì)向網(wǎng)絡(luò)用戶發(fā)出拒絕或錯(cuò)誤信息。如果網(wǎng)絡(luò)用戶擁有存取權(quán)限并沒(méi)有被文件鎖定拒絕, 文件組織管理器就通過(guò)數(shù)據(jù)結(jié)構(gòu)判斷數(shù)據(jù)的網(wǎng)絡(luò)地址(即數(shù)據(jù)所在的存儲(chǔ)節(jié)點(diǎn)在CMDS海量存儲(chǔ)系統(tǒng)中的位置, 因?yàn)閿?shù)據(jù)位置不僅僅是邏輯塊地址, 還包括附加的網(wǎng)絡(luò)地址或存儲(chǔ)節(jié)點(diǎn)的名稱) 和存儲(chǔ)位置, 然后將其傳送到網(wǎng)絡(luò)用戶。網(wǎng)絡(luò)用戶接收到位置信息后重新組織數(shù)據(jù)結(jié)構(gòu), 然后通過(guò)網(wǎng)絡(luò)通道直接與存儲(chǔ)子系統(tǒng)交互并存取數(shù)據(jù)。此時(shí)既可以采用基于NFS或CIFS的文件I/O進(jìn)行交互, 也可以采用基于SCSI協(xié)議或FC協(xié)議的塊I/O進(jìn)行交互。獨(dú)立的文件組織管理器體現(xiàn)的就是一種集中管理的思想, 以便于降低管理開(kāi)銷提高管理質(zhì)量。

(2) 分布式的數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)存儲(chǔ)

在網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)的文件組織系統(tǒng)中, 尋址模式?jīng)Q定了網(wǎng)絡(luò)地址及存儲(chǔ)地址的存儲(chǔ)位置。CMDS海量存儲(chǔ)系統(tǒng)中的數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)分布存儲(chǔ)在存儲(chǔ)系統(tǒng)中的多個(gè)存儲(chǔ)節(jié)點(diǎn)上, 所有使用該系統(tǒng)的網(wǎng)絡(luò)用戶都使用同一個(gè)文件組織系統(tǒng)映像。該系統(tǒng)通過(guò)使用數(shù)據(jù)結(jié)構(gòu)來(lái)實(shí)現(xiàn)這種映像, 其數(shù)據(jù)結(jié)構(gòu)將所有存儲(chǔ)節(jié)點(diǎn)的網(wǎng)絡(luò)地址作為數(shù)據(jù)尋址運(yùn)算法則的一部分。由于采用分布式的數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)存儲(chǔ), 該系統(tǒng)可以使用RAID算法在存儲(chǔ)系統(tǒng)中處理文件組織和數(shù)據(jù)冗余。 因此,它采用分塊技術(shù)將目錄數(shù)據(jù)、文件數(shù)據(jù)和數(shù)據(jù)結(jié)構(gòu)跨越存放在多個(gè)存儲(chǔ)節(jié)點(diǎn)上。由于文件數(shù)據(jù)分塊冗余存放在多個(gè)存儲(chǔ)節(jié)點(diǎn)上, 使得存儲(chǔ)系統(tǒng)中的某一個(gè)存儲(chǔ)節(jié)點(diǎn)發(fā)生錯(cuò)誤時(shí)仍然可以繼續(xù)操作。 同時(shí), 通過(guò)增加存儲(chǔ)節(jié)點(diǎn)的數(shù)量, 可以在系統(tǒng)結(jié)構(gòu)上增加物理數(shù)據(jù)通道的并行度來(lái)提高系統(tǒng)的性能。

　
文件I/O與塊I/O

圖3 表示來(lái)自網(wǎng)絡(luò)用戶的文件I/O與塊I/O在目標(biāo)設(shè)備上的數(shù)據(jù)流向。 對(duì)于文件I/O的目標(biāo)設(shè)備而言,Linux中的虛擬文件系統(tǒng)(VFS)分別管理向網(wǎng)絡(luò)用戶提供文件共享的網(wǎng)絡(luò)文件系統(tǒng)和控制本地存儲(chǔ)設(shè)備上的數(shù)據(jù)組織的本地磁盤(pán)文件系統(tǒng)。當(dāng)用戶空間的應(yīng)用程序接收到來(lái)自網(wǎng)絡(luò)用戶的文件I/O請(qǐng)求時(shí), 會(huì)將其交給VFS, 并由VFS 找到相應(yīng)的磁盤(pán)文件系統(tǒng), 然后由磁盤(pán)文件系統(tǒng)通過(guò)查找索引結(jié)點(diǎn)信息將文件I/O請(qǐng)求轉(zhuǎn)換成塊I/O, 最后通過(guò)卷管理器和塊設(shè)備驅(qū)動(dòng)程序來(lái)訪問(wèn)相應(yīng)的數(shù)據(jù)。對(duì)于塊I/O的目標(biāo)設(shè)備, 可以不需要任何文件系統(tǒng), 因?yàn)閬?lái)自網(wǎng)絡(luò)用戶的塊I/O請(qǐng)求本身就包含了請(qǐng)求數(shù)據(jù)在目標(biāo)設(shè)備上的塊地址信息(此即文件組織系統(tǒng)中的數(shù)據(jù)結(jié)構(gòu)) , 因此, 當(dāng)該設(shè)備通過(guò)TCP/IP協(xié)議棧接收到網(wǎng)絡(luò)用戶的I/O請(qǐng)求后, 可以直接將該I/O請(qǐng)求轉(zhuǎn)交給卷管理器, 然后通過(guò)磁盤(pán)的設(shè)備驅(qū)動(dòng)程序就可以訪問(wèn)相應(yīng)的數(shù)據(jù)。

由上面的分析以及圖3可知, 塊I/O相對(duì)于文件I/O避免了用戶空間和系統(tǒng)空間的切換, 避免了所有的I/O請(qǐng)求及其數(shù)據(jù)穿越網(wǎng)絡(luò)文件系統(tǒng)、虛擬文件系統(tǒng)以及本地磁盤(pán)文件系統(tǒng)的開(kāi)銷, 同時(shí)還避免了磁盤(pán)文件系統(tǒng)將文件I/O轉(zhuǎn)換成塊I/O時(shí)查詢索引結(jié)點(diǎn)的開(kāi)銷。因此, CMDS海量存儲(chǔ)系統(tǒng)圖4CMDS海量存儲(chǔ)系統(tǒng)軟件結(jié)構(gòu)采用塊級(jí)I/O, 直接通過(guò)數(shù)據(jù)的物理地址信息來(lái)訪問(wèn)存儲(chǔ)設(shè)備(Net-RAID群) , 使數(shù)據(jù)檢索與訪問(wèn)的速度優(yōu)于采用文件I/O時(shí)的速度。

 
CMDS海量存儲(chǔ)系統(tǒng)的軟件結(jié)構(gòu)與工作流程

CMDS海量存儲(chǔ)系統(tǒng)軟件結(jié)構(gòu)如圖4所示。它的主要功能是實(shí)現(xiàn)服務(wù)器、海量存儲(chǔ)系統(tǒng)和客戶端三者之間的通信和協(xié)同。CMDS軟件可以分為三個(gè)層次:通道控制層、命令控制層和網(wǎng)絡(luò)通訊層。

 
通道控制層

分為駐留服務(wù)器的和駐留在Net-RAID群底層的通道控制器。這一層負(fù)責(zé)服務(wù)器與Net-RAID群間的命令和控制信息的傳遞。

服務(wù)器中的通道控制器用于建立服務(wù)器與Net-RAID群的命令通道。在傳統(tǒng)的存儲(chǔ)服務(wù)模式下, 它將上層系統(tǒng)解析后的所有I/O命令發(fā)至存儲(chǔ)設(shè)備, 并接受存儲(chǔ)設(shè)備執(zhí)行后的返回結(jié)果。而對(duì)于CMDS海量存儲(chǔ)系統(tǒng), 駐留在服務(wù)器中的通道控制器只執(zhí)行其中涉及控制文件系統(tǒng)結(jié)構(gòu)和文件屬性的I/O任務(wù); 并且, 服務(wù)器端的通道控制器直接利用服務(wù)器現(xiàn)有的SCSI通道驅(qū)動(dòng)程序。Net-RAID群中的通道控制器, 負(fù)責(zé)接收來(lái)自服務(wù)器主從外設(shè)通道的所有I/O命令和消息, 將執(zhí)行結(jié)果回送給服務(wù)器。

　
命令控制層

這一控制層是該海量存儲(chǔ)系統(tǒng)的核心層。它分為服務(wù)器中的命令解析器和Net-RAID 群中的命令執(zhí)行器兩部分。主要用于解析網(wǎng)絡(luò)用戶的I/O請(qǐng)求, 獲得文件所在磁盤(pán)陣列的位置信息和文件數(shù)據(jù)的存儲(chǔ)地址組, 實(shí)現(xiàn)請(qǐng)求服務(wù)。駐留在服務(wù)器端的命令解析器由用戶請(qǐng)求處理、地址解析、訪問(wèn)控制等模塊組成, 它根據(jù)記載的用戶信息, 對(duì)用戶請(qǐng)求進(jìn)行認(rèn)證, 判定其合法性和請(qǐng)求權(quán)限, 依據(jù)請(qǐng)求的類型分別處理。對(duì)于用戶的文件讀寫(xiě)請(qǐng)求, 經(jīng)地址解析后生成相應(yīng)的存儲(chǔ)地址信息。地址解析完成后, 將用戶授權(quán)通過(guò)通道控制層通知Net-RAID群, 將授權(quán)字、Net-RAID 群地址和數(shù)據(jù)存儲(chǔ)地址組通過(guò)網(wǎng)絡(luò)通訊層通知客戶端。

駐留在Net-RAID群中的命令執(zhí)行器由I/O調(diào)度、命令分解/合并、Buffer管理等模塊組成, 按照一定的優(yōu)化策略, 動(dòng)態(tài)的對(duì)來(lái)自外設(shè)通道和網(wǎng)絡(luò)通道的I/O命令進(jìn)行分解、合并和調(diào)度, 執(zhí)行實(shí)際的磁盤(pán)I/O操作。操作完成后, 依據(jù)不同的情況分別經(jīng)由網(wǎng)絡(luò)通信層與客戶交換文件數(shù)據(jù), 或者經(jīng)由通道控制層給服務(wù)器回送執(zhí)行結(jié)果。

　
網(wǎng)絡(luò)通訊層

此層用以處理多個(gè)節(jié)點(diǎn)的命令和數(shù)據(jù)的網(wǎng)絡(luò)傳輸。服務(wù)器端的網(wǎng)絡(luò)通訊層接受客戶的服務(wù)請(qǐng)求, 傳送給命令控制層并將命令控制層的分析結(jié)果反饋給客戶端; 客戶端的網(wǎng)絡(luò)通訊層負(fù)責(zé)向服務(wù)器提交請(qǐng)求并接收服務(wù)器返回的結(jié)果, 它還負(fù)責(zé)建立與Net-RAID 群的網(wǎng)絡(luò)連接;Net-RAID 群的網(wǎng)絡(luò)通訊層與客戶端一起, 完成Net-RAID 群與客戶端之間直接傳送數(shù)據(jù)的任務(wù)。

由于命令與數(shù)據(jù)分流, CMDS海量存儲(chǔ)系統(tǒng)采用定制的三方協(xié)議, 其文件請(qǐng)求服務(wù)的工作流程有別于傳統(tǒng)的工作模式。圖5所示為讀文件請(qǐng)求的工作流程, 寫(xiě)文件請(qǐng)求的工作流程與此類似, 此處略。

 
性能測(cè)試與評(píng)價(jià)

為了獲得CMDS海量存儲(chǔ)系統(tǒng)的性能參數(shù), 我們構(gòu)造了一個(gè)系統(tǒng)原型, 由文件服務(wù)器和兩臺(tái)EIDE磁盤(pán)陣列組成, 系統(tǒng)配置如表1所示。每臺(tái)磁盤(pán)陣列配2塊磁盤(pán), 分別掛接在兩個(gè)IDE接口上。網(wǎng)絡(luò)環(huán)境為100M b交換以太網(wǎng)。

    網(wǎng)絡(luò)用戶采用三臺(tái)PC機(jī), 配置均為:CPU:Celeron 2GHZ,MEM:128MB, 硬盤(pán):ST 340015A。網(wǎng)絡(luò)用戶均采用Windows 2000平臺(tái), 傳統(tǒng)系統(tǒng)下采用FlashFTP用戶程序,CMDS 海量存儲(chǔ)系統(tǒng)采用定制的用戶端軟件。對(duì)原型系統(tǒng)的測(cè)試結(jié)果如下。

表2表示三個(gè)用戶, 每個(gè)用戶一個(gè)進(jìn)程, 測(cè)試文件大小為124MB時(shí)系統(tǒng)的平均數(shù)傳率比較。圖6為多用戶系統(tǒng)的集合I/O帶寬比較。可見(jiàn), CMDS海量存儲(chǔ)系統(tǒng)的平均數(shù)傳率和集合I/O帶寬均高于傳統(tǒng)的存儲(chǔ)系統(tǒng), 而且, 用戶數(shù)越多, 性能提高越明顯。最好情況下, 系統(tǒng)的讀寫(xiě)集合I/O帶寬分別提高82%和107%。由于CMDS海量存儲(chǔ)系統(tǒng)的兩個(gè)存儲(chǔ)結(jié)點(diǎn)提供了兩個(gè)100M b/s的網(wǎng)絡(luò)傳輸通道, 系統(tǒng)的集合帶寬最高達(dá)23.658MB/s, 盡管傳統(tǒng)系統(tǒng)12.45MB/s的集合帶寬也幾乎達(dá)到了系統(tǒng)的峰值, 由于受服務(wù)器端單網(wǎng)絡(luò)通道的限制, 不可能超越12.5MB/s, 這充分體現(xiàn)了CMDS海量存儲(chǔ)系統(tǒng)擴(kuò)容與增速同步的思想。

CMDS海量存儲(chǔ)系統(tǒng)中, 文件服務(wù)器上CPU和內(nèi)存的開(kāi)銷也明顯要低于傳統(tǒng)系統(tǒng), 主要是由于CMDS海量存儲(chǔ)系統(tǒng)實(shí)行了命令與數(shù)據(jù)分流, 避免了大量的數(shù)據(jù)在存儲(chǔ)結(jié)點(diǎn)和文件服務(wù)器之間的往返拷貝, 將高性能的存儲(chǔ)設(shè)備和網(wǎng)絡(luò)帶寬充分提供給網(wǎng)絡(luò)用戶, 而不被傳統(tǒng)文件服務(wù)器瓶頸所限制。

從表2可以發(fā)現(xiàn), 兩個(gè)系統(tǒng)的內(nèi)存的利用率幾乎都在80%以上, 這主要是由于Linux系統(tǒng)的內(nèi)存管理采用貪婪調(diào)度算法, 它盡量將內(nèi)存分配給系統(tǒng)使用, 不夠時(shí)再進(jìn)行調(diào)度和再分配。因此, 即使傳統(tǒng)系統(tǒng)中內(nèi)存的利用率一直在97%左右, 在當(dāng)前的負(fù)載情況下, 內(nèi)存也不會(huì)成為系統(tǒng)的瓶頸。傳統(tǒng)系統(tǒng)中網(wǎng)絡(luò)的集合帶寬幾乎達(dá)到峰值, 很明顯, 網(wǎng)絡(luò)通道成為整個(gè)系統(tǒng)的瓶頸, 如果提高網(wǎng)絡(luò)通道的帶寬, 文件服務(wù)器上的內(nèi)存就很有可能成為系統(tǒng)的瓶頸。CMDS海量存儲(chǔ)系統(tǒng)中由于采用了兩個(gè)網(wǎng)絡(luò)通道, 在當(dāng)前的負(fù)載情況下, 應(yīng)該還有提升的空間, 而且其內(nèi)存的利用率也還沒(méi)有達(dá)到飽和。

隨著體系結(jié)構(gòu)和系統(tǒng)硬件的改變, 系統(tǒng)的瓶頸總是在不斷轉(zhuǎn)移。我們?cè)鲞^(guò)這樣的試驗(yàn), 服務(wù)器采用PIII500MHZ的CPU, 64MB內(nèi)存, SYM53C815的SCSI主從通道, 測(cè)試發(fā)現(xiàn)傳統(tǒng)方式下系統(tǒng)的集合帶寬始終無(wú)法超過(guò)8MB/s。這主要是由于SYM53C815的峰值帶寬為15MB/s, 即使SCSI通道的利用率為60%, 系統(tǒng)也不可能超過(guò)9MB/s的帶寬, 顯然, SCSI通道成為系統(tǒng)的瓶頸。

當(dāng)使用峰值帶寬為40MB/s的SYM53C875的SCSI通道后, 系統(tǒng)的集合帶寬達(dá)到11MB/s。在SCSI通道的利用率為60%的情況下, 可提供24MB/s的帶寬, 此時(shí)文件服務(wù)器端峰值帶寬為12.5MB/s的網(wǎng)絡(luò)通道又成為系統(tǒng)的瓶頸。如果提高網(wǎng)絡(luò)帶寬, 在大量數(shù)據(jù)請(qǐng)求的情況下, 文件服務(wù)器上的內(nèi)存CPU可能再次成為系統(tǒng)的瓶頸。對(duì)于CMDS海量存儲(chǔ)系統(tǒng)而言, 由于將文件服務(wù)器轉(zhuǎn)移出了數(shù)據(jù)傳輸路徑, 在同等負(fù)載的情況下, 系統(tǒng)的瓶頸將僅限于網(wǎng)絡(luò)通道, 這也是CMDS海量存儲(chǔ)系統(tǒng)體系結(jié)構(gòu)的優(yōu)勢(shì)所在。

表3表示三個(gè)用戶, 每個(gè)用戶兩個(gè)進(jìn)程, 測(cè)試文件大小為124MB時(shí)系統(tǒng)的平均數(shù)傳率比較。圖7表示同等測(cè)試環(huán)境下系統(tǒng)的集合I/O帶寬。在兩個(gè)進(jìn)程和四個(gè)進(jìn)程的情況下,CMDS海量存儲(chǔ)系統(tǒng)的集合帶寬比傳統(tǒng)系統(tǒng)要略差, 主要是由于網(wǎng)絡(luò)用戶和多個(gè)存儲(chǔ)節(jié)點(diǎn)之間直接進(jìn)行數(shù)據(jù)交換, 必須要在網(wǎng)絡(luò)用戶端進(jìn)行數(shù)據(jù)的整合和分配, 因此存在一定的開(kāi)銷。在網(wǎng)絡(luò)用戶端單進(jìn)程的情況下, 該影響還不明顯, 但多個(gè)進(jìn)程之后, 會(huì)導(dǎo)致系統(tǒng)性能的下降。當(dāng)三個(gè)用戶六個(gè)進(jìn)程時(shí),傳統(tǒng)系統(tǒng)由于受文件服務(wù)器上網(wǎng)絡(luò)通道帶寬的限制, 其性能又明顯低于CMDS海量存儲(chǔ)系統(tǒng)。如果對(duì)網(wǎng)絡(luò)用戶端的軟件進(jìn)行優(yōu)化(比如減少內(nèi)存拷貝的開(kāi)銷), 則可以降低其影響。

　
總　結(jié)

CMDS海量存儲(chǔ)系統(tǒng)使文件服務(wù)器與存儲(chǔ)設(shè)備的關(guān)系由原來(lái)的主從關(guān)系轉(zhuǎn)變?yōu)橄嗷ヒ来娴膶?duì)等關(guān)系, 并且存儲(chǔ)設(shè)備具有了新的自主功能。其文件集中管理、數(shù)據(jù)分布存儲(chǔ)的體系結(jié)構(gòu)同時(shí)具有集中式存儲(chǔ)和分布式存儲(chǔ)兩者的優(yōu)點(diǎn), 不僅易于管理, 而且高性能、高可擴(kuò)展。它還具有存儲(chǔ)空間的單一邏輯視圖、流水命令響應(yīng)與并行數(shù)據(jù)I/O、負(fù)載動(dòng)態(tài)遷移和高可用性等特點(diǎn)。

另一方面, CMDS海量存儲(chǔ)系統(tǒng)也是一個(gè)全新的、不斷完善的系統(tǒng);今后研究的重點(diǎn)包括以下幾個(gè)方面的內(nèi)容:首先,設(shè)法屏蔽上層各種不同的應(yīng)用, 實(shí)現(xiàn)該系統(tǒng)與現(xiàn)有存儲(chǔ)系統(tǒng)的無(wú)縫連接;其次, 實(shí)現(xiàn)存儲(chǔ)空間的在線動(dòng)態(tài)擴(kuò)容、數(shù)據(jù)的動(dòng)態(tài)遷移等是今后需要研究的課題;另外, 如何保證在傳輸過(guò)程中的數(shù)據(jù)安全以及數(shù)據(jù)的一致性也是一個(gè)待解決的問(wèn)題。