2020年度可信區(qū)塊鏈評(píng)測(cè)工作即將啟動(dòng)，為了更好的讓參與測(cè)試廠商了解各個(gè)測(cè)試欄目，并提前做好測(cè)前準(zhǔn)備工作。團(tuán)隊(duì)將會(huì)陸續(xù)針對(duì)各個(gè)測(cè)試欄目發(fā)布介紹文章。本篇主要圍繞性能專項(xiàng)的評(píng)測(cè)展開(kāi)說(shuō)明。

性能專項(xiàng)聚焦底層鏈在壓力環(huán)境下的性能表現(xiàn)，目的是測(cè)出底層鏈的性能極值，以此為不同規(guī)模應(yīng)用場(chǎng)景提供參考依據(jù)。

2020年度性能專項(xiàng)測(cè)試仍然由可信區(qū)塊鏈提供統(tǒng)一的測(cè)試環(huán)境，受測(cè)廠商也需遵循一致的配置要求。具體包括受測(cè)底層鏈需在測(cè)試架構(gòu)上采用單鏈、單通道、單片；簽名規(guī)則需針對(duì)每筆交易進(jìn)行有效簽名；交易類型構(gòu)造需統(tǒng)一，其中必選為多賬戶無(wú)關(guān)聯(lián)的一對(duì)一轉(zhuǎn)賬，可選為數(shù)據(jù)大小固定的存證交易類型。針對(duì)不同交易類型，會(huì)生成各自的性能測(cè)試報(bào)告。

性能專項(xiàng)的測(cè)試報(bào)告將會(huì)按照不同的測(cè)試場(chǎng)景，分別記錄資源監(jiān)控指標(biāo)與性能數(shù)據(jù)指標(biāo)。首先測(cè)試場(chǎng)景與往年保持一致，分為三類：壓力測(cè)試、尖峰沖擊、穩(wěn)定性測(cè)試。三者按照每秒發(fā)送交易量與每秒上鏈交易量的比值區(qū)分。比值通過(guò)測(cè)試工具實(shí)時(shí)監(jiān)控得出，比值在1上下浮動(dòng)界定為壓力測(cè)試，在2上下浮動(dòng)界定為尖峰沖擊，對(duì)于穩(wěn)定性測(cè)試，發(fā)送交易量取壓力測(cè)試場(chǎng)景下的20%，且保持長(zhǎng)時(shí)間運(yùn)行。同時(shí)，各個(gè)測(cè)試場(chǎng)景分別針對(duì)4節(jié)點(diǎn)、16節(jié)點(diǎn)的規(guī)模展開(kāi)性能測(cè)試。受測(cè)底層鏈需要在壓力測(cè)試場(chǎng)景下取得95%以上的成功率、尖峰沖擊場(chǎng)景下取得75%以上的成功率，穩(wěn)定性測(cè)試取得超過(guò)95%的成功率，且各場(chǎng)景系統(tǒng)均無(wú)崩潰方可通過(guò)測(cè)試。

各個(gè)測(cè)試場(chǎng)景均會(huì)在測(cè)試報(bào)告中記錄資源監(jiān)控指標(biāo)和性能數(shù)據(jù)指標(biāo)。前者包括各個(gè)節(jié)點(diǎn)所在機(jī)器的CPU負(fù)載與使用率、磁盤IO、網(wǎng)絡(luò)帶寬利用率、內(nèi)存使用率等時(shí)序數(shù)據(jù)展示，用以反映壓測(cè)下各個(gè)節(jié)點(diǎn)占用資源情況；后者由可信區(qū)塊鏈自主研發(fā)的性能測(cè)試工具TrustedBench測(cè)后生成，主要指標(biāo)數(shù)據(jù)包括交易每秒接收量，代表底層鏈節(jié)點(diǎn)每秒接受的經(jīng)過(guò)有效檢驗(yàn)且返回交易標(biāo)識(shí)的全部交易數(shù)量；交易每秒上鏈量，代表底層鏈每秒達(dá)成共識(shí)且上鏈成功的交易數(shù)量；交易上鏈成功率，在性能測(cè)試結(jié)束后，使用總上鏈交易數(shù)量除以總交易發(fā)送數(shù)量計(jì)算得出；交易上鏈平均延遲，計(jì)算全部交易從交易發(fā)送開(kāi)始至上鏈成功對(duì)應(yīng)的鏈上時(shí)間戳之間的平均延遲時(shí)間，以及其他指標(biāo)供評(píng)估參考。

參與性能專項(xiàng)測(cè)試的廠商，均需要適配性能測(cè)試工具TrustedBench。工具在2019年可信區(qū)塊鏈峰會(huì)上正式發(fā)布，TrustedBench作為區(qū)塊鏈性能測(cè)試的通用性平臺(tái)，支持集群化壓力機(jī)部署、提供圖形化用戶配置界面、采用HTTP協(xié)議非侵入式與底層鏈適配連接、發(fā)送壓力與報(bào)表生成分階段執(zhí)行等方式實(shí)現(xiàn)。

如上圖所示TrustedBench整體運(yùn)行流程圖分為準(zhǔn)備階段、發(fā)送階段、生成報(bào)表三部分。準(zhǔn)備階段包括批量生成測(cè)試賬戶，生成合法簽名的交易體；發(fā)送階段將前序準(zhǔn)備的交易體遍歷發(fā)送，同時(shí)對(duì)發(fā)送實(shí)時(shí)監(jiān)控，供區(qū)分不同測(cè)試場(chǎng)景；最后生成報(bào)表，當(dāng)交易全部發(fā)送完畢后，事后通過(guò)遍歷交易標(biāo)識(shí)，查詢每筆交易的鏈上結(jié)果，匯總并生成具有多維度指標(biāo)的性能數(shù)據(jù)報(bào)告。

TrustedBench通過(guò)HTTP協(xié)議，抽離出一般區(qū)塊鏈系統(tǒng)必備的接口，不需要單獨(dú)針對(duì)不同的受測(cè)鏈開(kāi)發(fā)Adapter，具有極強(qiáng)的通用性。受測(cè)廠商測(cè)前僅需準(zhǔn)備相應(yīng)的接口即可。具體參考附錄。

下面介紹性能專項(xiàng)的測(cè)試流程，可信區(qū)塊鏈評(píng)測(cè)體系各測(cè)試項(xiàng)在整體上遵循一致的測(cè)試環(huán)節(jié)，如下圖所示。本文則主要介紹執(zhí)行測(cè)試環(huán)節(jié)。

首先受測(cè)的底層鏈需完成基礎(chǔ)功能項(xiàng)的測(cè)試工作，滿足區(qū)塊鏈系統(tǒng)基本功能點(diǎn)的實(shí)現(xiàn)要求。第二步是廠商適配測(cè)試工具TrustedBench成功后進(jìn)入正式測(cè)試環(huán)節(jié)。2020年度性能專項(xiàng)的正式測(cè)試時(shí)段初步定為6月初至9月初。每家正式測(cè)試時(shí)間大致為3 - 5天。最終的測(cè)試報(bào)告將會(huì)在測(cè)后一周內(nèi)收集完畢。

注：2020年度性能專項(xiàng)提供的統(tǒng)一測(cè)試環(huán)境為更貼近真實(shí)的使用場(chǎng)景，計(jì)劃由原局域網(wǎng)機(jī)房環(huán)境遷移至跨機(jī)房、跨地域的云環(huán)境。