9月18日，華為全聯(lián)接2019（HUAWEI CONNECT）大會上，華為副董事長胡厚崑發(fā)布了Atlas 900 AI訓(xùn)練集群，以超強算力帶給企業(yè)人工智能業(yè)務(wù)的極致體驗。世界正從數(shù)字化向智能化轉(zhuǎn)型，人工智能產(chǎn)業(yè)作為關(guān)鍵驅(qū)動力，面臨自身的升級進化的挑戰(zhàn)。華為在超強人工智能算力和大規(guī)模分布式AI訓(xùn)練集群兩個方面加速智能化世界的轉(zhuǎn)型。

圖1 華為Atlas 900 AI訓(xùn)練集群

Atlas 900 AI 訓(xùn)練集群介紹

在大型數(shù)據(jù)集上進行訓(xùn)練的神經(jīng)網(wǎng)絡(luò)架構(gòu)涵蓋從圖像識別、自然語言處理、視頻實時分析和智能推薦系統(tǒng)等各個方面，訓(xùn)練這些神經(jīng)網(wǎng)絡(luò)模型需要大量浮點計算能力。近年來單個AI處理器算力和訓(xùn)練方法上均取得了重大進步，但是在單一機器上，AI訓(xùn)練所需要的時間仍然長得不切實際，因此需要借助大規(guī)模分布式AI集群環(huán)境來提升神經(jīng)網(wǎng)絡(luò)訓(xùn)練系統(tǒng)的浮點計算能力。

此次發(fā)布的Atlas 900 AI訓(xùn)練集群由數(shù)千顆昇騰910 AI處理器互聯(lián)構(gòu)成，是當(dāng)前全球最快的AI訓(xùn)練集群，代表了當(dāng)今全球的算力巔峰。其總算力達到256P～1024P FLOPS @FP16，相當(dāng)于50萬臺PC的計算能力。

Atlas 900 AI訓(xùn)練集群領(lǐng)先技術(shù)優(yōu)勢

AI算力業(yè)界領(lǐng)先

Atlas 900 AI訓(xùn)練集群采用業(yè)界單芯片算力最強的昇騰910 AI處理器，每顆昇騰910 AI處理器內(nèi)置32個達芬奇AI Core，單芯片提供比業(yè)界高一倍的算力（256TFLOPS@FP16）。Atlas 900 AI訓(xùn)練集群將數(shù)千顆昇騰910 AI處理器互聯(lián)，打造業(yè)界第一的算力集群。

昇騰910 AI處理器采用SoC設(shè)計，集成“AI算力、通用算力、高速大帶寬I/O”，大幅度卸載Host CPU的數(shù)據(jù)預(yù)處理任務(wù)，充分提升訓(xùn)練效率。

最佳集群網(wǎng)絡(luò)

Atlas 900 AI訓(xùn)練集群采用“HCCS、 PCIe 4.0、100G以太”三類高速互聯(lián)方式，百TB全互聯(lián)無阻塞專屬參數(shù)同步網(wǎng)絡(luò)，降低網(wǎng)絡(luò)時延，梯度同步時延縮短10~70%。

在AI服務(wù)器內(nèi)部，昇騰910 AI處理器之間通過HCCS高速總線互聯(lián)；昇騰910 AI處理器和CPU之間以最新的PCIe 4.0（速率16Gb/s）技術(shù)互聯(lián)，其速率是業(yè)界主流采用的PCIe 3.0（8.0Gb/s）技術(shù)的兩倍，使得數(shù)據(jù)傳輸更加快速和高效。在集群層面，采用面向數(shù)據(jù)中心的CloudEngine 8800系列交換機，提供單端口100Gbps的交換速率，將集群內(nèi)的所有AI服務(wù)器接入高速交換網(wǎng)絡(luò)。

獨創(chuàng)iLossless 智能無損交換算法，對集群內(nèi)的網(wǎng)絡(luò)流量進行實時的學(xué)習(xí)訓(xùn)練，實現(xiàn)網(wǎng)絡(luò)0丟包與E2E μs級時延。

系統(tǒng)級調(diào)優(yōu)

Atlas 900 AI訓(xùn)練集群通過華為集合通信庫和作業(yè)調(diào)度平臺，整合HCCS、 PCIe 4.0 和100G RoCE三種高速接口，充分釋放昇騰910 AI處理器的強大性能。

華為集合通信庫提供訓(xùn)練網(wǎng)絡(luò)所需的分布式并行庫，通信庫+網(wǎng)絡(luò)拓撲+訓(xùn)練算法進行系統(tǒng)級調(diào)優(yōu)，實現(xiàn)集群線性度>80%，極大提升了作業(yè)調(diào)度效率。

極致散熱系統(tǒng)

傳統(tǒng)數(shù)據(jù)中心多以風(fēng)冷技術(shù)對設(shè)備進行散熱，但在人工智能時代傳統(tǒng)數(shù)據(jù)中心卻面臨非常大的挑戰(zhàn)。高功耗器件比如CPU和AI芯片帶來更大的熱島效應(yīng)要求更高效的冷卻方式。液冷技術(shù)可以滿足數(shù)據(jù)中心高功率、高密部署、低PUE的超高需求。

Atlas 900 AI訓(xùn)練集群采用全液冷方案，創(chuàng)新性設(shè)計業(yè)界最強柜級密閉絕熱技術(shù)，支撐＞95%液冷占比。單機柜支持高達50kW超高散熱功耗，實現(xiàn)PUE＜1.1的極致數(shù)據(jù)中心能源效率。

另外，在空間節(jié)省方面，與8kW風(fēng)冷機柜相比，節(jié)省機房空間79%。極致的液冷散熱技術(shù)滿足了高功率、高密設(shè)備部署、低PUE的需求，極大地降低了客戶的TCO。

Atlas 900AI訓(xùn)練集群領(lǐng)先的Benchmark指標

華為已在華為云上部署了一個Atlas 900 AI訓(xùn)練集群，集群規(guī)模為1024顆昇騰910 AI處理器。基于當(dāng)前最典型的ResNet-50 v1.5模型”和“ ImageNet-1k數(shù)據(jù)集”，Atlas 900AI訓(xùn)練集群只需59.8秒就可完成訓(xùn)練，排名全球第一。

“ ImageNet-1k數(shù)據(jù)集”包含128萬張圖片，精度為75.9%，在同等精度下，其他兩家業(yè)界主流廠家測試成績分別是70.2s和76.8s，Atlas 900 AI訓(xùn)練集群比第2名快15%。

圖2 基于“ResNet-50 v1.5模型”和“ ImageNet-1k數(shù)據(jù)集”的測試數(shù)據(jù)

Atlas 900 AI 集群適用場景

Atlas 900 AI集群主要為大型數(shù)據(jù)集神經(jīng)網(wǎng)絡(luò)訓(xùn)練提供超強算力，可廣泛應(yīng)用于科學(xué)研究與商業(yè)創(chuàng)新，讓研究人員更快地進行圖像、視頻和語音等AI模型訓(xùn)練，讓人類更高效地探索宇宙奧秘、預(yù)測天氣、勘探石油和加速自動駕駛的商用進程。

Atlas 900 AI集群也可以提供云服務(wù)，以云的方式提供充裕的、經(jīng)濟的算力資源，簡單易用、高效率、全流程的AI平臺，為客戶帶來極致體驗的“易獲取、用得起、方便用”的普惠AI算力。