當(dāng)前位置：首頁 > 嵌入式 > Linux閱碼場

近距離看GPU計算（2）

時間：2021-08-19 16:23:10

關(guān)鍵字： GPU

手機(jī)看文章

掃描二維碼
隨時隨地手機(jī)看文章

[導(dǎo)讀]在《近距離看GPU計算》系列第一篇里我們介紹了GPU的一些基礎(chǔ)知識及其如何從圖形加速設(shè)備演化到通用計算平臺。本文我們會具體從處理單元設(shè)計和存儲層次結(jié)構(gòu)兩個方面探討GPU不同于CPU的特點(diǎn)，再次確認(rèn)我們反復(fù)申明的GPU更重視整體的Throughput而CPU更在乎具體任務(wù)的Late...

在《近距離看GPU計算》系列第一篇里我們介紹了GPU的一些基礎(chǔ)知識及其如何從圖形加速設(shè)備演化到通用計算平臺。本文我們會具體從處理單元設(shè)計和存儲層次結(jié)構(gòu)兩個方面探討GPU不同于CPU的特點(diǎn)，再次確認(rèn)我們反復(fù)申明的GPU更重視整體的Throughput而CPU更在乎具體任務(wù)的Latency。CPU和GPU從一開始就是為不同的目標(biāo)而設(shè)計，CPU雖然也可以同時執(zhí)行多個線程，但其旨在高效地處理串行指令，通過許多復(fù)雜技術(shù)優(yōu)化提高指令級并行以便可以盡快執(zhí)行串行程序。而GPU卻是生而為同時執(zhí)行成千上萬個線程，犧牲單個線程性能換取整體性能最大化。下圖對CPU與GPU的抽象架構(gòu)進(jìn)行了比對，其中Control是控制器、Core是處理單元、Cache指的是各級緩存、DRAM就是內(nèi)存。我們可以看到GPU設(shè)計者將更多的晶體管用作執(zhí)行單元，而不是像CPU那樣用作復(fù)雜的控制邏輯和緩存。

在下面章節(jié)里，我們會具體討論這兩種設(shè)計面向帶來的影響，在本文討論里筆者盡量不拘泥具體產(chǎn)商的特定GPU產(chǎn)品，而是希望能給出一般的指引，但是因為文本材料的優(yōu)勢以及在通用計算領(lǐng)域明顯的優(yōu)勢地位，我們大概還是不能脫離Nvidia GPU的語境， AMD GPU的處理單元設(shè)計細(xì)節(jié)與Nvidia有較大不同，以后我們可以專文討論。

一，SIMT和硬件多線程

根據(jù)計算機(jī)歷史上有名的的費(fèi)林分類法(Flynn's Taxonomy)，如下圖所示計算機(jī)體系架構(gòu)可以簡單分為四類，分別是：

單一指令流單一數(shù)據(jù)流計算機(jī)(SISD, Single Instruction Single Data)
單一指令流多數(shù)據(jù)流計算機(jī)(SIMD, Single Instruction Multiple Data)
多指令流單一數(shù)據(jù)流計算機(jī)(MISD, Multiple Instruction Single?Data)
多指令流多數(shù)據(jù)流計算機(jī)(MIMD, Multiple Instruction Multiple?Data)

單核CPU可以歸類為SISD，多核CPU屬于MIMD。我們重點(diǎn)關(guān)注的SIMD指的是采用一個控制器來控制多個處理單元，同時對一組數(shù)據(jù)的元素分別執(zhí)行相同的操作從而實現(xiàn)空間上并行的技術(shù)。傳統(tǒng)CPU的指令擴(kuò)展SSE和NEON都屬于典型的SIMD。現(xiàn)代GPU在SIMD基礎(chǔ)上發(fā)展出SIMT(Single Instruction Multiple Thread)的執(zhí)行架構(gòu)。傳統(tǒng)SIMD是一個線程調(diào)用向量處理單元(Vector ALU)執(zhí)行向量指令來操作向量寄存器完成運(yùn)算，而SIMT往往由一組標(biāo)量處理單元(Scalar ALU)構(gòu)成，每個處理單元對應(yīng)一個硬件線程，所有處理單元共享指令預(yù)取/譯碼模塊并接收同一指令共同完成SIMD類型運(yùn)算，運(yùn)行其上的線程可以有自己的寄存器堆，獨(dú)立的內(nèi)存訪問尋址以及執(zhí)行分支。我們以Nvida CUDA為例來介紹SIMT是如何運(yùn)作的。下圖是有關(guān)分發(fā)CUDA的計算任務(wù)到GPU硬件上執(zhí)行，展示了軟硬件視角各個層級的對應(yīng)關(guān)系。

我們先介紹層級圖右面的GPU硬件層次，CUDA的GPU有很多SM(Streaming Multiprocesso)組成。一個SM又有很多SP(Streaming Processor)構(gòu)成，SP是每個線程具體執(zhí)行指令所在，SP也采用流水線設(shè)計以提高指令級并行，但它一般都是順序執(zhí)行，很少使用分支預(yù)測、動態(tài)執(zhí)行等復(fù)雜技術(shù)。

在GPU通用計算語境下GPU設(shè)備上執(zhí)行的程序被稱為Kernel，針對某個Kernel分發(fā)的所有線程都執(zhí)行相同的程序，這些線程被組織成一系列層次結(jié)構(gòu)，也就是Grid和Block，如層級圖左邊所示。Grid規(guī)定各個維度Block的數(shù)量，Block規(guī)定各個維度線程的數(shù)量，它們的尺寸大小都是在CUDA程序中分發(fā)Kernel時指定。下圖程序中vecAdd就是Kernel程序，Kernel的分發(fā)是由<<<...>>>語法定義，其中規(guī)定了要分發(fā)的Kernel程序，Grid和Block的尺寸，以及Kernel程序的參數(shù)。

在實際執(zhí)行過程中，GPU會以Block為單位，把相同Block的線程分配給同一個SM進(jìn)行運(yùn)算，Block中的線程可以通過Shared Memory交換數(shù)據(jù)(注：Shared Memory訪問性能類似L1，與Cache由硬件控制對軟件透明不同，Shared Memory由軟件顯式移動數(shù)據(jù))，并支持相互同步操作。在硬件內(nèi)部，Block進(jìn)一步會被為分組成Warp，Warp是GPU硬件最小調(diào)度單位，Warp內(nèi)的線程被分配給SP按照SIMD的模式工作，也就是這些線程共享同樣的PC(程序計數(shù)器)，以鎖步(Lockstep)的方式執(zhí)行指令。目前支持CUDA的GPU其Warp大小都是32，SM中SP的數(shù)量可能只有8或者16，在這種情況下，一條指令Warp需要跨幾個時鐘分批執(zhí)行。我們再來看下GPU硬件可以支持的線程數(shù)量，以Fermi GF100為例，該GPU一共有16個SM，每個SM最多可以容納48個Warp，也就是1536個線程，整個GPU可以支持24576 個線程同時在線。我們可以與CPU對照下，消費(fèi)級CPU一般有2~8個核，就算打開Hyperthreading，一共也就支持十幾個硬件線程同時在線。為了避免一些高延遲指令引起處理單元流水線停頓，CPU和GPU采取了完全不同的做法。

CPU的做法是一方面窮盡所能充分挖掘指令級并行來規(guī)避，另一方面通過各級Cache來掩蓋訪問內(nèi)存延遲，萬不得已CPU才會切換到別的硬件線程執(zhí)行。硬件線程數(shù)量太多切換太頻繁即使有助于整體吞吐卻惡化單個線程的延遲對CPU設(shè)計來說也是不可接受的，所以我們可以看到Hyperthread的數(shù)目一般都比較少。
GPU的做法是另外一種思路，大規(guī)模數(shù)據(jù)并行帶來海量的可執(zhí)行線程，GPU完全可以通過切換到別的線程Warp來規(guī)避指令延遲帶來處理單元的停頓。這種切換會非常頻繁，需要在很短時間完成(比如一個時鐘)，所以無論每個線程執(zhí)行需要的的寄存器堆還是Block之內(nèi)線程的Shared Memory從一開始就要分配妥當(dāng)，切換過程中線程上下文一直駐留，直到線程或者整個Block執(zhí)行結(jié)束才能釋放。所以相比CPU，GPU的Register File大小非常驚人，而其處理單元的設(shè)計卻可以異常簡單。
二，GPU的Memory Hierarchy

根據(jù)我們先前文章《多線程計算平臺的性能模型》的觀察，一方面GPU通過同時運(yùn)行很多簡單的線程，不使用或者只利用相對較小的Cache，而主要通過線程間的并行來隱藏內(nèi)存訪問延遲。另一方面顯存帶寬對整體計算吞吐又有重要意義，直接關(guān)系到GPU性能伸縮能力。所以如下圖所示，GPU存儲層次設(shè)計的時候，相比Latency，更重視Throughput，而且各級存儲容量相對偏小。

以Fermi GF100 GPU為例，下圖是其存儲層次結(jié)構(gòu)，F(xiàn)ermi GPU是CUDA GPU第一次添加L1和L2的支持，其中L1和Shared Memory共享同一塊片上內(nèi)存，每個SM各64K大小，可以根據(jù)要求以48K/16K或者16K/48K在L1和Shared Memory之間分配。

下面表格是幾代CUDA GPU的L1、L2和Register File大小配置。我們可以看到最早的CUDA GPU也就是G80都沒有通用的L1和L2，只有16K的Shared Memory。至于為什么添加Cache的支持，主要是考慮到對某些應(yīng)用來說可能沒有足夠的數(shù)據(jù)并行來掩藏訪存延遲，而對另外一些應(yīng)用其數(shù)據(jù)重用模式不可預(yù)測無法有效利用軟件控制的Shared Memory，總之是為了讓GPU變得更通用，能夠兼容更多的計算范式。

饒有趣味的是，對GF100，RF大小總共為2048K，L1為48x16=768K，L2也是768K，RF反而比L1和L2都要大，而L1和L2差不多，其它GPU也有類似現(xiàn)象，這好像大大顛覆了我們之前在《衡量計算效能的正確姿勢（3）》了解的CPU存儲層次類似金字塔型的結(jié)構(gòu)，不知道讀者們有何感想？

夏日炎炎不是讀書天，這篇文章拖了好長時間，實在無法忍受才終于出爐，文章內(nèi)容都是紙上功夫，請各位看官抱將信將疑的態(tài)度，如果有明顯錯誤，歡迎后臺留言糾正。下篇不知又要到什么時候，這次就先不預(yù)告內(nèi)容了。

主要參考資料:

Many-core vs?many-thread machines: Stay away from the valley
Cuda C Programming Guide
CUDA Warps and Occupancy
SIMD < SIMT < SMT: parallelism in NVIDIA GPUs
The Top 10 Innovations in the New NVIDIA Fermi Architecture, and the Top 3 Next Challenges

~~~~~~~~~~~~~~~~~~~~~~~~~~~~

如果覺著內(nèi)容有幫助，請幫忙關(guān)注、點(diǎn)贊、在看并分享給更多的朋友。謝謝！

本站聲明：本文章由作者或相關(guān)機(jī)構(gòu)授權(quán)發(fā)布，目的在于傳遞更多信息，并不代表本站贊同其觀點(diǎn)，本站亦不保證或承諾內(nèi)容真實性等。需要轉(zhuǎn)載請聯(lián)系該專欄作者，如若文章內(nèi)容侵犯您的權(quán)益，請及時聯(lián)系本站刪除（郵箱：macysun@21ic.com ）。

換一批