受生成式 AI 驅(qū)動， RISC-V 芯片市場快速發(fā)展。預(yù)計(jì)到2030年，RISC-V SoC出貨量將達(dá)到1618.1億顆，營收將達(dá)到927億美元。其中，用于AI加速器的RISC-V SoC出貨量將達(dá)到41億顆，營收將達(dá)到422億美元。

百模大戰(zhàn)催生了更多的算力需求，為了追求更高校低成本的token產(chǎn)出，業(yè)界紛紛采用異構(gòu)計(jì)算來實(shí)現(xiàn)工作負(fù)載的優(yōu)化，而異構(gòu)計(jì)算范式與RISC-V技術(shù)優(yōu)勢天然高度契合。巨頭公司和初創(chuàng)公司紛紛入局，例如OpenAI早早就啟動了RISC-V AI造芯計(jì)劃，Altman向一家芯片初創(chuàng)公司Rain AI進(jìn)行了投資，而其第一批基于RISC-V開源架構(gòu)的AI芯片也即將流片。

在AI巨頭的計(jì)算布局中，RISC-V已成重要一環(huán)：谷歌在其人工智能芯片中使用SiFive的X280 作為協(xié)處理器，并計(jì)劃在下一代人工智能系統(tǒng)中繼續(xù)采用SiFive設(shè)計(jì)。Meta首發(fā)的AI MTIA芯片中使用兩顆AX25V100核心處理器，其RISC-V IP內(nèi)核已獲認(rèn)可，且第二代MTIA芯片將繼續(xù)采用并增加核心數(shù)量。特斯拉的Project Dojo芯片核心包含一個整數(shù)單元，采用了部分RISC-V架構(gòu)指令。

反觀高性能芯片方面，RISC-V AI芯片公司如雨后春筍般萌發(fā)：Tenstorrent將基于RISC-V架構(gòu)技術(shù)和 SF4X工藝開發(fā)下一代AI芯片。Untether.Al推出的Boqueria Al速器 擁有1458個RISC-V核心，可在由低 至高功耗設(shè)備間靈活適配。Rivos推出的AI芯片則結(jié)合高性能RISC-V CPU和針對LLM及數(shù)據(jù)分析優(yōu)化的GPGPU。

英偉達(dá)的推理霸主地位，正在被這些RISC-V”后生“們設(shè)計(jì)的AISC所挑戰(zhàn)。Etched AI推出的全球首款Transformer專用ASIC芯片（名為“Sohu”），采用了臺積電4nm工藝，配有144GB HBM3E高帶寬內(nèi)存，在能效上顯著優(yōu)于傳統(tǒng)GPU，在推理性能比英偉達(dá)H100快20倍。這種優(yōu)勢的建立在其對于Transformer架構(gòu)的芯片底層硬化優(yōu)化，因此并不支持CNN、RNN 或 LSTM等大多數(shù)AI架構(gòu)。

而AI芯片創(chuàng)業(yè)公司Tenstorrent設(shè)計(jì)的高性能RISC-V CPU，已經(jīng)比肩全球最高性能X86架構(gòu)CPU。其基于自有Ascalon處理器內(nèi)核的RISC-V CPU，在衡量整數(shù)性能的SPEC CPU 2017 INT Rate基準(zhǔn)測試中，領(lǐng)先于英特爾的Sapphire Rapids (7.45分) 、Nvidia的Grace (7.44分) 和AMD的Zen 4 (6.80分) ；僅次于AMD的Zen 5 (Zen 5預(yù)計(jì)將達(dá)到8.84分，成為2024-2025年的絕對整數(shù)性能冠軍)。

靈活性無可比擬，突破傳統(tǒng)架構(gòu)瓶頸

AI計(jì)算對算力、存儲、內(nèi)存帶寬、容量以及芯片互聯(lián)帶寬的需求極高，遠(yuǎn)超其他一般應(yīng)用。為了應(yīng)對這些挑戰(zhàn)，業(yè)界進(jìn)行了廣泛探索，包括數(shù)據(jù)流架構(gòu)、存內(nèi)計(jì)算、創(chuàng)新封裝技術(shù)和芯粒（Chiplet）設(shè)計(jì)等。RISC-V的開放特性為這些架構(gòu)創(chuàng)新提供了理想的載體，開發(fā)者可以基于其免費(fèi)、開放的指令集架構(gòu)自由探索和實(shí)現(xiàn)創(chuàng)新設(shè)計(jì)。這種靈活性是Arm和x86等封閉指令集架構(gòu)無法比擬的獨(dú)特優(yōu)勢。

針對AI和并行計(jì)算而進(jìn)行了架構(gòu)優(yōu)化的ASIC，如Tenstorrent在基于RISC-V的數(shù)據(jù)流計(jì)算架構(gòu)方面進(jìn)行的創(chuàng)新設(shè)計(jì)，旨在解決傳統(tǒng)架構(gòu)（尤其是馮·諾依曼架構(gòu)）在 AI 和并行計(jì)算負(fù)載上面臨的內(nèi)存墻、能效比和靈活性瓶頸。

Tenstorrent沒有采用GPU，而是用了很多小的RISC-V CPU Core來實(shí)現(xiàn)對于Transformer的加速計(jì)算。根據(jù)Wei-Han Lien的解釋，“Baby RISC-V”指的是Tenstorrent在AI加速器設(shè)計(jì)中使用的一種小型、精簡的RISC-V核心，這些核心被用來管理AI計(jì)算中的控制和數(shù)據(jù)流動任務(wù)。這種Big+Baby RISC-V設(shè)計(jì)，其具備幾大特點(diǎn)：一是小而精，設(shè)計(jì)上非常簡單，專注于特定的管理任務(wù)。這些任務(wù)包括指令調(diào)度、數(shù)據(jù)移動（如從一個存儲位置到另一個位置）等，而不是執(zhí)行復(fù)雜的計(jì)算。由于其簡單性，這些核心可以高度優(yōu)化，適合特定場景的AI計(jì)算需求。二是多核架構(gòu)，Tenstorrent的加速器使用大量這種小型RISC-V核心，通過并行工作來管理AI計(jì)算中的復(fù)雜流程。這些核心不像傳統(tǒng)GPU或GPGPU那樣依賴大型、通用計(jì)算單元，而是通過分布式的小型核心實(shí)現(xiàn)高效的計(jì)算控制。三是優(yōu)化的計(jì)算路徑，通過簡化CPU的控制通路，“Baby RISC-V”的設(shè)計(jì)能夠?qū)⑿酒墓杳娣e更多分配給計(jì)算單元，而不是控制邏輯。這種設(shè)計(jì)能大幅提高計(jì)算效率，尤其適合AI任務(wù)中計(jì)算密集型的工作負(fù)載。四是靈活性和場景適應(yīng)性，這些小型核心因其簡單性，可以靈活適應(yīng)不同場景（如云端、邊緣設(shè)備）。通過RISC-V的統(tǒng)一接口，開發(fā)者可以更容易地針對不同硬件進(jìn)行編程，增強(qiáng)了生態(tài)系統(tǒng)的兼容性和擴(kuò)展性。

軟件生態(tài)，才是RISC-V x AI的發(fā)展命門

雖然采用ASIC的方式，硬件上的設(shè)計(jì)能夠更靈活、在推理側(cè)會更高效。但RISC-V的AI之路能走多遠(yuǎn)，機(jī)會多大，關(guān)鍵是軟件生態(tài)。

“今天GPU真正的優(yōu)勢在哪里？其實(shí)未必是在于單位GPU的算力，它更強(qiáng)的是在于在CUDA上面有一個非常強(qiáng)的生態(tài)?！睏铎o在第五屆RISC-V峰會上坦言到。

CUDA的強(qiáng)大在于其完善的軟件生態(tài)，當(dāng)前算法迭代很快，而硬件開發(fā)周期較長（2-3年）。CUDA的通用性和靈活性讓GPU能夠快速適配新的算法和模型，無需頻繁更換硬件。例如，深度學(xué)習(xí)模型從CNN到Transformer的演變，CUDA都能通過軟件更新支持。

此外，CUDA的統(tǒng)一編程接口屏蔽了底層硬件的差異（不同型號的GPU如Volta、Ampere、Hopper），開發(fā)者只需編寫一次代碼，就能跨硬件運(yùn)行，極大地降低了開發(fā)成本。CUDA還集成了大量優(yōu)化庫（如cuDNN用于深度學(xué)習(xí)，cuSPARSE用于稀疏矩陣運(yùn)算），開發(fā)者可以直接調(diào)用這些庫，減少開發(fā)時間。例如，PyTorch中的CUDA支持讓開發(fā)者只需一行代碼（.to('cuda')）就能將模型和數(shù)據(jù)遷移到GPU運(yùn)行。

CUDA其豐富的庫和統(tǒng)一接口確保高性能和靈活性，讓GPU內(nèi)數(shù)千個CUDA核心高效處理并行任務(wù)，廣泛應(yīng)用于AI、科學(xué)計(jì)算等領(lǐng)域。

RISC-V若想在AI領(lǐng)域占據(jù)一席之地，必須打造類似CUDA的軟件生態(tài)，開發(fā)統(tǒng)一的編程接口和優(yōu)化庫，以支持多樣化硬件（如“Baby RISC-V”或玄鐵的設(shè)計(jì)）。同時，RISC-V需兼容CUDA代碼的移植，方便開發(fā)者遷移現(xiàn)有應(yīng)用，并構(gòu)建原生軟件棧，充分發(fā)揮其開放、可定制架構(gòu)的優(yōu)勢，推動創(chuàng)新。

總而言之，當(dāng)前RISC-V在硬件上的創(chuàng)新成績令人興奮（如“Baby RISC-V”或玄鐵的獨(dú)立寄存器方案等等），但最終是軟件決定了硬件如何被充分利用，RISC-V要學(xué)習(xí)CUDA的軟件生態(tài)建設(shè)。

AI拓展指令標(biāo)準(zhǔn)化，融合進(jìn)CPU指令集，軟件生態(tài)走向統(tǒng)一

80年代，浮點(diǎn)運(yùn)算需求大，Intel先用8087協(xié)處理器跑x87指令，后來把浮點(diǎn)單元直接塞進(jìn)80486 CPU，x87指令成了x86標(biāo)配，科學(xué)計(jì)算效率大漲。90年代，多媒體火了，Intel推出MMX加速視頻、圖像處理，再到SSE用獨(dú)立寄存器支持更復(fù)雜的并行計(jì)算，AVX-512更是直接助力AI。這些指令都從“外掛”變成CPU核心功能，靠編譯器和標(biāo)準(zhǔn)普及開。RISC-V現(xiàn)在就像當(dāng)年的x86，可以加AI專用的指令，比如矩陣運(yùn)算，早期可能用加速器，未來直接融入CPU。

當(dāng)下，“可擴(kuò)展性和模塊化”是RISC-V的一個天然優(yōu)勢，開發(fā)者可以基于RISC-V指令集，針對特定應(yīng)用（如AI）構(gòu)建新的擴(kuò)展指令集。在硬件選擇上，只需實(shí)現(xiàn)支持特定模塊的RISC-V指令，而非全部指令集，從而優(yōu)化芯片設(shè)計(jì)成本。而在未來，當(dāng)AI應(yīng)用開始走向確定和收斂，AI拓展指令融合到CPU指令集中，也將會是一種趨勢。

當(dāng)前國內(nèi)AI芯片也有很多家，每家都有一套自己的軟件棧，基本都是“垂直煙囪式”的在發(fā)展。包云崗在第五屆RISC-V中國峰會上展望，當(dāng)AI指令集層面上統(tǒng)一后，在這個標(biāo)準(zhǔn)上就可以建設(shè)軟件棧的統(tǒng)一、編譯器的統(tǒng)一?！巴ㄟ^在AI指令集層面上統(tǒng)一以后把上層的軟件棧在全世界層面上大家共同共建，這就是才有希望跟CUDA生態(tài)競爭、相當(dāng)于是未來有這個機(jī)會?！?