北京2025年11月6日 /美通社/ -- "在AI超節(jié)點(diǎn)系統(tǒng)的設(shè)計(jì)上，不應(yīng)該再依照慣性思維，過(guò)分追求規(guī)模，而是應(yīng)該從客戶視角出發(fā)，把token交互速度作為關(guān)鍵衡量指標(biāo)，這是智能體時(shí)代AI超節(jié)點(diǎn)的核心商業(yè)價(jià)值。"這是浪潮信息首席AI戰(zhàn)略官劉軍近期接受采訪時(shí)，反復(fù)強(qiáng)調(diào)的一點(diǎn)。

浪潮信息首席AI戰(zhàn)略官劉軍

智能體時(shí)代，速度就是金錢

規(guī)模擴(kuò)展定律（Scaling Law）一直是驅(qū)動(dòng)大模型智能持續(xù)增長(zhǎng)的底層邏輯，推動(dòng)著模型參數(shù)量從百億、千億邁向現(xiàn)在的萬(wàn)億。在后訓(xùn)練階段更多的算力投入，能顯著提升模型的推理能力，而以推理能力為代表的復(fù)雜思維的涌現(xiàn)，是構(gòu)建智能體應(yīng)用的基礎(chǔ)。另一方面，以DeepSeek為代表的開源大模型極大的降低了創(chuàng)新門檻，加速了智能體產(chǎn)業(yè)化的到來(lái)。

Scaling Law驅(qū)動(dòng)智能持續(xù)進(jìn)化

劉軍指出，"智能體產(chǎn)業(yè)化的核心三要素是能力、速度和成本。其中，token交互速度決定了智能體的商業(yè)價(jià)值。在當(dāng)下最常見的人機(jī)對(duì)話場(chǎng)景中，基本上按照大概50毫秒的水平，就是每秒輸出20個(gè)token，人的閱讀速度就能跟得上。但很多人還沒(méi)意識(shí)到，未來(lái)的智能體時(shí)代會(huì)更多的出現(xiàn)機(jī)器與機(jī)器之間的交互場(chǎng)景，對(duì)于智能體之間的交互而言，這個(gè)速度遠(yuǎn)遠(yuǎn)不夠，比如說(shuō)直播電商、量化交易、欺詐防控等特定業(yè)務(wù)場(chǎng)景中，對(duì)token生成速度的最低要求都是10毫秒以下。"

以高強(qiáng)度、實(shí)時(shí)互動(dòng)的直播電商場(chǎng)景為例。2024年底，某知名直播電商平臺(tái)進(jìn)行了專家組合智能體的A/B實(shí)驗(yàn)，實(shí)驗(yàn)組部署了經(jīng)過(guò)深度優(yōu)化的智能體，對(duì)照組則使用未經(jīng)優(yōu)化的標(biāo)準(zhǔn)版本智能體，優(yōu)化后的智能體平均響應(yīng)延遲相較于對(duì)照組降低了38%。實(shí)驗(yàn)結(jié)果表明，部署了低延遲智能體的直播間，其商品交易總額（GMV）平均提升了11.4%，同時(shí)用戶的復(fù)購(gòu)率也取得了7.8%的顯著增長(zhǎng)。

38%的延遲降低，并非提升了智能體回答內(nèi)容的質(zhì)量，而是確保了這些回答能夠被精準(zhǔn)地投遞在用戶購(gòu)買意圖最為強(qiáng)烈的"黃金窗口"期內(nèi)。在直播電商這類場(chǎng)景中，用戶的購(gòu)買意圖是瞬時(shí)且易逝的。一個(gè)高延遲的回答意味著當(dāng)智能體還在"思考"時(shí)，用戶的注意力可能已經(jīng)轉(zhuǎn)移，或者主播已經(jīng)開始介紹下一件商品，從而錯(cuò)失了最佳的銷售轉(zhuǎn)化窗口。

"在智能體時(shí)代，快，不再是可選項(xiàng)，而是商業(yè)成功的剛性約束。"劉軍強(qiáng)調(diào)，"只有當(dāng)智能體的響應(yīng)快于業(yè)務(wù)決策的窗口期，快于用戶耐心消逝的臨界點(diǎn)……AI才能真正成為核心生產(chǎn)力。"

token交互速度正在重塑AI算力價(jià)值評(píng)估體系

事實(shí)上，對(duì)于token交互速度的考量正在重構(gòu)AI算力系統(tǒng)的價(jià)值評(píng)估體系。最近廣受關(guān)注的InferenceMax? 開源AI基準(zhǔn)測(cè)試，正在創(chuàng)造一種動(dòng)態(tài)追蹤模型更迭的算力評(píng)估體系，試圖在真實(shí)AI推理環(huán)境下衡量各類AI算力系統(tǒng)的綜合效率。在這一基準(zhǔn)測(cè)試中，token生成速度被列為最重要的一項(xiàng)衡量指標(biāo)。

SemiAnalysis InferenceMAX? 開源AI基準(zhǔn)測(cè)試；橫軸：交互速度（Interactivity，單位：tok/s/user）；縱軸：?jiǎn)挝籊PU token吞吐量（Token Throughput per GPU，單位：tok/s/gpu）

同時(shí)，清華大學(xué)與中國(guó)軟件評(píng)測(cè)中心（CSTC）對(duì)20余家主流大模型服務(wù)提供商的綜合表現(xiàn)進(jìn)行了全面評(píng)估，聯(lián)合發(fā)布了大模型服務(wù)性能排行榜，明確指出延遲指標(biāo)是用戶體驗(yàn)的核心，直接決定用戶留存，是平臺(tái)差異化競(jìng)爭(zhēng)的首要技術(shù)門檻。因此，速度同樣也成為了大模型API服務(wù)提供商的核心競(jìng)爭(zhēng)力。當(dāng)前，全球主要大模型API服務(wù)商的token生成速度，基本維持在10~20 毫秒左右，而國(guó)內(nèi)的生成速度普遍高于30毫秒。

全球大模型API服務(wù)商DeepSeek Token生成速度

元腦SD200將token生成速度帶入"10毫秒時(shí)代"

要實(shí)現(xiàn)更低延遲的token生成能力，必然要求底層算力基礎(chǔ)設(shè)施在系統(tǒng)架構(gòu)、互聯(lián)協(xié)議、軟件框架等關(guān)鍵點(diǎn)上進(jìn)行協(xié)同創(chuàng)新。

浪潮信息對(duì)元腦SD200超節(jié)點(diǎn)AI服務(wù)器進(jìn)行了大量的軟硬件協(xié)同創(chuàng)新與優(yōu)化，實(shí)現(xiàn)DeepSeek R1大模型單token生成速度低至8.9毫秒，帶動(dòng)國(guó)內(nèi)AI服務(wù)器token生成速度率先進(jìn)入"10毫秒時(shí)代"。

元腦SD200超節(jié)點(diǎn)AI服務(wù)器

對(duì)于為何能在token生成速度上實(shí)現(xiàn)如此出色的性能，劉軍表示，智能體中各個(gè)模型之間的交互，很多時(shí)候通信數(shù)據(jù)包并不是很大，超高的帶寬會(huì)出現(xiàn)浪費(fèi)，"就像是從a地到b地修了16車道的高速公路，但是車輛在16車道上只跑了很短的距離，反而在上高速和下高速這兩個(gè)節(jié)點(diǎn)花了很長(zhǎng)時(shí)間。浪潮信息的優(yōu)化重點(diǎn)，就是解決車輛上高速和下高速的卡點(diǎn)問(wèn)題，讓車輛直通上來(lái)，直通下去。"

元腦SD200采用了獨(dú)創(chuàng)的多主機(jī)3D Mesh系統(tǒng)架構(gòu)，實(shí)現(xiàn)單機(jī)64路本土AI芯片高密度算力擴(kuò)展，原生支持開放加速模組OAM，兼容多元AI芯片。同時(shí)，元腦SD200通過(guò)遠(yuǎn)端GPU虛擬映射技術(shù)創(chuàng)新，突破跨主機(jī)域統(tǒng)一編址難題，實(shí)現(xiàn)顯存統(tǒng)一地址空間擴(kuò)增8倍，單機(jī)可以提供最大4TB顯存和64TB內(nèi)存，為萬(wàn)億參數(shù)、超長(zhǎng)序列大模型提供充足鍵值緩存空間?；趧?chuàng)新的系統(tǒng)架構(gòu)設(shè)計(jì)，元腦SD200單機(jī)即可承載4萬(wàn)億單體模型，或者同時(shí)部署由多個(gè)萬(wàn)億參數(shù)模型構(gòu)成的智能體，多模協(xié)作執(zhí)行復(fù)雜任務(wù)。

元腦SD200創(chuàng)新多主機(jī)3D Mesh系統(tǒng)架構(gòu)

互連協(xié)議的設(shè)計(jì)是元腦SD200實(shí)現(xiàn)極低通信延遲的關(guān)鍵，浪潮信息做了大量的通信優(yōu)化和技術(shù)創(chuàng)新，如采用極致精簡(jiǎn)的3層協(xié)議棧，并原生支持 Load/Store等"內(nèi)存語(yǔ)義"，讓GPU可直接訪問(wèn)遠(yuǎn)端節(jié)點(diǎn)的顯存或主存，將基礎(chǔ)通信延遲縮短至百納秒級(jí)；另外Open Fabric原生支持由硬件邏輯實(shí)現(xiàn)的鏈路層重傳，重傳延遲低至微秒級(jí)，特別是分布式、預(yù)防式的流控機(jī)制，實(shí)現(xiàn)全局任務(wù)均在發(fā)送前確保接收端有能力接收，從根本上避免了擁塞和丟包。

元腦SD200極低Latency通信

除了硬件方面的創(chuàng)新，浪潮信息也針對(duì)DeepSeek、Kimi等模型的計(jì)算特征和元腦SD200的硬件架構(gòu)特征，完成了通信庫(kù)、計(jì)算框架、PD分離策略等多方面的優(yōu)化，大幅提升了DeepSeek、Kimi等大模型的推理輸出速度。通信庫(kù)層面，針對(duì)Allreduce、Allgather、Alltoall等典型通信算子，浪潮信息制定了與元腦SD200深度適配的通信算法；框架層面，浪潮信息完成了并行方式、算子融合、多流水線等多方面優(yōu)化，來(lái)保證計(jì)算的低延遲；在推理階段，浪潮信息開發(fā)了預(yù)填充-解碼 (Prefill-Decode) 分離軟件，針對(duì)預(yù)填充與解碼不同的計(jì)算特性，使用不同的并行計(jì)算策略、硬件配置等，提高系統(tǒng)整體的計(jì)算性能。

實(shí)測(cè)數(shù)據(jù)顯示，元腦SD200搭載64張本土AI芯片運(yùn)行DeepSeek R1大模型，當(dāng)輸入長(zhǎng)度為4096、輸出長(zhǎng)度為1024時(shí)，單用戶token生成達(dá)到112 tokens/s，每token生成時(shí)間僅為8.9ms，率先實(shí)現(xiàn)國(guó)內(nèi)AI服務(wù)器token生成速度低于10ms，將推動(dòng)萬(wàn)億參數(shù)大模型在金融、科研、智能制造等領(lǐng)域快速落地。

未來(lái)十年AI經(jīng)濟(jì)的增長(zhǎng)邊界，從某種意義而言，將取決于整個(gè)行業(yè)在算法、軟件和硬件層面協(xié)同攻克延遲挑戰(zhàn)的能力。"速度就是金錢"不僅是一種新的商業(yè)主張，更是驅(qū)動(dòng)下一代人工智能增長(zhǎng)的核心經(jīng)濟(jì)邏輯。浪潮信息將面向智能體產(chǎn)業(yè)化需求，持續(xù)以架構(gòu)創(chuàng)新激發(fā)產(chǎn)業(yè)創(chuàng)新活力，讓AI成為百行千業(yè)的生產(chǎn)力和創(chuàng)新力。