下面的說(shuō)明記錄了一種新的方法,可以立即開(kāi)始使用Xilinx Vitis AI v2.5硬件加速機(jī)器學(xué)習(xí)推理。它還使Python能夠控制和執(zhí)行Vitis AI Xilinx深度學(xué)習(xí)處理單元(DPU)。現(xiàn)在還支持VART api。
在AI算力需求指數(shù)級(jí)增長(zhǎng)的背景下,NVIDIA BlueField-3 DPU憑借其512個(gè)NPU核心和400Gbps線(xiàn)速轉(zhuǎn)發(fā)能力,為機(jī)器學(xué)習(xí)推理提供了革命性的硬件卸載方案。通過(guò)將PyTorch模型量化至INT8精度并結(jié)合DPU的硬件加速引擎,某頭部云服務(wù)商在BlueField-3上實(shí)現(xiàn)了ResNet50推理延遲從12ms壓縮至2ms的行業(yè)突破,同時(shí)保持Top-1準(zhǔn)確率達(dá)75.8%。
在AI訓(xùn)練集群和超算中心場(chǎng)景中,傳統(tǒng)CPU處理網(wǎng)絡(luò)協(xié)議棧導(dǎo)致的20μs級(jí)延遲和30%的CPU資源占用已成為性能瓶頸。NVIDIA BlueField-3 DPU通過(guò)硬件卸載TCP/IP處理,結(jié)合內(nèi)核旁路(Kernel Bypass)和RDMA增強(qiáng)技術(shù),在100Gbps網(wǎng)絡(luò)下實(shí)現(xiàn)6.8μs端到端延遲和3倍吞吐量提升。本文通過(guò)實(shí)測(cè)數(shù)據(jù)對(duì)比、關(guān)鍵優(yōu)化技術(shù)解析、內(nèi)核模塊開(kāi)發(fā)示例,深度揭示DPU加速網(wǎng)絡(luò)處理的實(shí)現(xiàn)原理。
在當(dāng)今數(shù)據(jù)爆炸的時(shí)代,數(shù)據(jù)中心面臨著前所未有的網(wǎng)絡(luò)性能挑戰(zhàn)。傳統(tǒng)的網(wǎng)絡(luò)處理方式主要依賴(lài)CPU,但隨著網(wǎng)絡(luò)流量的急劇增長(zhǎng),CPU在網(wǎng)絡(luò)協(xié)議棧處理上的開(kāi)銷(xiāo)日益增大,導(dǎo)致系統(tǒng)整體性能下降、延遲增加。數(shù)據(jù)處理單元(DPU)的出現(xiàn)為解決這一問(wèn)題提供了新的思路。DPU能夠?qū)⒕W(wǎng)絡(luò)協(xié)議棧的處理任務(wù)從CPU卸載到專(zhuān)門(mén)的硬件上,從而釋放CPU資源,降低網(wǎng)絡(luò)延遲,提高系統(tǒng)整體性能。NVIDIA BlueField-3 DPU作為一款先進(jìn)的DPU產(chǎn)品,具備強(qiáng)大的網(wǎng)絡(luò)處理能力,本文將深入探討如何將TCP/IP協(xié)議棧卸載到BlueField-3,并對(duì)其延遲優(yōu)化效果進(jìn)行實(shí)測(cè)。
2024年9月19日,安謀科技(中國(guó))有限公司(以下簡(jiǎn)稱(chēng)“安謀科技”)正式推出本土自研的首款“玲瓏”D8/D6/D2顯示處理器,以及新一代的“玲瓏”V510/V710視頻處理器。聚焦國(guó)內(nèi)前沿技術(shù)趨勢(shì),安謀科技自研業(yè)務(wù)產(chǎn)品矩陣持續(xù)擴(kuò)容,全新亮相的處理器新品能夠滿(mǎn)足多樣化智能應(yīng)用場(chǎng)景的性能功耗配置需求,助力國(guó)產(chǎn)芯片廠(chǎng)商在多媒體技術(shù)領(lǐng)域?qū)崿F(xiàn)創(chuàng)新躍進(jìn)。
“隨著時(shí)間來(lái)講,我們可以看到很明顯現(xiàn)在RISC-V對(duì)于ARM這邊的替換在市場(chǎng)上已經(jīng)在不斷的發(fā)生,同時(shí)也發(fā)生在我們這邊(DPU和FTTR)。”益思芯科技(上海)有限公司解決方案副總裁唐杰在第四屆滴水湖RISC-V產(chǎn)業(yè)論壇中說(shuō)到。
AMD Zen4架構(gòu)和CCD計(jì)算內(nèi)核設(shè)計(jì)已經(jīng)沒(méi)什么秘密了,但是做輔助的IOD輸入輸出內(nèi)核一直比較神秘。
經(jīng)過(guò)前幾天的預(yù)熱,撼迅正式發(fā)布了最頂級(jí)的RX 7900 XTX Liquid Devil,這也是華擎AUAQ水神之后,第二款水冷版RX 7900系列顯卡。
據(jù)報(bào)道,AMD已經(jīng)占據(jù)了中央處理器單元近三分之一的市場(chǎng)份額,而英國(guó)芯片技術(shù)公司 Arm Ltd 在 PC 市場(chǎng)的增長(zhǎng)在 2022 年第四季度有所放緩。
消費(fèi)市場(chǎng)下滑,這已經(jīng)是不爭(zhēng)的事實(shí),而相比老對(duì)手Intel來(lái)說(shuō),AMD剛剛交出的業(yè)績(jī)是超預(yù)期的,所以股價(jià)接連大漲,市值也是輕松超越前者。
上周Intel公司發(fā)布了22年Q4季度財(cái)報(bào),現(xiàn)在輪到AMD的Q4財(cái)報(bào)了,他們的表現(xiàn)要比友商好得多,營(yíng)收56億美元,同比增長(zhǎng)了16%,表現(xiàn)超過(guò)了預(yù)期。
一場(chǎng)始于云計(jì)算的軟硬件變革,已經(jīng)蔓延到了芯片行業(yè)甚至整個(gè)IT產(chǎn)業(yè)。沒(méi)人能否認(rèn),新的大幕正徐徐拉開(kāi)。自研DPU(Data Processing Unit),成為云廠(chǎng)商擺在臺(tái)面上的要緊事。
在Intel發(fā)布不太好看的Q3季度財(cái)報(bào)之后沒(méi)幾天,AMD的Q3財(cái)報(bào)也出爐了,收為55.65億美元,與上年同期的43.13億美元相比增長(zhǎng)29%,在當(dāng)前的環(huán)境下還能逆勢(shì)增長(zhǎng)。
2021年10月至今,中科院計(jì)算所面向全行業(yè)先后發(fā)布了《專(zhuān)用數(shù)據(jù)處理器(DPU)技術(shù)白皮書(shū)》和《專(zhuān)用數(shù)據(jù)處理器(DPU)性能基準(zhǔn)評(píng)測(cè)方法與實(shí)現(xiàn)》,兩份白皮書(shū)較為全面地解釋了,DPU為何被定義為數(shù)據(jù)中心發(fā)展的顛覆性技術(shù)。
AMD的芯片產(chǎn)品一直被譽(yù)為業(yè)界良心,這一次AMD又做了一件讓用戶(hù)感覺(jué)到AMD Yes的好事,該公司宣布將旗下的賽靈思7系列器件的壽命延長(zhǎng)到了2035年,總計(jì)提供長(zhǎng)達(dá)25年的支持,這些產(chǎn)品最早發(fā)布于10多年前。
AMD剛剛官方宣布,將于美國(guó)東部時(shí)間8月29日19點(diǎn)(北京時(shí)間8月30日7點(diǎn))舉辦發(fā)布會(huì),正式推出下一代銳龍7000系列處理器,主題是“together we advance_PCs”(同超越,共成就PC)。
在DPU概念誕生之初,人們爭(zhēng)論它“應(yīng)如何定義”,但后來(lái)發(fā)現(xiàn),只有定義,還遠(yuǎn)不能說(shuō)明 DPU能做什么、有什么作用、如何與現(xiàn)有系統(tǒng)更好地協(xié)同。本文將討論DPU發(fā)展中的四個(gè)關(guān)鍵問(wèn)題:DPU是什么?DPU可以標(biāo)準(zhǔn)化嗎?DPU產(chǎn)業(yè)化面臨哪些挑戰(zhàn)?以及是否有“中國(guó)方案”?一些問(wèn)題目前還很難給出確切的答案,但拋磚引玉,希望引起大家的關(guān)注。
前幾天AMD發(fā)布了Q2季度財(cái)報(bào),營(yíng)收大漲70%,旗下的EPYC霄龍及Ryzen銳龍?zhí)幚砥鞴Σ豢蓻](méi),其中EPYC這一波漲勢(shì)喜人,而且跟PC下滑不同,接下來(lái)EPYC業(yè)務(wù)還會(huì)繼續(xù)增長(zhǎng)。
Intel公司前幾天發(fā)布了Q2季度財(cái)報(bào),營(yíng)收及盈利表現(xiàn)不佳,現(xiàn)在輪到AMD發(fā)布Q2季度財(cái)報(bào),表現(xiàn)卻是完全不一樣的,AMD實(shí)現(xiàn)連續(xù)8個(gè)季度的增長(zhǎng),季度營(yíng)收首次突破60億美元,利潤(rùn)更是翻倍。
這大概是AMD歷史上最突然、最神秘、最折騰的一塊卡了。