是德科技(NYSE: KEYS )近日推出KAI推理構(gòu)建器(Keysight AI Inference Builder)，這款仿真與分析平臺(tái)旨在大規(guī)模驗(yàn)證針對(duì)推理進(jìn)行優(yōu)化的AI基礎(chǔ)設(shè)施。是德科技將在NVIDIA GTC大會(huì)上展示該解決方案，并演示其在NVIDIA DSX Air AI工廠仿真環(huán)境中的運(yùn)行情況，實(shí)現(xiàn)對(duì)AI數(shù)據(jù)中心的基礎(chǔ)設(shè)施、架構(gòu)和性能進(jìn)行建模與優(yōu)化。

KAI推理構(gòu)建器是一款仿真與分析平臺(tái)，旨在真實(shí)并發(fā)、真實(shí)規(guī)模和真實(shí)工作負(fù)載多樣性的條件下，驗(yàn)證 AI 推理基礎(chǔ)設(shè)施

隨著AI行業(yè)從大語(yǔ)言模型(LLM)的訓(xùn)練轉(zhuǎn)向部署，推理優(yōu)化已成為影響投資回報(bào)率的關(guān)鍵因素。然而，推理行為具有高度動(dòng)態(tài)性，難以進(jìn)行仿真。傳統(tǒng)的測(cè)試方法(如合成流量生成或GPU基準(zhǔn)測(cè)試)無(wú)法準(zhǔn)確再現(xiàn)AI推理在計(jì)算、網(wǎng)絡(luò)、內(nèi)存、存儲(chǔ)和安全層面上的時(shí)延敏感工作負(fù)載行為。

KAI推理構(gòu)建器通過(guò)重現(xiàn)實(shí)際推理工作負(fù)載模式，并建模行業(yè)特定的使用模式，填補(bǔ)了這一空白，對(duì)AI基礎(chǔ)設(shè)施、應(yīng)用和數(shù)據(jù)中心部署進(jìn)行驗(yàn)證。該平臺(tái)為AI云服務(wù)提供商、硬件供應(yīng)商和應(yīng)用開發(fā)人員提供了一個(gè)可擴(kuò)展的解決方案，用于測(cè)量、驗(yàn)證和優(yōu)化實(shí)際環(huán)境中的推理性能。

KAI推理構(gòu)建器的主要優(yōu)勢(shì)包括：

· 專為推理時(shí)代打造：作為是德科技人工智能(KAI)產(chǎn)品組合的一部分，KAI推理構(gòu)建器能夠仿真大規(guī)模AI推理工作負(fù)載，并在實(shí)際環(huán)境中驗(yàn)證全棧部署，從而優(yōu)化性能、擴(kuò)展性和安全性。

· 面向行業(yè)與應(yīng)用的特定基準(zhǔn)測(cè)試：區(qū)別于通用仿真方式，KAI推理構(gòu)建器可針對(duì)金融、醫(yī)療及其他垂直領(lǐng)域的AI模型，仿真行業(yè)特定的使用模式和LLM架構(gòu)，使企業(yè)能夠?qū)Σ煌愋虯I數(shù)據(jù)中心部署中的基礎(chǔ)設(shè)施和應(yīng)用行為進(jìn)行建模與分析。

· 端到端驗(yàn)證與優(yōu)化：KAI推理構(gòu)建器評(píng)估從用戶請(qǐng)求到模型響應(yīng)的整個(gè)推理工作流，通過(guò)在計(jì)算、網(wǎng)絡(luò)和安全層早期識(shí)別并解決瓶頸，幫助團(tuán)隊(duì)減少昂貴的返工。

· 子系統(tǒng)隔離與精準(zhǔn)根因定位：KAI推理構(gòu)建器還支持僅客戶端仿真，可在AI基礎(chǔ)設(shè)施堆棧承受負(fù)載時(shí)，定位性能瓶頸的出現(xiàn)位置，從而實(shí)現(xiàn)針對(duì)性優(yōu)化，減少資源過(guò)度配置，降低成本并提升整體效率。

· NVIDIA DSX Air集成與GTC現(xiàn)場(chǎng)演示：在NVIDIA GTC大會(huì)上，是德科技將展示KAI推理構(gòu)建器與NVIDIA Air開箱即用的集成能力，通過(guò)在NVIDIA數(shù)據(jù)中心仿真環(huán)境中生成真實(shí)的推理工作負(fù)載，使運(yùn)維人員能夠在部署物理設(shè)備前對(duì)推理基礎(chǔ)設(shè)施進(jìn)行驗(yàn)證。

是德科技網(wǎng)絡(luò)測(cè)試與安全解決方案副總裁兼總經(jīng)理Ram Periakaruppan表示：“推理是釋放AI投資回報(bào)率的關(guān)鍵，但如果系統(tǒng)資源在容量和性能方面未得到優(yōu)化，就很難實(shí)現(xiàn)這一目標(biāo)。KAI推理構(gòu)建器提供可見性，全面展示實(shí)際環(huán)境中的全棧推理性能，使客戶在硬件上架前即可驗(yàn)證并優(yōu)化部署方案。本次在NVIDIA GTC大會(huì)上使用NVIDIA Air平臺(tái)展示這一功能，將展示企業(yè)如何在降低風(fēng)險(xiǎn)和成本的同時(shí)，加速邁向生產(chǎn)?！?

NVIDIA網(wǎng)絡(luò)業(yè)務(wù)副總裁Amit Katz表示：“隨著AI數(shù)據(jù)中心規(guī)模擴(kuò)展至前所未有的水平，部署前驗(yàn)證已從zui佳實(shí)踐轉(zhuǎn)變?yōu)殛P(guān)鍵任務(wù)要求。KAI推理構(gòu)建器與NVIDIA DSX Air的集成，為消除性能波動(dòng)提供了關(guān)鍵環(huán)境支持，幫助NVIDIA AI工廠合作伙伴和客戶能夠仿真實(shí)際推理工作負(fù)載，并預(yù)先解決瓶頸，確保經(jīng)過(guò)優(yōu)化的AI服務(wù)能夠快速推向市場(chǎng)?！?

3月16日至19日，在圣何塞舉行的NVIDIA GTC大會(huì)上，是德科技將在NVIDIA展臺(tái)的C101展位以及是德科技展臺(tái)(3217)展示KAI推理構(gòu)建器，包括NVIDIA Air AI工廠的仿真演示。