英特爾軟硬協(xié)同，優(yōu)化阿里云通義千問2 AI模型
一直以來，英特爾致力于與行業(yè)領(lǐng)先、創(chuàng)新的生態(tài)伙伴開展合作，并針對AI模型進(jìn)行優(yōu)化。近日，英特爾宣布其數(shù)據(jù)中心、客戶端和邊緣的AI解決方案為阿里云通義千問2(Qwen2)的全球發(fā)布提供支持。
英特爾公司副總裁兼數(shù)據(jù)中心與人工智能軟件總經(jīng)理Pallavi Mahajan和英特爾數(shù)據(jù)中心與人工智能集團(tuán)副總裁兼中國區(qū)總經(jīng)理陳葆立表示，在阿里云推出通義千問2大模型的當(dāng)日，英特爾即為客戶和開發(fā)人員提供了針對該AI模型和軟件而優(yōu)化的AI解決方案。
軟件優(yōu)化
為了最大限度地提升諸如阿里云通義千問2的大模型效率，全面的軟件優(yōu)化非常重要，其中包括從高性能融合算子到平衡精度和速度的先進(jìn)量化技術(shù)。此外，英特爾還采用KV Caching、PagedAttention機(jī)制和張量并行來提高推理效率。英特爾的硬件可利用軟件框架和工具包進(jìn)行加速，并獲得出色的大模型推理性能，其中包括PyTorch和英特爾® PyTorch擴(kuò)展包、OpenVINO?工具包、DeepSpeed、Hugging Face庫和vLLM。
英特爾與阿里云在數(shù)據(jù)中心、客戶端以及邊緣平臺上的AI軟件優(yōu)化，有助于構(gòu)建一個(gè)創(chuàng)新的生態(tài)環(huán)境，且截至目前，已取得了包括ModelScope、阿里云PAI、OpenVINO等在內(nèi)的諸多創(chuàng)新成果。得益于此，阿里云AI模型可在多樣化的計(jì)算環(huán)境中進(jìn)行優(yōu)化。
測試結(jié)果：英特爾® Gaudi AI加速器
英特爾Gaudi AI加速器專為生成式AI以及大模型的高性能加速而設(shè)計(jì)。使用最新版本的英特爾Gaudi Optimum，可以輕松部署新型號的大模型。在英特爾Gaudi 2上對70億參數(shù)和720億參數(shù)的通義千問2模型的推理和微調(diào)吞吐量進(jìn)行了基準(zhǔn)測試，以下為詳細(xì)性能指標(biāo)和測試結(jié)果。
表1. 70億參數(shù)的通義千問2在單顆英特爾Gaudi 2加速器上的推理
表2. 720億參數(shù)的通義千問2在8顆英特爾Gaudi 2加速器上的推理
表3. 通義千問2 FP8在英特爾Gaudi 2加速器上的推理
表4. 通義千問2在英特爾Gaudi 2加速器上的微調(diào)
測試結(jié)果：英特爾®至強(qiáng)®處理器
英特爾®至強(qiáng)®處理器作為通用計(jì)算的基石，為全球范圍內(nèi)的用戶提供強(qiáng)大的算力。英特爾至強(qiáng)處理器具有廣泛可用性，適用于各個(gè)規(guī)模的數(shù)據(jù)中心，這使其成為那些希望能夠快速部署AI解決方案，又無需配備專項(xiàng)基礎(chǔ)設(shè)施企業(yè)的理想選擇。英特爾至強(qiáng)處理器的每個(gè)核心均內(nèi)置了英特爾®高級矩陣擴(kuò)展(英特爾AMX)，可處理多樣化的AI工作負(fù)載并加速AI推理。下圖展現(xiàn)了英特爾至強(qiáng)處理器所提供的延遲性能可滿足多種用例。
圖1. 在基于第五代英特爾®至強(qiáng)®可擴(kuò)展處理器的阿里云ecs.ebmg8i.48xlarge實(shí)例上，通義千問2的下一個(gè)推理token延遲
AI PC
由最新英特爾®酷睿? Ultra處理器和英特爾銳炫?顯卡驅(qū)動的AI PC讓AI的力量觸及客戶端和邊緣，使開發(fā)者在本地也能部署大模型。AI PC配備了專門的AI硬件，如神經(jīng)處理單元和內(nèi)置的英特爾銳炫?顯卡，或配備了英特爾® Xe Matrix Extensions加速的英特爾銳炫?A系列顯卡，以處理高需求的邊緣AI任務(wù)。這種本地處理能力可實(shí)現(xiàn)個(gè)性化的AI體驗(yàn)，增強(qiáng)隱私性，并提供快速響應(yīng)時(shí)間，這對于交互式應(yīng)用程序至關(guān)重要。
以下展示了15億參數(shù)的通義千問2，在基于英特爾®酷睿?Ultra的AI PC上運(yùn)行時(shí)所展現(xiàn)的強(qiáng)大性能。
Demo 1. 在內(nèi)置英特爾銳炫?顯卡的英特爾®酷睿? Ultra 7 165H上，通義千問2的推理
表2. 在內(nèi)置英特爾銳炫?顯卡的英特爾®酷睿? Ultra 7 165H AI PC上，通義千問2的下一個(gè)token延遲
表3. 在由英特爾銳炫? A770 16GB限量版驅(qū)動的AI PC上，通義千問2的下一個(gè)token延遲
下載文檔
