6月30日，文心4.5系列模型正式開(kāi)源，涵蓋激活參數(shù)規(guī)模分別為47B和3B的混合專(zhuān)家(MoE)模型(最大的模型總參數(shù)量為424B)，以及0.3B的稠密參數(shù)模型。

在海光信息“深算智能”戰(zhàn)略引領(lǐng)下，海光DCU率先展開(kāi)文心4.5系列模型的深度技術(shù)合作，基于飛槳深度學(xué)習(xí)框架進(jìn)行高效訓(xùn)練、推理和部署的適配工作。

文心4.5是百度自主研發(fā)的新一代原生多模態(tài)基礎(chǔ)大模型，通過(guò)多個(gè)模態(tài)聯(lián)合建模實(shí)現(xiàn)協(xié)同優(yōu)化，多模態(tài)理解能力優(yōu)秀;具備更精進(jìn)的語(yǔ)言能力，理解、生成、邏輯、記憶能力全面提升，去幻覺(jué)、邏輯推理、代碼能力顯著提升。

依托GPGPU架構(gòu)的生態(tài)優(yōu)勢(shì)，與編程開(kāi)發(fā)軟件棧DTK的領(lǐng)先特性，海光DCU支撐文心4.5預(yù)訓(xùn)練的模型FLOPs利用率(MFU)達(dá)47%，在多個(gè)文本和多模態(tài)基準(zhǔn)測(cè)試中達(dá)到SOTA水平，充分驗(yàn)證海光DCU高通用性、高兼容度及自主可控的技術(shù)優(yōu)勢(shì)。