國產中文大語言模型“天河天元”發(fā)布
21ic 近日獲悉,國家超算天津中心在 2023 第七屆世界智能大會期間舉行的世界智能科技創(chuàng)新合作峰會上發(fā)布了“天河 E 級智能計算開放創(chuàng)新平臺”和國產中文大語言模型“天河天元大模型”。
據悉,本次智能科技展統(tǒng)籌規(guī)劃了 8 大展館和室外展區(qū),設置了信息技術應用創(chuàng)新、人工智能、5G + 工業(yè)互聯網、智能交通、智能制造、智慧生活、數字金融、數字健康、國際與省市等主題展示區(qū),以及智能駕駛、5G 兩大體驗專區(qū)。
本次在展會上亮相的天河新一代超級計算機是中國新一代百億億次超級計算機,天河超級計算機從千萬億次到百億億次不斷刷新世界算力速度極限,天津依托天河占據了全國超過 20% 的超級計算算力資源。
為充分發(fā)揮超算在算力方面的優(yōu)勢,推動國產異構超級計算機平臺在 AI 應用開發(fā)和服務領域中的應用,國家超算天津中心搜集整理了網頁數據、各種開源訓練數據、中文小說數據、古文數據、百科數據、新聞數據,以及專業(yè)領域的中醫(yī)、醫(yī)藥、問診、法律等多種數據集,訓練數據集總 token 數達到 350B,最終訓練打造出了自己的中文語言大模型“天河天元”。
天河新一代超級計算機實現了從硬件到軟件環(huán)境全面自主的信息技術應用創(chuàng)新,官方也在展區(qū)展示了天河新一代超級計算機上采用的計算芯片、主板等核心技術?!疤旌? E 級智能計算開放創(chuàng)新平臺”將帶來突破百億億次的跨模態(tài)的超級計算算力,支撐傳統(tǒng)的科學工程計算,并服務智能混合計算,打造全方位的算力賦能創(chuàng)新和數字經濟高質量發(fā)展載體。
據悉,未來國家超算天津中心還將在“天河天元大模型”的基礎上啟動深度訓練面向醫(yī)療、工業(yè)、法律等領域的專業(yè)模型。未來大模型將在深度學習平臺的支撐下成為產業(yè)智能化基座。





