5月9日消息，阿里巴巴達(dá)摩院（湖畔實(shí)驗(yàn)室）、新加坡南洋理工大學(xué)等聯(lián)合提出了大模型知識(shí)鏈（CoK）框架。相比傳統(tǒng)的檢索增強(qiáng)生成（RAG）技術(shù)，該框架可實(shí)時(shí)檢索異構(gòu)知識(shí)源并逐步糾正推理錯(cuò)誤，進(jìn)一步提高大模型問(wèn)答知識(shí)型問(wèn)題的準(zhǔn)確率，降低幻覺(jué)現(xiàn)象。相關(guān)論文入選正在奧地利維也納舉行的國(guó)際表征學(xué)習(xí)大會(huì)（ICLR 2024）。

“執(zhí)導(dǎo)了《El Tio Disparate》的阿根廷演員出生于哪一年？”面對(duì)此類(lèi)需要多步推理的知識(shí)型問(wèn)題，大模型可能會(huì)“胡言亂語(yǔ)”，給出看似符合邏輯，實(shí)則錯(cuò)誤或并不存在的回答。這個(gè)問(wèn)題被稱作大模型“幻覺(jué)”，極大制約了大模型的應(yīng)用場(chǎng)景。學(xué)界也在重點(diǎn)研究給大模型“外掛知識(shí)庫(kù)”的RAG等技術(shù)路線。

在論文《Chain-of-Knowledge: Grounding Large Language Models via Dynamic Knowledge Adapting over Heterogeneous Sources》中，達(dá)摩院領(lǐng)銜的聯(lián)合研究團(tuán)隊(duì)提出了一種名為“知識(shí)鏈”（Chain-of-Knowledge, CoK）的新框架，包括推理準(zhǔn)備、動(dòng)態(tài)知識(shí)適應(yīng)和答案整合三個(gè)步驟。對(duì)于知識(shí)密集型問(wèn)題，知識(shí)鏈先確定知識(shí)領(lǐng)域，并準(zhǔn)備若干中間推理步驟和相應(yīng)答案。如若這些初步結(jié)論沒(méi)有共識(shí)，知識(shí)鏈將實(shí)時(shí)檢索相應(yīng)知識(shí)領(lǐng)域內(nèi)的不同知識(shí)源，逐步生成、糾正推理步驟，給出最終答案。

圖說(shuō)：“知識(shí)鏈”（CoK）框架包括（I）推理準(zhǔn)備（II）動(dòng)態(tài)知識(shí)適應(yīng)和（III）答案整合

與傳統(tǒng)的RAG相比，知識(shí)鏈框架創(chuàng)新性地設(shè)計(jì)了對(duì)推理分析過(guò)程的逐步糾錯(cuò)，最大程度地防止錯(cuò)誤層層傳導(dǎo)。有別于此前的大模型知識(shí)增強(qiáng)方案主要使用非結(jié)構(gòu)化數(shù)據(jù)源，知識(shí)鏈框架同時(shí)支持結(jié)構(gòu)化數(shù)據(jù)源，并引入了經(jīng)過(guò)指令微調(diào)的自適應(yīng)查詢生成器，從而更精準(zhǔn)地生成查詢語(yǔ)句，從知識(shí)源提取到有效信息。

在通用知識(shí)、醫(yī)學(xué)、物理、生物等多個(gè)領(lǐng)域的實(shí)驗(yàn)結(jié)果顯示，相比起思維鏈（Chain-of-Thought, CoT）方法，知識(shí)鏈框架可將大模型的回答準(zhǔn)確率平均提高4.3%。對(duì)比ReAct、Verify-and-Edit等RAG方法，知識(shí)鏈也表現(xiàn)出穩(wěn)定的優(yōu)勢(shì)。據(jù)論文介紹，知識(shí)鏈有望連接各類(lèi)大模型和不同格式的知識(shí)源，幫助解決隱私保護(hù)、知識(shí)源可靠性和快速信息更新等關(guān)鍵問(wèn)題。

據(jù)介紹，ICLR由圖靈獎(jiǎng)得主、深度學(xué)習(xí)領(lǐng)軍人物Yoshua Bengio和Yann LeCun牽頭舉辦，是國(guó)際AI頂級(jí)學(xué)術(shù)會(huì)議之一。達(dá)摩院共有三篇大模型研究論文入選，另外兩篇涉及大模型推理長(zhǎng)度外推、多語(yǔ)言安全等課題。