大型語言模型 改變了自然語言處理(NLP) 通過生成類人的文本,回答復雜的問題,分析大量的信息,以令人印象深刻的準確性。從客戶服務到醫(yī)學研究,他們能夠處理各種各樣的詢問并做出詳細的答復,這使他們在許多領域都具有無價之寶。然而,隨著LLMS用于處理更多的數(shù)據(jù),它們在管理長文檔和高效檢索最相關的信息方面遇到挑戰(zhàn)。

盡管LLMS善于處理和生成類人的文本,但他們有一個有限的"上下文窗口"。"這意味著他們一次只能在內(nèi)存中保存一定數(shù)量的信息,這就很難管理很長的文檔。對于LLMS來說,快速從大型數(shù)據(jù)集中找到最相關的信息也是一個挑戰(zhàn)。除此之外,LLMS還接受固定數(shù)據(jù)培訓,因此隨著新信息的出現(xiàn),它們可能會變得過時。為了保持準確和有用,它們需要定期更新。

回收增加的一代 (RAG) (打開新窗口)應對這些挑戰(zhàn)。該工作流中有許多組件,如查詢、嵌入、索引等。今天,讓我們來探索分塊策略。

通過將文檔分成較小的、有意義的段并將它們嵌入到向量數(shù)據(jù)庫中,Raga系統(tǒng)只能為每個查詢搜索和檢索最相關的塊。這種方法使LLMS能夠側(cè)重于具體信息,提高響應的準確性和效率。

在本文中,我們將更深入地探討分塊及其不同的策略,以及它們在優(yōu)化中的作用。

什么是塊?

"塊"是指將大數(shù)據(jù)源分解成更小、更容易處理的數(shù)據(jù)塊或"塊"。"這些塊存儲在向量數(shù)據(jù)庫中,可以根據(jù)相似性進行快速有效的搜索。當用戶提交查詢時,向量數(shù)據(jù)庫會找到最相關的塊并將它們發(fā)送到語言模型。這樣,模型只能側(cè)重于最相關的信息,使其響應更快、更準確。

通過縮小需要查看的數(shù)據(jù)范圍,塊可以幫助語言模型更流暢地處理大型數(shù)據(jù)集,并提供精確的答案。

對于需要快速、準確答案的應用程序--比如客戶支持或合法文檔搜索--分塊是提高性能和可靠性的一個基本策略。

下面是在破布中使用的一些主要的分塊策略:

· 固定尺寸的塊塊

· 遞歸分塊

· 語義分塊

· 不間斷分塊

現(xiàn)在,讓我們深入探討每個分塊策略的細節(jié)。

1.固定尺寸的塊塊

固定大小的分塊包括將數(shù)據(jù)劃分為平均尺寸的部分,這樣就更容易處理大型文檔。

有時候,開發(fā)人員會在塊之間添加一些重疊,其中一個段的一小部分在下一個段的開頭被重復。這種重疊方法幫助模型在每個塊的邊界之間保留上下文,確保關鍵信息不會在邊緣丟失。這一戰(zhàn)略對于需要連續(xù)信息流的任務特別有用,因為它使模型能夠更準確地解釋文本和理解各部分之間的關系,從而使答復更加連貫一致,更符合實際情況。

上面的例子是 固定尺寸的塊塊 ,其中每一塊都用一種獨特的顏色來表示。綠色部分表示塊之間的重疊部分,確保模型在處理下一個塊時能夠訪問相關上下文。

這種重疊提高了模型處理和理解全文的能力,從而在任務(如摘要或翻譯)中產(chǎn)生了更好的性能,在這些任務中,保持跨塊邊界的信息流是至關重要的。

2.遞歸分塊

遞歸分塊法是一種方法,系統(tǒng)地將廣泛的文本劃分為較小的、可管理的部分,方法是反復地將其分解為亞塊。這一方法對于復雜或?qū)哟位奈臋n尤為有效,確保每個部分保持連貫性和完整的上下文。這個過程一直持續(xù)到文本達到適合有效處理的規(guī)模為止。

例如,考慮需要由具有有限上下文窗口的語言模型處理的冗長文檔。遞歸分塊將首先將文檔劃分為主要部分。如果這些部分仍然太大,該方法將把它們進一步劃分為子部分,并繼續(xù)這個過程,直到每個塊都符合模型的處理能力。這種分層分解保存了原始文檔的邏輯流和上下文,使模型能夠更有效地處理長文本。

實際上,遞歸分塊可以使用各種策略實現(xiàn),例如根據(jù)文檔的結(jié)構(gòu)和任務的具體要求,根據(jù)標題、段落或句子進行分塊。

在圖中，文本被分成四個塊，每個塊以不同的顏色顯示，使用遞歸塊。文本被分解成更小的、可管理的部分，每個塊最多包含80個單詞。數(shù)據(jù)塊之間沒有重疊。顏色編碼有助于顯示內(nèi)容如何被分割成邏輯部分，使模型更容易處理和理解長文本，而不丟失重要的上下文。

在理解了基于長度的兩個分塊策略之后,現(xiàn)在是時候來理解一個分塊策略了,它更側(cè)重于文本的意義/上下文。

3.語義分塊

語義分塊是指根據(jù)內(nèi)容的意義或上下文將文本劃分為塊。這種方法通常使用?機器學習 (打開新窗口) 或?自然語言處理 (NLP) (打開新窗口) 識別文本中具有類似含義的章節(jié)的技術,例如句子嵌入,或 語義結(jié)構(gòu) .

在插圖中,每個塊由不同的顏色表示-藍色的人工智能和黃色的提示工程。這些塊是分開的,因為它們包含了不同的概念。這種方法保證模型能夠清楚地理解每個主題,而不把它們混在一起。

在這些策略中,不間斷分塊是一種強大的策略。在此策略中,我們利用LLMS(如GTP)作為分塊過程中的代理。而不是手動決定如何劃分內(nèi)容,LLS主動組織或劃分信息的理解輸入。在任務上下文的影響下,LLS確定了將內(nèi)容分解為可管理的片段的最佳方法。

插圖顯示了一個分塊代理將一個大的文本分解為更小的,有意義的片段。這個代理由AI提供動力,它幫助他更好地理解文本,并將其劃分為有意義的塊。我們稱之為 不間斷分塊 與簡單地將文本切成相等的部分相比,這是一種更聰明的處理文本的方法。

分塊策略比較

為了更容易理解不同的分塊方法,下表比較了固定大小的分塊、遞歸分塊、語義分塊和非固定分塊。它突出了每個方法如何工作,何時使用,以及它們的局限性。

重慶式描述方法最好的限制

固定尺寸的塊塊將文本分成大小相等的塊,而不考慮內(nèi)容。根據(jù)固定的字詞或字數(shù)限制所創(chuàng)建的塊。簡單的結(jié)構(gòu)化文本,其中上下文的連續(xù)性不那么重要?？赡苁ド舷挛幕蚓渥?思想分裂。

遞歸分塊不斷地將文本分成較小的塊,直到它達到可管理的大小。分層分裂,如果太大的話進一步分解。長文件、復雜文件或分層文件(例如:技術手冊)。如果章節(jié)過于寬泛,可能仍會失去上下文。

語義分塊根據(jù)意義或相關的主題將文本分成幾塊.使用NLP技術,如句子嵌入組相關內(nèi)容。對背景敏感的任務,其中一致性和專題連續(xù)性至關重要。需要NLP技術;更復雜的實現(xiàn)。

不間斷分塊利用人工智能模型(如GTP)將內(nèi)容自主地劃分為有意義的部分。基于模型的理解和特定任務上下文的i驅(qū)動分割。內(nèi)容結(jié)構(gòu)不同的復雜任務,AI可以優(yōu)化分割?？赡苁遣豢深A測的,需要調(diào)整。

結(jié)論

要提高LLMS,就必須有大規(guī)模的策略和抹布。分組有助于將復雜的數(shù)據(jù)簡化為更小、更易于管理的部分,從而促進更有效的處理,而LLMS則通過將實時數(shù)據(jù)檢索納入生成工作流來改進?？傮w而言,這些方法使LLMS能夠通過將有組織的數(shù)據(jù)與活躍的當前信息合并起來,提供更精確、更符合上下文的答復。