首頁(yè)>博客>新聞資訊>行業(yè)首創(chuàng) !Graph RAG:基于知識(shí)圖譜的檢索增強(qiáng)技術(shù)與優(yōu)勢(shì)對(duì)比(附 Demo)
行業(yè)首創(chuàng) ,!Graph RAG:基于知識(shí)圖譜的檢索增強(qiáng)技術(shù)與優(yōu)勢(shì)對(duì)比(附 Demo)
身處信息爆炸時(shí)代,,如何從海量信息中獲取準(zhǔn)確全面的搜索結(jié)果,并以更直觀,、可讀的方式呈現(xiàn)出來(lái)是大家期待達(dá)成的目標(biāo),。傳統(tǒng)的搜索增強(qiáng)技術(shù)受限于訓(xùn)練文本數(shù)量、質(zhì)量等問(wèn)題,,對(duì)于復(fù)雜或多義詞查詢效果不佳,,更無(wú)法滿足 ChatGPT 等大語(yǔ)言模型應(yīng)用帶來(lái)的大規(guī)模、高并發(fā)的復(fù)雜關(guān)聯(lián)查詢需求,。
在此背景下,,悅數(shù)圖數(shù)據(jù)庫(kù)率先實(shí)現(xiàn)了與 Llama Index、LangChain 等大語(yǔ)言模型框架的深度適配并在行業(yè)內(nèi)首次提出了 Graph RAG(基于圖技術(shù)的檢索增強(qiáng))的概念,,利用知識(shí)圖譜結(jié)合大語(yǔ)言模型(LLM)為搜索引擎提供更全面的上下文信息,,可以幫助用戶以更低成本獲得更智能、更精準(zhǔn)的搜索結(jié)果,。目前,,悅數(shù)圖數(shù)據(jù)庫(kù)推出的這項(xiàng)技術(shù)在與向量數(shù)據(jù)庫(kù)結(jié)合的領(lǐng)域也獲得了相當(dāng)不錯(cuò)的效果,。
今天我們就一起來(lái)了解下什么是 Graph RAG 以及它與其他 RAG 技術(shù)的對(duì)比,也歡迎進(jìn)入 悅數(shù)圖數(shù)據(jù)庫(kù) 官網(wǎng),,通過(guò) Demo 直觀感受這一功能,。
傳統(tǒng)檢索增強(qiáng)技術(shù)的瓶頸:缺少訓(xùn)練數(shù)據(jù),,文本理解不足
在傳統(tǒng)的搜索引擎中,,檢索結(jié)果通常是基于關(guān)鍵詞的匹配。而隨著用戶對(duì)搜索精確度和詞匯聯(lián)想能力要求的提高,,傳統(tǒng)的搜索結(jié)果往往難以滿足用戶的實(shí)際需求,,尤其是在處理復(fù)雜的問(wèn)題和長(zhǎng)尾查詢時(shí),效果會(huì)明顯降低,。
為了解決這類問(wèn)題,,RAG 搜索增強(qiáng)技術(shù)應(yīng)運(yùn)而生。RAG (Retrieval-Augmented Generation),,指的是通過(guò) RAG 模型來(lái)對(duì)搜索結(jié)果進(jìn)行增強(qiáng)的過(guò)程,。具體來(lái)說(shuō),它是將檢索技術(shù)和語(yǔ)言生成技術(shù)相結(jié)合來(lái)增強(qiáng)生成過(guò)程的一種技術(shù),,可以幫助傳統(tǒng)搜索引擎生成更加準(zhǔn)確,、相關(guān)和多樣化的信息來(lái)滿足用戶的需求。
而為了使搜索結(jié)果更精準(zhǔn),,RAG 技術(shù)仍然面臨訓(xùn)練數(shù)據(jù)和文本理解的挑戰(zhàn):
訓(xùn)練數(shù)據(jù):RAG 技術(shù)需要大量的數(shù)據(jù)和計(jì)算資源來(lái)訓(xùn)練和生成模型,,尤其是在處理多語(yǔ)言和復(fù)雜任務(wù)時(shí),但是互聯(lián)網(wǎng)上文本的質(zhì)量和準(zhǔn)確性是有限的,,訓(xùn)練數(shù)據(jù)的不足會(huì)直接影響生成內(nèi)容的質(zhì)量
文本理解:RAG 需要理解查詢的意圖,,但是對(duì)于復(fù)雜的查詢或者多義詞查詢,RAG 可能會(huì)出現(xiàn)歧義或不確定性,,從而影響生成的質(zhì)量
因此,,如何找到更強(qiáng)大的檢索增強(qiáng)技術(shù),以更高效率獲得更符合搜索者的預(yù)期的搜索結(jié)果的問(wèn)題就顯得更迫在眉睫,。
什么是 Graph RAG:基于知識(shí)圖譜的檢索增強(qiáng)技術(shù)
「Graph RAG」是由悅數(shù)圖數(shù)據(jù)率先提出的概念,,它是一種基于知識(shí)圖譜的檢索增強(qiáng)技術(shù),通過(guò)構(gòu)建圖模型的知識(shí)表達(dá),,將實(shí)體和關(guān)系之間的聯(lián)系用圖的形式進(jìn)行展示,,然后利用大語(yǔ)言模型 LLM(Large Language Model)進(jìn)行檢索增強(qiáng)。
在之前 和 Llama Index 的直播研討會(huì) 中我們提到,,圖數(shù)據(jù)庫(kù)憑借圖形格式組織和連接信息的方式,,天然適合存儲(chǔ)及表達(dá)復(fù)雜的上下文信息。通過(guò)圖技術(shù)構(gòu)建知識(shí)圖譜提升 In-Context Learning 的全面性為用戶提供更多的上下文信息,能夠幫助大語(yǔ)言模型(LLM)更好地理解實(shí)體間的關(guān)系,,提升自己的表達(dá)和推理能力,。
Graph RAG 將知識(shí)圖譜等價(jià)于一個(gè)超大規(guī)模的詞匯表,而實(shí)體和關(guān)系則對(duì)應(yīng)于單詞,。通過(guò)這種方式,,Graph RAG 在檢索時(shí)能夠?qū)?shí)體和關(guān)系作為單元進(jìn)行聯(lián)合建模,從而更準(zhǔn)確地理解查詢意圖,,并提供更精準(zhǔn)的檢索結(jié)果,。
Demo 演示:檢索強(qiáng)化效果對(duì)比:「悅數(shù)」官網(wǎng)可直接在線體驗(yàn)
下面我們就通過(guò) Demo 演示來(lái)直觀比較下 Graph RAG 與 Vector RAG、Text2Cypher 這三種檢索增強(qiáng)技術(shù)的區(qū)別和對(duì)比——
Vector RAG 與 Graph + Vector RAG 的對(duì)比
首先是 Vector RAG(向量檢索) 與 Graph + Vector RAG(圖技術(shù)增強(qiáng)的向量檢索)的對(duì)比,。
- 左:Vector RAG 右:Graph + Vector RAG
以《銀河護(hù)衛(wèi)隊(duì) 3》的數(shù)據(jù)集為例,,當(dāng)我們?cè)儐?wèn)“彼得·奎爾的相關(guān)信息”時(shí),單獨(dú)使用向量檢索引擎只給出了簡(jiǎn)單的身份,、劇情,、演員信息,而當(dāng)我們使用 Graph RAG 增強(qiáng)后的搜索結(jié)果,,則提供了更多關(guān)于主角技能,、角色目標(biāo)和身份變化的信息——在這個(gè)例子中我們不難看出,, Graph RAG 的方法有效補(bǔ)充了 Embedding,、向量搜索等傳統(tǒng)手段的不足。
Graph RAG 與 Text2Cypher 的對(duì)比
基于圖譜的 LLM 的另一種有趣方法是 Text2Cypher,,即自然語(yǔ)言生成圖查詢,。這種方法不依賴于實(shí)體的子圖檢索,而是將任務(wù)/問(wèn)題翻譯成一個(gè)面向答案的特定圖查詢,,和我們常說(shuō)的 Text2SQL 本質(zhì)是一樣的,。
Text2Cypher 和 Graph RAG 這兩種方法主要在其檢索機(jī)制上有所不同。Text2Cypher 根據(jù)知識(shí)圖譜的 Schema 和給定的任務(wù)生成圖形模式查詢,,而 (Sub)Graph RAG 獲取相關(guān)的子圖以提供上下文,。兩者都有其優(yōu)點(diǎn),大家可以通過(guò)這個(gè) demo ,,更直觀理解他們的特點(diǎn):
- 左:Text2Cypher 右:Graph RAG
我們可以看到兩者的圖查詢模式在可視化下是有非常清晰的差異的,,基于 Graph RAG 實(shí)現(xiàn)的檢索明顯呈現(xiàn)出更豐富的結(jié)果。用戶不僅獲得了最基礎(chǔ)的介紹信息,,更能得到“彼得·奎爾是銀河護(hù)衛(wèi)隊(duì)的領(lǐng)導(dǎo)者”,、“這個(gè)角色暗示自己將在續(xù)集中回歸”以及角色性格等一系列基于關(guān)聯(lián)搜索和上下文進(jìn)行推理得出的結(jié)果。
悅數(shù)圖數(shù)據(jù)庫(kù):率先實(shí)現(xiàn) LLM 適配,,一鍵構(gòu)建企業(yè)專屬知識(shí)圖譜應(yīng)用
悅數(shù)圖數(shù)據(jù)庫(kù)不僅是國(guó)內(nèi)首家提出 Graph RAG 概念的廠商,也率先實(shí)現(xiàn)了與大語(yǔ)言模型框架 Llama Index 、LangChain 等的深度適配,,因此開(kāi)發(fā)者可以專注于 LLM 的編排邏輯和 pipeline 設(shè)計(jì),,而不用親自處理很多細(xì)節(jié)的抽象與實(shí)現(xiàn),一站式生成高質(zhì)量,、低成本的企業(yè)級(jí)大語(yǔ)言模型應(yīng)用,。
Graph RAG 技術(shù)的出現(xiàn)可以說(shuō)是為海量信息處理和檢索帶來(lái)了全新的思路。通過(guò)將知識(shí)圖譜,、圖存儲(chǔ)集成到大語(yǔ)言模型(LLM) 技術(shù)棧中,,Graph RAG 把上下文學(xué)習(xí)推向了一個(gè)新的高度。目前,,用戶基于悅數(shù)圖數(shù)據(jù)庫(kù) 僅需要 3 行代碼就可以輕松搭建 Graph RAG,,甚至整合更復(fù)雜的 RAG 邏輯,比如 Graph+Vector RAG,。
選擇相信隨著圖技術(shù)和深度學(xué)習(xí)算法的進(jìn)一步發(fā)展,,Graph RAG 技術(shù)在信息處理和檢索領(lǐng)域的應(yīng)用也會(huì)越來(lái)越廣泛。歡迎大家點(diǎn)擊【聯(lián)系我們】獲取悅數(shù)圖數(shù)據(jù)的免費(fèi)試用機(jī)會(huì),,輕松構(gòu)建您的專屬知識(shí)圖譜應(yīng)用,!
- 相關(guān)推薦: