許多國內(nèi)企業(yè)在早期使用 Neo4j 作為圖相關(guān)業(yè)務場景的探索基礎設施。然而，隨著業(yè)務發(fā)展和環(huán)境變化，原有的圖數(shù)據(jù)庫已經(jīng)逐漸無法滿足不斷發(fā)展的特定業(yè)務場景需求,。如何將 Neo4j 遷移到一款兼具良好擴展性,、性能,、專業(yè)服務能力的圖產(chǎn)品,，已成為業(yè)界普遍關(guān)心的問題,。本文將為您呈現(xiàn)國泰君安從 Neo4j 遷移至悅數(shù)圖數(shù)據(jù)庫的選型,、遷移和提升能力的完整歷程,，供廣大企業(yè)參考。

2018 年,，國泰君安選擇了 Neo4j 作為構(gòu)建企業(yè)圖譜,、產(chǎn)業(yè)鏈圖譜等關(guān)鍵場景的圖數(shù)據(jù)庫。然而,，隨著業(yè)務的發(fā)展,，Neo4j 的單機架構(gòu)和可維護性等問題變得越來越突出，國泰君安需要尋找一個更符合業(yè)務需求的圖數(shù)據(jù)庫產(chǎn)品,。于是,，在 2023 年,，國泰君安選擇了知名的原生分布式圖數(shù)據(jù)庫“悅數(shù)圖數(shù)據(jù)庫”作為 Neo4j 的替代，成功完成了數(shù)據(jù)庫的遷移,。

Neo4j 替換選型

當時,，國泰君安主要遇到以下問題：

• Neo4j 為單機形態(tài)，沒有彈性擴縮容的能力,；
• 業(yè)務復雜性和查詢速度要求不斷上升,，支撐業(yè)務所需要的圖查詢、圖計算能力,，Neo4j 不能完全滿足,；
• 現(xiàn)有產(chǎn)品缺乏足夠的企業(yè)級支持和服務；

經(jīng)過多方研究,、比對和測試,，國泰君安最終選擇了知名的原生分布式圖數(shù)據(jù)庫“悅數(shù)圖數(shù)據(jù)庫”作為 Neo4j 的替代，來支撐運營關(guān)鍵場景,。

國泰君安圖數(shù)據(jù)庫項目經(jīng)理表示,，在進行圖數(shù)據(jù)庫替代選型時，主要考慮了以下幾個因素,。首先是產(chǎn)品的能力是否滿足需求。面對不斷變化的業(yè)務場景和需求,，新的圖數(shù)據(jù)庫必須具備彈性擴縮容能力,，這是 Neo4j 所無法做到的。同時,，我們的業(yè)務場景涉及股權(quán)穿透,、最終受益人等業(yè)務相關(guān)的算法、全文索引創(chuàng)建等,，并且系統(tǒng)需要滿足一天一萬次 API 調(diào)用,，每次查詢的時延要求在秒級。因此,，我們需要選擇一個具備一定的圖查詢,、圖計算能力和性能的圖數(shù)據(jù)庫。在市場上比較后發(fā)現(xiàn),，在產(chǎn)品能力的這兩個方面,，悅數(shù)圖數(shù)據(jù)庫的表現(xiàn)是比較優(yōu)異的，能夠匹配我們的需求,。

其次,，產(chǎn)品背后提供的服務和支持也是很重要的。我們了解到,，悅數(shù)圖數(shù)據(jù)庫是基于世界排名前三的開源分布式圖數(shù)據(jù)庫 NebulaGraph,，針對國內(nèi)用戶需求而打造的,，其本身的社區(qū)及商業(yè)化客戶已經(jīng)超 1,500 家，并且積累了大量的行業(yè)實踐經(jīng)驗,。在產(chǎn)品所屬公司杭州悅數(shù),，70% 員工為具備圖技術(shù)專業(yè)背景的技術(shù)工程師，產(chǎn)品支持能力比較強,。這些是國內(nèi)外其他一些圖數(shù)據(jù)庫廠商所不具備的,。

此外，金融業(yè)是國家重點產(chǎn)業(yè)之一,，避免被“卡脖子”是行業(yè)在選用產(chǎn)品時考慮的因素之一,。在選型過程中，我們也在國產(chǎn),、滿足信創(chuàng)要求,、兼容國產(chǎn)基礎設施方面進行了考察。我們了解到,，悅數(shù)圖數(shù)據(jù)庫是國產(chǎn)自主可控的軟件產(chǎn)品,，對于主流國產(chǎn) CPU（如鯤鵬、海光,、飛騰,、龍芯等）及操作系統(tǒng)（如麒麟、統(tǒng)信,、歐拉,、紅旗等）都進行了官方的兼容性適配和相關(guān)認證。

綜合對比之后,，我們選擇了悅數(shù)圖數(shù)據(jù)庫作為 Neo4j 的替代,。

遷移要求

國泰君安使用了工商數(shù)據(jù)、萬得數(shù)據(jù)以及部分自有業(yè)務數(shù)據(jù)作為數(shù)據(jù)源,，并通過全文檢索組件提供全文搜索和視圖查詢服務,。對于此次圖數(shù)據(jù)庫的遷移，項目關(guān)鍵要求包括了功能和性能的要求,。

在功能要求方面,，首先是數(shù)據(jù)導入的效率。在原先使用 Neo4j 時,，數(shù)據(jù)導入先從上 Hive 生成 csv,，再轉(zhuǎn)換成 Neo4j csv 格式后進行導入，100GB 的原始數(shù)據(jù)導入需要耗時 10 多個小時,。此次遷移的要求是,，同樣的數(shù)據(jù)導入，耗時在分鐘級別,。 其次是業(yè)務查詢邏輯,。除了普通的 Match 語句之外,，自定了一些存儲過程 procedure 函數(shù)，如股權(quán)穿透,、最終受益人等業(yè)務相關(guān)的算法,、全文索引創(chuàng)建等等。

在性能要求方面,，系統(tǒng)需要滿足一天一萬次 API 調(diào)用,，并且每次查詢的時延要求在秒級。

遷移方案

與大多數(shù)數(shù)據(jù)庫遷移類似,，圖數(shù)據(jù)的遷移也涉及數(shù)據(jù)以及業(yè)務邏輯（查詢和計算）兩個模塊,。

在數(shù)據(jù)層面：

基于悅數(shù)數(shù)據(jù)遷移工具（Yueshu Exchange）的能力，悅數(shù)圖數(shù)據(jù)庫支持根據(jù)不同的數(shù)據(jù)存儲源,，以兩種不同的遷移方式導入：從 Neo4j 導入及從 Hive 表導入,。悅數(shù)數(shù)據(jù)遷移工具是一款 Apache Spark 應用，能支持多種不同格式的 rxaa 數(shù)據(jù)和流式數(shù)據(jù)的遷移,。

為更好的兼容國泰君安現(xiàn)有的數(shù)據(jù)導入業(yè)務流程,，本次遷移采用了從 Hive 表導入的方式。

在業(yè)務層面,，本次遷移主要涉及三部分：

首先是數(shù)據(jù)庫接口，遷移項目將原有的 Neo4j 的數(shù)據(jù)訪問層改造成悅數(shù)圖數(shù)據(jù)庫的數(shù)據(jù)訪問層,，在改造底層的數(shù)據(jù)庫連接,、會話、執(zhí)行查詢的機制和數(shù)據(jù)類型的基礎上,，保證上層的接口不變,。國泰君安采用 Java 作為開發(fā)技術(shù)棧,，悅數(shù)圖數(shù)據(jù)庫使用了已有的 Java 客戶端重新實現(xiàn)了其圖數(shù)據(jù)庫訪問層的原有邏輯,。

其次是視圖查詢服務，本次遷移使用圖數(shù)據(jù)庫接口改寫了 QueryByView Service 的實現(xiàn),，生成的 Cypher 查詢語句能適配悅數(shù)圖數(shù)據(jù)庫的語法要求,，提供可視化查詢服務。

第三是專用資源服務,，主要涉及查詢語言的優(yōu)化及改寫,。悅數(shù)圖數(shù)據(jù)庫很好地兼容了Cypher 語言的 DQL 部分，因此部分服務無需優(yōu)化,，可以復用原有代碼,。

遷移后的能力躍升

基于上述遷移方案，國泰君安順利完成了將圖數(shù)據(jù)庫從 Neo4j 到悅數(shù)圖數(shù)據(jù)庫的遷移,，并將原有的企業(yè)圖譜,、產(chǎn)業(yè)鏈圖譜等場景遷移到了基于悅數(shù)圖數(shù)據(jù)庫構(gòu)建的圖平臺上,。遷移后，國泰君安的圖平臺整體能力得到了大幅提升,。

悅數(shù)圖數(shù)據(jù)庫采用存算分離和 Shared-nothing 分布式存儲架構(gòu),，支持海量數(shù)據(jù)存儲及集群的在線擴縮容。相比于原有的 Neo4j 單機形態(tài),，基于悅數(shù)圖數(shù)據(jù)庫的圖平臺具備出色的彈性擴縮容能力,，能夠滿足業(yè)務變化中的各種需求。

同時,，悅數(shù)圖數(shù)據(jù)庫的多副本及一致性協(xié)議,，保證了集群中數(shù)據(jù)的高可靠及業(yè)務高可用。而備份恢復,、集群間數(shù)據(jù)同步等能力,，進一步提升了系統(tǒng)的可用性和可靠性。

其次,，基于悅數(shù)圖數(shù)據(jù)庫強大的圖查詢和圖計算能力,，國泰君安的圖平臺順利應用于股權(quán)穿透、最終受益人等業(yè)務場景,，并滿足了每天一萬次 API 調(diào)用和每次查詢的秒級時延要求,。

總的來說，通過從 Neo4j 遷移至悅數(shù)圖數(shù)據(jù)庫,，國泰君安的圖平臺在整體能力,、擴展性、穩(wěn)定性等方面都完成了一次大幅躍升,，有效支持了業(yè)務發(fā)展需求,，通過數(shù)據(jù)關(guān)聯(lián)關(guān)系為業(yè)務創(chuàng)造更多價值。

如果您對從 Neo4j 遷移或圖數(shù)據(jù)庫的選型有任何問題,、咨詢或討論,，歡迎與我們聯(lián)系！

悅數(shù)圖數(shù)據(jù)庫

• 咨詢郵箱：[email protected]
• 咨詢熱線：(+86)0571-58009980（工作日 09:30-18:30）
• 公司地址：杭州市余杭區(qū)倉前街道奧克斯中心五號樓 22 層