許多國(guó)內(nèi)企業(yè)在早期使用 Neo4j 作為圖相關(guān)業(yè)務(wù)場(chǎng)景的探索基礎(chǔ)設(shè)施,。然而,，隨著業(yè)務(wù)發(fā)展和環(huán)境變化，原有的圖數(shù)據(jù)庫(kù)已經(jīng)逐漸無法滿足不斷發(fā)展的特定業(yè)務(wù)場(chǎng)景需求,。如何將 Neo4j 遷移到一款兼具良好擴(kuò)展性,、性能、專業(yè)服務(wù)能力的圖產(chǎn)品，已成為業(yè)界普遍關(guān)心的問題。本文將為您呈現(xiàn)國(guó)泰君安從 Neo4j 遷移至悅數(shù)圖數(shù)據(jù)庫(kù)的選型,、遷移和提升能力的完整歷程，供廣大企業(yè)參考,。

2018 年,，國(guó)泰君安選擇了 Neo4j 作為構(gòu)建企業(yè)圖譜、產(chǎn)業(yè)鏈圖譜等關(guān)鍵場(chǎng)景的圖數(shù)據(jù)庫(kù),。然而，隨著業(yè)務(wù)的發(fā)展,，Neo4j 的單機(jī)架構(gòu)和可維護(hù)性等問題變得越來越突出,，國(guó)泰君安需要尋找一個(gè)更符合業(yè)務(wù)需求的圖數(shù)據(jù)庫(kù)產(chǎn)品。于是,，在 2023 年,，國(guó)泰君安選擇了知名的原生分布式圖數(shù)據(jù)庫(kù)“悅數(shù)圖數(shù)據(jù)庫(kù)”作為 Neo4j 的替代，成功完成了數(shù)據(jù)庫(kù)的遷移,。

Neo4j 替換選型

當(dāng)時(shí),，國(guó)泰君安主要遇到以下問題：

• Neo4j 為單機(jī)形態(tài)，沒有彈性擴(kuò)縮容的能力,；
• 業(yè)務(wù)復(fù)雜性和查詢速度要求不斷上升,，支撐業(yè)務(wù)所需要的圖查詢、圖計(jì)算能力,，Neo4j 不能完全滿足,；
• 現(xiàn)有產(chǎn)品缺乏足夠的企業(yè)級(jí)支持和服務(wù)；

經(jīng)過多方研究,、比對(duì)和測(cè)試,，國(guó)泰君安最終選擇了知名的原生分布式圖數(shù)據(jù)庫(kù)“悅數(shù)圖數(shù)據(jù)庫(kù)”作為 Neo4j 的替代，來支撐運(yùn)營(yíng)關(guān)鍵場(chǎng)景,。

國(guó)泰君安圖數(shù)據(jù)庫(kù)項(xiàng)目經(jīng)理表示,，在進(jìn)行圖數(shù)據(jù)庫(kù)替代選型時(shí)，主要考慮了以下幾個(gè)因素,。首先是產(chǎn)品的能力是否滿足需求,。面對(duì)不斷變化的業(yè)務(wù)場(chǎng)景和需求，新的圖數(shù)據(jù)庫(kù)必須具備彈性擴(kuò)縮容能力,，這是 Neo4j 所無法做到的,。同時(shí),，我們的業(yè)務(wù)場(chǎng)景涉及股權(quán)穿透、最終受益人等業(yè)務(wù)相關(guān)的算法,、全文索引創(chuàng)建等,，并且系統(tǒng)需要滿足一天一萬次 API 調(diào)用，每次查詢的時(shí)延要求在秒級(jí),。因此,，我們需要選擇一個(gè)具備一定的圖查詢、圖計(jì)算能力和性能的圖數(shù)據(jù)庫(kù),。在市場(chǎng)上比較后發(fā)現(xiàn),，在產(chǎn)品能力的這兩個(gè)方面，悅數(shù)圖數(shù)據(jù)庫(kù)的表現(xiàn)是比較優(yōu)異的,，能夠匹配我們的需求,。

其次，產(chǎn)品背后提供的服務(wù)和支持也是很重要的,。我們了解到,，悅數(shù)圖數(shù)據(jù)庫(kù)是基于世界排名前三的開源分布式圖數(shù)據(jù)庫(kù) NebulaGraph，針對(duì)國(guó)內(nèi)用戶需求而打造的,，其本身的社區(qū)及商業(yè)化客戶已經(jīng)超 1,500 家,，并且積累了大量的行業(yè)實(shí)踐經(jīng)驗(yàn)。在產(chǎn)品所屬公司杭州悅數(shù),，70% 員工為具備圖技術(shù)專業(yè)背景的技術(shù)工程師,，產(chǎn)品支持能力比較強(qiáng)。這些是國(guó)內(nèi)外其他一些圖數(shù)據(jù)庫(kù)廠商所不具備的,。

此外,，金融業(yè)是國(guó)家重點(diǎn)產(chǎn)業(yè)之一，避免被“卡脖子”是行業(yè)在選用產(chǎn)品時(shí)考慮的因素之一,。在選型過程中,，我們也在國(guó)產(chǎn)、滿足信創(chuàng)要求,、兼容國(guó)產(chǎn)基礎(chǔ)設(shè)施方面進(jìn)行了考察,。我們了解到，悅數(shù)圖數(shù)據(jù)庫(kù)是國(guó)產(chǎn)自主可控的軟件產(chǎn)品,，對(duì)于主流國(guó)產(chǎn) CPU（如鯤鵬,、海光、飛騰,、龍芯等）及操作系統(tǒng)（如麒麟,、統(tǒng)信、歐拉、紅旗等）都進(jìn)行了官方的兼容性適配和相關(guān)認(rèn)證,。

綜合對(duì)比之后,，我們選擇了悅數(shù)圖數(shù)據(jù)庫(kù)作為 Neo4j 的替代。

遷移要求

國(guó)泰君安使用了工商數(shù)據(jù),、萬得數(shù)據(jù)以及部分自有業(yè)務(wù)數(shù)據(jù)作為數(shù)據(jù)源,，并通過全文檢索組件提供全文搜索和視圖查詢服務(wù)。對(duì)于此次圖數(shù)據(jù)庫(kù)的遷移,，項(xiàng)目關(guān)鍵要求包括了功能和性能的要求,。

在功能要求方面，首先是數(shù)據(jù)導(dǎo)入的效率,。在原先使用 Neo4j 時(shí),，數(shù)據(jù)導(dǎo)入先從上 Hive 生成 csv，再轉(zhuǎn)換成 Neo4j csv 格式后進(jìn)行導(dǎo)入,，100GB 的原始數(shù)據(jù)導(dǎo)入需要耗時(shí) 10 多個(gè)小時(shí),。此次遷移的要求是，同樣的數(shù)據(jù)導(dǎo)入,，耗時(shí)在分鐘級(jí)別,。 其次是業(yè)務(wù)查詢邏輯。除了普通的 Match 語句之外,，自定了一些存儲(chǔ)過程 procedure 函數(shù)，如股權(quán)穿透,、最終受益人等業(yè)務(wù)相關(guān)的算法,、全文索引創(chuàng)建等等。

在性能要求方面,，系統(tǒng)需要滿足一天一萬次 API 調(diào)用,，并且每次查詢的時(shí)延要求在秒級(jí)。

遷移方案

與大多數(shù)數(shù)據(jù)庫(kù)遷移類似,，圖數(shù)據(jù)的遷移也涉及數(shù)據(jù)以及業(yè)務(wù)邏輯（查詢和計(jì)算）兩個(gè)模塊,。

在數(shù)據(jù)層面：

基于悅數(shù)數(shù)據(jù)遷移工具（Yueshu Exchange）的能力，悅數(shù)圖數(shù)據(jù)庫(kù)支持根據(jù)不同的數(shù)據(jù)存儲(chǔ)源,，以兩種不同的遷移方式導(dǎo)入：從 Neo4j 導(dǎo)入及從 Hive 表導(dǎo)入,。悅數(shù)數(shù)據(jù)遷移工具是一款 Apache Spark 應(yīng)用，能支持多種不同格式的 rxaa 數(shù)據(jù)和流式數(shù)據(jù)的遷移,。

為更好的兼容國(guó)泰君安現(xiàn)有的數(shù)據(jù)導(dǎo)入業(yè)務(wù)流程,，本次遷移采用了從 Hive 表導(dǎo)入的方式。

在業(yè)務(wù)層面,，本次遷移主要涉及三部分：

首先是數(shù)據(jù)庫(kù)接口，遷移項(xiàng)目將原有的 Neo4j 的數(shù)據(jù)訪問層改造成悅數(shù)圖數(shù)據(jù)庫(kù)的數(shù)據(jù)訪問層，在改造底層的數(shù)據(jù)庫(kù)連接,、會(huì)話,、執(zhí)行查詢的機(jī)制和數(shù)據(jù)類型的基礎(chǔ)上，保證上層的接口不變,。國(guó)泰君安采用 Java 作為開發(fā)技術(shù)棧,，悅數(shù)圖數(shù)據(jù)庫(kù)使用了已有的 Java 客戶端重新實(shí)現(xiàn)了其圖數(shù)據(jù)庫(kù)訪問層的原有邏輯。

其次是視圖查詢服務(wù),，本次遷移使用圖數(shù)據(jù)庫(kù)接口改寫了 QueryByView Service 的實(shí)現(xiàn),，生成的 Cypher 查詢語句能適配悅數(shù)圖數(shù)據(jù)庫(kù)的語法要求，提供可視化查詢服務(wù),。

第三是專用資源服務(wù),，主要涉及查詢語言的優(yōu)化及改寫。悅數(shù)圖數(shù)據(jù)庫(kù)很好地兼容了Cypher 語言的 DQL 部分,，因此部分服務(wù)無需優(yōu)化,，可以復(fù)用原有代碼。

遷移后的能力躍升

基于上述遷移方案,，國(guó)泰君安順利完成了將圖數(shù)據(jù)庫(kù)從 Neo4j 到悅數(shù)圖數(shù)據(jù)庫(kù)的遷移,，并將原有的企業(yè)圖譜、產(chǎn)業(yè)鏈圖譜等場(chǎng)景遷移到了基于悅數(shù)圖數(shù)據(jù)庫(kù)構(gòu)建的圖平臺(tái)上,。遷移后,，國(guó)泰君安的圖平臺(tái)整體能力得到了大幅提升。

悅數(shù)圖數(shù)據(jù)庫(kù)采用存算分離和 Shared-nothing 分布式存儲(chǔ)架構(gòu),，支持海量數(shù)據(jù)存儲(chǔ)及集群的在線擴(kuò)縮容,。相比于原有的 Neo4j 單機(jī)形態(tài)，基于悅數(shù)圖數(shù)據(jù)庫(kù)的圖平臺(tái)具備出色的彈性擴(kuò)縮容能力,，能夠滿足業(yè)務(wù)變化中的各種需求,。

同時(shí)，悅數(shù)圖數(shù)據(jù)庫(kù)的多副本及一致性協(xié)議,，保證了集群中數(shù)據(jù)的高可靠及業(yè)務(wù)高可用,。而備份恢復(fù)、集群間數(shù)據(jù)同步等能力,，進(jìn)一步提升了系統(tǒng)的可用性和可靠性,。

其次，基于悅數(shù)圖數(shù)據(jù)庫(kù)強(qiáng)大的圖查詢和圖計(jì)算能力,，國(guó)泰君安的圖平臺(tái)順利應(yīng)用于股權(quán)穿透,、最終受益人等業(yè)務(wù)場(chǎng)景，并滿足了每天一萬次 API 調(diào)用和每次查詢的秒級(jí)時(shí)延要求,。

總的來說,，通過從 Neo4j 遷移至悅數(shù)圖數(shù)據(jù)庫(kù),，國(guó)泰君安的圖平臺(tái)在整體能力、擴(kuò)展性,、穩(wěn)定性等方面都完成了一次大幅躍升,，有效支持了業(yè)務(wù)發(fā)展需求，通過數(shù)據(jù)關(guān)聯(lián)關(guān)系為業(yè)務(wù)創(chuàng)造更多價(jià)值,。

如果您對(duì)從 Neo4j 遷移或圖數(shù)據(jù)庫(kù)的選型有任何問題,、咨詢或討論，歡迎與我們聯(lián)系,！

悅數(shù)圖數(shù)據(jù)庫(kù)

• 咨詢郵箱：[email protected]
• 咨詢熱線：(+86)0571-58009980（工作日 09:30-18:30）
• 公司地址：杭州市余杭區(qū)倉(cāng)前街道奧克斯中心五號(hào)樓 22 層