久久久一本精品99久久精品66_国产99九九久久精品无码_三上悠亚ssni-473无码_韩国免费一级a一片在线播放_做床爱无遮挡免费视频在线观看_无码中文亚洲AV_京香juliaAV无码流出_日韩精品欧美亚洲高清有无_欧美成人精品视频一区二区三区四区_国产成人高清在线观看播放,久久久久精品免费人妻奶头,国产经典视频第一页在线观看,亚洲欧美日韩综合久久久久

悅數(shù)圖數(shù)據(jù)庫

國泰君安:從 Neo4j 遷移至悅數(shù)圖數(shù)據(jù)庫

從 Neo4j 遷移至悅數(shù)圖數(shù)據(jù)庫

許多國內(nèi)企業(yè)在早期使用 Neo4j 作為圖相關業(yè)務場景的探索基礎設施,。然而,,隨著業(yè)務發(fā)展和環(huán)境變化,原有的圖數(shù)據(jù)庫已經(jīng)逐漸無法滿足不斷發(fā)展的特定業(yè)務場景需求。如何將 Neo4j 遷移到一款兼具良好擴展性,、性能,、專業(yè)服務能力的圖產(chǎn)品,,已成為業(yè)界普遍關心的問題,。本文將為您呈現(xiàn)國泰君安從 Neo4j 遷移至悅數(shù)圖數(shù)據(jù)庫的選型、遷移和提升能力的完整歷程,,供廣大企業(yè)參考,。

2018 年,國泰君安選擇了 Neo4j 作為構建企業(yè)圖譜,、產(chǎn)業(yè)鏈圖譜等關鍵場景的圖數(shù)據(jù)庫,。然而,隨著業(yè)務的發(fā)展,,Neo4j 的單機架構和可維護性等問題變得越來越突出,,國泰君安需要尋找一個更符合業(yè)務需求的圖數(shù)據(jù)庫產(chǎn)品。于是,,在 2023 年,,國泰君安選擇了知名的原生分布式圖數(shù)據(jù)庫“悅數(shù)圖數(shù)據(jù)庫”作為 Neo4j 的替代,成功完成了數(shù)據(jù)庫的遷移,。

Neo4j 替換選型

當時,,國泰君安主要遇到以下問題:

  • Neo4j 為單機形態(tài),沒有彈性擴縮容的能力,;
  • 業(yè)務復雜性和查詢速度要求不斷上升,,支撐業(yè)務所需要的圖查詢、圖計算能力,,Neo4j 不能完全滿足,;
  • 現(xiàn)有產(chǎn)品缺乏足夠的企業(yè)級支持和服務;

經(jīng)過多方研究,、比對和測試,,國泰君安最終選擇了知名的原生分布式圖數(shù)據(jù)庫“悅數(shù)圖數(shù)據(jù)庫”作為 Neo4j 的替代,來支撐運營關鍵場景,。

國泰君安圖數(shù)據(jù)庫項目經(jīng)理表示,,在進行圖數(shù)據(jù)庫替代選型時,主要考慮了以下幾個因素,。首先是產(chǎn)品的能力是否滿足需求,。面對不斷變化的業(yè)務場景和需求,新的圖數(shù)據(jù)庫必須具備彈性擴縮容能力,,這是 Neo4j 所無法做到的,。同時,我們的業(yè)務場景涉及股權穿透,、最終受益人等業(yè)務相關的算法,、全文索引創(chuàng)建等,并且系統(tǒng)需要滿足一天一萬次 API 調(diào)用,,每次查詢的時延要求在秒級,。因此,我們需要選擇一個具備一定的圖查詢,、圖計算能力和性能的圖數(shù)據(jù)庫,。在市場上比較后發(fā)現(xiàn),在產(chǎn)品能力的這兩個方面,,悅數(shù)圖數(shù)據(jù)庫的表現(xiàn)是比較優(yōu)異的,,能夠匹配我們的需求。

其次,,產(chǎn)品背后提供的服務和支持也是很重要的,。我們了解到,悅數(shù)圖數(shù)據(jù)庫是基于世界排名前三的開源分布式圖數(shù)據(jù)庫 NebulaGraph,,針對國內(nèi)用戶需求而打造的,,其本身的社區(qū)及商業(yè)化客戶已經(jīng)超 1,500 家,并且積累了大量的行業(yè)實踐經(jīng)驗,。在產(chǎn)品所屬公司杭州悅數(shù),,70% 員工為具備圖技術專業(yè)背景的技術工程師,產(chǎn)品支持能力比較強,。這些是國內(nèi)外其他一些圖數(shù)據(jù)庫廠商所不具備的,。

此外,金融業(yè)是國家重點產(chǎn)業(yè)之一,,避免被“卡脖子”是行業(yè)在選用產(chǎn)品時考慮的因素之一,。在選型過程中,我們也在國產(chǎn),、滿足信創(chuàng)要求,、兼容國產(chǎn)基礎設施方面進行了考察。我們了解到,,悅數(shù)圖數(shù)據(jù)庫是國產(chǎn)自主可控的軟件產(chǎn)品,,對于主流國產(chǎn) CPU(如鯤鵬、海光,、飛騰,、龍芯等)及操作系統(tǒng)(如麒麟、統(tǒng)信,、歐拉,、紅旗等)都進行了官方的兼容性適配和相關認證,。

綜合對比之后,我們選擇了悅數(shù)圖數(shù)據(jù)庫作為 Neo4j 的替代,。

遷移要求

國泰君安使用了工商數(shù)據(jù),、萬得數(shù)據(jù)以及部分自有業(yè)務數(shù)據(jù)作為數(shù)據(jù)源,并通過全文檢索組件提供全文搜索和視圖查詢服務,。對于此次圖數(shù)據(jù)庫的遷移,,項目關鍵要求包括了功能和性能的要求。

功能要求方面,,首先是數(shù)據(jù)導入的效率,。在原先使用 Neo4j 時,數(shù)據(jù)導入先從上 Hive 生成 csv,,再轉(zhuǎn)換成 Neo4j csv 格式后進行導入,,100GB 的原始數(shù)據(jù)導入需要耗時 10 多個小時。此次遷移的要求是,,同樣的數(shù)據(jù)導入,,耗時在分鐘級別。 其次是業(yè)務查詢邏輯,。除了普通的 Match 語句之外,,自定了一些存儲過程 procedure 函數(shù),如股權穿透,、最終受益人等業(yè)務相關的算法,、全文索引創(chuàng)建等等。

性能要求方面,,系統(tǒng)需要滿足一天一萬次 API 調(diào)用,,并且每次查詢的時延要求在秒級。

遷移方案

與大多數(shù)數(shù)據(jù)庫遷移類似,,圖數(shù)據(jù)的遷移也涉及數(shù)據(jù)以及業(yè)務邏輯(查詢和計算)兩個模塊,。

在數(shù)據(jù)層面:

基于悅數(shù)數(shù)據(jù)遷移工具(Yueshu Exchange)的能力,悅數(shù)圖數(shù)據(jù)庫支持根據(jù)不同的數(shù)據(jù)存儲源,,以兩種不同的遷移方式導入:從 Neo4j 導入及從 Hive 表導入,。悅數(shù)數(shù)據(jù)遷移工具是一款 Apache Spark 應用,能支持多種不同格式的 rxaa 數(shù)據(jù)和流式數(shù)據(jù)的遷移,。

為更好的兼容國泰君安現(xiàn)有的數(shù)據(jù)導入業(yè)務流程,,本次遷移采用了從 Hive 表導入的方式。

在業(yè)務層面,,本次遷移主要涉及三部分:

首先是數(shù)據(jù)庫接口,遷移項目將原有的 Neo4j 的數(shù)據(jù)訪問層改造成悅數(shù)圖數(shù)據(jù)庫的數(shù)據(jù)訪問層,,在改造底層的數(shù)據(jù)庫連接,、會話,、執(zhí)行查詢的機制和數(shù)據(jù)類型的基礎上,保證上層的接口不變,。國泰君安采用 Java 作為開發(fā)技術棧,,悅數(shù)圖數(shù)據(jù)庫使用了已有的 Java 客戶端重新實現(xiàn)了其圖數(shù)據(jù)庫訪問層的原有邏輯。

其次是視圖查詢服務,,本次遷移使用圖數(shù)據(jù)庫接口改寫了 QueryByView Service 的實現(xiàn),生成的 Cypher 查詢語句能適配悅數(shù)圖數(shù)據(jù)庫的語法要求,,提供可視化查詢服務,。

第三是專用資源服務,主要涉及查詢語言的優(yōu)化及改寫,。悅數(shù)圖數(shù)據(jù)庫很好地兼容了Cypher 語言的 DQL 部分,,因此部分服務無需優(yōu)化,可以復用原有代碼,。

遷移后的能力躍升

基于上述遷移方案,,國泰君安順利完成了將圖數(shù)據(jù)庫從 Neo4j 到悅數(shù)圖數(shù)據(jù)庫的遷移,并將原有的企業(yè)圖譜,、產(chǎn)業(yè)鏈圖譜等場景遷移到了基于悅數(shù)圖數(shù)據(jù)庫構建的圖平臺上,。遷移后,國泰君安的圖平臺整體能力得到了大幅提升,。

悅數(shù)圖數(shù)據(jù)庫采用存算分離和 Shared-nothing 分布式存儲架構,,支持海量數(shù)據(jù)存儲及集群的在線擴縮容。相比于原有的 Neo4j 單機形態(tài),,基于悅數(shù)圖數(shù)據(jù)庫的圖平臺具備出色的彈性擴縮容能力,,能夠滿足業(yè)務變化中的各種需求。

同時,,悅數(shù)圖數(shù)據(jù)庫的多副本及一致性協(xié)議,,保證了集群中數(shù)據(jù)的高可靠及業(yè)務高可用。而備份恢復,、集群間數(shù)據(jù)同步等能力,,進一步提升了系統(tǒng)的可用性和可靠性

其次,,基于悅數(shù)圖數(shù)據(jù)庫強大的圖查詢和圖計算能力,,國泰君安的圖平臺順利應用于股權穿透、最終受益人等業(yè)務場景,,并滿足了每天一萬次 API 調(diào)用和每次查詢的秒級時延要求,。

總的來說,通過從 Neo4j 遷移至悅數(shù)圖數(shù)據(jù)庫,,國泰君安的圖平臺在整體能力,、擴展性,、穩(wěn)定性等方面都完成了一次大幅躍升,有效支持了業(yè)務發(fā)展需求,,通過數(shù)據(jù)關聯(lián)關系為業(yè)務創(chuàng)造更多價值,。

如果您對從 Neo4j 遷移或圖數(shù)據(jù)庫的選型有任何問題、咨詢或討論,,歡迎與我們聯(lián)系,!

悅數(shù)圖數(shù)據(jù)庫

  • 咨詢郵箱:[email protected]
  • 咨詢熱線:(+86)0571-58009980(工作日 09:30-18:30)
  • 公司地址:杭州市余杭區(qū)倉前街道奧克斯中心五號樓 22 層
logo

公司介紹

國泰君安是國內(nèi)領先的綜合金融服務商,擁有包括機構金融,、個人金融,、投資管理及國際業(yè)務等業(yè)務體系。國泰君安選擇悅數(shù)圖數(shù)據(jù)庫提供的解決方案完成了企業(yè)圖譜,、產(chǎn)業(yè)鏈圖譜等場景從 Neo4j 到悅數(shù)圖數(shù)據(jù)庫的遷移,。