快手:百億級圖數(shù)據(jù)在快手安全情報中的應(yīng)用
幫助全平臺更高效地組織情報數(shù)據(jù),,全面提升安全風(fēng)控能力
隨著直播和電商業(yè)務(wù)的高速發(fā)展,,快手平臺數(shù)據(jù)量也出現(xiàn)了井噴式的增長,。目前,,快手及旗下 APP 的數(shù)據(jù)量已達到 TB 級別秒峰出口帶寬和億級秒峰值信息量,數(shù)據(jù)維護需要上萬臺機器,、數(shù)十個集群才能實現(xiàn),。
但近幾年來,網(wǎng)絡(luò)攻擊手段也在層出不窮,,快手旗下十余個產(chǎn)品都存在著賬號破解,、批量注冊、撞庫,、刷人氣等風(fēng)險,,整個平臺都面臨著如何提升安全對抗能力的挑戰(zhàn)。
傳統(tǒng)的關(guān)系型數(shù)據(jù)庫在處理復(fù)雜數(shù)據(jù)關(guān)系運算上表現(xiàn)很差,,隨著數(shù)據(jù)量和深度的增加,,關(guān)系型數(shù)據(jù)庫無法在有效的時間內(nèi)計算出結(jié)果。所以,,為了更好的體現(xiàn)數(shù)據(jù)間的連接,,企業(yè)需要一種將關(guān)系信息存儲為實體、靈活拓展數(shù)據(jù)模型的數(shù)據(jù)庫技術(shù),,這項技術(shù)就是圖數(shù)據(jù)庫(Graph Database),。
相比于傳統(tǒng)關(guān)系型數(shù)據(jù)庫,,圖數(shù)據(jù)庫具有以下兩個優(yōu)點:第一,圖數(shù)據(jù)庫能很好地體現(xiàn)數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系,,第二點,,圖數(shù)據(jù)庫能很好地處理數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系?;谝陨蟽蓚€優(yōu)點,,圖數(shù)據(jù)庫在金融反欺詐、公安刑偵,、社交網(wǎng)絡(luò),、知識圖譜、數(shù)據(jù)血緣,、IT 資產(chǎn)及運維,、威脅情報等領(lǐng)域有巨大需求。
此次選型的適用于大數(shù)據(jù)架構(gòu)的圖數(shù)據(jù)庫主要需要提供 3 種基本能力:實時和離線數(shù)據(jù)寫入,、在線圖數(shù)據(jù)基本查詢,、基于圖數(shù)據(jù)庫的 OLAP 分析,其對應(yīng)定位是:在線,、高并發(fā),、低時延 OLTP 類圖查詢服務(wù)及簡單 OLAP 類圖查詢能力。
通過收集需求及前期調(diào)研,,快手安全情報在圖數(shù)據(jù)庫上最終選擇了悅數(shù)的圖數(shù)據(jù)庫作為生產(chǎn)環(huán)境的圖數(shù)據(jù)庫,。主要考慮了以下幾點:
異常的訪問常常隱藏在多數(shù)的正常訪問數(shù)據(jù)中,,但這些關(guān)系呈現(xiàn)在圖數(shù)據(jù)庫中就非常明顯,如果有大量設(shè)備通過同一個 IP 訪問,,基本就可以判斷為是群控設(shè)備,。
快手 App 上的視頻在播放量、點贊量達到一定數(shù)量后就可以登上熱門頁,,官方的推薦也會被更多人看到,。有些人會針對這個規(guī)則作弊,而這種行為的特征也很明顯——同一個設(shè)備切換IP,、機型,、賬號給同一個視頻點贊刷量,,只需導(dǎo)入情報平臺后就能一眼識別出來。
互聯(lián)網(wǎng)公司不可避免地會面臨一些網(wǎng)絡(luò)攻擊,,而只需將攻擊者的 IP 輸入情報平臺就能看到對應(yīng)的設(shè)備和 UID,、手機號,幫助技術(shù)人員快速定位攻擊源頭,。
賬號,、設(shè)備、網(wǎng)絡(luò),、行為風(fēng)險都是單維度的識別,,圖技術(shù)能將這些風(fēng)險行為和其他數(shù)據(jù)(如地理位置、經(jīng)緯度信息)串聯(lián)成網(wǎng)狀結(jié)構(gòu),,業(yè)務(wù)人員看起來就非常清晰,。
在安全領(lǐng)域,攻擊方和防守方從來都不是對等的,,攻擊方往往掌握更多的信息和時間,。而大數(shù)據(jù)技術(shù)讓防守方可以進行離線或?qū)崟r分析,借助機器學(xué)習(xí)或者深度學(xué)習(xí)工具進行風(fēng)險預(yù)警,,第一次掌握了風(fēng)控的優(yōu)先權(quán),。
通過采用悅數(shù)圖數(shù)據(jù)庫,平臺能更有效組織情報數(shù)據(jù),。自然存在的事物本身就是充滿聯(lián)系的,,圖技術(shù)天然擁抱聯(lián)系,能對客觀事物進行最為準確的抽象表達,。相比于傳統(tǒng)關(guān)系型數(shù)據(jù)庫,,圖數(shù)據(jù)庫性能更高、更靈活,、更符合敏捷開發(fā)的需要,。未來,圖技術(shù)將會在安全情報中持續(xù)應(yīng)用與落地,。
用戶評價
快手安全情報是通過整合移動端,、PC、Web 端,、云端,、聯(lián)盟及小程序等全鏈條的安全數(shù)據(jù),最終形成統(tǒng)一的基礎(chǔ)安全能力賦能公司業(yè)務(wù),。由于安全情報本身具有數(shù)據(jù)實體多樣性,、關(guān)聯(lián)關(guān)系復(fù)雜性、數(shù)據(jù)標簽豐富性等特點,因此采用圖數(shù)據(jù)庫來做是最為合適的,。通過收集需求及前期調(diào)研,,快手安全情報在圖數(shù)據(jù)庫上最終選擇了悅數(shù)的圖數(shù)據(jù)庫作為生產(chǎn)環(huán)境的圖數(shù)據(jù)庫。
--- 快手安全-移動安全組
公司介紹
快手是國內(nèi)知名的短視頻及電商平臺,,2020 年上半年平均日活躍用戶數(shù)突破 3 億,。截至 2022 年 12 月底,快手應(yīng)用累計互關(guān)用戶對數(shù)達 267 億對,,同比大幅增長 63.4%,。目前,快手將悅數(shù)圖數(shù)據(jù)庫用于安全情報平臺,,并提供給多個業(yè)務(wù)部門使用,。