轉帖|行業資訊|編輯:龔雪|2017-02-13 14:42:39.000|閱讀 663 次
概述:當MySql無法滿足你的需求時,你的下一步要往哪里走呢?在大數據時代,或許圖形數據庫才是你的最好選擇...
# 界面/圖表報表/文檔/IDE等千款熱門軟控件火熱銷售中 >>
最近在抓取一些社交網站的數據,抓下來的數據用MySql存儲。問我為什么用MySql,那自然是入門簡單,并且我當時只熟悉MySql。可是,隨著數據量越來越大,有一個問題始終困擾著我,那就是社交關系的存儲。
就以新浪微博舉例,一個大V少則十幾萬,多則幾千萬的粉絲,這些關注關系要怎么存呢?在MySql中,一條關注關系(大V id,大V的一個粉絲 id)存為一條數據,那么當用戶數量上來的時候,關注關系輕松破億,破十億,甚至上百億,并且為了保證每條數據的唯一性,還需要設置聯合索引,MySql就有些力不從心了。那么有人要說了:分表呀。嗯,沒錯,分表的確可以在插入端和讀取端提升一些速度。比如我們可以根據id哈希到100張表中。查詢一個用戶有哪些粉絲是快了,但是查詢一個用戶關注了哪些人時仍然需要遍歷全表。好,這時候我們還可以以(id,其關注的一個用戶的id)再構造100張表,于是兩種查詢都快了。然而,后面那100張表是冗余數據,看著就不爽。并且生成一張子圖也不方便(需要多次寫SQL查表)。
于是,在搜索更好的方案時無意間發現了圖形數據庫,查閱一番資料后感覺確實是個不錯的選擇,畢竟業界的一些大佬,如twitter,Adobe等也在用。
那么,什么是圖形數據庫呢?在這里我貼上較為官方的定義:a database that uses graph structures for semantic queries with nodes, edges and properties to represent and store data – independent of the way the data is stored internally. It’s really the model and the implemented algorithms that matter.注意,這里只是說數據模型是圖結構的,沒有說數據的存儲也一定要是圖結構的。其數據模型如下圖
為什么要選擇圖形數據庫
拿比較常用的圖形數據庫Neo4j來舉例說明,首先,先簡要介紹一下Neo4j。Neo4j是由Java和Scala寫成的一個NoSql數據庫,專門用于網絡圖的存儲。更詳細的內容可見官網。作為一個圖形數據庫,Neo4j有以下優點:
1.更快的數據庫操作。當然,有一個前提條件,那就是數據量較大,在MySql中存儲的話需要許多表,并且表之間聯系較多(即有不少的操作需要join表)。
2.數據更直觀,相應的SQL語句也更好寫(Neo4j使用Cypher語言,與傳統SQL有很大不同)。
3.更靈活。不管有什么新的數據需要存儲,都是一律的節點和邊,只需要考慮節點屬性和邊屬性。而MySql中即意味著新的表,還要考慮和其他表的關系。
4.數據庫操作的速度并不會隨著數據庫的增大有明顯的降低。這得益于Neo4j特殊的數據存儲結構和專門優化的圖算法。
接著,試著從更深一些的層次看圖形數據庫。我將從Neo4j的數據存儲和數據讀寫兩方面來說明為什么選它。
1.數據存儲
Neo4j對于圖的存儲自然是經過特別優化的。不像傳統數據庫的一條記錄一條數據的存儲方式,Neo4j的存儲方式是:節點的類別,屬性,邊的類別,屬性等都是分開存儲的,這將大大有助于提高圖形數據庫的性能。如下圖:
2.數據讀寫
在Neo4j中,存儲節點時使用了"index-free adjacency",即每個節點都有指向其鄰居節點的指針,可以讓我們在O(1)的時間內找到鄰居節點。另外,按照官方的說法,在Neo4j中邊是最重要的,是"first-class entities",所以單獨存儲,這有利于在圖遍歷的時候提高速度,也可以很方便地以任何方向進行遍歷。
為什么要選Neo4j
如今可供選擇的圖形數據庫也不少,為什么就選擇了Neo4j呢?我簡要歸結為以下幾點:
1.作為較早的一批圖形數據庫之一,文檔和各種技術博客較多。
2.最開始曾嘗試過flockdb(據說操作簡單+輕量級),但是敗于安裝過程,依賴太多。
3.網上經常有人將orientdb,arangodb與neo4j做對比,我當然也考慮過orientdb和arangodb。從易用性來說都差不多。速度上的話看過一些評測,arangodb應該是相對最快的,因為其使用了混合索引。但是從穩定性來說,neo4j是最好的。
最后做個總結吧。圖形數據庫是這幾年興起的,整體還不是很完善,而且適用面也是比較窄的。只有在明確自己的需求之后,才能確定是否選擇圖形數據庫。如果仍有疑慮,不確定是否有這個需求,或是在使用neo4j時遇到了難點,慧都學院推出的會是一個不錯的選擇。由數據庫領域資深專家傾力打造的系統性講解,不僅有干貨,還有點對點問答互動,現在關注慧都學院官方微信公眾號即有機會獲得免費聽課券!(作者: | 編輯:學院君)
更多行業資訊,更新鮮的技術動態,盡在。
本站文章除注明轉載外,均為本站原創或翻譯。歡迎任何形式的轉載,但請務必注明出處、不得修改原文相關鏈接,如果存在內容上的異議請郵件反饋至chenjj@fc6vip.cn