原創|使用教程|編輯:況魚杰|2020-05-29 10:02:11.290|閱讀 138 次
概述:Cloudera的OpDB提供了一組豐富的功能來存儲和訪問數據。在本文章中,我們將研究OpDB的可訪問性功能,以及如何利用這些功能來訪問數據。
# 界面/圖表報表/文檔/IDE等千款熱門軟控件火熱銷售中 >>
相關鏈接:
本文章是CDP中Cloudera的Operational DB(OpDB)系列文章的一部分。每篇文章都會詳細介紹新功能。從本系列的開頭以CDP中的Operational Database開始。
Cloudera的OpDB提供了一組豐富的功能來存儲和訪問數據。在本文章中,我們將研究OpDB的可訪問性功能,以及如何利用這些功能來訪問數據。
分配和分片
Cloudera的Operational DB(OpDB)是橫向擴展的數據庫管理系統(DBMS),旨在線性擴展至PB級數據。 像所有DBMS一樣,橫向擴展是通過分片實現的。支持兩種不同的分片策略:
自動分片
啟用自動分片后,表將在整個集群中動態分布,并且當分片大小超過可配置的限制時,表將自動拆分并在集群中的服務器之間移動。一個表段在中間鍵處分為兩部分,創建了兩個大致相等的一半,這兩個一半可以由不同的服務器提供服務。
無論與OpDB一起使用的網絡(WAN或本地)如何,都將應用自動分片。 可以將群集設置為跨越WAN,在這種情況下,將在WAN上進行分片和數據移動,而數據丟失為零。可以將系統配置為了解哪個節點位于哪個數據中心,這可以為分片提供額外的彈性,因為分片的副本可以分布在多個數據中心中。
預定義分片
可以基于策略,通常以租戶特定的方式,將碎片限制為群集中節點的特定子集。 這樣就可以實施基于地理的策略。 然后,可以在群集之間復制表并通過策略進行設置,以確保將表及其關聯分片的復制限制在所需的地理位置。
Cloudera的OpDB為數據主權提供本地支持。如果群集跨越多個國家/地區,則可以使用區域服務器組將數據與HDFS Rack隔離配置一起錨定特定國家/地區中的數據。
查詢
Cloudera提供了三個查詢引擎,這些查詢引擎針對不同類型的用例進行了優化,包括操作和分析用例以及NoSQL接口,以在各種操作和數據倉庫工作負載中實現優化的性能。 這樣可以跨多個分片執行查詢和數據聯接。
Cloudera的OpDB提供了本機OLTP SQL引擎,該引擎支持查詢多個數據和對象模型,包括查詢和跨它們的聯接。 我們的兩個OLAP查詢引擎可用于映射駐留在我們的OpDB(或其他位置)中的外部表,并可在它們之間查詢或聯接以進行典型的數據倉庫更復雜的分析查詢。
數據整合工具
Cloudera提供了多種工具來實現與數據倉庫和聯合查詢處理的集成。
例如:
Cloudera的OpDB包含許多Hadoop工具,并與大多數Hadoop生態系統集成。OpDB提供NoSQL和SQL接口。此接口沒有任何限制,并且在Hadoop社區中得到很好的支持。
移動OpDB
MiNiFi可以在邊緣的便攜式設備上使用,并提供與OpDB的數據連接。查詢編輯器HUE可以在移動或便攜式設備上運行。
基于標準的連接
除了直接對我們的數據存儲區和工具進行API訪問之外,Cloudera還提供了通過SQL引擎提供的JDBC和ODBC驅動程序。
關于Cloudera
在 Cloudera,我們相信數據可以使今天的不可能,在明天成為可能。我們使人們能夠將復雜的數據轉換為清晰而可行的洞察力。Cloudera 為任何地方的任何數據從邊緣到人工智能提供企業數據云平臺服務。在開源社區不懈創新的支持下, Cloudera推動了全球最大型企業的數字化轉型歷程。了解更多,請聯系。
慧都大數據專業團隊為企業提供Cloudera大數據平臺搭建,免費業務咨詢,定制開發等完整服務,快速、輕松、低成本將任何Hadoop集群從試用階段轉移到生產階段。
歡迎撥打慧都熱線023-68661681或咨詢慧都在線客服,我們有專業的大數據團隊,為您提供免費大數據相關業務咨詢!
本站文章除注明轉載外,均為本站原創或翻譯。歡迎任何形式的轉載,但請務必注明出處、不得修改原文相關鏈接,如果存在內容上的異議請郵件反饋至chenjj@fc6vip.cn