本文章是CDP中Cloudera的Operational DB（OpDB）系列文章的一部分,從本系列的開頭以CDP中的Operational Database開始。

本文章概述了Cloudera Data Platform中的操作數據庫（OpDB）管理工具和功能。如今，它具有兩種形式：作為CDP公共云–數據中心中的完全安全，半托管產品以及作為CDP數據中心中的完全可定制產品（類似于CDH和HDP中提供的產品）。

數據庫創建和控制

Apache HBase命名空間是表的邏輯組，類似于傳統的關系數據庫系統中的數據庫，可以通過Apache HBase Shell創建或管理命名空間。

使用帶有CDP的圖片中的Replication Manager和Ranger，您只能在HBase Shell中創建名稱空間并對其進行管理。但是權限是通過Ranger進行的，復制是通過Replication Manager進行的。

就像在關系數據庫中一樣，名稱空間包含表和權限，復制設置和資源隔離的集合。您可以在名稱空間級別設置這些配置。在CDP中，您可以創建名稱空間并使用HBase Shell對其進行管理。您可以將Apache Ranger用于細粒度的授權策略和審計。

Replication Manager可幫助您創建HBase復制策略。您可以使用Replication Manager來設置CDH / HDP或Apache HBase與CDP數據中心之間的復制。

圖形化的DDL和DCL功能

為此提供了幾種工具，包括用于以下目的的插件：

Cloudera Machine Learning（CML）：CML幫助您使用HBase客戶端和Phoenix來查詢數據，并幫助您進行交互式數據探索，可視化，共享和協作。OpDB可用于存儲會話/作業/模型預測結果，以供多個不同用戶稍后查詢。

Hue：Hue是基于Web的交互式查詢編輯器，使您可以與數據倉庫進行交互。 您可以使用Hue中的HBase瀏覽器應用程序來創建和瀏覽HBase表。

您可以將使用Impala或Hive的SQL接口用于Hue中的查詢處理。

開箱即用的工具包括Zeppelin和Hue等工具及其插件。 但是，您也可以使用第三方SQL實用程序，例如Toad。

運營數據庫版本升級工具

您可以使用Cloudera Manager在Cloudera數據平臺-數據中心（CDP-DC）中自動化升級操作數據庫的過程。升級是通過發行版或維護修補程序提供的。Cloudera Manager將安裝發行版和/或補丁，并管理配置以及重新啟動過程。

如果在諸如Amazon AWS之類的公共云上使用CDP，則必須創建一個新的數據中心集群以升級到各種組件的新版本。

Cloudera的產品是基于集群的產品；所有升級和修補程序都跨越多個節點（服務器），并且安裝，配置，重新啟動都是自動化的，包括在適用的情況下進行滾動重新啟動。

跨多個服務器的補丁程序管理工具

在CDP數據中心中，Cloudera Manager安裝發行版并管理配置。Cloudera Manager還會對每個受影響的組件執行重啟過程。

零停機補丁程序

在CDP數據中心中，Cloudera Manager允許您以零停機時間應用補丁。

跨多臺服務器的變更管理

您可以跨多個實例對數據庫架構執行變更管理。例如，您可以在測試/開發，登臺或生產環境中執行此操作。

您可以使用HBase Shell對所需的更改進行腳本編寫，然后將其傳播到其他實例。

工作負載分區

您可以使用幾種工具在OpDB中進行工作負載/應用程序分區，具體取決于工作負載集的性質及其數據需求。

如果應用程序均訪問單獨的表，則可以使用區域服務器組為一組定義的表或名稱空間指定一組節點，從而創建硬件分區方法。

對于使用同一組表的應用程序，可以使用RPC限制，用戶配額和空間配額來管理嘈雜的鄰居問題。

您還可以將這兩套選項組合在一起，以使用更復雜的分區方案。使用Cloudera Manager確保特定服務在群集的不同節點之間適當分區；例如，您可以決定應將哪些節點用于SOLR搜索等。

硬件分區

Cloudera Manager和YARN都利用Linux cgroup和活動內存管理來對硬件資源進行靜態和動態分區。

首先，可以使用Cloudera Manager設置的cgroup對在所有主機上運行的所有進程進行硬分區。其次，向導允許用戶通過設置百分比，自動轉換基于cgroup的CPU和I / O隔離來定義服務的靜態分區的布局，并通過自己配置服務來設置內存限制。

最后，本機資源管理器為工作負載提供了一個容器模型，該模型使用cgroup和活動內存管理（設置，監視和終止）來隔離應用程序，將每個離散的工作單元放入容器中。

軟件管理程序

支持以下軟件管理程序

• 本地環境支持VMware
• 微軟Azure的虛擬環境（Azure堆棧）
• 云上支持Amazon Web Services，Google Compute Platform的虛擬化和Microsoft Azure。

Cloudera提供了一個Docker映像，該映像上安裝了Apache HBase，Apache ZooKeeper和Cloudera Manager。您可以配置YARN來管理您的Docker容器，并在同一容器上將Apache HBase作業提交到YARN或從另一個容器將作業提交到YARN。

回滾補丁或版本升級

Cloudera Manager為某些回滾過程提供了自動化。升級有時可能會涉及數據格式的更改。不支持用于撤消格式更改的工具，您必須觸發備份中的數據還原，以便回滾可以使用舊數據。

跨OS平臺遷移

Cloudera的標準備份/還原/數據恢復工具可用來支持OpDB在不同操作系統之間的遷移。

HBase備份和災難恢復策略可確保備份您的數據，以防止數據丟失。 HBase快照使您可以對表進行快照，而對RegionServer的影響不大。同樣是因為快照，克隆和還原操作不涉及數據復制。

數據庫管理員（DBA）工具

包含許多支持管理數據庫的工具，包括：

• Cloudera Manager
• HBase shell
• Hue
• HBCK2
• hbtop
• Ranger
• Atlas
• FreeIPA
• navencrypt
• HDFS tools
• YARN

這些工具提供了指標和監視，集群重啟，添加接收，生命周期管理，升級，安全性，Kerberos設置以及其他功能。

除了這些工具之外，您還可以使用以下第三方和開源管理工具：

• hrider
• HADMIN

Cloudera還提供開放的API，以使其他工具可用于管理OpDB。例如，JMX接口可用于與第三方監視工具（例如Grafana）集成。

結論

在此博客文章中，我們研究了如何利用CDP中OpDB提供的各種管理工具和功能，在下一篇文章中，我們將介紹如何利用OpDB中的管理功能。

關于Cloudera

在 Cloudera，我們相信數據可以使今天的不可能，在明天成為可能。我們使人們能夠將復雜的數據轉換為清晰而可行的洞察力。Cloudera 為任何地方的任何數據從邊緣到人工智能提供企業數據云平臺服務。在開源社區不懈創新的支持下， Cloudera推動了全球最大型企業的數字化轉型歷程。了解更多，請聯系。

慧都大數據專業團隊為企業提供Cloudera大數據平臺搭建，免費業務咨詢，定制開發等完整服務，快速、輕松、低成本將任何Hadoop集群從試用階段轉移到生產階段。

歡迎撥打慧都熱線023-68661681或咨詢慧都在線客服，我們有專業的大數據團隊，為您提供免費大數據相關業務咨詢！