原創|行業資訊|編輯:陳俊吉|2016-07-21 10:35:47.000|閱讀 605 次
概述: IBM InfoSphere CDC 是一款功能強大的數據實時復制軟件,不僅廣泛應用于傳統ODS、數據倉庫、數據集市及BI系統的異構平臺集成,同時也提供對Cloud的全面支持;對于各種 Cloud 應用場景,CDC 不僅能提供低影響、近實時的海量數據復制,同時還可確保數據在傳輸過程中的完整性和安全性。
# 界面/圖表報表/文檔/IDE等千款熱門軟控件火熱銷售中 >>
相關鏈接:
是一款功能強大的數據實時復制軟件,不僅廣泛應用于傳統ODS、數據倉庫、數據集市及BI系統的異構平臺集成,同時也提供對Cloud的全面支持;對于各種 Cloud 應用場景,CDC 不僅能提供低影響、近實時的海量數據復制,同時還可確保數據在傳輸過程中的完整性和安全性。
作為IBM重金打造的旗艦品牌,Bluemix 公有云平臺是一個基于 Cloud Foundry 開源項目的平臺即服務(PaaS)產品,它使得組織和開發人員能夠快速而又輕松地在云上創建、部署和管理應用程序。Bluemix 為全球廣大用戶提供豐富的應用和服務,這其中也包括云端的 IBM Hadoop產品:。
通過,可以輕松將本地數據庫(On Premise)的數據實時同步到位于 Bluemix 云端的 ,從而解決在大數據分析中所面對的幾大問題:
接下來,我們將通過以下步驟來演示如何利用CDC搭建本地數據庫(例如DB2)到云端的實時同步場景。
On Premise 系統配置
1. 配置并確認當前DB2數據庫正常運行。
2. 安裝 for DB2(位于源端的CDC引擎,通過實時解析DB2日志來捕獲增量數據變化)。
3. 安裝InfoSphere CDC for DataStage(位于目標端的CDC引擎,將源端的實時增量數據應用于目標端Hadoop平臺/HDFS文件系統)。
4. 配置CDC服務器到Bluemix的內部網絡連接(防火墻)。
5. 安裝CDC配置管理監控平臺(Management Console 和 Access Server)。
創建 服務
1. 登錄Bluemix平臺(要求使用Bluemix ID)。
//console.ng.bluemix.net/
2. 點擊頁面上方的"目錄",并在頁面左側的"服務"欄中勾選"數據與分析",然后選擇"BigInsights for Apache Hadoop"。
3. 進入""頁面,指定相關屬性并創建服務。
檢查 服務
1. 從Bluemix的用戶儀表盤中,點擊新創建的"BigInsights for Apache Hadoop"服務。
2. 檢查當前服務的有效期,通常免費使用一個月。
3. 檢查當前服務的憑證及配置信息,例如用戶名、密碼。
啟動 服務
1. 在BigInsights for Apache Hadoop頁面中點擊"Launch" 以啟動服務。
2. 檢查BigInsights for Apache Hadoop的主機名,端口(8443)及URL前綴(/gateway/default/),以供CDC配置使用。
創建CDC預訂和配置表映射
1. 在CDC配置管理監控平臺(Management Console)中,創建預訂并運行表映射向導。
2. 選擇目標端交付方法為 Apache Hadoop -> Web HDFS。
3. 選擇需要復制的DB2源表,并指定目標端BigInsights的Web HDFS目錄路徑。
配置CDC預訂的Hadoop屬性
1. 右鍵點擊預訂,選擇Hadoop Properties。
2. 可修改Batch Size值(生成落地文件的觸發條件),并輸入通過Web HDFS連接BigInsights的連接信息。
3. 啟動預訂,開始實時復制。
驗證數據實時同步結果
1. 在本地DB2數據庫上運行若干個交易,使得CDC所監控的源表數據產生變更。
2. 在目標端主頁上點擊BigSheets,便可監控到數據從源端
DB2已實時同步過來,整個過程完全自動化,低延遲且準確無誤。
詳情請咨詢!
客服熱線:023-66090381
本站文章除注明轉載外,均為本站原創或翻譯。歡迎任何形式的轉載,但請務必注明出處、不得修改原文相關鏈接,如果存在內容上的異議請郵件反饋至chenjj@fc6vip.cn