1、IBM Change Data Capture簡介

（以下簡稱 CDC）的前身是 DataMirror，2007 年由IBM收購后正式更名為 CDC，并發(fā)布了收購后的第一個版本 V6.3，現(xiàn)在最新的版本為 V11.3。

CDC是一款基于數(shù)據(jù)庫日志的實時數(shù)據(jù)復制產(chǎn)品，可以在跨平臺和異構的數(shù)據(jù)庫環(huán)境中實現(xiàn)變化數(shù)據(jù)的實時復制，在國內(nèi)外的各個業(yè)務領域中有著廣泛的應用。

CDC提供可保持事務完整性的復制，為客戶在數(shù)據(jù)遷移，數(shù)據(jù)整合，數(shù)據(jù)同步，動態(tài)數(shù)據(jù)倉庫，主數(shù)據(jù)管理以及實時BI分析等應用中提供了出色的解決方案。

2、InfoSphere CDC 產(chǎn)品架構

正如上圖所示，CDC 的關鍵組件主要的組成部分包括：

1)Access Server(AS)：用戶配置和監(jiān)控 CDC 引擎的安全管理工具，支持圖形化界面及命令行。當用戶登錄 Management Console時，就會連接到 AS。如果在客戶端關閉 AS，并不會影響源服務器到目標服務器的數(shù)據(jù)復制。

2)Management Console(MC)：CDC 的圖形化界面工具，允許用戶配置、監(jiān)控和管理在多個不同服務器上的數(shù)據(jù)復制，可以在客戶端上指定復制的參數(shù)，初始化刷新和鏡像復制。MC也允許用戶監(jiān)控復制操作、延遲、事件消息以及性能相關的統(tǒng)計數(shù)據(jù)。

3)源端引擎：讀取源端數(shù)據(jù)庫的日志文件捕獲變更數(shù)據(jù)，經(jīng)過行列過濾，字符編碼轉換后由 TCP/IP 發(fā)送給目標端。

4)目標端引擎：接收源端發(fā)送的變更數(shù)據(jù)，經(jīng)過數(shù)值轉換，字符編碼轉換，沖突檢測后將變更數(shù)據(jù)應用到目標數(shù)據(jù)庫。

5)Metadata：存儲 CDC 實例的配置信息，包括數(shù)據(jù)庫連接信息，預定信息以及表的映射信息等，同時記錄當前的復制進行狀態(tài)。

6)源和目標 Datastore（數(shù)據(jù)存儲）：存儲的是數(shù)據(jù)文件和數(shù)據(jù)復制需要的 InfoSphere CDC 實例信息。每個datastore代表了一個用戶要連接的數(shù)據(jù)庫，并存儲要復制的表。

多數(shù)的 CDC 引擎既可作為源端引擎捕獲變化數(shù)據(jù)又可作為目標端引擎接收變化數(shù)據(jù)并將其應用于指定的數(shù)據(jù)庫。

3、InfoSphere CDC 工作原理

CDC處理數(shù)據(jù)的流向圖：

1)通過日志讀取模塊（Log Reader）讀取源端數(shù)據(jù)庫中所有活動表的變化日志，并判斷出哪些數(shù)據(jù)變更日志屬于CDC配置的預定中所涉及的源端表，并將這些與應用有關的變更日志放在事務隊列（Transaction Queue）中

2)日志讀取模塊讀取的日志包括 redo log，archive log，transaction log 等。由于尚未提交的事務也會被CDC日志讀取模塊讀取并放在事務隊列中，所以事務隊列中記錄了各個事務的進行狀態(tài)。而日志解析模塊則負責過濾出事務隊列中已經(jīng)提交了的事務變更日志，并將其放入變更日志存儲（Staging Store）中。

3)復制表的事務信息通過 TCP/IP 傳送至目標端，可通過 MC 監(jiān)控復制的數(shù)據(jù)情況

4)目標段將抽取過來的事務信息經(jīng)過必要的轉換重新組裝成 SQL 語句。

5)CDC將組裝好的 SQL 語句應用于目標數(shù)據(jù)庫，并更新bookmark信息 （bookmark 信息是為了保證數(shù)據(jù)的一致性，當由于某種原因復制中斷后，在下次 CDC 重啟后，目標端的 bookmark 信息首先被傳到源端，從而源端從最后一個成功應用到目標數(shù)據(jù)庫的日志開始復制），整個數(shù)據(jù)復制過程完成。

4、InfoSphere CDC 功能特點

1)靈活的部署方案

可采用單向，雙向，并行，級聯(lián)，集中，分發(fā)等多種拓撲結構及其組合的部署方式進行復制。

2)提供大數(shù)據(jù)量，低延遲的數(shù)據(jù)復制

捕獲實時變化數(shù)據(jù)，極大地縮短了數(shù)據(jù)集成窗口！

3)基于日志，無需改變當前IT架構，對生產(chǎn)系統(tǒng)的影響最小

僅讀取日志，不訪問生產(chǎn)數(shù)據(jù)庫，壓力小，無風險！

4)全面的異構數(shù)據(jù)平臺支持

從傳統(tǒng)數(shù)據(jù)庫到大數(shù)據(jù)平臺，提供最廣泛的支持。

5)提供集配置、管理和監(jiān)控于一體的圖形化界面，管理方便，易于操作

5、InfoSphere CDC 經(jīng)典應用場景

1)實時運營報表

某運輸能力提供商要求其訂單信息、負載特征、合同和賬單數(shù)據(jù)與企業(yè)的其余部門整合，以便于分配司機負載和分析業(yè)務。將這些數(shù)據(jù)發(fā)布和整合到數(shù)據(jù)倉庫和 Web應用一共需要 30 分鐘。這意味著用戶不僅必須等待數(shù)據(jù)，還無法掌握實時準確的業(yè)務情況。

通過使用 從源系統(tǒng)低影響、實時地抽取數(shù)據(jù)更改， 能夠及時接收數(shù)據(jù)更改流，并通過 ETL 流程將之應用到數(shù)據(jù)倉庫以及整個企業(yè)的其他 Web應用。這不僅可向數(shù)據(jù)倉庫提供實時的更改，而且企業(yè)內(nèi)的多個點可以受益于和利用已更改的數(shù)據(jù)，對源系統(tǒng)的影響卻很小。

2)最小化批處理時窗

某消費品制造商將它的制造數(shù)據(jù)和銷售數(shù)字存儲在兩個位于不同地區(qū)的單獨 ERP系統(tǒng)上。每天通過夜間批處理作業(yè)將數(shù)據(jù)加載到數(shù)據(jù)倉庫中用于生成報表。但是隨著業(yè)務的增長，數(shù)據(jù)量也隨之增長，8 小時的夜間批處理時間已明顯不夠用。

通過使用 InfoSphere CDC 實時地將數(shù)據(jù)加載到數(shù)據(jù)倉庫中，制造商就可隨時掌握準確的最新信息，可以做出更好的業(yè)務決策，此外還可以將批處理時窗釋放出來用于其他任務.

3)電子商務同步

某商業(yè)抵押貸款提供商想使客戶能夠在線訪問他們的貸款和投資狀態(tài)。它還想開發(fā)一些新的 Web 應用，以便客戶申請抵押貸款、償還汽車貸款以及進行基于Internet 的貸款。

通過使用 實時地同步現(xiàn)有系統(tǒng)和新 Web 應用之間的數(shù)據(jù)，客戶可以通過 Internet 即時訪問信息和服務。

詳情請咨詢“”！

客服熱線：023-66090381