InfoSphere CDC 復(fù)制原理

InfoSphere CDC 能夠?qū)Π〝?shù)據(jù)倉(cāng)庫(kù)，主數(shù)據(jù)管理，BI，SOA 等在內(nèi)的應(yīng)用整合及升級(jí)項(xiàng)目提供高速、可靠、低延遲的數(shù)據(jù)復(fù)制方案，而且對(duì)生產(chǎn)系統(tǒng)低影響。由于只復(fù)制變化的數(shù)據(jù)，減少了處理的開銷和占用的帶寬。復(fù)制可以是持續(xù)的也可以是周期性的。

圖 1 CDC 架構(gòu)圖:

CDC 的關(guān)鍵組件主要的組成部分包括：

Access Server(AS)：用戶配置和監(jiān)控 CDC 引擎的安全管理工具，支持圖形化界面（V6.5 之后集成在 MC 中）及命令行。當(dāng)用戶登錄 Management Console，就會(huì)連接到 AS。在客戶端關(guān)閉 AS，不會(huì)影響源服務(wù)器到目標(biāo)服務(wù)器到數(shù)據(jù)復(fù)制。

Management Console(MC)：CDC 的圖形化界面工具，允許用戶配置、監(jiān)控和管理在多個(gè)不同服務(wù)器上到數(shù)據(jù)復(fù)制，可以在客戶端上指定復(fù)制的參數(shù)，初始化刷新和鏡像。MC 也允許用戶監(jiān)控復(fù)制操作、延遲、事件消息和其他源和目標(biāo) datastore 支持的統(tǒng)計(jì)數(shù)據(jù)。

源端引擎：讀取源端數(shù)據(jù)庫(kù)的日志文件捕獲變更數(shù)據(jù)，經(jīng)過(guò)行列過(guò)濾，字符編碼轉(zhuǎn)換后由 TCP/IP 發(fā)送給目標(biāo)端。

目標(biāo)端引擎：接收源端發(fā)送的變更數(shù)據(jù)，經(jīng)過(guò)數(shù)值轉(zhuǎn)換，字符編碼轉(zhuǎn)換，沖突檢測(cè)后將變更數(shù)據(jù)應(yīng)用到目標(biāo)數(shù)據(jù)庫(kù)。

Metadata：存儲(chǔ) CDC 實(shí)例的配置信息，包括數(shù)據(jù)庫(kù)連接信息，預(yù)定信息以及表的映射信息等，同時(shí)記錄當(dāng)前的復(fù)制進(jìn)行狀態(tài)

源和目標(biāo) Datastore（數(shù)據(jù)存儲(chǔ)）：存儲(chǔ)的是數(shù)據(jù)文件和數(shù)據(jù)復(fù)制需要的 InfoSphere CDC 實(shí)例信息。每個(gè) datastore 代表了一個(gè)用戶要連接的數(shù)據(jù)庫(kù)，存儲(chǔ)要復(fù)制的表。

多數(shù)的 CDC 引擎既可作為源端引擎捕獲變化數(shù)據(jù)又可作為目標(biāo)端引擎接收變化數(shù)據(jù)并將其應(yīng)用于指定的數(shù)據(jù)庫(kù)；通常，CDC 引擎稱為 CDC 實(shí)例，如果從 AS/MC 的角度，一個(gè) CDC 引擎也被稱作一個(gè) CDC 數(shù)據(jù)存儲(chǔ)。

圖 2 CDC 處理數(shù)據(jù)的流向圖

1、當(dāng) CDC 處于復(fù)制狀態(tài)的時(shí)候，CDC 源端引擎中的 log reader 組件將會(huì)不停的從源端數(shù)據(jù)庫(kù)日志中捕獲所有要復(fù)制表的新變化的日志。

2、而 CDC 源端引擎中的 log parser 組件則將這些變化日志中跟 CDC 需要復(fù)制的表相關(guān)的日志找出來(lái)并根據(jù)其所屬的 transaction ID 放在不同的 transaction queue 中。Transaction queue 是 log parser 在內(nèi)存在分配的一片區(qū)域，專門存放沒(méi)有提交的跟 CDC 復(fù)制表相關(guān)的事務(wù)信息。每個(gè) Transaction queue 會(huì)寫在以“txnq”做前綴的文件里，此文件在“/tmp”下可以找到。如果 txnq 開頭的文件大小大于 0 字節(jié)，說(shuō)明在處理非常大的還沒(méi)有提交的事務(wù)。當(dāng)訂閱停止后，transaction queue 里的內(nèi)容會(huì)存放在 pointbase 容器里。

3、當(dāng) CDC 讀到 commit 觸發(fā)一個(gè)事務(wù)結(jié)束時(shí)，該 transaction queue 將其內(nèi)容提交給 Staging Store 后會(huì)釋放相應(yīng)的內(nèi)存空間。Staging Store 是 CDC 分配的存放已提交的事務(wù)信息的內(nèi)存區(qū)域，目標(biāo)端引擎會(huì)自動(dòng)從 Staging Store 中抽取出其當(dāng)前要復(fù)制的事務(wù)信息，一旦數(shù)據(jù)復(fù)制到里目標(biāo)端，該記錄就會(huì)從 Staging Store 中刪除。

其中 1, 2, 3 是數(shù)據(jù)在源端引擎的流向。

4、復(fù)制表的事務(wù)信息通過(guò) TCP/IP 傳送至目標(biāo)端。可以利用類似 sniffer 的工具來(lái)查看持續(xù)的在網(wǎng)絡(luò)上的數(shù)據(jù)流。也可以通過(guò) MC 的“activity monitor”來(lái)監(jiān)控復(fù)制的數(shù)據(jù)情況。

5、目標(biāo)段將抽取過(guò)來(lái)的事務(wù)信息經(jīng)過(guò)必要的轉(zhuǎn)換重新組裝成 SQL 語(yǔ)句。

6、將組裝好的 SQL 語(yǔ)句應(yīng)用于目標(biāo)數(shù)據(jù)庫(kù)，并更新 bookmark 信息（這個(gè) bookmark 信息是為了保證數(shù)據(jù)的一致性，當(dāng)由于某種原因復(fù)制中斷后，在下次 CDC 重啟后，目標(biāo)端的 bookmark 信息首先被傳到源端，從而源端從最后一個(gè)成功應(yīng)用到目標(biāo)數(shù)據(jù)庫(kù)的日志開始復(fù)制），整個(gè)數(shù)據(jù)復(fù)制過(guò)程完成。

其中 5, 6 是數(shù)據(jù)在目標(biāo)引擎的流向。

InfoSphere Change Data Capture 提供：

低影響數(shù)據(jù)捕獲

• 基于日志的技術(shù)可近乎實(shí)時(shí)地復(fù)制關(guān)鍵業(yè)務(wù)型數(shù)據(jù)事件而不影響系統(tǒng)性能。

• 僅捕獲變更的數(shù)據(jù)并將其從發(fā)布者傳輸?shù)接啈粝到y(tǒng)。

• 基于內(nèi)容，動(dòng)態(tài)地將數(shù)據(jù)路由到由一個(gè)或多個(gè)應(yīng)用程序使用的各種消息隊(duì)列。

• 無(wú)需數(shù)據(jù)登臺(tái)或網(wǎng)關(guān)技術(shù)。

• 在高度安全的環(huán)境中交付敏感數(shù)據(jù)，并使其僅由授權(quán)接收方訪問(wèn)。

靈活簡(jiǎn)單的數(shù)據(jù)交付

• 提供一個(gè) GUI，幫助支持更快速地?cái)?shù)據(jù)集成流程部署。

• 提供監(jiān)控功能，加速故障診斷與排除。

• 支持單向、雙向、多到一和一到多的數(shù)據(jù)交付。

• 使用實(shí)時(shí)審計(jì)功能來(lái)提供源表的變更歷史記錄。

與 IBM 和其他系統(tǒng)集成

• 與 IBM InfoSphere DataStage? 集成，提供數(shù)據(jù)訂閱源，進(jìn)而抽取、變換和裝入 (ETL) 流程并保持事務(wù)完整性。基于定義的數(shù)據(jù)規(guī)則更快地進(jìn)行變更數(shù)據(jù)有效性檢查。

• 將元數(shù)據(jù)集成到 IBM InfoSphere Metadata Workbench，使諸如影響力分析和數(shù)據(jù)沿襲的功能擴(kuò)展到其余信息管理基礎(chǔ)架構(gòu)。

• 將數(shù)據(jù)事務(wù)打包到 XML 文檔并交付給 IBM WebSphere? MQ 之類的消息傳遞中間件，進(jìn)而支持面向服務(wù)架構(gòu) (SOA)。

• 現(xiàn)在作為 IBM InfoSphere Data Replication for DB2 for z/OS? 的組成部分，它與 IBM InfoSphere Change Data Capture for z/OS 和 IBM InfoSphere Replication Server 集成，針對(duì)分布式和 IBM System z? 環(huán)境提供廣泛的數(shù)據(jù)庫(kù)和操作系統(tǒng)支持。

• 支持 IBM DB2?、IBM i、IBM Informix?、Oracle、Sybase、Microsoft SQL Server、IBM IMS? 和 Teradata 數(shù)據(jù)庫(kù)。