隨著業(yè)界傳播開源的理念，推廣開源項(xiàng)目，為 IT 開發(fā)者提供了一個(gè)發(fā)現(xiàn)、使用、并交流開源技術(shù)的方向。很多企業(yè)在建設(shè)他們的業(yè)務(wù)交易和分析系統(tǒng)的項(xiàng)目中，開始關(guān)注和選用具有“自我特色”的開源技術(shù)和軟件作為整體解決方案中的組成部分去實(shí)施。

以下案例是國外某客戶，包括核心系統(tǒng)在內(nèi)的眾多生產(chǎn)系統(tǒng)中已運(yùn)行 IBM 軟件產(chǎn)品，其核心環(huán)節(jié)中使用 IBM 數(shù)據(jù)復(fù)制軟件，再結(jié)合開源軟件和工具，實(shí)現(xiàn)了從重要的交易業(yè)務(wù)生產(chǎn)系統(tǒng)中使用 IBM 軟件實(shí)時(shí)地復(fù)制數(shù)據(jù)到目標(biāo)系統(tǒng)，在目標(biāo)系統(tǒng)上通過開源軟件把數(shù)據(jù)進(jìn)行分發(fā)、加工處理、交付到數(shù)據(jù)庫分析系統(tǒng)中，實(shí)現(xiàn)對(duì)業(yè)務(wù)進(jìn)行實(shí)時(shí)分析。

1）數(shù)據(jù)實(shí)時(shí)復(fù)制

負(fù)責(zé)從各個(gè)業(yè)務(wù)系統(tǒng)上實(shí)時(shí)地復(fù)制交易數(shù)據(jù)，選用 軟件產(chǎn)品來實(shí)現(xiàn)。

2）數(shù)據(jù)采集

負(fù)責(zé)從目標(biāo)系統(tǒng)上實(shí)時(shí)地采集數(shù)據(jù)，選用 Apache Flume 來實(shí)現(xiàn)。

3）數(shù)據(jù)接入

由于采集數(shù)據(jù)的速度和數(shù)據(jù)處理的速度不一定同步，因此添加一個(gè)消息中間件來作為緩沖，選用 Apache Kafka。

4）流式計(jì)算

對(duì)采集到的數(shù)據(jù)按業(yè)務(wù)規(guī)范進(jìn)行實(shí)時(shí)處理和分析，選用 Apache Storm。

5）數(shù)據(jù)輸出

把處理后的結(jié)果存放，實(shí)現(xiàn)持久化、穩(wěn)定化和高效化，使用開源的NoSQL數(shù)據(jù)庫。

方案優(yōu)點(diǎn)

下面，我們對(duì)幾個(gè)開源的核心軟件做個(gè)簡(jiǎn)單扼要的說明，相信大家對(duì) 都有了一定了解，此處不多花筆墨作說明。

1） Apache Flume

Apache Flume 提供了一個(gè)分布式、可靠、和高可用的海量日志采集、聚合和傳輸?shù)娜罩臼占到y(tǒng)；支持在日志系統(tǒng)中定制各類數(shù)據(jù)發(fā)送方，用于收集數(shù)據(jù) Flume 提供對(duì)數(shù)據(jù)進(jìn)行高效處理，擅長轉(zhuǎn)移大數(shù)據(jù)量的日志和交易數(shù)據(jù)；通過通道（channel）無縫連接 Kafka。 

2） Apache Kafka

kafka 是一種高吞吐量的分布式發(fā)布訂閱消息系統(tǒng)，目標(biāo)是提供一個(gè)發(fā)布訂閱解決方案，它可以處理消費(fèi)者規(guī)模的網(wǎng)站中的所有動(dòng)作流數(shù)據(jù)。

Kafka 具有如下特性：

• 提供消息的持久化，即使數(shù)以TB的消息存儲(chǔ)也能夠保持長時(shí)間的穩(wěn)定性能。
• 令你高吞吐量，即使是非常普通的硬件，kafka也可以支持每秒數(shù)十萬的消息。
• 支持通過kafka服務(wù)器和消費(fèi)機(jī)集群來分區(qū)消息。
• 支持Hadoop并行數(shù)據(jù)加載。

3） Apache Storm

Storm 能處理，在保證高可靠性的前提下，還可以讓處理進(jìn)行得更加實(shí)時(shí)，也就是說，所有的信息都會(huì)被處理。Storm 同樣還具備容錯(cuò)和分布計(jì)算這些特性，這就讓 Storm 可以擴(kuò)展到不同的機(jī)器上進(jìn)行大批量的數(shù)據(jù)處理。

Storm 具有如下特性：

• 簡(jiǎn)單的編程模型。類似于MapReduce 降低了并行批處理復(fù)雜性，Storm 降低了進(jìn)行實(shí)時(shí)處理的復(fù)雜性。
• 可以使用各種編程語言。你可以在Storm 之上使用各種編程語言，默認(rèn)支持 Clojure、Java、Ruby 和Python。要增加對(duì)其他語言的支持，只需實(shí)現(xiàn)一個(gè)簡(jiǎn)單的Storm通信協(xié)議即可。
• 水平擴(kuò)展。計(jì)算是在多個(gè)線程、進(jìn)程和服務(wù)器之間并行進(jìn)行的。對(duì)于擴(kuò)展，你只需要添加機(jī)器和改變對(duì)應(yīng)的 Topology（拓?fù)洌┰O(shè)置。
• 容錯(cuò)性。Storm 保證每個(gè)消息至少能得到一次完整處理，任務(wù)失敗時(shí)，它會(huì)負(fù)責(zé)從消息源重試消息，會(huì)管理工作進(jìn)程和節(jié)點(diǎn)的故障。
• 本地模式。Storm 有一個(gè)“本地模式”，可以在處理過程中完全模擬 Storm 集群。

方案優(yōu)勢(shì)

• 使用流計(jì)算處理核心業(yè)務(wù)數(shù)據(jù)，包括：交易行情數(shù)據(jù)、業(yè)務(wù)日志等重要業(yè)務(wù)信息，不但能高效處理，還能保證數(shù)據(jù)的完整性和準(zhǔn)確性。
• 能有效地解決了從 Flume 到 Kafka 實(shí)時(shí)數(shù)據(jù)優(yōu)于單條過快，造成 stormspout 消費(fèi) kafka 速率跟不上。手段是通過進(jìn)行多 tuple 結(jié)構(gòu)優(yōu)化，對(duì)多個(gè) log 打包成一個(gè) tuple 進(jìn)行發(fā)射處理。
• 提高整個(gè)系統(tǒng)運(yùn)行的可靠性和高可用性。數(shù)據(jù)處理經(jīng)過模塊化之后，解決了用戶最擔(dān)心的假如當(dāng) Storm 掛掉了，數(shù)據(jù)采集和數(shù)據(jù)接入還是繼續(xù)在跑著，數(shù)據(jù)不會(huì)丟失， Storm 起來之后可以繼續(xù)進(jìn)行流式計(jì)算。
• 在使用 IBM 產(chǎn)品處理核心業(yè)務(wù)的數(shù)據(jù)和信息的基礎(chǔ)上，擁抱開源產(chǎn)品，在滿足需求前提下進(jìn)行技術(shù)創(chuàng)新，以追求較好的性價(jià)比。

總結(jié)

1、IBM 提供云技術(shù)及數(shù)據(jù)服務(wù)，積極地支持開源技術(shù)和發(fā)展方向，無論是IBM現(xiàn)有客戶，還是潛在的新客戶，都能在結(jié)合 IBM 產(chǎn)品和解決方案之內(nèi)或之外，找到最佳的解決方案，以滿足業(yè)務(wù)要求和支持業(yè)務(wù)發(fā)展；

2、IBM支持廣闊范圍的開源技術(shù)及軟件產(chǎn)品集成，為用戶建設(shè) IT系統(tǒng)時(shí)帶來更大的靈活性和擴(kuò)展性；

3、在 2015年， IBM 公司已被業(yè)界評(píng)為最具科技創(chuàng)新（most-innovative-companies）公司，幫助客戶快速創(chuàng)新，獲得最佳經(jīng)濟(jì)效益和減低實(shí)施風(fēng)險(xiǎn)。

詳情請(qǐng)咨詢！

客服熱線：023-66090381