日韩不卡在线播放,欧美成人精品一区,免费久久

IBM Streams v4.2 輕松實現(xiàn)快速大數(shù)據(jù)處理

原創(chuàng)|行業(yè)資訊|編輯：陳俊吉|2016-10-24 15:06:39.000|閱讀 394 次

概述：很多的大型企業(yè)客戶需要Streams在部署的關(guān)鍵應(yīng)用中發(fā)揮極限性能。Streams v4.2在性能方面取得了重大的突破。

相關(guān)鏈接：

很多的大型企業(yè)客戶需要Streams在部署的關(guān)鍵應(yīng)用中發(fā)揮極限性能。Streams v4.2在性能方面取得了重大的突破。

下面我們一起看看改善Streams性能的關(guān)鍵技術(shù)：

自動融合和動態(tài)線程

在性能增強和應(yīng)用程序部署方面最大的變化是引入自動融合和動態(tài)線程。融合的概念就是將操作符組合為PE。在 V4.2 之前融合確定是在編譯時決定的，默認值為每 PE一個操作符。對融合的更改需要重新編譯或者程序中的線程定義。 V4.2 可以根據(jù)資源狀況自動確定融合。手動配置約束依然優(yōu)先，用戶還可以指定PE的總數(shù)量，或者要求1比1。默認情況下線程是自動的，其大小是在運行時確定，并且根據(jù)吞吐量和應(yīng)用負載的變化動態(tài)調(diào)整。這可以大大減少 PE過程和系統(tǒng)負載，同時提高了性能。

并行區(qū)域增強功能

從3.2版Streams通過并行區(qū)域（@parallel ）允許開發(fā)人員復(fù)制區(qū)域中的應(yīng)用程序，從而提升處理性能。V4.2 添加嵌套并行區(qū)域的支持和將某個流的所有元組發(fā)送到所有渠道的能力。

調(diào)度程序和配置增強功能

改進的調(diào)度程序，可以針對不同規(guī)模的集群提供更好的資源利用率。允許為特定應(yīng)用程序保留資源。

在提交任務(wù)時允許通過一個單獨的配置文件提供應(yīng)用程序的配置和參數(shù)，這樣可以使用不同的配置文件，不需要任何代碼更改或重新編譯即可在不同環(huán)境下運行相同的應(yīng)用程序。比如從測試完成上線時，只需更換相應(yīng)的配置文件就可以匹配生產(chǎn)環(huán)境中的資源了。

一致區(qū)域增強功能

V4.0 開始通過一致區(qū)域來支持流數(shù)據(jù)處理一次和最多處理一次。一致區(qū)域中的操作符使用Chandy Lamport算法生成檢查點來建立全局一致的狀態(tài)。 V4.2已作出若干改善以提高性能和減少延遲。這包括異步非阻塞檢查點，增加建立和恢復(fù)檢查點的并發(fā)能力，另外可以通過 Hyperstate 加速器(一個硬件加速的存儲)用于檢查點。

請訪問Streams文檔（//www.ibm.com/support/knowledgecenter/zh/SSCRJU_4.2.0/com.ibm.streams.welcome.doc/doc/ibminfospherestreams-whats-new.html），了解以上的改進或新特性的更多內(nèi)容。

如果你想進一步提升Streams應(yīng)用或流計算的性能，不妨馬上試用Streams v4.2。