與簡(jiǎn)介

IBM SPSS Modeler（以下簡(jiǎn)稱 Modeler）是一款專業(yè)成熟的數(shù)據(jù)挖掘分析軟件，其采用數(shù)據(jù)流的方式來(lái)展示數(shù)據(jù)挖掘的操作過(guò)程，并結(jié)合 CRISP-DM 工業(yè)標(biāo)準(zhǔn)打造了一個(gè)支持眾多數(shù)據(jù)挖掘操作的應(yīng)用平臺(tái)。

為了順應(yīng) IBM 的大數(shù)據(jù)戰(zhàn)略方向，迎合大數(shù)據(jù)處理和分析日益增強(qiáng)的市場(chǎng)需求，Modeler 從15.0版本開始，整合了最新的大數(shù)據(jù)處理引擎 IBM SPSS Analytic Server（以下簡(jiǎn)稱為 Analytic Server）1.0 版本，從而將 IBM 的數(shù)據(jù)挖掘能力擴(kuò)展到大數(shù)據(jù)領(lǐng)域，實(shí)現(xiàn)了在分布式文件系統(tǒng)上來(lái)執(zhí)行大數(shù)據(jù)分析。它將 IBM SPSS 現(xiàn)有的商業(yè)分析技術(shù)與大數(shù)據(jù)技術(shù)相結(jié)合，使得用戶能夠使用復(fù)雜的分析算法以高可伸縮的方式來(lái)解決基于大數(shù)據(jù)的分析問(wèn)題。

最新版本于2015-9-30正式發(fā)布

2015-9-30,IBM 數(shù)據(jù)挖掘平臺(tái)SPSS Modeler V17.1版本和IBM SPSS Analytic Server 2.1正式發(fā)布，他們的協(xié)同工作，為客戶帶來(lái)兩大亮點(diǎn)：

• 增加能夠在Analytic Server上運(yùn)行的分布式算法，以提高處理能力。
• 與Apache Spark的集成應(yīng)用，在處理速度帶來(lái)2.5倍及以上的提升，通過(guò)引入Spark MLlib算法，也豐富了Modeler原有的算法。

下面針對(duì)這兩大亮點(diǎn)，分別做具體介紹。

亮點(diǎn)1：新增分布式算法

在 建模面板上，增加了相應(yīng)的算法，這些算法支持分布式運(yùn)算，即可以運(yùn)行在Spark和傳統(tǒng)的Hadoop之下，如果用戶安裝了Spark， 會(huì)利用Spark機(jī)制進(jìn)行優(yōu)化，如果沒有安裝Spark, 跟之前通過(guò)hadoop的方法一致。這一亮點(diǎn)大大擴(kuò)展了算法能力，提高處理性能。

最新版本里面，新增的算法節(jié)點(diǎn)包括有：

GLE 節(jié)點(diǎn)

特點(diǎn)：

• 新節(jié)點(diǎn)類似于現(xiàn)有 GenLin 和 GLMM 節(jié)點(diǎn)；
• 通過(guò)連接到 IBM SPSS Analytic Server 實(shí)現(xiàn)分布式計(jì)算，以提高處理能力；
• GLE 模型將識(shí)別通過(guò)指定的關(guān)聯(lián)函數(shù)與因子及協(xié)變量線性相關(guān)的因變量,而且，該模型還允許因變量為非正態(tài)分布；
• 它涵蓋了廣泛使用的統(tǒng)計(jì)模型，例如用于正態(tài)分布響應(yīng)的線性回歸、用于二進(jìn)制數(shù)據(jù)的 Logistic 模型、用于計(jì)數(shù)數(shù)據(jù)的對(duì)數(shù)線性模型等等。

適用范圍：

• 目標(biāo)可以是二元、分類或數(shù)值；

Linear-AS 節(jié)點(diǎn)

特點(diǎn)：

• 新節(jié)點(diǎn)類似于現(xiàn)有線性節(jié)點(diǎn)，線性回歸是一種常見的統(tǒng)計(jì)方法，用于根據(jù)數(shù)字輸入字段的值對(duì)記錄進(jìn)行分類。線性回歸擬合將預(yù)測(cè)輸出值與實(shí)際輸出值之間的差異最小化的直線或平面；
• 通過(guò)連接到 IBM SPSS Analytic Server 實(shí)現(xiàn)分布式計(jì)算，以提高處理能力；
• 生成數(shù)據(jù)挖掘模型標(biāo)準(zhǔn)格式PMML。

適用范圍：

• 目標(biāo)必須是數(shù)值型；

LSVM 節(jié)點(diǎn)

具體實(shí)現(xiàn)步驟如下：

特點(diǎn)：

• 新節(jié)點(diǎn)類似于現(xiàn)有 SVM 節(jié)點(diǎn)，但其是線性的，更善于處理大量記錄；
• 通過(guò)連接到 IBM SPSS Analytic Server 實(shí)現(xiàn)分布式計(jì)算，以提高處理能力；

適用范圍：

• LSVM 特別適用于大型數(shù)據(jù)集，即具有大量預(yù)測(cè)變量字段的數(shù)據(jù)集。
• 目標(biāo)可以是二元、分類或數(shù)值；
• 生成數(shù)據(jù)挖掘模型標(biāo)準(zhǔn)格式PMML。

Random Trees節(jié)點(diǎn)

特點(diǎn)：

• 新節(jié)點(diǎn)類似于現(xiàn)有 C&R樹(Classification and Regression Tree)節(jié)點(diǎn)，它可以構(gòu)建包含多個(gè)決策樹的整體模型；
• 通過(guò)連接到 IBM SPSS Analytic Server 實(shí)現(xiàn)分布式計(jì)算，以提高處理能力；
• 準(zhǔn)確度相對(duì)較高；
• 生成數(shù)據(jù)挖掘模型標(biāo)準(zhǔn)格式PMML。

適用范圍：

• 目標(biāo)可以是二元、分類或數(shù)值；
• 對(duì)于不平衡的分類數(shù)據(jù)集來(lái)說(shuō)，它可以平衡誤差(目標(biāo)是二元的)；
• 處理大量的輸入變量。

Tree-AS 節(jié)點(diǎn)

特點(diǎn)：

• 新節(jié)點(diǎn)類似于現(xiàn)有 CHAID 節(jié)點(diǎn)，在此節(jié)點(diǎn)中，您可以選擇使用 CHAID 或 Exhaustive CHAID 模型來(lái)構(gòu)建決策樹；
• 通過(guò)連接到 IBM SPSS Analytic Server 實(shí)現(xiàn)分布式計(jì)算，以提高處理能力；
• 生成數(shù)據(jù)挖掘模型標(biāo)準(zhǔn)格式PMML；
• 可生成SQL。

適用范圍：

• 目標(biāo)可以是二元、分類或數(shù)值；

亮點(diǎn)2：與Apache Spark的集成

Spark最大的優(yōu)勢(shì)在于速度，特別適合需要多次迭代的算法，因此在最新版本里面，提供了自定義對(duì)話框構(gòu)建程序的 Python Spark 支持。

自定義對(duì)話框構(gòu)建程序之前僅可與 R 配合使用，現(xiàn)在它還支持 Python for Spark，后者提供對(duì)Apache Spark 及其機(jī)器學(xué)習(xí)庫(kù) (MLlib) 的訪問(wèn)。例如，分析人員可以使用自定義對(duì)話框構(gòu)建程序來(lái)創(chuàng)建使用 MLlib中的算法的建模節(jié)點(diǎn)，然后與其他人員共享該節(jié)點(diǎn)。

SPSS Modeler 17.1版本中，可通過(guò)Python語(yǔ)言引入以下所有的Spark MLlib算法：

集成舉例：SPSS + Spark + MLlib

以下流程圖實(shí)現(xiàn)了以下了SPSS Modeler、Spark與MLlib的集成

1.通過(guò)連接分布式文件系統(tǒng)，連接訓(xùn)練數(shù)據(jù)集；

2.使用自定義對(duì)話框構(gòu)建程序，通過(guò)Python實(shí)現(xiàn)導(dǎo)入MLlib算法Collaborative Filtering；

3.生成Collaborative Filtering模型；

4. 通過(guò)Analytic Server連接分布式文件系統(tǒng)，連接測(cè)試數(shù)據(jù)集；

5. 測(cè)試數(shù)據(jù)集直接連接生成的Collaborative Filtering模型，應(yīng)用該模型規(guī)則進(jìn)行預(yù)測(cè)分析；

6.將預(yù)測(cè)結(jié)果返回到分布式文件系統(tǒng)中。

集成優(yōu)勢(shì)：整個(gè)數(shù)據(jù)分析處理過(guò)程都是在Spark環(huán)境下運(yùn)行，充分利用內(nèi)存運(yùn)算提高性能。

試用版下載地址:

詳情請(qǐng)咨詢！

客服熱線：023-66090381