轉帖|行業資訊|編輯:陳俊吉|2016-06-21 11:02:26.000|閱讀 384 次
概述:本章節主要講解如何利用SPSS + BigInsights 共同構架大數據分析平臺
# 界面/圖表報表/文檔/IDE等千款熱門軟控件火熱銷售中 >>
相關鏈接:
(以下簡稱 Modeler)是一款數據挖掘分析的行業軟件,其采用數據流的方式來展示數據挖掘的操作過程,并結合 CRISP-DM 工業標準打造了一個支持眾多數據挖掘操作的應用平臺。
IBM SPSS Analytic Server是大數據分析的解決方案,它提供了一個易于實現的框架,從而能夠在分布式文件系統上來執行大數據分析。它將 IBM SPSS 現有的商業分析技術與大數據技術相結合,使得用戶能夠使用復雜的分析算法以高可伸縮的方式來解決基于大數據的分析問題。
IBM InfoSphere 是IBM基于開源Hadoop框架開發的企業級大數據平臺,即集成了Hadoop生態系統中眾多主流的開源組件,例如HDFS、MapReduce、YARN、Spark、HIVE、HBASE等,也為企業客戶開發了眾多實用的數據處理和分析組件,例如可視化數據探索組件BigSheets、大數據SQL訪問引擎BigSQL、商業數據分析組件BigR等,幫助企業客戶更快更便捷的搭建自己的核心大數據平臺,并將數據轉化為商業價值。
安裝配置
安裝環境
硬件:3臺HP X86服務器,24核,64GB內存,8*1TB硬盤
操作系統:Redhat 6.5
軟件:
BigInsigtsV4.1( IOP + Data Analytics)
SPSS AS 2.1
SPSS Modeler Server 17.1
SPSS Modeler Client 17.1
SPSS AS 2.1和Big Insights 4.1的安裝概述
SPSS AS 2.1和Big Insights 4.1的安裝是通過Ambari平臺配置,Ambari 跟 Hadoop 等開源軟件一樣,也是 Apache Software Foundation 中的一個項目,并且是頂級項目。目前最新的發布版本是 2.0.1,未來不久將發布 2.1 版本。就 Ambari 的作用來說,就是創建、管理、監視Hadoop 的集群,但是這里的 Hadoop 是廣義,指的是 Hadoop 整個生態圈(例如Hive,Hbase,Sqoop,Zookeeper 等),而并不僅是特指Hadoop。用一句話來說,Ambari 就是為了讓 Hadoop 以及相關的大數據軟件更容易使用的一個工具。
SPSS AS 2.1具體安裝步驟
1.SPSS AS 2.1的安裝文件準備: 將IBM-SPSS-AnalyticServer-2.1.0.0-1.x86_64.rpm 和IBM-SPSS-AnalyticServer-ambari-2.1-BI-4.1-2.1.0.0-1.x86_64.rpm 放到以下路徑:/home/root/repos/IBM-SPSS-AnalyticServer/x86_64
2.創建本地存儲庫定義,例如在 /etc/yum.repos.d/ 中創建名為 analyticserver.repo(對于RHEL、CentOS)或者創建包含以下內容的 /etc/zypp/repos.d/(對于SLES)。 下圖是RHEL環境下內容:
[IBM-SPSS-AnalyticServer]
name=IBM-SPSS-AnalyticServer-2.1.0.0
baseurl=file:///home/root/repos/IBM-SPSS-AnalyticServer/x86_64
enabled=1
gpgcheck=0
protect=1
3.創建本地Yum存儲庫
createrepo/home/root/repos/IBM-SPSS-AnalyticServer/x86_64
4. 安裝本地存儲庫中的Ambari元數據RPM,這是具有格式IBM-SPSS-AnalyticServer-ambarixxx.rpm的文件,在Redhat中執行
sudo yuminstall IBM-SPSS-AnalyticServer-ambari-2.1-BI-4.1
5.找到/var/lib/ambari-server/resources/stacks/BigInsights/4.1/repos/中的repoinfo.xml文件,添加以下內容:
6.重啟ambari服務器
ambari-serverrestart
7.驗證鏈接//rvm.svl.ibm.com:8080
PS:其中rvm.svl.ibm.com是Ambari所在的安裝機器名
8.進入Ambari UI界面添加服務:
在左下角Action-->Add Services
9.選擇SPSS Analytics Server, 設置AS用戶名密碼 admin/admin (用戶名密碼可自己設置)
10.成功安裝后,正常啟動,可看到SPSS Analytic Server在左邊的服務項目中,如下圖:
11.驗證AS是否成功安裝的鏈接
//rvm.svl.ibm.com:9080/analyticserver/admin/ibm
登陸后進入以下頁面
12.選擇Data Sources, 可以選擇的數據類型包括以下幾種:
比如這里選擇File,在Mode中選擇File System,則可看到HDFS上相應的文件夾及文件,直接選擇需要的文件,箭頭轉到右邊的對話框中后,保存即可。
SPSS Modeler Server 連接SPSS AS配置
找到 Server安裝路徑下的C:\Program Files\IBM\SPSS\ModelerServer\17.1\config的option.cfg,設置以下參數:
as_ssl_enabled, N
as_host, "rvm.svl.ibm.com" -----AS服務器名
as_port, 9080 -----AS端口號
as_context_root, "analyticserver"
as_tenant, "ibm"
as_prompt_for_password, Y -----是否需要密碼提示,需要設置成Y
1.打開SPSS Modeler Client,先連接SPSS ModelerServer
2.數據分析流如下圖:
(1)選擇數據源AS,雙擊編輯選擇前面在AS Portal頁面已經配置好的源文件 bank_customer_data
(2).通過類型節點設置輸入因素
(3).選擇支持分布式算法的TwoStep_AS
(4).運行后得到聚類分析模型
(5).聚類分析結果導出成文件文件存放到BigInsights Hadoop平臺上。
后臺查看任務可以聚類算法的分析已轉為Spark任務的運行狀態
via:華南IBM大數據支持團隊
詳情請咨詢“”!
客服熱線:023-66090381
本站文章除注明轉載外,均為本站原創或翻譯。歡迎任何形式的轉載,但請務必注明出處、不得修改原文相關鏈接,如果存在內容上的異議請郵件反饋至chenjj@fc6vip.cn