轉帖|使用教程|編輯:龔雪|2014-08-12 09:43:55.000|閱讀 1378 次
概述:傳統上商業智能BI平臺或報表平臺是基于關系數據庫搭建的,即便數據倉庫使用了Hadoop,也是將Hadoop作為計算工具,將計算結果寫入Oracle、DB2等數據庫中,供BI軟件查詢。事實上,隨著Hadoop/Hive產業鏈的成熟,BI工具可以通過JDBC等方式,直接連接Hive查詢數據。這樣,除了專業的IT工程師,眾多普通用戶也能體驗到Hadoop的魅力。
# 界面/圖表報表/文檔/IDE等千款熱門軟控件火熱銷售中 >>
相關鏈接:
大數據是目前最熱門的話題,雖然不少廠商宣稱推出了大數據的產品,但在實際應用中,Hadoop已經成為大數據處理的事實標準,Facebook、百度、阿里等互聯網企業無一不采用Hadoop。即便是商業數據庫公司,如IBM、Oracle、SAP、Teradata、甚至Microsoft等都采用了Hadoop。國產數據庫廠商的人大金倉在大數據方解決案中也整合了Hadoop產品。
Hadoop之所以這么受歡迎,源于其良好的系統架構,使其能夠以很低的成本、高效率、可靠的存儲和處理千兆字節(PB)數據。Hive是構建在Hadoop的數據倉庫平臺,用于存儲和處理海量結構化數據。它把海量數據存儲于Hadoop文件系統,而不是數據庫,但提供了一套類數據庫的數據存儲和處理機制,并采用 HQL (類 SQL )語言對這些數據進行自動化管理和處理。我們可以把 Hive中海量結構化數據看成一個個的表,而實際上這些數據是分布式存儲在 HDFS 中的。Hive 經過對語句進行解析和轉換,最終生成一系列基于Hadoop的map/reduce 任務,通過執行這些任務完成數據處理。
傳統上商業智能BI平臺或報表平臺是基于關系數據庫搭建的,即便數據倉庫使用了Hadoop,也是將Hadoop作為計算工具,將計算結果寫入Oracle、DB2等數據庫中,供BI軟件查詢。事實上,隨著Hadoop/Hive產業鏈的成熟,BI工具可以通過JDBC等方式,直接連接Hive查詢數據。這樣,除了專業的IT工程師,眾多普通用戶也能體驗到Hadoop的魅力。
Smartbi作為國內領先的BI平臺,能夠很好的支持Hadoop/Hive產品。Smartbi結合Hadoop/Hive在電信行業中已經取得了成功的應用案例。
下面介紹如何使用Smartbi連接Hadoop/Hive查詢數據。
1.首先安裝好系統環境,示例為Ubuntu 12.04/JDK7/Hadoop-1.2.1/Hive-0.11.0,并裝載數據。然后啟動Hive服務。
2.將下列Hive JDBC驅動等文件拷貝到Smartbi的Lib目錄下(.\smartbi\WEB-INF\lib)。
3.啟動Smartbi,在系統管理中建立Hadopp的JDBC連接,驅動程序類為:org.apache.hadoop.hive.jdbc.HiveDriver,連接串為jdbc:hive://ip:port/default。測試連接通過后保存。
4.在Smartbi數據集定義功能中編寫Hive SQL語句。
5.點擊“預覽”按鈕,查看查詢結果。
6.在Smartbi中展現Hive的報表。
來源:中國大數據
本站文章除注明轉載外,均為本站原創或翻譯。歡迎任何形式的轉載,但請務必注明出處、不得修改原文相關鏈接,如果存在內容上的異議請郵件反饋至chenjj@fc6vip.cn
文章轉載自:慧都控件網