轉帖|其它|編輯:陳津勇|2019-10-23 16:38:42.967|閱讀 520 次
概述:本文詳細介紹了SQL Server大數據群集的功能、體系結構、Kubernetes的概念等內容。
# 界面/圖表報表/文檔/IDE等千款熱門軟控件火熱銷售中 >>
從SQL Server 2019 (15.x)開始,SQL Server大數據群集使你可以部署在Kubernetes上運行的SQL Server、Spark和HDFS容器的可縮放群集。這些組件并行運行以確??勺x取、寫入和處理Transact-SQL或Spark中的大數據,這樣你就可以借助大量大數據輕松合并并分析高價值關系數據。
方案
SQL Server大數據群集在與大數據交互方面提供了靈活性??刹樵兺獠繑祿矗鎯νㄟ^SQL Server管理的HDFS中的大數據,或通過群集查詢來自多個外部數據源的數據。然后,可以將數據用于AI、機器學習和其他分析任務。下列各部分提供了有關這些方案的詳細信息。
數據虛擬化
通過利用SQL Server PolyBase,SQL Server大數據群集可以在不移動或復制數據的情況下查詢外部數據源。SQL Server 2019 (15.x) 引入了數據源的新連接器。
Data Lake
SQL Server大數據群集包括可縮放的HDFS存儲池。 這可用于存儲可能來自多個外部源的大數據。 大數據存儲在大數據群集中的HDFS中后,便可分析和查詢數據并將其與關系數據相結合。
橫向擴展數據市場
SQL Server大數據群集提供了向外擴展計算和存儲,以提高分析任何數據的性能。來自各種源的數據可作為緩存跨數據池節點進行引入和分布以供進一步分析。
集成的AI和機器學習
SQL Server大數據群集在HDFS存儲池中存儲的數據和數據池中啟用AI和機器學習任務。使用R、Python、Scala或者Java可在SQL Server中使用Spark以及內置的AI工具。
管理和監視
通過命令行工具、API、門戶和動態管理視圖的組合提供管理和監視。
可以使用Azure Data Studio在大數據群集上執行各種任務。這是由新的SQL Server 2019擴展(預覽版)啟用的。 此擴展提供:
用于常見管理任務的內置片段。
瀏覽HDFS、上傳文件、預覽文件和創建目錄的能力。
創建、打開和運行與Jupyter兼容的筆記本的能力。
用于簡化外部數據源的創建的數據虛擬化向導。
體系結構
SQL Server大數據群集是由Kubernetes編排的Linux 容器群集。
Kubernetes的概念
Kubernetes是一個開放源代碼容器業務流程協調程序,可以根據需要縮放容器部署。下表定義了一些重要的Kubernetes術語:
Cluster Kubernetes | 群集是一組稱為節點的計算機。一個節點控制群集并被指定為主節點,其余節點是工作器節點。Kubernetes主節點負責在工作器節點之間分配工作,并負責監視群集的運行狀況。 |
Node | 節點運行容器化應用程序。 它可以是物理計算機或虛擬機。 Kubernetes 群集可以混合包含物理計算機節點和虛擬機節點。 |
Pod | Pod是Kubernetes的原子部署單元。Pod是運行應用程序所需的一個或多個容器和相關資源的邏輯組。一個Pod只能在一個節點上運行,一個節點可以運行一個或多個Pod。Kubernetes主節點自動將Pod分配給群集中的其余節點。 |
在SQL Server大數據群集中,Kubernetes負責SQL Server大數據群集的狀態,Kubernetes構建和配置群集節點,將pod分配給節點,并監視群集的運行狀況。
大數據群集體系結構
下圖顯示了SQL Server的大數據群體的組件。
控制器
控制器為群集提供管理和安全性。它包含控制服務、配置存儲和其他群集級服務,例如Kibana、Grafana和彈性搜索。
計算池
計算池為群集提供計算資源。它包含在Linux上的SQL Server Pod上運行的節點。計算池中的Pod分為用于特定處理任務的SQL Compute實例。
數據池
數據池用于數據暫留和緩存。數據池由一個或多個運行Linux上的SQL Server的Pod組成。它用于從SQL查詢或Spark作業中提取數據。SQL Server大數據群集數據市場持久保留在數據池中。
存儲池
存儲池由Linux上的SQL Server、Spark和HDFS組成的存儲池Pod組成。SQL Server大數據群集中的所有存儲節點都是HDFS群集的成員。
后續步驟
有關部署SQL Server大數據群集的詳細信息,請參閱SQL Server大數據群集入門。
*想要獲得Microsoft SQL Server更多資源或正版授權的朋友,可以咨詢了解哦~
慧都網·1024程序員節,DevExpress、MyEclipse、Axure RP、Aspose、FastReport等產品限時放“價”,給你專屬寵愛!點擊下方圖片查看活動詳情↓↓↓
本站文章除注明轉載外,均為本站原創或翻譯。歡迎任何形式的轉載,但請務必注明出處、不得修改原文相關鏈接,如果存在內容上的異議請郵件反饋至chenjj@fc6vip.cn
文章轉載自: