原創(chuàng)|產(chǎn)品更新|編輯:況魚杰|2020-05-07 14:56:45.417|閱讀 655 次
概述:Cloudera Machine Learning(CML)是Cloudera的新云原生機(jī)器學(xué)習(xí)服務(wù),專為CDP構(gòu)建。本文將會介紹CML的使用功能,以及Cloudera Machine Learning 和Cloudera Data Science Workbench的聯(lián)系。
# 界面/圖表報(bào)表/文檔/IDE等千款熱門軟控件火熱銷售中 >>
Cloudera Machine Learning是Cloudera針對CDP構(gòu)建的云原生機(jī)器學(xué)習(xí)平臺。Cloudera Machine Learning將自助服務(wù)數(shù)據(jù)科學(xué)和數(shù)據(jù)工程統(tǒng)一在一個(gè)便攜式服務(wù)中,作為企業(yè)數(shù)據(jù)云的一部分,可對任何位置的數(shù)據(jù)進(jìn)行多功能分析。
Cloudera Machine Learning(CML)只是您可以在Cloudera數(shù)據(jù)平臺(CDP)上使用的眾多體驗(yàn)之一。 Cloudera Machine Learning使團(tuán)隊(duì)可以立即部署機(jī)器學(xué)習(xí)工作空間,這些工作空間可以自動擴(kuò)展以適應(yīng)他們的需求,并可以通過使用kubernetes自動掛起以節(jié)省成本。 所有這些都打包成可移植的體驗(yàn),多個(gè)團(tuán)隊(duì)成員可以輕松訪問這些體驗(yàn),以在整個(gè)組織中提供一致的體驗(yàn)。在下面的視頻中,將帶您逐步了解CDP公共云上CML中的各種高級功能。(點(diǎn)擊可查看介紹視頻)
|
|
|
對于數(shù)據(jù)科學(xué)家 |
|
|
在可滿足您的業(yè)務(wù)和IT要求的平臺上獲取端到端機(jī)器學(xué)習(xí)工作流所需的訪問,工具和計(jì)算資源。 |
|
|
|
|
對于IT領(lǐng)導(dǎo)者 |
|
|
在不影響安全性和治理的前提下,為您的團(tuán)隊(duì)提供通過機(jī)器學(xué)習(xí)進(jìn)行試驗(yàn),迭代和影響業(yè)務(wù)所需的資源。 |
自助式數(shù)據(jù)訪問
借助Cloudera Machine Learning,管理員可以輕松地在混合和多云環(huán)境中復(fù)制受控?cái)?shù)據(jù)集,以使數(shù)據(jù)科學(xué)團(tuán)隊(duì)可以自助訪問他們所需的業(yè)務(wù)數(shù)據(jù),同時(shí)保持企業(yè)數(shù)據(jù)安全性和治理控制。
彈性,自動暫停的資源
Cloudera Machine Learning使數(shù)據(jù)科學(xué)團(tuán)隊(duì)可以訪問橫向擴(kuò)展的異構(gòu)計(jì)算資源,以快速完成工作,同時(shí)維護(hù)可調(diào)節(jié)的護(hù)欄,以幫助IT部門輕松管理和優(yōu)化基礎(chǔ)架構(gòu)資源和成本。
首選的開放軟件工具
除了適用于Spark的Python,R和Scala之外,現(xiàn)代數(shù)據(jù)科學(xué)團(tuán)隊(duì)還需要最新的開源工具和庫來進(jìn)行創(chuàng)新,并在首選IDE中進(jìn)行協(xié)作。Cloudera機(jī)器學(xué)習(xí)使從業(yè)人員可以自由使用自己喜歡的工具,同時(shí)保持安全性,效率和可擴(kuò)展性,而無需管理開銷。
可對云大規(guī)模批處理計(jì)分
當(dāng)在本地訓(xùn)練ML模型但推理數(shù)據(jù)存儲在云中時(shí),可以對駐留在云存儲中的大量數(shù)據(jù)進(jìn)行批評分。IT部門可以使用預(yù)先配置的資源利用防護(hù)欄來部署ML工作區(qū),數(shù)據(jù)科學(xué)團(tuán)隊(duì)則使用自動縮放/掛起的TensorFlow/Spark作業(yè)快速處理數(shù)據(jù),不會損失任何成本。
云中數(shù)據(jù)端到端的ML工作區(qū)
Cloudera Machine Learning使IT可以輕松地從本地到云復(fù)制受管業(yè)務(wù)數(shù)據(jù),并為具有預(yù)先配置的資源消耗防護(hù)欄的團(tuán)隊(duì)部署新的ML工作區(qū),提供對模型訓(xùn)練和部署所需的數(shù)據(jù),工具和計(jì)算資源訪問使用本地產(chǎn)生的數(shù)據(jù)。
端到端ML與云中生成的數(shù)據(jù)
Cloudera Machine Learning使IT人員可以使用預(yù)先配置的資源消耗防護(hù)欄為團(tuán)隊(duì)部署新的ML工作區(qū),從而使用云中固有的數(shù)據(jù)提供對模型訓(xùn)練和部署所需的工具和計(jì)算資源的訪問權(quán)限。
CML與CDS的對比
CML是Cloudera Machine Learning,CDSW是Cloudera Data Science Workbench。對于現(xiàn)有的Cloudera Data Science Workbench用戶,本主題將有助于重點(diǎn)介紹Cloudera Data Science Workbench與它的原生云產(chǎn)品Cloudera Machine Learning之間的一些關(guān)鍵區(qū)別。
CML與CDSW有何關(guān)系?
CML利用云原生優(yōu)勢(如快速配置,彈性自動縮放,分布式依賴項(xiàng)隔離和分布式GPU培訓(xùn))擴(kuò)展了Cloudera Data Science Workbench(CDSW)的端到端工作流。它可以運(yùn)行自己的本機(jī)分布式計(jì)算工作負(fù)載,而無需單獨(dú)的CDH群集進(jìn)行橫向擴(kuò)展計(jì)算。 它旨在在現(xiàn)有Kubernetes環(huán)境中的CDP上運(yùn)行,例如托管云Kubernetes服務(wù)(EKS,AKS,GKE)或Red Hat OpenShift,從而在提供多云可移植性的同時(shí)為某些客戶降低了運(yùn)營成本。
兩種產(chǎn)品都可以幫助數(shù)據(jù)工程師和數(shù)據(jù)科學(xué)團(tuán)隊(duì)通過強(qiáng)大的安全性和治理來提高共享數(shù)據(jù)和計(jì)算的生產(chǎn)力,他們共享大量的代碼。
CML與CDSW的區(qū)別
主要區(qū)別在于:
CDSW | CML | |
---|---|---|
結(jié)構(gòu) | CDSW需要CDH或HDP群集,并在群集上的一個(gè)或多個(gè)專用網(wǎng)關(guān)節(jié)點(diǎn)上運(yùn)行。 | CML是自包含的,不需要附加的CDH / HDP群集。 |
1個(gè)主主機(jī)和多個(gè)工作主機(jī)的概念。 | 沒有指定的主機(jī)和工作主機(jī);所有節(jié)點(diǎn)都是短暫的。 | |
安全性 | 通過CDH / HDP集群集成了Kerberos身份驗(yàn)證;通過LDAP / SAML進(jìn)行外部身份驗(yàn)證。 | 通過Cloudera數(shù)據(jù)平臺(CDP)使用FreeIPA進(jìn)行集中身份管理。 |
應(yīng)用存儲 | 項(xiàng)目文件,內(nèi)部postgresDB和Livelog都永久存儲在Master主機(jī)上。 | 所有必需的持久性存儲都在云托管的塊存儲,NFS和關(guān)系數(shù)據(jù)存儲中。 |
計(jì)算 | Python / R / Scala工作負(fù)載在集群的CDSW網(wǎng)關(guān)節(jié)點(diǎn)上執(zhí)行。 | Python / R / Scala工作負(fù)載在CDP /云提供商管理的K8s集群上運(yùn)行。 |
CDSW將分布式計(jì)算工作負(fù)載(例如YARN上的Spark)推送到CDH / HDP集群。 | 不支持Spark-on-YARN;改為使用Spark-on-K8s 。工作負(fù)載將在客戶環(huán)境中配置的專用K8s集群上運(yùn)行。 | |
沒有自動縮放。 | 通過您的云服務(wù)提供商進(jìn)行自動擴(kuò)展。Kubernetes /節(jié)點(diǎn)級自動縮放將用于根據(jù)需求擴(kuò)展/收縮集群大小。 | |
打包 | 作為可下載的RPM和CSD提供。 | 作為CDP上的托管服務(wù)提供。 |
Spark與CDH打包在一起。 | K8s上的Spark與CML打包在一起,不依賴于外部集群。 | |
資料存取 | 數(shù)據(jù)通常駐留在HDFS,Hive,HBase等中的附加CDH / HDP群集上。 | 數(shù)據(jù)可以駐留在對象存儲(例如S3)上,也可以駐留在向CDP注冊的任何現(xiàn)有工作負(fù)載群集上。 |
慧都大數(shù)據(jù)專業(yè)團(tuán)隊(duì)為企業(yè)提供Cloudera大數(shù)據(jù)平臺搭建,免費(fèi)業(yè)務(wù)咨詢,定制開發(fā)等完整服務(wù),快速、輕松、低成本將任何Hadoop集群從試用階段轉(zhuǎn)移到生產(chǎn)階段。
歡迎撥打慧都熱線023-68661681或咨詢,我們有專業(yè)的大數(shù)據(jù)團(tuán)隊(duì),為您提供免費(fèi)大數(shù)據(jù)相關(guān)業(yè)務(wù)咨詢!
本站文章除注明轉(zhuǎn)載外,均為本站原創(chuàng)或翻譯。歡迎任何形式的轉(zhuǎn)載,但請務(wù)必注明出處、不得修改原文相關(guān)鏈接,如果存在內(nèi)容上的異議請郵件反饋至chenjj@fc6vip.cn