很高興與大家共同提出一個(gè)有關(guān)許多組織的主題的話題，即如何更快地獲得人工智能（AI）和機(jī)器學(xué)習(xí)（ML）計(jì)劃的回報(bào)。各行各業(yè)的公司都在AI和ML功能方面進(jìn)行了大量投資，但是在獲取及時(shí)可靠的見(jiàn)解方面繼續(xù)付出的努力卻是可信賴數(shù)據(jù)的單個(gè)版本的可用性，可以連續(xù)使用這些數(shù)據(jù)。

Qlik-TDWI-AWS聯(lián)合網(wǎng)絡(luò)研討會(huì)名為“人工智能和分析的真相之源：優(yōu)化數(shù)據(jù)湖管道以實(shí)現(xiàn)更快的業(yè)務(wù)洞察力”，是由TDWI高級(jí)分析研究副總裁Fern Halper和AWS合作伙伴解決方案架構(gòu)師Dilip Rajan共同組織。該網(wǎng)絡(luò)研討會(huì)重點(diǎn)討論了托管數(shù)據(jù)湖創(chuàng)建對(duì)于AI和ML程序成功的重要性，并討論了構(gòu)建高性能數(shù)據(jù)湖的關(guān)鍵考慮因素。

該網(wǎng)絡(luò)研討會(huì)在多個(gè)地區(qū)得到廣泛觀察，產(chǎn)生了100多個(gè)問(wèn)題。在下面回答最常見(jiàn)的五個(gè)最常見(jiàn)和/或最有趣的問(wèn)題。

您能解釋一下數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)湖之間的區(qū)別嗎？ 哪個(gè)更好？

幾乎每個(gè)討論中都會(huì)繼續(xù)提出這個(gè)問(wèn)題。盡管數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)湖都用于存儲(chǔ)和管理數(shù)據(jù)，但這兩者是完全不同的體系結(jié)構(gòu)方法。

數(shù)據(jù)倉(cāng)庫(kù)是結(jié)構(gòu)化的相關(guān)數(shù)據(jù)的存儲(chǔ)庫(kù)，在存儲(chǔ)時(shí)定義了數(shù)據(jù)使用的目的。數(shù)據(jù)倉(cāng)庫(kù)通常充當(dāng)組織的記錄系統(tǒng)，旨在支持高級(jí)商業(yè)智能（BI）和報(bào)告計(jì)劃。 數(shù)據(jù)倉(cāng)庫(kù)通常不是設(shè)計(jì)用來(lái)處理原始，半結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)的重要來(lái)源，這些數(shù)據(jù)可供分析使用。

另一方面，數(shù)據(jù)湖存儲(chǔ)大量的所有數(shù)據(jù)-結(jié)構(gòu)化，半結(jié)構(gòu)化或非結(jié)構(gòu)化。沒(méi)有數(shù)據(jù)被拒絕。數(shù)據(jù)是從源系統(tǒng)加載的，主要是原始格式，在存儲(chǔ)時(shí)沒(méi)有定義的目的，這使得數(shù)據(jù)湖非常適合數(shù)據(jù)探索/實(shí)驗(yàn)，AI，ML和數(shù)據(jù)科學(xué)計(jì)劃。請(qǐng)參閱下表，以了解數(shù)據(jù)湖和數(shù)據(jù)倉(cāng)庫(kù)之間的更多區(qū)別。

盡管數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)湖對(duì)于企業(yè)數(shù)據(jù)管理都至關(guān)重要，但它們各自都有自己的優(yōu)勢(shì)和局限性。然后開(kāi)始看到Data Lakehouse概念的出現(xiàn)，其中Data Warehouse和Data Lake平臺(tái)將其功能融合在一起，目的是提供更加統(tǒng)一的架構(gòu)，為所有分析計(jì)劃提供單一的事實(shí)來(lái)源，包括 BI，流分析，機(jī)器學(xué)習(xí)和數(shù)據(jù)科學(xué)。

具有多種數(shù)據(jù)架構(gòu)的公司如何在云環(huán)境中合理化和現(xiàn)代化其環(huán)境？ 我們有一個(gè)傳統(tǒng)的本地?cái)?shù)據(jù)倉(cāng)庫(kù)和一個(gè)基于云的數(shù)據(jù)湖。

Qlik 的客戶正在建立更小，更專注于主題領(lǐng)域的云數(shù)據(jù)倉(cāng)庫(kù)。還可以看到客戶利用其云數(shù)據(jù)湖作為預(yù)階段提取階段，將原始數(shù)據(jù)降落到數(shù)據(jù)湖中，然后將這些數(shù)據(jù)的子集提取到云數(shù)據(jù)倉(cāng)庫(kù)中。沒(méi)有一種方法適合每種組織或業(yè)務(wù)場(chǎng)景，這就是為什么Qlik Data Integration旨在在所有主要云平臺(tái)上隨著客戶需求的發(fā)展跨多種架構(gòu)構(gòu)建支持客戶的原因。

我們有許多系統(tǒng)，它們以多種不一致的格式存儲(chǔ)數(shù)據(jù)。 我們?nèi)绾问褂媚墓δ苁怪醒胂到y(tǒng)中的各個(gè)系統(tǒng)的數(shù)據(jù)保持一致？ 另外，您如何支持典型的ELT操作（例如匹配/合并等）？ 這需要自定義編碼嗎？ 

Qlik Data Integration自動(dòng)執(zhí)行數(shù)據(jù)標(biāo)準(zhǔn)化，原始更改數(shù)據(jù)文件的格式和合并，以創(chuàng)建數(shù)據(jù)的完整歷史記錄，而無(wú)需自定義編碼。該解決方案還允許您通過(guò)簡(jiǎn)單，用戶友好的基于Web的控制臺(tái)將數(shù)據(jù)源中的數(shù)據(jù)管道自動(dòng)化到您選擇的目標(biāo)系統(tǒng)。 無(wú)需手動(dòng)腳本。

將信息遷移到一個(gè)平臺(tái)平均需要多長(zhǎng)時(shí)間？您的解決方案需要多少費(fèi)用？您能否提及一些客戶以及他們?nèi)绾螐哪慕鉀Q方案中受益？

Qlik Data Integration解決方案的變更數(shù)據(jù)捕獲和復(fù)制組件可以在不到一個(gè)小時(shí)的時(shí)間內(nèi)建立和配置并移動(dòng)數(shù)據(jù)。將數(shù)據(jù)從特定源遷移到目標(biāo)端點(diǎn)所花費(fèi)的時(shí)間取決于要移動(dòng)的數(shù)據(jù)量。定價(jià)根據(jù)客戶的特定需求而有所不同，例如客戶希望從中復(fù)制數(shù)據(jù)的源數(shù)量，源系統(tǒng)的CPU內(nèi)核以及目標(biāo)端點(diǎn)的數(shù)量。

Qlik Data Integration在全球近2500家客戶中使用，近一半的《財(cái)富》 100強(qiáng)公司使用該平臺(tái)來(lái)優(yōu)化其數(shù)據(jù)管道。Qlik 的客戶報(bào)告了許多好處，包括降低了計(jì)算成本，縮短了部署時(shí)間表，降低了構(gòu)建成本并加快了決策速度。實(shí)際上，全球最大的投資管理公司之一Vanguard在2019年的AWS re：Invent上公開(kāi)分享了它如何利用Qlik解決方案將大型機(jī)交易復(fù)制到AWS云中，延遲為一到兩秒，從而支持超過(guò)每小時(shí)更新6000萬(wàn)行。另一個(gè)客戶Ferguson是美國(guó)最大的管道和HVAC設(shè)備供應(yīng)商之一，該公司報(bào)告說(shuō)，能夠使用Qlik解決方案在短短六個(gè)月內(nèi)遷移27個(gè)數(shù)據(jù)庫(kù)的功能，而以前該解決方案過(guò)去只花了兩年時(shí)間才遷移了兩個(gè)。

在預(yù)算有限且資源很少的環(huán)境中，如何啟動(dòng)數(shù)據(jù)湖？

從存儲(chǔ)和計(jì)算的角度來(lái)看，云是一個(gè)很好的起點(diǎn)，因?yàn)樗鼮槟峁┝速?gòu)買所需資源的靈活性。Qlik Data Integration支持所有主要的云平臺(tái)提供商，包括AWS，Microsoft Azure，Google Cloud Platform以及Cloudera和Databricks，使您能夠完全靈活地選擇自己選擇的合作伙伴。此外，Qlik 完全自動(dòng)化了將近實(shí)時(shí)數(shù)據(jù)更改結(jié)合在一起所需的ELT代碼生成過(guò)程，從而從基于Hadoop的數(shù)據(jù)湖實(shí)施中的編碼任務(wù)中釋放了昂貴而稀缺的數(shù)據(jù)工程和編程資源。還可以自動(dòng)化數(shù)據(jù)管道設(shè)置，配置和管理的整個(gè)過(guò)程，因此您的資源可以專注于更高價(jià)值的分析任務(wù)。

立即試用Qlik

關(guān)于Qlik

Qlik 一直重視數(shù)據(jù)的作用。Qlik 提供端到端、實(shí)時(shí)數(shù)據(jù)集成和分析解決方案，幫助組織訪問(wèn)所有數(shù)據(jù)并將其轉(zhuǎn)換為價(jià)值。幫助公司以數(shù)據(jù)為導(dǎo)向，更深入地了解客戶行為，重新設(shè)計(jì)業(yè)務(wù)流程，發(fā)現(xiàn)新的收入來(lái)源，并平衡風(fēng)險(xiǎn)和回報(bào)。

今年4月，Qlik 發(fā)布了新的包裝和使用項(xiàng)目，為客戶提供更多的選擇，并使云平臺(tái)上的分析技術(shù)變得更簡(jiǎn)單、更容易也更符合成本效益。新的程序包括支持 SaaS 和 Client-Managed 選項(xiàng)的 QlikSense Enterprise 軟件包，以及為 QlikView 客戶提供的 Qlik Sense Enterprise SaaS 直接途徑，使其能夠在云中托管 QlikView 文檔。

Qlik數(shù)據(jù)分析與管理平臺(tái)

LEAD WITH DATA