任何曾經從事數據倉庫項目工作的人都知道，這可能是一項艱巨的工作，需要數年的時間才能完成，并花費數百萬美元。所以總是有人希望能夠解決數據倉庫的問題，Qlik就應運而生，它最大功能之一就是無需數據倉庫即可將多個不同的數據源整合在一起。即使使用數據倉庫，客戶也經常直接從數據源中拉取，以避免由于將數據通過數據倉庫而造成的時間滯后。

那么，在沒有數據倉庫的情況下構建健壯的BI應用程序容易嗎？

通常情況下，用戶從1到5個不同的源頭提取數據來構建一個單一的應用程序。數據可以來自ERP系統、云服務或其他手工文件。將這些數據文件匯集到一個單一的數據模型的過程被稱為ETL或提取-轉換-加載。雖然在提取和加載中可能會遇到挑戰，但最困難的任務是Transform--在無人看管的情況下運行的腳本，將數據 "轉化 "為標準格式和/或填充缺失或損壞的數據，使其成為最終用戶可用的數據。

在光譜的另一端，Qlik與客戶合作，他們的數據源數量是典型數據源數量的10倍以上，所有的數據源看起來都是來自單一的數據源，以便在單一的應用程序中利用。如何您很想知道如何處理如此復雜的項目的第一手資料，那么你不得不看看下面的內容，Peter Adams-Qlik的顧問，曾參與過超過35個不同規模的客戶項目，下面是他介紹的有關Qlik的信息。

Peter介紹了他最極端的數據整合項目，該客戶通過收購迅速成長，現在需要一個企業業務視圖。他的任務是整合50多個數據源，每個數據源都有多個文件，導致超過300個數據文件需要被ETL成一個數據模型。

Peter分享說，對于任何規模的數據集成項目，最大的挑戰總是數據不一致。在這個特殊的案例中，這個問題的難度成倍增加，因為數據文件的創建和交付不是自動化的，這就為數據的變化創造了機會，而沒有警告。因此，除了建立一個ETL來支持不同的數據之外，他還必須適應當數據已經變化到無法再成功轉換，因此在解決之前不再有用的時候，警告最終用戶。

Peter在這個項目中面臨的另一個獨特的挑戰是復制ERP的 "匹配 "功能作為轉型的一部分--將收據與訂單數量進行匹配，以計算剩余的未結訂單金額，按項目進行。為此，他必須通過多個腳本來運行數據，以分解單個收據記錄，以對應訂單表中的數量。

在ETL中，Peter總共構建了大約100個腳本。但在處理生產級的大量數據時，這對性能有什么影響呢？在設計和構建ETL時，性能是最重要的。但Peter的做法是始終在性能和易維護性之間取得平衡，尤其是在這種情況下，數據源有可能發生意外變化。一旦Peter在ETL運行時間最長的部分部署了增量加載，加載時間就在客戶所需的參數范圍內，同時還能確保他們在沒有我們幫助的情況下也能繼續適應變化。

最后您會發現，盡管您花了更多時間來考慮“典型”的項目，但與建立數據倉庫相比，客戶節省了75％至90％的時間和金錢。Qlik Consulting的經驗和技能幫助成功設計和構建了一個非常復雜的ETL，不僅節省了客戶資金，而且還使他們能夠更早地洞察其數據，從而可以提高投資回報率！

關于Qlik

Qlik的愿景是一個數據素養的世界，每個人都可以使用數據來改善決策并解決他們最具挑戰性的問題。只有Qlik提供端到端的實時數據集成和分析解決方案，以幫助組織訪問所有數據并將其轉化為價值。慧都作為Qlik官方的中國合作伙伴，我們為Qlik的中國用戶提供產品授權與實施、定制分析方案、技術培訓等服務，旨在讓中國企業的每個Qlik用戶都能探索出數據的價值，讓企業形成分析文化。了解更多信息，請咨詢在線客服>>