數據工程師和架構師被要求對企業數據進行比以往更多的處理。然而，企業想要用數據做什么和如何實現數據之間的知識差距日益擴大——特別是考慮到當今的人工智能炒作周期。面對市場上的喧囂，很容易看出組織如何努力跟上創新的步伐。 Qlik 和 Databricks 合作，通過提供一些真正的解決方案來幫助縮小這一差距，幫助架構師和工程師滿足不斷增長的業務需求。

免費試用Qlik

本博客總結了我們的最佳實踐技術指南中的關鍵見解，該指南提供了實用的技巧和技術，可幫助您從 Databricks 投資中獲得更多收益，并改進數據在分析和 AI 計劃中的交付和轉換。

1. 大規模自動捕獲變更數據。
   通過跨不同數據源自動執行變更數據捕獲 (CDC)，公司可以消除手動數據提取，并通過架構演進和轉換功能簡化數據實時移動到 Databricks Lakehouse 平臺，從而為原始源數據 AI 做好準備。

2. 性能優化：文件大小配置。
   借助 Qlik Replicate、Change Data Capture，組織可以在將數據加載到表中之前調整數據復制的最大文件大小（以 MB 為單位）。配置文件大小可以提高初始完全加載期間的性能。然后，Databricks 用戶可以嘗試持續復制文件大小并根據特定用例進行微調。

3.對大型表進行分區可最大限度地提高 Databricks 的性能價值。
Databricks 提供了對 Delta 表進行分區的功能。建議對可能成為應用程序流程瓶頸的大表進行分區。

集群利用率——未分區

集群利用率 – 分區

1. 自動優化選項。
   通過配置集群以獲得最佳性能，使用 Qlik 和 Databricks 微調效率。禁用 autoCompact 并啟用 optimizeWrite。此配置可防止延遲問題并最大限度地提高 Delta Lake 內的數據查詢速度。安排定期優化以進一步提高查詢速度并保持峰值性能。

2. 動態工作負載卷的自動縮放。
   通過監控集群性能并根據實時使用和測試調整集群配置來自動縮放動態工作負載量。這確保了最佳的資源分配和效率。這種自適應方法可以擴大或縮小規模，以有效地滿足數據集成任務的需求。

3. 使用 Qlik 定制 SQL 倉庫。
   Qlik 根據特定要求（例如網絡拓撲、延遲、表結構、更新頻率和驅動程序版本）提供配置 SQL 倉庫的定制建議。

這些只是 Qlik 和 Databricks 可以為您的集成提供的一些免費屬性。下載 Qlik Cloud Data Integration with Databricks Best Practices Guide，了解如何實施上面分享的見解。從將 ETL 流程轉換為 ELT、配置集群以實現最高效率以及利用自動擴展功能，本指南展示了您今天可以采取的實際步驟，以從 Databricks 投資中獲得更多收益。

Qlik是一家私有SaaS公司，提供端到端實時數據集成和分析云平臺，以縮小數據，洞察力和行動之間的差距。通過將數據轉換為Active Intelligence，企業可以制定更好的決策，提高收入和盈利能力并優化客戶關系。Qlik在100多個國家/地區開展業務，為全球50,000多個客戶提供服務。

作為Qlik官方的中國合作伙伴，我們為Qlik的中國用戶提供產品授權與實施、定制分析方案、技術培訓等服務，歡迎。我們旨在讓中國企業的每個Qlik用戶都能探索出數據的價值，讓企業形成分析文化。