Google BigQuery是一個具有成本效益、高度可擴展的無服務器數據倉庫，專為業務敏捷性而設計。該平臺管理所有的資源，自動擴展并高度可用。因此，倉庫管理員不必花時間做典型的實施決策，如CPU大小或最大存儲分配。

Google BigQuery支持兩種不同的SQL方言。

• 標準SQL：標準SQL符合SQL 2011標準，是查詢數據的首選方言。
• 傳統SQL：BigQuery的第一個版本就支持這種方言。

為什么用 Qlik 自動化 Google BigQuery？

• 改進初始數據加載
• 減少人工SQL編碼倉庫管理
• 自動更新數據倉庫
• 減少為下游分析準備和提供數據所需的時間

事實上，我們可以通過Qlik Data Integration (QDI)平臺實現這些領域和更多領域的自動化。最新發布的QDI解決方案針對Google BigQuery進行了優化，并將BigQuery操作的許多方面自動化。例如，可以使用Qlik Replicate進行近乎實時的變化數據捕獲（CDC），使用Qlik Compose for Data Warehouses來構建內部數據倉庫結構和提供數據集。

適用于 Google BigQuery 的 Qlik 數據集成

以下段落介紹了專門為數據倉庫自動化而創建和優化的功能。這些特點如下：

• 數據倉庫模型生成
• 自動生成映射
• 數據倉庫ETL生成
• 數據市場ETL生成
• 工作流生成和協調

數據倉庫模型的生成

Qlik Compose for Data Warehouses通過連接到源數據，并對元數據進行內省，以產生符合第三種正常形式（3NF）/Data Vault方法論的模型，使得從源數據生成邏輯模型變得非常容易。Qlik還提供了在邏輯模型中分配Type1/Type2歷史屬性的支持，改善了BigQuery數據集表的數據加載過程。

自動生成映射
Qlik Compose for Data Warehouses將創建BigQuery數據集表，并為完整和CDC ETL集生成映射。在ETL集中，Compose將自動生成BigQuery數據倉庫數據集表的登陸區域列和暫存列之間的表映射。最終，這減少了開發生命周期的時間。

數據倉庫ETL生成

Qlik會自動生成和協調在BigQuery中執行ETL過程所需的SQL語法，以完成數據倉庫中表的全部加載。Qlik還能自動生成和協調將CDC數據加載到BigQuery數據集中所需的SQL語法。

數據市場ETL生成

Qlik提供了一個數據向導，它可以利用BigQuery數據倉庫數據集自動創建一個事務性數據集。Qlik的自動化功能可以刷新BigQuery數據集市中的數據，而無需復雜的手動轉換或腳本。

工作流生成和協調

你也可以使用Qlik生成一個完整的和CDC工作流，任務是加載BigQuery數據倉庫和數據集市表。加載CDC數據的工作流可以通過Qlik或從第三方調度工具進行調度。

Google BigQuery 自動化的六個步驟

只需要六個步驟，就可以用Qlik自動完成Google Big Query，具體步驟如下：

• 步驟1：自動化數據攝取和更新

配置Qlik Replicate任務，使用Google BigQuery作為端點。Qlik Replicate將在BigQuery中創建來自幾乎任何數據源的數據集，無論是在內部還是在云端。一旦Qlik Replicate完成全部數據加載，任務就會過渡到CDC模式，以近乎實時的方式復制源數據變化。

• 步驟2：Qlik Compose Source和數據倉庫配置

配置一個Qlik Compose for Data Warehouses項目登陸和數據倉庫連接。數據倉庫連接將提供目標數據倉庫和數據集的詳細信息。登陸連接指定了BigQuery數據集，該數據集將用于數據模型內的集成。

• 步驟3：自動生成倉庫數據模型

模型面板用于智能發現邏輯和物理數據倉庫模型的表元數據。管理模型控制哪些屬性變化和歷史類型可以應用到數據倉庫模型。

• 步驟4：生成數據倉庫自動化指令

數據倉庫面板選擇將在數據倉庫數據集中創建為Google BigQuery表的表。將創建表映射，以管理BigQuery表中的登陸列和暫存列之間的關系。一旦完成，ETL過程代碼就會生成并準備在BigQuery上執行。

• 步驟5：創建交易數據集市

數據集市面板提供了一個 "新星型模式 "向導來創建事務星型模式。該向導首先要求你從數據倉庫數據集中選擇一個事實表。然后選擇所選事實表的父維表。您還選擇一個屬性作為模式的事務日期。一旦模式向導完成，就會生成并執行BigQuery語法來加載創建和加載數據倉庫表。

• 步驟6：編排倉庫工作流程

當設置了數據倉庫CDC ETL后，在Qlik Compose監控界面中，一個任務被創建并添加到默認的CDC工作流中。一個數據集市任務也被添加到默認的CDC工作流中。

結論

Google BigQuery是市場上領先的云數據倉庫，在操作大型數據集進行分析工作負載時，可以提供卓越的性能。雖然BigQuery提供了幾乎不需要動手的管理，但當與Google平臺一起使用時，Qlik的數據倉庫自動化解決方案將為您節省大量的開發時間。請下載Qlik云端試用版體驗！聯系在線客服，還可請求獲得Qlik的Domo演示。