原創|大數據新聞|編輯:況魚杰|2021-01-14 10:08:44.703|閱讀 259 次
概述:在本系列的第1部分中,我們描述了數據倉庫(DW)和商業智能(BI)項目如何成為許多組織的高度優先事項。項目發起人尋求在整個企業中授權更多更好的數據驅動決策和行動; 他們打算擴展其用于BI,分析和數據發現的用戶基礎,以便用戶做出明智的決策。
# 界面/圖表報表/文檔/IDE等千款熱門軟控件火熱銷售中 >>
相關鏈接:
在本系列的第1部分中,我們描述了數據倉庫(DW)和商業智能(BI)項目如何成為許多組織的高度優先事項。項目發起人尋求在整個企業中授權更多更好的數據驅動決策和行動; 他們打算擴展其用于BI,分析和數據發現的用戶基礎,以便用戶做出明智的決策。
避免的這一系列錯誤集中在幫助組織回避DW項目中太常見的質量問題,此處提供的提示將有助于確保DW團隊計劃和實施新功能時的滿意度。
左移質量保證是DW開發的一種方法,其中質量保證在生命周期中盡早而頻繁地執行-在總項目計劃中通常位置的左邊。 “左移”是指動態數據質量驗證和靜態測試:進行檢查,檢查以及單元和集成測試。但是,許多DW項目尚未開始采用這一潛在的重要過程。
在項目生命周期中將驗證過程向左移動是一種敏捷實踐,它為與設計和開發活動(或與之并行)的驗證提供了一種方法。也就是說,開發團隊和質量檢查團隊協作來計劃,管理和執行測試,以加速向企業和開發人員反饋問題。
在項目生命周期的早期階段執行質量保證任務時,DW架構師,業務和數據分析師以及ETL和BI報表程序員將承擔“測試”角色以發現問題。如果盡早實施,則專注于業務規則和安全性的驗證-甚至是驗收測試-可以為項目質量和成功帶來切實的好處。在發布周期結束時花費數周或數月的時間來查找和修復問題效率很低。IBM的一項研究報告說:“與發布到生產后相比,早期修復缺陷的成本要低100倍。” 僅憑這一計算,就可以使大多數團隊落后于左移測試。
左移測試的另一個目標是修復將來甚至在生產中可能出現的問題。因此,當組織采用左移策略時,他們可以在系統上測試,分析進度并通過判斷,這比一次完成要好得多。
通過運行SQL腳本,然后將結果收集在電子表格中以進行進一步分析,可以對許多(也許大多數)DW項目進行大多數測試。
ETL測試的這種方法可能很慢且容易出錯。在沒有專用的過程支持工具來設計和管理那些測試的情況下,手動執行DW測試可能會在短期和長期內阻礙測試自動化。
重復測試對于確保高水平的ETL數據質量至關重要。測試的次數越多,在上線之前就會發現更多的錯誤,這對于商業智能項目至關重要。當用戶不信任數據時,將無法采用BI或分析解決方案。實施高級ETL測試流程將支持頻繁的回歸和煙霧測試。
實施用于ETL測試的最先進的流程和工具的決定取決于可支持滿足高級測試要求的支出的預算。內部構建和維護的測試工具可能比根本沒有測試工具要好。許多ETL工具提供商都提供直接針對ETL工具的測試解決方案(例如,Informatica的數據驗證選件— DVO)。
許多著名的測試過程包括:
削減DW項目成本的沖動常常很強烈,尤其是在項目后期。一個常見的錯誤是將許多測試職責委派給具有有限業務和數據測試技能的資源。經常期望DW項目負責人和其他動手測試人員展示設計,規劃和執行數據庫和數據倉庫測試用例的豐富經驗。
近年來,DW項目經歷了一種趨勢,即業務分析師,ETL開發人員,外包測試人員,甚至業務用戶,都在計劃和執行許多質量檢查流程。這樣做可能會有風險。以下是DW測試經常需要的技能:
數據倉庫項目失敗的原因有很多:數據體系結構差,數據定義不一致,缺少組合來自各種數據源的數據的功能,數據值缺失或不正確,數據字段使用不一致,查詢性能不可接受等。
當訓練有素,經驗豐富的測試人員從開發的早期階段到項目完成提供持續的支持時,可以減少最關鍵的項目風險和失敗。
慧都數倉建模大師能夠快速、高效地幫助客戶搭建數據倉庫供企業決策分析之用。滿足數據需求效率、數據質量、擴展性、面向主題等特點。基于企業的業務目標,進行數據理解、數據準備、數據建模,最后進行評價和部署,真正實現數據驅動業務決策。更多詳情,請。
慧都 BI 提供Qlik的產品和技術服務,更有企業級BI業務分析解決方案,我們擁有包括Tableau、Power BI和 IBM Cognos全球領先的BI產品,并提供相關解決方案,讓數據創造無限價值。
關于慧都數倉建模大師
本站文章除注明轉載外,均為本站原創或翻譯。歡迎任何形式的轉載,但請務必注明出處、不得修改原文相關鏈接,如果存在內容上的異議請郵件反饋至chenjj@fc6vip.cn