薪酬保護(hù)計(jì)劃（PPP）由美國聯(lián)邦政府實(shí)施，旨在為企業(yè)提供直接激勵措施，以使員工保持工資，特別是在Covid-19大流行期間。 PPP幫助合格的企業(yè)保留其勞動力，并幫助支付相關(guān)業(yè)務(wù)費(fèi)用。美國財(cái)政部網(wǎng)站的數(shù)據(jù)顯示了哪些公司獲得了PPP貸款以及保留了多少職位。美國財(cái)政部批準(zhǔn)了全美大約100萬筆PPP貸款。

對這些數(shù)據(jù)的分析提出了三個挑戰(zhàn)。首先，數(shù)據(jù)量很大。提取，整理，轉(zhuǎn)換，檢索和報(bào)告該數(shù)據(jù)的時間非常耗時。其次，數(shù)據(jù)集可能會發(fā)展，這將消耗額外的開發(fā)時間和資源。最后，在這樣的多階段流程中，事情可能會破裂。快速確定錯誤或瓶頸的能力將有助于一致地滿足SLA。

本文說明了如何使用Apache Spark將Cloudera數(shù)據(jù)工程（CDE）用于基于PPP數(shù)據(jù)生成報(bào)告，同時解決上述所有挑戰(zhàn)。

目的

下面設(shè)置了德克薩斯州立法預(yù)算委員會（LBB）的模擬方案，以幫助數(shù)據(jù)工程師管理和分析PPP數(shù)據(jù)。 該數(shù)據(jù)工程師的主要目標(biāo)是向LBB提供兩個最終報(bào)告：

• 報(bào)告1：德克薩斯州所有保留工作的城市的細(xì)目分類
• 報(bào)告2：保留職位的公司類型明細(xì)

Cloudera數(shù)據(jù)工程（CDE）

這是運(yùn)行Apache Spark的Cloudera數(shù)據(jù)工程（CDE）可以提供幫助的地方。 CDE是Cloudera Data Platform（CDP）中的一項(xiàng)服務(wù)，它允許數(shù)據(jù)工程師創(chuàng)建，管理和調(diào)度Apache Spark作業(yè)，同時提供有用的工具來監(jiān)視作業(yè)性能，訪問日志文件以及通過Apache Airflow編排工作流程。 Apache Spark是一個數(shù)據(jù)處理框架，能夠快速運(yùn)行大規(guī)模數(shù)據(jù)處理。

美國財(cái)政部提供了兩種不同的數(shù)據(jù)集，一種用于大于15萬美元的批準(zhǔn)貸款，另一種用于15萬美元以下的批準(zhǔn)貸款。為了生成LBB的兩個最終報(bào)告，請遵循以下步驟。

• 第一步是將兩個單獨(dú)的數(shù)據(jù)集加載到S3存儲桶中。
• 為每個數(shù)據(jù)集創(chuàng)建了一個Spark作業(yè)，以從S3存儲桶中提取和過濾數(shù)據(jù)。
• 這兩個Spark作業(yè)將轉(zhuǎn)換干凈數(shù)據(jù)并將其加載到Hive數(shù)據(jù)倉庫中以進(jìn)行檢索。
• 創(chuàng)建了第三個Spark作業(yè)，以處理來自Hive數(shù)據(jù)倉庫的數(shù)據(jù)以創(chuàng)建兩個報(bào)告。

作業(yè)運(yùn)行完成后，CDE將提供每個Spark作業(yè)內(nèi)各個階段的圖形表示。這使數(shù)據(jù)工程師可以輕松地查看工作中哪些部分可能花費(fèi)最多的時間，從而使他們可以輕松地優(yōu)化和改進(jìn)代碼，從而最好地滿足客戶的SLA。

結(jié)果

實(shí)現(xiàn)了從一百萬個批準(zhǔn)申請人的記錄中生成兩個最終報(bào)告的主要目標(biāo)。 第一份報(bào)告的圖形摘要顯示了得克薩斯州每個城市保留的職位數(shù)量的前10個樣本，第二份報(bào)告顯示了保留的職位數(shù)排名前5的樣本（按公司類型）。 例如，借助這些報(bào)告，德克薩斯州立法預(yù)算委員會可以推斷出人均保留工作量最少的城市可能需要資源來減輕任何經(jīng)濟(jì)影響。

關(guān)于Cloudera

在 Cloudera，我們相信數(shù)據(jù)可以使今天的不可能，在明天成為可能。我們使人們能夠?qū)?fù)雜的數(shù)據(jù)轉(zhuǎn)換為清晰而可行的洞察力。Cloudera 為任何地方的任何數(shù)據(jù)從邊緣到人工智能提供企業(yè)數(shù)據(jù)云平臺服務(wù)。在開源社區(qū)不懈創(chuàng)新的支持下，Cloudera推動了全球最大型企業(yè)的數(shù)字化轉(zhuǎn)型歷程。

慧都大數(shù)據(jù)專業(yè)團(tuán)隊(duì)為企業(yè)提供Cloudera大數(shù)據(jù)平臺搭建，免費(fèi)業(yè)務(wù)咨詢，定制開發(fā)等完整服務(wù)，快速、輕松、低成本將任何Hadoop集群從試用階段轉(zhuǎn)移到生產(chǎn)階段。

歡迎撥打慧都熱線023-68661681或咨詢慧都在線客服，我們有專業(yè)的大數(shù)據(jù)團(tuán)隊(duì)，為您提供免費(fèi)大數(shù)據(jù)相關(guān)業(yè)務(wù)咨詢！