在DevOps環(huán)境中，將性能測試作為持續(xù)交付管道的一部分正在成為一種最佳實(shí)踐。因此，性能測試必須是連續(xù)應(yīng)用程序交付不可或缺的一部分。

越來越多的團(tuán)隊(duì)意識到，性能下降與功能下降對應(yīng)用程序質(zhì)量的影響一樣大！因此，我們將重點(diǎn)放在性能測試上，以及如何將負(fù)載和性能測試最佳地集成到應(yīng)用程序交付中。

將性能測試集成到持續(xù)交付管道中

您可以通過將選定的性能測試添加到Jenkins或您選擇的連續(xù)集成工具中并使其定期運(yùn)行，來開始將性能測試集成到連續(xù)交付管道中。

根據(jù)您的需求，您可以在構(gòu)建/測試基礎(chǔ)結(jié)構(gòu)中的以下一項(xiàng)或多項(xiàng)中運(yùn)行性能測試：

• 在每次構(gòu)建后，以減少的性能進(jìn)行“煙霧”測試。
• 每天進(jìn)行一次更全面的性能測試。
• 每周一次或根據(jù)基礎(chǔ)結(jié)構(gòu)可用性，進(jìn)行一組長期運(yùn)行的測試以進(jìn)行耐久性測試，或進(jìn)行大量負(fù)載測試以進(jìn)行壓力測試。

然而，僅靠這本身是不夠的。

手動分析負(fù)載測試報(bào)告可能很耗時，并且可能需要并非每個開發(fā)人員都具備的特殊技能。如果沒有自動執(zhí)行負(fù)載測試報(bào)告分析的功能，那么查看性能測試結(jié)果將變得很繁瑣。重要的績效信息也可能會被忽略。在這種情況下，您可能會連續(xù)運(yùn)行性能測試，但是這樣做的好處將會受到限制。

自動收集和分析性能測試結(jié)果

要獲得連續(xù)性能測試的全部好處，您需要建立一種有效的機(jī)制來分析性能測試結(jié)果。Parasoft LoadTest及其LoadTest Continuum（Parasoft SOAtest的模塊）為您提供了有助于自動收集和分析性能測試結(jié)果的工具，并為您提供了應(yīng)用程序性能的見解。

如何設(shè)置環(huán)境以連續(xù)執(zhí)行性能測試

以下步驟將幫助您設(shè)置環(huán)境以使用Parasoft LoadTest和LoadTest Continuum進(jìn)行連續(xù)的性能測試：

1. 查看并配置LoadTest項(xiàng)目QoS指標(biāo)以實(shí)現(xiàn)自動化。
2. 部署和配置LoadTest Continuum以進(jìn)行負(fù)載測試報(bào)告收集。
3. 將LoadTest項(xiàng)目分批配置以執(zhí)行。
4. 作為連續(xù)集成的一部分，開始運(yùn)行LoadTest項(xiàng)目批處理，并使用LoadTest Continuum定期檢查和分析性能測試結(jié)果。

我將在下面分別詳細(xì)介紹這些步驟。

第1步——查看和配置自動化的QoS指標(biāo)

Parasoft LoadTest服務(wù)質(zhì)量（QoS）指標(biāo)是自動化性能測試結(jié)果分析的關(guān)鍵功能之一。QoS指標(biāo)可將負(fù)載測試報(bào)告中的大量數(shù)據(jù)減少為一組有關(guān)您的應(yīng)用程序性能的成功/失敗答案。Parasoft LoadTest提供了豐富的QoS度量標(biāo)準(zhǔn)集，從可用閾值度量標(biāo)準(zhǔn)到自定義腳本度量標(biāo)準(zhǔn)，允許您使用LoadTest API進(jìn)行高級負(fù)載測試數(shù)據(jù)分析。

要準(zhǔn)備用于自動化的性能測試，您需要查看LoadTest項(xiàng)目中的QoS指標(biāo)。運(yùn)行一個LoadTest項(xiàng)目并檢查報(bào)告：用于手動分析負(fù)載測試報(bào)告的所有成功和失敗標(biāo)準(zhǔn)都應(yīng)表示為QoS指標(biāo)。將盡可能多的指標(biāo)轉(zhuǎn)換為“數(shù)字”指標(biāo)。數(shù)字QoS指標(biāo)不僅返回成功/失敗結(jié)果，而且還量化該指標(biāo)的關(guān)鍵性能指標(biāo)。例如，驗(yàn)證CPU利用率閾值的指標(biāo)還將提供實(shí)際的CPU利用率值作為數(shù)字指標(biāo)。

數(shù)字度量標(biāo)準(zhǔn)在LoadTest Continuum中被廣泛使用，以繪制隨時間變化的度量標(biāo)準(zhǔn)性能：

圖1.在LoadTest Continuum報(bào)告中繪制的數(shù)字度量結(jié)果。

為LoadTest項(xiàng)目配置QoS指標(biāo)后，就可以設(shè)置LoadTest Continuum進(jìn)行性能數(shù)據(jù)收集和分析了。

第2步——部署和配置LoadTest Continuum

部署和配置LoadTest Continuum ltc.war Web應(yīng)用程序歸檔文件（從9.10.2版開始在SOAtest/LoadTest安裝目錄中提供），如LoadTest文檔的“LoadTest Continuum”部分中所述。

第3步——將LoadTest項(xiàng)目配置為批處理以執(zhí)行

將您的LoadTest項(xiàng)目組合到.cmd腳本中以批量執(zhí)行。通過LoadTest .cmd腳本，您可以指定將組成不同性能測試集的項(xiàng)目組，例如前面提到的“煙霧”測試，每日測試或周末測試。

配置.cmd腳本，以將報(bào)告數(shù)據(jù)發(fā)送到LoadTest Continuum，如LoadTest文檔的“將報(bào)告發(fā)送到LoadTest Continuum”部分中所述。設(shè)置您的持續(xù)集成工具，以在構(gòu)建過程中或定期運(yùn)行LoadTest .cmd腳本。例如，在Jenkins中，您可以使用“執(zhí)行Windows批處理”命令構(gòu)建步驟來運(yùn)行LoadTest .cmd腳本，如下所示：

%SOATEST_HOME%\lt.exe" -J-Xmx4096M -cmd -run "%WORKSPACE%\ltcontinuum.cmd

第4步——在Parasoft DTP中設(shè)置儀表板

Parasoft DTP包含報(bào)告和分析儀表板，使您可以使用各種小部件和報(bào)告來監(jiān)視軟件項(xiàng)目的運(yùn)行狀況和進(jìn)度。

使用Parasoft LoadTest Continuum DTP小部件，您可以將最新的LoadTest結(jié)果摘要添加到DTP項(xiàng)目儀表板，并提供一種快速的方法來評估日常項(xiàng)目狀態(tài)檢查例程中性能測試結(jié)果的狀態(tài)。

該小部件顯示最近一次LoadTest運(yùn)行的總數(shù)，通過的和失敗的測試以及指標(biāo)的數(shù)量。要更詳細(xì)地查看結(jié)果，請單擊小部件中的項(xiàng)目鏈接，然后LoadTest Continuum頁面將在新選項(xiàng)卡中打開。

圖2. DTP儀表板上的LoadTest Continuum小部件。

要在DTP中設(shè)置LoadTest Continuum自定義HTML窗口小部件，只需執(zhí)行以下步驟：

1. 在Parasoft DTP報(bào)告中心中，創(chuàng)建一個新的儀表板或打開一個現(xiàn)有的儀表板。
2. 按添加小部件。在“添加小部件”對話框中，選擇“自定義”->“自定義HTML小部件”。
3. 將以下文件的內(nèi)容從LoadTest Continuum安裝復(fù)制到對話框的HTML文本區(qū)域：%TOMCAT_HOME%\webapps\ltc\dtp\ltc_dtp_widget.html
4. 使用自定義設(shè)置修改HTML：
1. 找到getServerURL()函數(shù)。使用LoadTest Continuum安裝的主機(jī)和端口修改返回值。
2. 找到getProjectName()函數(shù)。使用您要在小部件中跟蹤的項(xiàng)目的名稱修改返回值。
5. 按創(chuàng)建。

第5步——審查和分析性能測試結(jié)果

Parasoft LoadTest Continuum既是LoadTest報(bào)告的收集點(diǎn)，又是分析工具，可以組織多次運(yùn)行的負(fù)載測試數(shù)據(jù)。LoadTest Continuum將數(shù)據(jù)組織成一個信息金字塔，使您能夠以各種詳細(xì)程度查看性能測試結(jié)果，從頂部的高層每日摘要到核心的QoS指標(biāo)結(jié)果，再到詳細(xì)的負(fù)載測試報(bào)告，底部：

圖3. LoadTest Continuum每日摘要和測試指標(biāo)視圖。

考慮以下工作流程作為定期（每日）測試審查的示例：

1. 對于失敗的測試，請執(zhí)行以下步驟：
1. 打開測試歷史記錄視圖，檢查測試是否定期或偶爾失敗。第一種情況很可能表明回歸。第二種情況是不穩(wěn)定。
2. 檢查測試的失敗指標(biāo)：
1. 對于數(shù)字指標(biāo)，請打開“指標(biāo)歷史記錄”圖形視圖。使用指標(biāo)歷史記錄圖表獲得見解。例如，如果度量標(biāo)準(zhǔn)所屬的測試不穩(wěn)定，那么度量標(biāo)準(zhǔn)圖形的微小波動通常表明度量標(biāo)準(zhǔn)閾值需要調(diào)整。較大的波動表明代碼或基礎(chǔ)結(jié)構(gòu)存在問題。
2. 打開此測試的所有圖形鏈接。在同一測試中檢查其他數(shù)字指標(biāo)的圖，以查看未超過指標(biāo)閾值的波動。
2. 如果尚未設(shè)置LoadTest Continuum DTP小部件，請先在LTC項(xiàng)目主頁面中檢查測試和指標(biāo)的成功/失敗摘要。
3. 對于失敗的項(xiàng)目，請單擊指向LTC項(xiàng)目頁面的鏈接以檢查詳細(xì)信息。
4. 首先在LoadTest Continuum DTP小部件中檢查最新負(fù)載測試運(yùn)行的狀態(tài)。
5. 對此指標(biāo)鏈接的“所有圖形”執(zhí)行相同的操作，以檢查其他測試的相似指標(biāo)是否受到影響。如果是，則表明您的應(yīng)用程序或基礎(chǔ)結(jié)構(gòu)存在系統(tǒng)性問題，而不僅限于單個測試（請參見圖4）。
6. 要進(jìn)行更深入的分析，請打開失敗測試的HTML或二進(jìn)制“負(fù)載測試”報(bào)告。

圖4.負(fù)載測試連續(xù)體相同度量標(biāo)準(zhǔn)視圖的所有圖形都顯示了在多個測試中CPU％度量標(biāo)準(zhǔn)的性能提高。

將性能測試過程集成到連續(xù)交付管道中對于確保軟件質(zhì)量至關(guān)重要。為了充分利用此過程，您需要為性能測試結(jié)果分析自動化建立有效的機(jī)制。

與Parasoft保持連續(xù)

您可以在Parasoft SOAtest中使用Parasoft LoadTest和LoadTest Continuum進(jìn)行設(shè)置，該軟件提供了實(shí)現(xiàn)所有崇高測試結(jié)果分析自動化目標(biāo)所需的一切。通過功能測試中的復(fù)雜自動化，您可以獲取更高質(zhì)量的軟件。

學(xué)到更多：

• 通過這5種美妙的技術(shù)組合成為更智能的軟件測試人員
• 什么是DTP，為何如此強(qiáng)大？
• 了解有關(guān)Parasoft SOAtest和Parasoft LoadTest的更多信息