使用测试工具解决产品问题(译)
標準的網站監控工具能接通網頁并證明他們正在響應,而他們不會向你警告一個問題。但是你能使用壓力測試技術去監測你的網站,通過跑一個交互腳本能檢測出問題并生成必要的郵件。它像一位安靜的哨兵持續運行,從來不睡覺或者休一個假,提升了你的網站可靠性。
我們的網站包含了一個用戶登錄,用戶認證過程偶爾被停止。我們標準的網站監控工具能接通主頁并驗證網頁在響應,但是可能與不在我們適當放置的工具外的網頁交互。當客戶向我們警告一個真實的問題時我們只能了解它。這是不可接受的,我們不得不找到一個更好的辦法。
我們之前使用一個壓力測試工具開發并執行一系列的壓力測試,允許我們運行很大數量的用戶在測試網站上做很多不同的動作。但是我們需要一種方法在重復的基礎上去運行一個簡單的用戶去做簡單的腳本,24/7,在它在我們的產品系統上影響我們真實客戶前警告我們一個問題。我們的壓力測試工具會作為一個單一用戶做這種測試,但是當一個問題被檢測出來時,它缺少一種生成警告的方法。
與我們的供應商一起工作,我們發現他們提供了一個簡單的解決方案:作為一個單一用戶以重復的流程并有某些出錯時發出警告的方式使用一個不同的應用去執行壓力測試腳本。我們現在有這種適當的流程有3年了,并且它有一個極好的解決方案。這兒是我們如何操作它。
設計測試
第一步是做一些業務分析去決定什么被測試和失敗看起來像什么。當與壓力測試類似,這次測試專注于不僅是網頁的壓力時間以及腳本運行的結果。你也需要以重復的基礎上使用已知的用戶名/密碼組合登錄產品系統的能力。
這次測試的目的是為了簡單地驗證網站是活躍的并且準備使用。我們的測試不包含事務(銷售訂單),但是你能包含這個操作;它只要求更多的工作。
?
我們的檢查有這些:
- ·每一頁需要在少于5000毫秒內加載(5秒)
- ·每一頁需要正確地加載
- ·每一頁需要通過文本檢查(驗證頁面加載預期的內容)
編寫腳本
現在你已有設計,你可以創建你的腳本。
首先,我們選擇一個合法的用戶賬號能用于這個流程。(它需要存在于產品中但是被看做一個測試賬號。)
我們也能增加一些我們局域網站的監控,被授權用戶專門使用。這個授權通過使用安全套接層控制,所以對那些網站,我們不得不增加一些特殊的代碼去支持安全套接和端口映射。
我們使用我們普通的壓力測試腳本設計工具創建腳本,衡量任一特殊被監控工具需要的規則被包含在這個設計里。如果你被支持,你的支持供應商可能有一些有用的在這領域的信息。
一旦你有被設計和正確運行的腳本,現在你能推動它到監控的應用程序里。
創建監測器
跟你的供應商核實什么腳本元素需要被覆蓋,因為在某些情況下你需要所有的實時文件而不僅僅是腳本。好消息是這些文件是小的。
當創建你的監測器,首先決定什么網頁元素被追蹤。取決于你的解決方案,每一個你選擇監測的元素能使用你的協議容量的部分,所以你可能選擇限制監測元素的數量。在我們的案例里,我們只需要監測頁面加載結果和它需要多長時間去加載,但是你可能同時選擇其他元素,就像下面任意一些。
?
當你保存監測器,你能看到最初的在監測儀表盤上創建的結果。
?
創建監測原則
一旦你創建了監測器,你能為什么樣的系統用來決定通過或失敗的條件去創建規則。我們只選擇監測頁面狀態和加載持續時間。
?
當你有通過/失敗條件的標準集時,儀表盤反應了狀態。
?
你也需要決定你多久需要測試執行。當第一次測試仍然運行時假如第二次測試嘗試開始,你能得到錯誤的警告,所以我們在每次測試間允許3分鐘。
創建警報規則
現在你創建測試并定義什么是一次失敗,你需要創建當可能失敗被檢測時告訴誰的規則。
我們的工具允許多于10次不同的警報活動,但是我們為我們的警報流程選擇郵件。我們使用明顯的郵件主題去反應網站問題。我們能發送一封郵件或者短信息,假如單元載體支持郵件地址——比如,5055551212@vtext.com。
其中一件事是區分技術是否易犯錯誤,偶而事件不發生在你的網站上。為了減少錯誤警報數,除非測試在一行里失敗了3次,否則我們不生成警報。我們也建立了規則,每一小時只生成一封重復的郵件(每20次),當物價管制局正處理一個事件時,他們不需要一堆郵件告訴他們已經尋址的事件。
我們也能參與并使警報根據需要不可用,以防止計劃的停機時間省城錯誤的郵件警報。
生成報告
這些監測工具提供了一個好的檢查性能超時的方法,并生成有用的報告。這些能被剪切復制或者導出為HTML。(我發現它更易于被剪切和復制相關的信息而不是嘗試解釋報告生成的所有數據。)
這些是我們質量實例來的示例報告,關于奔潰和需要及時改變的登錄流程:
?
?
維護可靠性
我們的工具也包括一個儀表盤視圖,提供簡單的地方去快速檢查所有的監測器并看到是否有一個或多個問題,那可能一個更大的問題。
最初,這個工具有些強賣給美國物價管制局團隊,因為使用虛擬用戶測試的想法是對某些人來講是一個新的概念。但是現在它執行得就像一個安靜的哨兵,從不睡覺或者休個假,我們實際上有一個新的應用程序到來,詢問我們檢測他們的網站確保用戶可靠性是能維護的。
這改進了我們的操作可靠性——并且這難道不是質量保證的角色嗎?
轉載于:https://www.cnblogs.com/fengye151/p/11518816.html
總結
以上是生活随笔為你收集整理的使用测试工具解决产品问题(译)的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 影响软件测试未来的5件事 (译)
- 下一篇: 一种更好的汇报性能测试结果的方法(译)