恰當(dāng)選擇軟件測(cè)試自動(dòng)化方案
發(fā)布: 2007-8-14 09:41 | 作者: 網(wǎng)絡(luò)轉(zhuǎn)載 | 來源: 網(wǎng)絡(luò)轉(zhuǎn)載 | 查看: 108次
隨著測(cè)試流程的不斷規(guī)范以及軟件測(cè)試技術(shù)的進(jìn)一步細(xì)化，軟件測(cè)試自動(dòng)化已經(jīng)日益成為一支不可忽視的力量。能否借助于這支外在力量以及如何借助于這支力量來規(guī)范企業(yè)測(cè)試流程、提高特定測(cè)試活動(dòng)的效率，正是本 期所要討論的話題。
目前，軟件測(cè)試自動(dòng)化的研究領(lǐng)域主要集中在軟件測(cè)試流程的自動(dòng)化管理以及動(dòng)態(tài)測(cè)試的自動(dòng)化（如單元測(cè)試、功能測(cè)試以及性能測(cè)試方面）。在這兩個(gè)領(lǐng)域，與手工測(cè)試相比，測(cè)試自動(dòng)化的優(yōu)勢(shì)是明顯的。首先自動(dòng)化測(cè)試可以提高測(cè)試效率，使測(cè)試人員更加專注于新的測(cè)試模塊的建立和開發(fā)，從而提高測(cè)試覆蓋率; 其次，自動(dòng)化測(cè)試更便于測(cè)試資產(chǎn)的數(shù)字化管理，使得測(cè)試資產(chǎn)在整個(gè)測(cè)試生命周期內(nèi)可以得到復(fù)用，這個(gè)特點(diǎn)在功能測(cè)試和回歸測(cè)試中尤其具有意義; 此外，測(cè)試流程自動(dòng)化管理可以使機(jī)構(gòu)的測(cè)試活動(dòng)開展更加過程化，這很符合CMMI過程改進(jìn)的思想。根據(jù)Oppenheimer Funds的調(diào)查，在2001年前后的3年中，全球范圍內(nèi)由于采用了測(cè)試自動(dòng)化手段所實(shí)現(xiàn)的投資回報(bào)率高達(dá)1500％。
方案選型六大原則
然而存在優(yōu)勢(shì)是否就一定意味著選擇自動(dòng)化測(cè)試方案都能為企業(yè)帶來效益回報(bào)呢？也不盡然，任何一種產(chǎn)品化的測(cè)試自動(dòng)化工具，都可能存在與某具體項(xiàng)目不甚貼切的地方。再加上，在企業(yè)內(nèi)部通常存在許多不同種類的應(yīng)用平臺(tái)，應(yīng)用開發(fā)技術(shù)也不盡相同，甚至在一個(gè)應(yīng)用中可能就跨越了多種平臺(tái); 或同一應(yīng)用的不同版本之間存在技術(shù)差異。所以選擇軟件測(cè)試自動(dòng)化方案必須深刻理解這一選擇可能帶來的變動(dòng)、來自諸多方面的風(fēng)險(xiǎn)和成本開銷。
以下筆者給出企業(yè)用戶進(jìn)行軟件測(cè)試自動(dòng)化方案選型的參考性原則，這些原則是從筆者實(shí)際工作中凝練而成的，它包括以下六個(gè)方面的建議:
● 選擇盡可能少的自動(dòng)化產(chǎn)品覆蓋盡可能多的平臺(tái)，以降低產(chǎn)品投資和團(tuán)隊(duì)的學(xué)習(xí)成本;
● 測(cè)試流程管理自動(dòng)化通常應(yīng)該優(yōu)先考慮，以滿足為企業(yè)測(cè)試團(tuán)隊(duì)提供流程管理支持的需求;
● 在投資有限的情況下，性能測(cè)試自動(dòng)化產(chǎn)品將優(yōu)先于功能測(cè)試自動(dòng)化被考慮;
● 在考慮產(chǎn)品性價(jià)比的同時(shí)，應(yīng)充分關(guān)注產(chǎn)品的支持服務(wù)和售后服務(wù)的完善性;
● 盡量選擇趨于主流的產(chǎn)品，以便通過行業(yè)間交流甚至網(wǎng)絡(luò)等方式獲得更為廣泛的經(jīng)驗(yàn)和支持;
● 應(yīng)對(duì)測(cè)試自動(dòng)化方案的可擴(kuò)展性提出要求，以滿足企業(yè)不斷發(fā)展的技術(shù)和業(yè)務(wù)需求。
實(shí)戰(zhàn)模擬
以下筆者結(jié)合一個(gè)典型的企業(yè)客戶，剖析其適用的軟件測(cè)試自動(dòng)化方案選型過程。
1．公司背景介紹
A公司是一家大型保險(xiǎn)公司，擁有近20個(gè)城市的分公司，并在其中5個(gè)城市建立了IT支持中心。平均每年的上線應(yīng)用數(shù)量在20個(gè)左右（新業(yè)務(wù)系統(tǒng)和原有業(yè)務(wù)系統(tǒng)的主要版本發(fā)布）。目前A公司的專職測(cè)試團(tuán)隊(duì)人數(shù)不足30人，而且測(cè)試團(tuán)隊(duì)的測(cè)試人員技能參差不齊，目前測(cè)試只是作為項(xiàng)目上線前的一道工序而已。在測(cè)試團(tuán)隊(duì)內(nèi)部也幾乎沒有自動(dòng)化的手段，主要依靠手工測(cè)試。由于已上線應(yīng)用系統(tǒng)的問題，開發(fā)團(tuán)隊(duì)必須分出一部分資源去維護(hù)和修復(fù)上線應(yīng)用，而同時(shí)測(cè)試團(tuán)隊(duì)的測(cè)試成果和效率卻無法和這些應(yīng)用質(zhì)量掛鉤，也更無從談起對(duì)軟件質(zhì)量的控制。所以，A公司決定在軟件質(zhì)量和測(cè)試方面進(jìn)行投入，他們考慮以下幾方面:
● 引進(jìn)軟件測(cè)試流程管理的自動(dòng)化，提高軟件測(cè)試過程的管理水平，使軟件測(cè)試和軟件開發(fā)一樣可被評(píng)估、被衡量。
● 實(shí)現(xiàn)性能測(cè)試自動(dòng)化，所有應(yīng)用上線之前必須有應(yīng)用性能風(fēng)險(xiǎn)評(píng)估報(bào)告和相關(guān)部門的確認(rèn)
● 逐步實(shí)現(xiàn)功能測(cè)試的自動(dòng)化，在目前人員配置的情況下，把部分手工測(cè)試變成自動(dòng)化測(cè)試，提高測(cè)試可信度，降低人為錯(cuò)誤。
● 通過軟件測(cè)試自動(dòng)化，管理軟件測(cè)試中的案例、缺陷、報(bào)告等資產(chǎn)，進(jìn)一步提升軟件測(cè)試的效率并建立測(cè)試基礎(chǔ)庫。
● 在規(guī)劃中，將來的2～3年內(nèi)使所有的應(yīng)用系統(tǒng)上線都必須有數(shù)字化的測(cè)試數(shù)據(jù)作為依據(jù)。
2．公司應(yīng)用系統(tǒng)的情況
由于保險(xiǎn)公司的業(yè)務(wù)種類繁多，同時(shí)在經(jīng)過了幾十年的經(jīng)營(yíng)后，公司內(nèi)的應(yīng)用系統(tǒng)從早期的終端方式到現(xiàn)代的J2EE和.NET等應(yīng)有盡有，魚龍混雜。IT部門已經(jīng)建立的3年規(guī)劃，即在未來的3年時(shí)間內(nèi)將所有終端和C/S方式的應(yīng)用轉(zhuǎn)換成B/S架構(gòu)，但當(dāng)前仍然需要對(duì)這些舊應(yīng)用系統(tǒng)進(jìn)行維護(hù)，以保證業(yè)務(wù)的順利進(jìn)行。對(duì)于開發(fā)部門來說，目前新應(yīng)用開發(fā)基本上已經(jīng)以B/S架構(gòu)為主，主要是基于J2EE架構(gòu)的Web HTTP應(yīng)用和部分Window.NET Form的應(yīng)用。
3．公司軟件測(cè)試現(xiàn)狀
企業(yè)機(jī)構(gòu)在做測(cè)試自動(dòng)化選型時(shí)一定要考慮清楚企業(yè)內(nèi)部哪些部分可以實(shí)施自動(dòng)化、哪些部分暫不實(shí)施自動(dòng)化、哪些部分僅在某幾個(gè)項(xiàng)目做自動(dòng)化試點(diǎn)。切忌匆忙上馬或盲目否定，缺乏實(shí)事求是的理性思考。
測(cè)試部門目前僅負(fù)責(zé)系統(tǒng)測(cè)試和對(duì)用戶驗(yàn)證測(cè)試進(jìn)行管理，對(duì)于之前的單元測(cè)試和集成測(cè)試主要由開發(fā)團(tuán)隊(duì)中劃分出的一部分臨時(shí)測(cè)試人員完成。由于缺乏監(jiān)測(cè)手段，測(cè)試部門也無法收集和確定集成測(cè)試和單元測(cè)試的完成情況，在整個(gè)軟件測(cè)試過程中，業(yè)務(wù)需求是由開發(fā)部門通過Rational RequisitePro進(jìn)行管理，但測(cè)試需求目前尚沒有提出要求，測(cè)試案例主要通過在公司公用的文件服務(wù)器中的目錄管理方式管理，對(duì)測(cè)試中缺陷流程等管理主要依靠郵件的流轉(zhuǎn)進(jìn)行處理。目前90％以上的測(cè)試是通過Excel和Word等測(cè)試案例文檔來完成，測(cè)試人員對(duì)軟件測(cè)試自動(dòng)化的認(rèn)識(shí)僅停留在“記錄＋回放”的認(rèn)識(shí)上。
4．可供選擇的方案
方案A: A公司可以采用美科利（Mercury）公司產(chǎn)品為主的軟件測(cè)試自動(dòng)化方案。
● 依照原先的郵件流轉(zhuǎn)過程配置TestDirector缺陷管理流程，為每個(gè)保險(xiǎn)業(yè)務(wù)的開發(fā)小組和測(cè)試團(tuán)隊(duì)分配相應(yīng)的用戶許可證，取消原有郵件方式。
● 部署Mercury Quick Test Professional，以便完成應(yīng)用程序相關(guān)功能測(cè)試。
● 部署Mercury Load-Runner。從測(cè)試團(tuán)隊(duì)中分化出專職的性能測(cè)試自動(dòng)化工程師和小組，和業(yè)務(wù)部門協(xié)調(diào)，建立A公司應(yīng)用系統(tǒng)上線性能指標(biāo)，通過LoadRunner給出測(cè)試指標(biāo)。
● 建議A公司成立專門的質(zhì)量控制部門，對(duì)TestDirector中的數(shù)據(jù)定期進(jìn)行分析，建立相關(guān)質(zhì)量模型，以便于企業(yè)量化管理和過程改進(jìn)。
方案B: A公司也可以采用IBM Rational產(chǎn)品為主的軟件測(cè)試自動(dòng)化方案。
● 采用Rational Test manager來進(jìn)行整個(gè)測(cè)試流程的管理，為相關(guān)開發(fā)和測(cè)試小組成員分配相應(yīng)權(quán)限，改變以前通過郵件以及Word、Excel文檔管理測(cè)試的工作方式。
● 部署Rational Robot，用它來完成功能相關(guān)的測(cè)試工作以及新版本發(fā)布時(shí)的冒煙測(cè)試。此外，Rational Robot也能較好地完成性能相關(guān)測(cè)試。統(tǒng)一的操作方式降低了工具的學(xué)習(xí)周期和培訓(xùn)帶來的大筆開銷。
● 部署Rational Purify plus，使測(cè)試工作前移到開發(fā)階段。由于Purify plus能較好地支持白盒測(cè)試，編程人員在編碼階段引入的錯(cuò)誤能盡早被檢測(cè)到，這大幅降低了后期測(cè)試的開銷。
● 建議A公司成立專門的質(zhì)量控制部門，對(duì)Test manager中的數(shù)據(jù)定期進(jìn)行分析，建立相關(guān)質(zhì)量模型，以便于企業(yè)量化管理和過程改進(jìn)。
方案C: A公司也可以采用開源軟件為主的軟件測(cè)試自動(dòng)化方案。
● 采用Bugzilla來進(jìn)行Bug跟蹤管理，采用Bugzilla Test Runner進(jìn)行測(cè)試用例管理，采用CVS進(jìn)行測(cè)試資源的配置管理。
● 采用MaxQ和WebInject對(duì)B/S結(jié)構(gòu)的應(yīng)用系統(tǒng)進(jìn)行功能測(cè)試。
● 采用DBMonster、Open－STA、LoadSim進(jìn)行性能相關(guān)測(cè)試。
● 可采用Xunit架構(gòu)的開源工具對(duì)不同語言的程序單元進(jìn)行單元測(cè)試。
● 建議A公司成立專門的開源軟件維護(hù)小組，以解決可能會(huì)碰到的工具維護(hù)工作。
● 建議A公司成立專門的質(zhì)量控制部門，對(duì)Bugzilla、Test Runner、CVS中的數(shù)據(jù)定期進(jìn)行分析，建立相關(guān)質(zhì)量模型，以便于企業(yè)量化管理和過程改進(jìn)。
5． 方案評(píng)價(jià)
由于不同客戶在組織架構(gòu)、員工素質(zhì)以及流程管理水平等方面的不同，我們很難用一個(gè)實(shí)例、一兩句話來說明不同解決方案的適用性。在上面的例子中，筆者給出了3種可行的方案，具體選擇哪一個(gè)，需要仔細(xì)權(quán)衡。這里筆者給出一般性的意見，對(duì)于不想受制于某個(gè)測(cè)試自動(dòng)化廠家的企業(yè)，開源絕對(duì)是一個(gè)理想的選擇。此外，它不需要支付成本，工具的源代碼可以隨意修改，因而具有較好的靈活性。但開源工具的弊端也是明顯的: 缺乏使用培訓(xùn)和技術(shù)支持，工具的用戶界面一般也較為粗糙。而對(duì)于那些比較看重培訓(xùn)和售后支持的企業(yè)，筆者建議選擇IBM Rational或Mercury或其他廠家的產(chǎn)品。這樣雖然需要支付一部分費(fèi)用，但省去了工具維護(hù)所需要的大量工作。至于具體選擇哪個(gè)廠家的產(chǎn)品為好，筆者尚無結(jié)論性意見。相信讀者朋友都有一些見仁見智的看法，不妨來信交流。
實(shí)施中的注意事項(xiàng)
首先，一個(gè)企業(yè)實(shí)施測(cè)試自動(dòng)化，絕對(duì)不是拍腦袋說干就能干好的，它不僅涉及測(cè)試工作本身流程上、組織結(jié)構(gòu)上的調(diào)整與改進(jìn)，甚至也包括需求、設(shè)計(jì)、開發(fā)、維護(hù)及配置管理等其他方面的配合。如果對(duì)這些必要的因素沒有考慮周全的話，必然在實(shí)施過程中處處碰壁，既定的實(shí)施方案也無法開展。其次，盡管自動(dòng)化測(cè)試可以降低人工測(cè)試的工作量，但并不能完全取代手工測(cè)試。100％的自動(dòng)化測(cè)試只是一個(gè)理想目標(biāo)，根據(jù)筆者的經(jīng)驗(yàn)，即便一些如SAP、Oracle ERP等測(cè)試庫規(guī)劃十分完善的套件，其測(cè)試自動(dòng)化率也不會(huì)超過70％。所以一味追求測(cè)試自動(dòng)化只會(huì)給企業(yè)帶來運(yùn)作成本的急劇上升。再次，實(shí)施測(cè)試自動(dòng)化需要企業(yè)有相對(duì)規(guī)模的投入，對(duì)企業(yè)運(yùn)作來說，投入回報(bào)率將是決定是否實(shí)施軟件測(cè)試自動(dòng)化的最終指揮棒，筆者建議企業(yè)在決定實(shí)施軟件測(cè)試自動(dòng)化之前，必須要做量化的投資回報(bào)分析。此外，實(shí)施軟件測(cè)試自動(dòng)化并不意味著必須采購(gòu)強(qiáng)大的自動(dòng)化軟件測(cè)試工具或自動(dòng)化管理平臺(tái)，畢竟軟件質(zhì)量的保證不是依靠產(chǎn)品或技術(shù)，更多的因素在于高素質(zhì)的人員和合理有效的流程。
http://www.testage.net/html/87/n-139487.html參考資料：
http://www.testage.net