一、 概述
5 u/ `8 m) J) O' h( G4 n1 U
' a# T& X* X1 {4 E; r在軟件生命周期中的任何一個(gè)階段，只要軟件發(fā)生了改變，就可能給該軟件帶來(lái)問(wèn)題。軟件的改變可能是源于發(fā)現(xiàn)了錯(cuò)誤并做了修改，也有可能是因?yàn)樵诩�成或維護(hù)階段加入了新的模塊。當(dāng)軟件中所含錯(cuò)誤被發(fā)現(xiàn)時(shí)，如果錯(cuò)誤跟蹤與管理系統(tǒng)不夠完善，就可能會(huì)遺漏對(duì)這些錯(cuò)誤的修改；而開(kāi)發(fā)者對(duì)錯(cuò)誤理解的不夠透徹，也可能導(dǎo)致所做的修改只修正了錯(cuò)誤的外在表現(xiàn)，而沒(méi)有修復(fù)錯(cuò)誤本身，從而造成修改失敗；修改還有可能產(chǎn)生副作用從而導(dǎo)致軟件未被修改的部分產(chǎn)生新的問(wèn)題，使本來(lái)工作正常的功能產(chǎn)生錯(cuò)誤。同樣，在有新代碼加入軟件的時(shí)候，除了新加入的代碼中有可能含有錯(cuò)誤外，新代碼還有可能對(duì)原有的代碼帶來(lái)影響。因此，每當(dāng)軟件發(fā)生變化時(shí)，我們就必須重新測(cè)試現(xiàn)有的功能，以便確定修改是否達(dá)到了預(yù)期的目的，檢查修改是否損害了原有的正常功能。同時(shí)，還需要補(bǔ)充新的測(cè)試用例來(lái)測(cè)試新的或被修改了的功能。為了驗(yàn)證修改的正確性及其影響就需要進(jìn)行回歸測(cè)試。 ; ]$ v6 C$ |/ T8 F" E& ~
( J) d# J. j9 i0 r
回歸測(cè)試在軟件生命周期中扮演著重要的角色，因忽視回歸測(cè)試而造成嚴(yán)重后果的例子不計(jì)其數(shù)，導(dǎo)致阿里亞娜5型火箭發(fā)射失敗的軟件缺陷就是由于復(fù)用的代碼沒(méi)有經(jīng)過(guò)充分的回歸測(cè)試造成的。
; f1 v0 t& R9 B) c  n7 n- a. C# F$ K1 S1 a, B
回歸測(cè)試作為軟件生命周期的一個(gè)組成部分，在整個(gè)軟件測(cè)試過(guò)程中占有很大的工作量比重，軟件開(kāi)發(fā)的各個(gè)階段都會(huì)進(jìn)行多次回歸測(cè)試。在漸進(jìn)和快速迭代開(kāi)發(fā)中，新版本的連續(xù)發(fā)布使回歸測(cè)試進(jìn)行的更加頻繁，而在極端編程方法中，更是要求每天都進(jìn)行若干次回歸測(cè)試。因此，通過(guò)選擇正確的回歸測(cè)試策略來(lái)改進(jìn)回歸測(cè)試的效率和有效性是非常有意義的。 ! {1 ~, G* e2 d) {5 x% m. i# Z

2 ]2 w% p' X' Y5 m6 N& O二、 回歸測(cè)試策略 9 s4 H" E( @$ X
. v; P2 n: m: P/ N' a* _; {! Y
對(duì)于一個(gè)軟件開(kāi)發(fā)項(xiàng)目來(lái)說(shuō)，項(xiàng)目的測(cè)試組在實(shí)施測(cè)試的過(guò)程中會(huì)將所開(kāi)發(fā)的測(cè)試用例保存到“測(cè)試用例庫(kù)”中，并對(duì)其進(jìn)行維護(hù)和管理。當(dāng)?shù)玫揭粋�(gè)軟件的基線版本時(shí)，用于基線版本測(cè)試的所有測(cè)試用例就形成了基線測(cè)試用例庫(kù)。在需要進(jìn)行回歸測(cè)試的時(shí)候，就可以根據(jù)所選擇的回歸測(cè)試策略，從基線測(cè)試用例庫(kù)中提取合適的測(cè)試用例組成回歸測(cè)試包，通過(guò)運(yùn)行回歸測(cè)試包來(lái)實(shí)現(xiàn)回歸測(cè)試。保存在基線測(cè)試用例庫(kù)中的測(cè)試用例可能是自動(dòng)測(cè)試腳本，也有可能是測(cè)試用例的手工實(shí)現(xiàn)過(guò)程。 2 }) v+ D. O$ o# V0 V( Y7 a

% k" B7 j3 d, \, Q( I7 X" q回歸測(cè)試需要時(shí)間、經(jīng)費(fèi)和人力來(lái)計(jì)劃、實(shí)施和管理。為了在給定的預(yù)算和進(jìn)度下，盡可能有效率和有效力地進(jìn)行回歸測(cè)試，需要對(duì)測(cè)試用例庫(kù)進(jìn)行維護(hù)并依據(jù)一定的策略選擇相應(yīng)的回歸測(cè)試包。 % [7 D4 E6 Q: Y# t& a

. u1 H; s9 A$ {$ x. Z4 D1 \1、測(cè)試用例庫(kù)的維護(hù) " X5 b4 y* O& R% W
( [% D) V8 `( e% i
為了最大限度地滿足客戶的需要和適應(yīng)應(yīng)用的要求，軟件在其生命周期中會(huì)頻繁地被修改和不斷推出新的版本，修改后的或者新版本的軟件會(huì)添加一些新的功能或者在軟件功能上產(chǎn)生某些變化。隨著軟件的改變，軟件的功能和應(yīng)用接口以及軟件的實(shí)現(xiàn)發(fā)生了演變，測(cè)試用例庫(kù)中的一些測(cè)試用例可能會(huì)失去針對(duì)性和有效性，而另一些測(cè)試用例可能會(huì)變得過(guò)時(shí)，還有一些測(cè)試用例將完全不能運(yùn)行。為了保證測(cè)試用例庫(kù)中測(cè)試用例的有效性，必須對(duì)測(cè)試用例庫(kù)進(jìn)行維護(hù)。同時(shí)，被修改的或新增添的軟件功能，僅僅靠重新運(yùn)行以前的測(cè)試用例并不足以揭示其中的問(wèn)題，有必要追加新的測(cè)試用例來(lái)測(cè)試這些新的功能或特征。因此，測(cè)試用例庫(kù)的維護(hù)工作還應(yīng)包括開(kāi)發(fā)新測(cè)試用例，這些新的測(cè)試用例用來(lái)測(cè)試軟件的新特征或者覆蓋現(xiàn)有測(cè)試用例無(wú)法覆蓋的軟件功能或特征。 ' {2 ~! n! W0 e" n5 @$ q/ S; B- N

3 c" U2 G5 W' V! L6 V% e! b測(cè)試用例的維護(hù)是一個(gè)不間斷的過(guò)程，通常可以將軟件開(kāi)發(fā)的基線作為基準(zhǔn)，維護(hù)的主要內(nèi)容包括下述幾個(gè)方面。 / J* Y; h+ C# k! h, X; B
) d/ S8 N+ A0 \4 `6 u
(1)、刪除過(guò)時(shí)的測(cè)試用例
& p5 n$ c! C. @/ g+ W% E
) n8 a+ _/ ~+ W; ~* E. n6 Q) d- [: ~因?yàn)樾枨蟮母淖兊仍�因可能�?huì)使一個(gè)基線測(cè)試用例不再適合被測(cè)試系統(tǒng)，這些測(cè)試用例就會(huì)過(guò)時(shí)。例如，某個(gè)變量的界限發(fā)生了改變，原來(lái)針對(duì)邊界值的測(cè)試就無(wú)法完成對(duì)新邊界測(cè)試。所以，在軟件的每次修改后都應(yīng)進(jìn)行相應(yīng)的過(guò)時(shí)測(cè)試用例的刪除。
8 |5 z& n3 T" b0 E* E! S7 I' ~1 k5 S& Q+ H" i% ^) H
(2)、改進(jìn)不受控制的測(cè)試用例 / N! y* }& k+ y" T" Z

# O, j; u! p1 m隨著軟件項(xiàng)目的進(jìn)展，測(cè)試用例庫(kù)中的用例會(huì)不斷增加，其中會(huì)出現(xiàn)一些對(duì)輸入或運(yùn)行狀態(tài)十分敏感的測(cè)試用例。這些測(cè)試不容易重復(fù)且結(jié)果難以控制，會(huì)影響回歸測(cè)試的效率，需要進(jìn)行改進(jìn)，使其達(dá)到可重復(fù)和可控制的要求。
2 s, m* R8 J1 }& m, }) ]9 P$ D* Z& i) g9 v- j
(3)、刪除冗余的測(cè)試用例
7 F8 E9 n3 R! w+ e  R+ b8 ?0 _) y, {% {/ Q
如果存在兩個(gè)或者更多個(gè)測(cè)試用例針對(duì)一組相同的輸入和輸出進(jìn)行測(cè)試，那么這些測(cè)試用例是冗余的。冗余測(cè)試用例的存在降低了回歸測(cè)試的效率。所以需要定期的整理測(cè)試用例庫(kù)，并將冗余的用例刪除掉。
. @0 J+ W8 v2 \* i. Y3 x1 j6 Q/ F9 `8 c) F! \
(4)、增添新的測(cè)試用例
! h0 e; |. Y5 S; D- {( P% t3 `& O$ F5 O) K
如果某個(gè)程序段、構(gòu)件或關(guān)鍵的接口在現(xiàn)有的測(cè)試中沒(méi)有被測(cè)試，那么應(yīng)該開(kāi)發(fā)新測(cè)試用例重新對(duì)其進(jìn)行測(cè)試。并將新開(kāi)發(fā)的測(cè)試用例合并到基線測(cè)試包中。 : m: J9 e9 X' V1 q3 D0 K8 S
4 L2 T' T) k5 f0 h
通過(guò)對(duì)測(cè)試用例庫(kù)的維護(hù)不僅改善了測(cè)試用例的可用性，而且也提高了測(cè)試庫(kù)的可信性，同時(shí)還可以將一個(gè)基線測(cè)試用例庫(kù)的效率和效用保持在一個(gè)較高的級(jí)別上。
! p* ]; @. E. C# p) P( u# C( ~" X, W0 e1 z! b
2、回歸測(cè)試包的選擇 ! F" r: ?4 e1 W8 I

# d9 B& \) R! x  c! F1 V在軟件生命周期中，即使一個(gè)得到良好維護(hù)的測(cè)試用例庫(kù)也可能變得相當(dāng)大，這使每次回歸測(cè)試都重新運(yùn)行完整的測(cè)試包變得不切實(shí)際。一個(gè)完全的回歸測(cè)試包括每個(gè)基線測(cè)試用例，時(shí)間和成本約束可能阻礙運(yùn)行這樣一個(gè)測(cè)試，有時(shí)測(cè)試組不得不選擇一個(gè)縮減的回歸測(cè)試包來(lái)完成回歸測(cè)試。 . N, K6 ~9 o7 C6 ?

5 b" i9 k* S. t) }" N& L回歸測(cè)試的價(jià)值在于它是一個(gè)能夠檢測(cè)到回歸錯(cuò)誤的受控實(shí)驗(yàn)。當(dāng)測(cè)試組選擇縮減的回歸測(cè)試時(shí)，有可能刪除了將揭示回歸錯(cuò)誤的測(cè)試用例，消除了發(fā)現(xiàn)回歸錯(cuò)誤的機(jī)會(huì)。然而，如果采用了代碼相依性分析等安全的縮減技術(shù)，就可以決定哪些測(cè)試用例可以被刪除而不會(huì)讓回歸測(cè)試的意圖遭到破壞。
& M# l) r( @: b' r; `5 p) ^& K9 x( ?" ~$ a, Q
選擇回歸測(cè)試策略應(yīng)該兼顧效率和有效性兩個(gè)方面。常用的選擇回歸測(cè)試的方式包括： 2 |& d6 D0 t& s) _" V
; P; f; a& u9 F  m# k2 V% z
(1)、再測(cè)試全部用例
+ Q# e) @" |, C
" P) `8 h2 \2 A2 F( H  l選擇基線測(cè)試用例庫(kù)中的全部測(cè)試用例組成回歸測(cè)試包，這是一種比較安全的方法，再測(cè)試全部用例具有最低的遺漏回歸錯(cuò)誤的風(fēng)險(xiǎn)，但測(cè)試成本最高。全部再測(cè)試幾乎可以應(yīng)用到任何情況下，基本上不需要進(jìn)行分析和重新開(kāi)發(fā)，但是，隨著開(kāi)發(fā)工作的進(jìn)展，測(cè)試用例不斷增多，重復(fù)原先所有的測(cè)試將帶來(lái)很大的工作量，往往超出了我們的預(yù)算和進(jìn)度。 , M  m  {5 _. ^& J2 x
, [# U2 l2 y9 X- E  u3 C# O! A
(2)、基于風(fēng)險(xiǎn)選擇測(cè)試 ! A1 [4 l* i7 D8 v. l% y

: {3 ?+ z% F) r: W) H6 F可以基于一定的風(fēng)險(xiǎn)標(biāo)準(zhǔn)來(lái)從基線測(cè)試用例庫(kù)中選擇回歸測(cè)試包。首先運(yùn)行最重要的、關(guān)鍵的和可疑的測(cè)試，而跳過(guò)那些非關(guān)鍵的、優(yōu)先級(jí)別低的或者高穩(wěn)定的測(cè)試用例，這些用例即便可能測(cè)試到缺陷，這些缺陷的嚴(yán)重性也僅有三級(jí)或四級(jí)。一般而言，測(cè)試從主要特征到次要特征。
) N% e- z, G# c5 ^0 I! }
& L3 b) F( R3 n- z6 j4 y(3)、基于操作剖面選擇測(cè)試 ! j$ c0 W% T" V( f

. e1 B0 @5 z+ U5 V' _# X/ g如果基線測(cè)試用例庫(kù)的測(cè)試用例是基于軟件操作剖面開(kāi)發(fā)的，測(cè)試用例的分布情況反映了系統(tǒng)的實(shí)際使用情況。回歸測(cè)試所使用的測(cè)試用例個(gè)數(shù)可以由測(cè)試預(yù)算確定，回歸測(cè)試可以優(yōu)先選擇那些針對(duì)最重要或最頻繁使用功能的測(cè)試用例，釋放和緩解最高級(jí)別的風(fēng)險(xiǎn)，有助于盡早發(fā)現(xiàn)那些對(duì)可靠性有最大影響的故障。這種方法可以在一個(gè)給定的預(yù)算下最有效的提高系統(tǒng)可靠性，但實(shí)施起來(lái)有一定的難度。 * {" t3 Q! y( @7 z  ?9 [! n1 }& o
7 V! A$ \4 M% I( f% W* w2 A' g4 E1 K. U
(4)、再測(cè)試修改的部分
) _/ ^9 z3 G7 S8 N* E% q/ _8 h* k* k$ t% R' m) y
當(dāng)測(cè)試者對(duì)修改的局部化有足夠的信心時(shí)，可以通過(guò)相依性分析識(shí)別軟件的修改情況并分析修改的影響，將回歸測(cè)試局限于被改變的模塊和它的接口上。通常，一個(gè)回歸錯(cuò)誤一定涉及一個(gè)新的、修改的或刪除的代碼段。在允許的條件下，回歸測(cè)試盡可能覆蓋受到影響的部分。 ( I+ J, a6 X8 o
+ i% r, P& x. }
再測(cè)試全部用例的策略是最安全的策略，但已經(jīng)運(yùn)行過(guò)許多次的回歸測(cè)試不太可能揭示新的錯(cuò)誤，而且很多時(shí)候，由于時(shí)間、人員、設(shè)備和經(jīng)費(fèi)的原因，不允許選擇再測(cè)試全部用例的回歸測(cè)試策略，此時(shí)，可以選擇適當(dāng)?shù)牟呗赃M(jìn)行縮減的回歸測(cè)試。
' s' o6 W& ^- Z0 k" F
% e& n9 K9 s% G3、回歸測(cè)試的基本過(guò)程 8 X+ b" x! E" Y. `( E1 t
7 S5 p% q; o- J+ _
有了測(cè)試用例庫(kù)的維護(hù)方法和回歸測(cè)試包的選擇策略，回歸測(cè)試可遵循下述基本過(guò)程進(jìn)行:
2 W0 N8 T3 H5 \9 O1 @) b3 U, x; G7 m" g3 c' w! W% e% g
(1). 識(shí)別出軟件中被修改的部分；
# j: l2 T6 ^: T, X2 o( f/ X' w2 E6 Q* L1 f# ^
(2). 從原基線測(cè)試用例庫(kù)T中，排除所有不再適用的測(cè)試用例，確定那些對(duì)新的軟件版本依然有效的測(cè)試用例，其結(jié)果是建立一個(gè)新的基線測(cè)試用例庫(kù)T0。
4 Z2 A0 C. t9 x' G! \+ u
# `4 x& @, f8 `' K8 V(3). 依據(jù)一定的策略從T0中選擇測(cè)試用例測(cè)試被修改的軟件。 ' r6 Q/ |' O6 g& O
5 C# N5 b; Y! D+ I
(4). 如果必要，生成新的測(cè)試用例集T1，用于測(cè)試T0無(wú)法充分測(cè)試的軟件部分。 7 _- N: x1 P: h2 J5 Y
/ a6 M3 Q" F; H5 a
(5). 用T1執(zhí)行修改后的軟件。
9 i( |: `* ]) z& C( F4 W& Z; Z
/ ?6 V8 }" ?, n3 }8 e第(2)和第(3)步測(cè)試驗(yàn)證修改是否破壞了現(xiàn)有的功能，第(4)和第(5)步測(cè)試驗(yàn)證 修改工作本身。
" P1 d7 ^  r7 [  u! i: o
7 e/ Q5 L* [4 @! U4 H. l7 V3 P2 w) T三、 回歸測(cè)試實(shí)踐 $ ^2 y1 h  {% c6 q0 M- a
' D4 I1 B# ~* R' n" P0 I7 V$ T+ z
在實(shí)際工作中，回歸測(cè)試需要反復(fù)進(jìn)行，當(dāng)測(cè)試者一次又一次地完成相同的測(cè)試時(shí)，這些回歸測(cè)試將變得非常令人厭煩，而在大多數(shù)回歸測(cè)試需要手工完成的時(shí)候尤其如此，因此，需要通過(guò)自動(dòng)測(cè)試來(lái)實(shí)現(xiàn)重復(fù)的和一致的回歸測(cè)試。通過(guò)測(cè)試自動(dòng)化可以提高回歸測(cè)試效率。為了支持多種回歸測(cè)試策略，自動(dòng)測(cè)試工具應(yīng)該是通用的和靈活的，以便滿足達(dá)到不同回歸測(cè)試目標(biāo)的要求。
) ~4 E3 [) b( P+ p1 _  Q. U
' W0 f! V$ H3 ]! b9 Y在測(cè)試軟件時(shí)，應(yīng)用多種測(cè)試技術(shù)是常見(jiàn)的。當(dāng)測(cè)試一個(gè)修改了的軟件時(shí)，測(cè)試者也可能希望采用多于一種回歸測(cè)試策略來(lái)增加對(duì)修改軟件的信心。不同的測(cè)試者可能會(huì)依據(jù)自己的經(jīng)驗(yàn)和判斷選擇不同的回歸測(cè)試技術(shù)和策略。 0 N! k# A. M& m- q( {( M3 f
1 f5 h, C3 Q6 r" I" X) x$ Q# ~# o
回歸測(cè)試并不減少對(duì)系統(tǒng)新功能和特征的測(cè)試需求，回歸測(cè)試包應(yīng)包括新功能和特征的測(cè)試。如果回歸測(cè)試包不能達(dá)到所需的覆蓋要求，必須補(bǔ)充新的測(cè)試用例使覆蓋率達(dá)到規(guī)定的要求。 6 M7 ^6 Y4 F2 B/ ~4 j) U, G

- X8 l; E* n4 h, z回歸測(cè)試是重復(fù)性較多的活動(dòng)，容易使測(cè)試者感到疲勞和厭倦，降低測(cè)試效率，在實(shí)際工作中可以采用一些策略減輕這些問(wèn)題。例如，安排新的測(cè)試者完成手工回歸測(cè)試，分配更有經(jīng)驗(yàn)的測(cè)試者開(kāi)發(fā)新的測(cè)試用例，編寫(xiě)和調(diào)試自動(dòng)測(cè)試腳本，做一些探索性的或ad hoc測(cè)試。還可以在不影響測(cè)試目標(biāo)的情況下，鼓勵(lì)測(cè)試者創(chuàng)造性地執(zhí)行測(cè)試用例，變化的輸入、按鍵和配置能夠有助于激勵(lì)測(cè)試者又能揭示新的錯(cuò)誤。 9 S2 _* Y+ h, H4 L$ j- S' {9 F/ k
+ z, B! @9 ^6 e
在組織回歸測(cè)試時(shí)需要注意兩點(diǎn)，首先是各測(cè)試階段發(fā)生的修改一定要在本測(cè)試階段內(nèi)完成回歸，以免將錯(cuò)誤遺留到下一測(cè)試階段。其次，回歸測(cè)試期間應(yīng)對(duì)該軟件版本凍結(jié)，將回歸測(cè)試發(fā)現(xiàn)的問(wèn)題集中修改，集中回歸。
* C. O6 o9 ^! D' Y" I( W  m6 J% j. {, Z8 X
在實(shí)際工作中，可以將回歸測(cè)試與兼容性測(cè)試結(jié)合起來(lái)進(jìn)行。在新的配置條件下運(yùn)行舊的測(cè)試可以發(fā)現(xiàn)兼容性問(wèn)題，而同時(shí)也可以揭示編碼在回歸方面的錯(cuò)誤。
, i' i# _) j: N" i( C' s1 H6 V/ ~- u' u$ X5 z/ R' y