徹底的軟件測試是可行的嗎？
[導(dǎo)讀]有些軟件的功能非常簡單，比如簡單的數(shù)學(xué)運算，或者統(tǒng)計用戶輸入字符的數(shù)量；有些軟件的功能非常復(fù)雜，比如操作系統(tǒng)，或者汽車的自動駕駛算法等等。對于復(fù)雜的軟件，因為它們極高的復(fù)雜度，我們很容易理解它們?yōu)槭裁春茈y“完美”，所以，強如微軟，也會發(fā)生比爾·蓋茨演示W(wǎng)indows98時藍屏的尷...
有些軟件的功能非常簡單，比如簡單的數(shù)學(xué)運算，或者統(tǒng)計用戶輸入字符的數(shù)量；有些軟件的功能非常復(fù)雜，比如操作系統(tǒng)，或者汽車的自動駕駛算法等等。
對于復(fù)雜的軟件，因為它們極高的復(fù)雜度，我們很容易理解它們?yōu)槭裁春茈y“完美”，所以，強如微軟，也會發(fā)生比爾·蓋茨演示W(wǎng)indows 98時藍屏的尷尬；強如特斯拉，也會發(fā)生自動駕駛狀態(tài)的汽車徑直撞向大貨車的悲劇。
那么，對于特別簡單的軟件，我們是不是可以進行"徹底"的測試，保證它們是完美的呢？
這是不可能的！即使擁有無限的預(yù)算，我們也無法做到這一點。我們來分析一個簡單的程序：它接受用戶輸入的字符串，統(tǒng)計其中的字符數(shù)量。比如，對于輸入字符串"Python", 統(tǒng)計結(jié)果為6, 對于"test", 統(tǒng)計結(jié)果為4，等等。
要確保這個程序是"完美"的，我們就需要驗證所有可能的輸入。用戶可能輸入一個簡單的字符，也可能輸入整部《三國演義》，或者更多，我們無法預(yù)知用戶的輸入，用戶輸入的字符的數(shù)量在理論上可以是任意一個自然數(shù)，而自然數(shù)的數(shù)量是無窮大的，我們無法把所有的情況都覆蓋到。
如果把問題簡化，限定用戶最多只能輸入10個字符，超過10個字符的情況就告知用戶無法處理，這種情況下，我們能否進行"徹底"的測試？
這也是不可能的！
在用戶輸入超過10個字符的情況下，程序真的會告知用戶無法處理嗎？為了確認這一點，我們需要把所有超過10個字符的輸入都覆蓋到，確保程序會告知無法處理，而不是意外地返回一個錯誤的統(tǒng)計值。大于10的自然數(shù)仍然是無窮多的，我們還是無法把所有的情況都覆蓋到。
如果我們把問題再度簡化，只測試字符數(shù)量在10以內(nèi)的"有效"輸入呢？
世界上有許許多多的語言和文字，unicode編碼可以涵蓋世界上所有語言的字符，它包含的字符的數(shù)量級大概是一百萬。粗略地估算下來，用戶輸入字符數(shù)量為1的情況，我們有100萬個測試要驗證；用戶輸入字符數(shù)量為10的情況，我們有100萬的10次方個測試要驗證,只要有一個測試沒有被覆蓋到，我們就不能打包票說在那種情況下程序可以正常工作，也就不敢打包票說程序是沒有bug的。
就像發(fā)財“捷徑”買彩票一樣，每一組號碼要買都是要錢的，買下的號碼很可能都打了水票，但是你總覺得你沒買的號碼里可能有”驚喜”。
在現(xiàn)實世界中，絕大部分的軟件程序比這個字符統(tǒng)計的程序要復(fù)雜得多，它們一定或多或少有bug沒有被發(fā)現(xiàn)，或者有bug被發(fā)現(xiàn)了卻沒有被修復(fù)，它們肯定稱不上完美，卻仍然達到了較高的軟件質(zhì)量，這當(dāng)然不是因為它們把測試做得非常徹底，而是因為放棄追求不切實際的"完美"，在預(yù)算范圍內(nèi)采用了合適的測試策略，得到較高的投資回報率。
其中的一個策略，是關(guān)注核心功能。
我們在買新車的時候，會對車進行非常細心的檢查，剎車燈不亮，雨刮器有異響，或者輪轂有輕微刮擦，都可能導(dǎo)致我們拒絕收車。
在買二手車的時候，情況就不一樣了，因為我們會有充足的心理準備來接受不完美。面對一輛標價5萬的二手轎車，我們在驗車的時候一定會重點驗證發(fā)動機、變速箱、車架、轉(zhuǎn)向機；至于空調(diào)是不是能制冷，我們可能會關(guān)注，但是不會過多影響我們的決定；至于車門上的車漆是否有色差，我們根本就不會花時間去看！為什么買二手車的時候，我們變得不那么挑剔了？
是因為"窮"！其實，我們還是挑剔的，只是，因為預(yù)算有限，我們深知無法買到完美的車，所以我們會做妥協(xié)。軟件測試的思路也是這樣的。我們無法保證軟件產(chǎn)品的"完美"，在預(yù)算和資源有限的情況下，我們需要專注于軟件的核心功能，盡量保證核心功能得到良好的測試。
以字符統(tǒng)計的程序為例，如果它的主要用戶是中國用戶，我們可以重點測試中文和英文字符，而不需要花精力去測試程序?qū)τ趤喢滥醽喺Z字符的表現(xiàn)，在非核心功能的測試成本比較高的情況下更應(yīng)該如此，否則，我們花費了寶貴的人力和時間，只是收獲了用戶可能并不太在乎的完美度，就像是架起高射炮只是為了打蚊子，成本很高，收益很小，不值得。
合理的軟件測試思路是把錢花在刀刃上，重點關(guān)注核心功能的測試，預(yù)算有限時應(yīng)該如此，預(yù)算充足時同樣應(yīng)該如此。
本文內(nèi)容節(jié)選改編自碼農(nóng)徐西寧寫的《軟件自動化測試實戰(zhàn)解析_基于Python3編程語言》一書，更多關(guān)于軟件自動化測試的內(nèi)容，請戳這里下單：
友情提示：出版社特別提供了額外的粉絲限時福利（2021年8月有效），有更多優(yōu)惠哦：
* 本書的范例代碼提供免費下載, 請關(guān)注公眾號，發(fā)送消息“代碼”，即可得到下載地址 *
對于復(fù)雜的軟件，因為它們極高的復(fù)雜度，我們很容易理解它們?yōu)槭裁春茈y“完美”，所以，強如微軟，也會發(fā)生比爾·蓋茨演示W(wǎng)indows 98時藍屏的尷尬；強如特斯拉，也會發(fā)生自動駕駛狀態(tài)的汽車徑直撞向大貨車的悲劇。
那么，對于特別簡單的軟件，我們是不是可以進行"徹底"的測試，保證它們是完美的呢？
這是不可能的！即使擁有無限的預(yù)算，我們也無法做到這一點。我們來分析一個簡單的程序：它接受用戶輸入的字符串，統(tǒng)計其中的字符數(shù)量。比如，對于輸入字符串"Python", 統(tǒng)計結(jié)果為6, 對于"test", 統(tǒng)計結(jié)果為4，等等。
要確保這個程序是"完美"的，我們就需要驗證所有可能的輸入。用戶可能輸入一個簡單的字符，也可能輸入整部《三國演義》，或者更多，我們無法預(yù)知用戶的輸入，用戶輸入的字符的數(shù)量在理論上可以是任意一個自然數(shù)，而自然數(shù)的數(shù)量是無窮大的，我們無法把所有的情況都覆蓋到。
如果把問題簡化，限定用戶最多只能輸入10個字符，超過10個字符的情況就告知用戶無法處理，這種情況下，我們能否進行"徹底"的測試？
這也是不可能的！
在用戶輸入超過10個字符的情況下，程序真的會告知用戶無法處理嗎？為了確認這一點，我們需要把所有超過10個字符的輸入都覆蓋到，確保程序會告知無法處理，而不是意外地返回一個錯誤的統(tǒng)計值。大于10的自然數(shù)仍然是無窮多的，我們還是無法把所有的情況都覆蓋到。
如果我們把問題再度簡化，只測試字符數(shù)量在10以內(nèi)的"有效"輸入呢？
世界上有許許多多的語言和文字，unicode編碼可以涵蓋世界上所有語言的字符，它包含的字符的數(shù)量級大概是一百萬。粗略地估算下來，用戶輸入字符數(shù)量為1的情況，我們有100萬個測試要驗證；用戶輸入字符數(shù)量為10的情況，我們有100萬的10次方個測試要驗證,只要有一個測試沒有被覆蓋到，我們就不能打包票說在那種情況下程序可以正常工作，也就不敢打包票說程序是沒有bug的。
就像發(fā)財“捷徑”買彩票一樣，每一組號碼要買都是要錢的，買下的號碼很可能都打了水票，但是你總覺得你沒買的號碼里可能有”驚喜”。
在現(xiàn)實世界中，絕大部分的軟件程序比這個字符統(tǒng)計的程序要復(fù)雜得多，它們一定或多或少有bug沒有被發(fā)現(xiàn)，或者有bug被發(fā)現(xiàn)了卻沒有被修復(fù)，它們肯定稱不上完美，卻仍然達到了較高的軟件質(zhì)量，這當(dāng)然不是因為它們把測試做得非常徹底，而是因為放棄追求不切實際的"完美"，在預(yù)算范圍內(nèi)采用了合適的測試策略，得到較高的投資回報率。
其中的一個策略，是關(guān)注核心功能。
我們在買新車的時候，會對車進行非常細心的檢查，剎車燈不亮，雨刮器有異響，或者輪轂有輕微刮擦，都可能導(dǎo)致我們拒絕收車。
在買二手車的時候，情況就不一樣了，因為我們會有充足的心理準備來接受不完美。面對一輛標價5萬的二手轎車，我們在驗車的時候一定會重點驗證發(fā)動機、變速箱、車架、轉(zhuǎn)向機；至于空調(diào)是不是能制冷，我們可能會關(guān)注，但是不會過多影響我們的決定；至于車門上的車漆是否有色差，我們根本就不會花時間去看！為什么買二手車的時候，我們變得不那么挑剔了？
是因為"窮"！其實，我們還是挑剔的，只是，因為預(yù)算有限，我們深知無法買到完美的車，所以我們會做妥協(xié)。軟件測試的思路也是這樣的。我們無法保證軟件產(chǎn)品的"完美"，在預(yù)算和資源有限的情況下，我們需要專注于軟件的核心功能，盡量保證核心功能得到良好的測試。
以字符統(tǒng)計的程序為例，如果它的主要用戶是中國用戶，我們可以重點測試中文和英文字符，而不需要花精力去測試程序?qū)τ趤喢滥醽喺Z字符的表現(xiàn)，在非核心功能的測試成本比較高的情況下更應(yīng)該如此，否則，我們花費了寶貴的人力和時間，只是收獲了用戶可能并不太在乎的完美度，就像是架起高射炮只是為了打蚊子，成本很高，收益很小，不值得。
合理的軟件測試思路是把錢花在刀刃上，重點關(guān)注核心功能的測試，預(yù)算有限時應(yīng)該如此，預(yù)算充足時同樣應(yīng)該如此。
本文內(nèi)容節(jié)選改編自碼農(nóng)徐西寧寫的《軟件自動化測試實戰(zhàn)解析_基于Python3編程語言》一書，更多關(guān)于軟件自動化測試的內(nèi)容，請戳這里下單：
友情提示：出版社特別提供了額外的粉絲限時福利（2021年8月有效），有更多優(yōu)惠哦：
* 本書的范例代碼提供免費下載, 請關(guān)注公眾號，發(fā)送消息“代碼”，即可得到下載地址 *
下載文檔
