1. 软件未达到产品说明书标明的功能。
2. 软件出现了产品说明书指明不会出现的错误。
3. 软件功能超出产品说明书指明范围。
4. 软件未达到产品说明书虽未指出但应达到的目标。
在测试计算器时,会发现电池没电会导致计算不正确,没有人会考虑应如何应付这种情况,使计算器反应正常,而盲目以为电池永远充足了电。测试要持续进行到电池完全没电,至少要看到电力不足的迹象。产品说明书指出电力不足无法正确计算,但未指出会怎样。
5. 软件测试员认为软件难以理解、不易使用、运行速度缓慢,或者最终用户认为不好。
遵守已上这些规则,有助于澄清什么样的软件缺陷才算软件缺陷这个模棱两可的问题,眼见为实。与其说软件有没有“某功能”,不如说软件运行时有“某功能”或者“缺少某功能”来得更确切。由于不能报告没有看见的问题,因此,没有看见就不能说存在软件缺陷。“一片树叶飘落在森林中没有人听见,谁能说它发出了声音?”