《How to break software》是James A.Whittaker 2000年的一篇有关如何组织带有明确目标的
测试策略的文献。
文章将
软件测试的过程比喻为“攻击”软件以发现bug的狩猎过程。目的在于使
测试用例的设计变得有章可循,迅速提高软件测试效率。
James A.Whittaker,测试界的权威人物,先后在
IBM、
Google、Microsoft担任过顾问、工程总监、架构师等职位,在测试领域著有《How google
test software》等著作。
文章将“攻击”软件的策略分为三个大类:
输入/输出攻击
数据攻击
运算攻击
每个类型又分为多个小类型,导致特定的有趣的bug。然后以Microsoft Office系列产品为主要对象,以其中真实的
bug为例,具体说明每一种攻击策略是怎样导致缺陷呈现的。
输入/输出攻击
所谓的“
黑盒测试”,又可以分为以下具体的类型和施行策略。
数据攻击
首先要理解数据是如何、在何处建立是必要的。
从本质上讲,数据的存储是通过读取输入,然后将其存储在内部或者存储一些内部计算的结果来实现的。因此,测试正是通过提供输入和执行计算来实现数据在应用程序中的传递。
具体分为以下具体的类型和施行策略:
运算攻击
总的来说,找bug不外乎几种大概的思路:1.遍历一遍输入,把能出现的结果都覆盖到;2.通过构造错误的输出来设计输入并执行输入,验证是否bug;3.有相互作用的事务组合测试,包括相互作用的数据、功能等行为。
另外,作者提出了两个更重要的测试思想:
1.永远不要低估了测试时怀揣一个具体目标的作用。太多的测试人员把时间浪费在毫无目的地输入或者随机地调用API试图导致软件出错。实行测试意味着制定明确的目标——基于会出错的点——然后设计测试用例来实践该目标。这样,每个测试用例都有目的性并且进度可以被随时控制。
2.测试应该是有趣的。