写在前面
近期在研究如何提高软件测试质量和效率,发现要完成这个课题,先要搞清楚如何评价软件测试质量和效率?搜罗了不少资料,木有找到权威的说法,于是结合自己的经验进行了总结,便得此文,愿抛砖与业界朋友探讨。
软件测试质量和效率评价的范畴
原本打算将软件测试质量和效率分别评价,但基于软件测试不可穷尽的特点,以及测试时间总是那么紧张的现实,更多的时候我们需要在质量和效率之间加以权衡,在有限的测试时间内得到可用的系统或产品。因此,质量和效率有着相互制约的关系,但对于一个系统或产品的测试来说,质量和效率都是衡量测试是否成功的指标,索性放在一起讨论。
经过分析,我认为一个测试效果的好坏可以从以下四个大的方面进行评价,如图1:
1、测试质量评价:对测试产出及结果的评价,评价比重30%
2、测试效率评价:测试过程中若干项工作的效率评价,评价比重30%
3、测试文档评价:测试文档质量的评价,包括对测试方案、测试设计、测试用例、缺陷报告单、测试报告等文档的评价。评价比重25%
4、测试过程评价:对测试中若干过程执行情况及效果的评价,包括文档评审、测试沟通、执行过程等评价。评价比重15%
图1 测试质量和效率评价
详细评价指标
详细评价指标参考下表:
表1:测试质量和效率评价指标
下面详细解读各指标含义及评价标准。
测试质量评价
序号 | 评价指标 | 指标含义 | 指标解读 | 备注 |
1 | 有效Bug比例 | 有效Bug数/总Bug数
| 所提Bug有效率越高,说明测试工作越有效,所作无用功越少。 | 不太赞同用Bug数衡量测试质量。 |
2 | 严重Bug比例 | 严重Bug数/有效Bug数 | 严重Bug所占比例越高,表征测试越有效,对系统帮助越大。 | |
3 | 漏测Bug加权数 | 漏测Bug*严重系数之和 | 漏测Bug加权数越高,表征测试质量越低。 | 因项目周期、用户缺陷反馈渠道等问题,漏测Bug的统计可能遇到障碍。 |
测试效率评价
序号 | 评价指标 | 指标含义 | 指标解读 | 备注 |
1 | 工作按计划完成率 | 1-(实际耗时-计划耗时)/计划耗时 | 工作能够按照计划完成,表征测试过程控制合理,测试效率也得以保证。 | 前提是需要一份完整且可执行性强的测试计划。 |
2 | 日均有效Bug加权数 | 有效Bug加权数/测试工作日 | 日均有效Bug加权数越多,表征工作效率越高。 | 更适合于对个人工作效率的评价,因为需要横向对比。 |
3 | 测试文档生产率 | 文档页数*难度系数/撰写文档耗时 | 单位时间产出文档越多,表征文档生成效率越高。 | 文档质量单独评价,见下节。 |
4 | 文档评审效率 | (评审建议数+问题数)/评审耗时 | 单位时间内评审出问题越多,表征工作效率越高。 | |
测试效率评价
序号 | 评价指标 | 指标含义 | 指标解读 | 备注 |
1 | 测试计划文档质量 | 测试计划的规范性,及指导测试的作用是否达到。 | 测试计划体现测试人员对任务量估计、分工及风险的预估能力,文档越规范、越有效,说明文档质量越高,该项工作的质量也越高。 | 测试文档的质量从某种程度上反映着测试的质量。 |
2 | 测试方案文档质量 | 测试方案的规范性,及指导测试的作用是否达到。 | 测试方案体现测试人员对项目测试整体的把握能力,文档越规范、越有效,说明文档质量越高,该项工作的质量也越高。 | |
3 | 测试设计/用例文档质量 | 测试设计和用例文档的规范性,及指导测试的作用是否达到。 | 测试设计和用例体现测试人员的用例设计水平,即解决测试问题的水平,文档越规范、越有效,说明文档质量越高,该项工作的质量也越高。 | |
4 | 缺陷报告单质量 | 缺陷报告单的规范性和有效性。 | 缺陷报告单越规范、越有效,对测试问题定位帮助越大。 | |
5 | 测试报告文档质量 | 测试报告文档的规范性,及指导测试的作用是否达到。 | 测试报告体现测试人员归纳、总结测试数据,呈现测试结论的能力。文档越规范、越有效,说明文档质量越高,该项工作的质量也越高。 | |
测试过程评价
序号 | 评价指标 | 指标含义 | 指标解读 | 备注 |
1 | 需求&设计评审过程评价 | 从流程执行的规范性及评审效果两方面评价。 | 评审过程按流程要求进行,评审对需求和设计的帮助越大,说明该项工作质量越高。 |
|
2 | 测试沟通过程评价 | 从测试沟通过程的规范性及沟通结果进行评价。 | 测试沟通按流程要求进行,沟通对形成测试方案和测试设计的帮助越大,说明该项工作质量越高。 | |
3 | 测试方案&设计&用例评审过程评价 | 从测试方案、设计、用例评审的过程及效果两方面进行评价。 | 各评审过程按流程要求执行,评审出的问题越多、帮助越大,说明该项工作质量越高。 | |
4 | 测试执行过程评价 | 从测试执行的规范性及效果进行评价。 | 测试执行规范,分工协作有效,沟通及时到位,进度及时通报,测试风险及时化解……说明该项工作质量越高。 | |
评价注意事项
1、评价虽应尽可量客观,但无法避免主观因素。主观评价有时也是最直接、最简单的评价方式,因此,建议可以主观客观结合去评价,但应以客观评价为主。
2、评价指标的收集,往往需要有效的统计数据来源,因此,要评价,还需要建立评价数据的收集机制。
文章写的比较简略,如需讨论欢迎留言。