9.1 基于不同用户群的性能测试
随着互联网的蓬勃发展,软件的性能测试已经越来越受到软件开发商、用户的重视。如:一个网站前期由于用户较少,随着使用用户的逐步增长,以及宣传力度的加强,软件的使用者可能会成几倍、几十倍甚至几百倍数量级的增长,如果不经过性能测试,通常软件系统在该情况下都会崩溃掉,所以性能测试还是非常重要的。不管是软件企业自身进行性能测试,还是企业聘请第三方做性能测试,这里我们将问题简单化,将前者称为“内部性能测试”,而将后者称为“外包性能测试”。
9.2 验收测试通常提交的成果物
当完成性能测试后,都需要提交相关的性能测试总结报告和相应成果物。通常,当您受聘为企业做性能测试时,这里我们简称企业为“甲方”,您所在的公司成为“乙方”,这也是合同中经常会简化出现的称谓。甲方通常会鉴于乙方在测试方面的专业性,以乙方提供的相关报告作为此次相应软件产品(具体测试内容可能会包括:功能、性能、安全、文档等方面测试,具体以甲方同乙方确定的范围为准)是否通过的重要依据。通常来讲,内部性能测试需要提交的成果物要包括:性能测试计划、性能测试用例、性能测试总结及其性能测试过程中应用的相关脚本、场景及其测试结果。而对于“外包性能测试”来讲,要求提交的内容会更多一些,一般还要包括:验收测试结论、验收测试交付清单、缺陷及其遗留列表、项目周报/月报、项目组成员工作报告(周报/月报)等内容。从上述内容不难发现一般来讲,外包公司提交的成果物要远远多于内部测试时提交的内容,因两者文档的相关写作内容有很大的相似度,所以这里我们仅以外包性能测试内容进行详细讲解。
下面就结合项目案例进行讲解,需要说明的是,本书重点介绍外包验收测试项目的实施的过程,同时考虑到项目的相关因素,对关键的脚本等进行了适当的修改或略掉,特此说明。从读者朋友的角度考虑,因性能测试实施项目过程通常都一致,至于实施的内容却各不相同,所以请读者朋友们要学会过程中需要掌握的各种流程性工作内容、过程控制、文档写作内容、过程中用到的工具及思考分析方法,只有这样才能做到举一反三,以不变应万变。下面先简单介绍一下项目背景:某企业聘请我公司作为第三方验收单位对由另外一个公司开发的系统进行功能、性能和所交付的所有文档进行验收测试。我当时在该项目团队担任项目经理职位,负责整个项目的相关测试方案的制定、任务的分派、项目中疑难问题技术支持、项目进度监控和把握、项目总结报告编写等工作内容。图9-1所示目录结构为项目结束后,我方提交的成果物相应文件夹结构内容。
图9-1 测试成果物目录结构
下面让我们以列表形式给大家说明一下该目录结构相关文件和目录的功能,参见表9-1。
表9-1 性能测试设计列表
类型 | 名 称 | 功能/用途描述 |
文件 | 001某单位某系统验收测试结论.doc | 以精简的内容概括此次验收测试相应类型的测试内容是否通过 |
文件 | 002某单位某系统验收测试交付清单.doc | 用以明确相关性能测试分类对应交付的内容 |
文件 | 003某单位某系统验收测试报告.doc | 以简洁的内容概括此次验收测试相应类型的测试内容是否通过及其主要的数据和图表等内容 |
文件 | 004某单位某系统验收测试功能测试报告.doc | 详细描述功能测试的背景、测试内容、测试实施过程及其相应过程阶段总结和最后结论等相关内容 |
文件 | 005某单位某系统验收测试性能测试报告.doc | 详细描述性能测试的背景、测试内容、测试实施过程及其相应过程阶段总结和最后结论等相关内容 |
文件 | 006某单位某系统验收测试文档测试报告.doc | 详细描述文档测试内容、测试实施过程及其相应过程阶段总结和最后结论等相关内容 |
文件 | 007某单位某系统验收测试测试方案.doc | 详细描述功能、性能和文档测试的背景、测试内容、测试策略、方法、测试通过标准等相关内容 |
文件 | 008某单位某系统验收测试功能测试计划.doc | 详细描述功能性测试计划的背景、测试内容、测试策略、方法、测试通过标准、测试计划安排等相关内容 |
文件 | 009某单位某系统验收测试性能测试计划.doc | 详细描述性能测试计划的背景、测试内容、方法、测试通过标准、测试计划安排等相关内容 |
文件 | 010某单位某系统验收测试文档测试计划.doc | 详细描述文档测试计划的背景、测试内容、方法、测试通过标准、测试计划安排等相关内容 |
文件 | 011某单位某系统验收测试功能测试延期缺陷列表.doc | 详细描述目前遗留的延期修复的缺陷内容、严重程度以及研发方、测试方和甲方的处理意见 |
文件 | 012某单位某系统验收测试功能测试用例集.doc | 详细给出本次验收测试相关功能方面的测试用例集 |
文件 | 013某单位某系统验收测试性能测试用例集.doc | 详细给出本次验收测试相关性能方面的测试用例集 |
文件 | 014某单位某系统验收测试文档测试用例集.doc | 详细给出本次验收测试相关文档方面的测试用例集 |
文件 | 015某单位某系统功能测试BUG汇总列表.xls | 汇集了本次验收测试相关提交的相关功能测试缺陷集合 |
文件 | 016某单位某系统性能测试BUG汇总列表.xls | 汇集了本次验收测试相关提交的相关性能测试缺陷集合 |
文件 | 017某单位某系统文档测试BUG汇总列表.xls | 汇集了本次验收测试相关提交的相关文档测试缺陷集合 |
文件夹 | 018某单位某系统配置管理库 | 该目录主要存放被测试系统由甲方提供的、开发方提供的文档,以及提交给甲方和开发方的相关文档,由开发方提交的相关软件版本和部署文档等;同时还包括整个项目各个阶段对应的成果物和过程数据,项目管理相关文档和数据以及在项目实施过程中培训或者其他方式得到的知识或技术性文档等,参见图9-2 |
文件夹 | 019性能测试脚本及场景结果 | 该目录存放性能测试执行过程中编写的脚本、设计的场景和执行结果等相关信息 |
文件夹 | 020项目管理 | 该目录主要存放项目组成员工作日志、项目工作周报、项目会议纪要及其测试用例或其他文档的评审记录等信息 |
当然上述目录结构和文档只是结合我在项目实施过程中针对需要组织和创建的,您在具体项目实施过程中可能与作者的不一样,这个是没有关系的,总之适合项目实施需要就好。
9.3 验收测试项目完整实施过程介绍
前面的内容是一个验收测试完成后提交的相关成果物(文档和数据电子档)。应该说它是您做项目尾声阶段需要整理和提交给甲方的重要内容。也许有很多读者朋友们非常关心正常做验收测试项目的完整实施流程是什么样?那么在这里我就给大家简单地介绍一下验收测试的整体实施过程。
图9-2 某单位某项目配置管理库目录结构
通常一个验收测试项目要经历项目立项、招投标过程、项目调研、项目启动、人员入场、项目实施、项目总结和项目结款过程。
招标单位(即:如果您中标后将来的甲方)针对其验收测试项目需要会针对性地制定相应标书,发布招标公告或投标邀请书给一些具有专业资质的单位。这些单位根据招标文件的要求,编制并提交投标文件,响应招标的活动。招标单位按照招标文件确定的时间和地点,邀请所有投标人到场,当众开启投标单位提交的投标文件,宣布投标单位的名称、投标报价及投标文件中的其他重要内容。招标单位依法组建评标委员会,依据招标文件的规定和要求,对投标文件进行审查、评审和比较,确定中标候选单位。如果您单位有幸中标招标单位会向中标单位发出中标通知书,并同时将中标结果通知所有未中标的投标人。中标通知书发出后,招标单位和中标单位应当按照招标文件和中标单位的投标文件在规定的时间内订立书面合同,中标单位按合同约定履行义务,完成中标项目。为了更加清晰明了地描述整个过程,这里给出一个招标投标基本流程图,供大家参看,参见图9-3所示。
图9-3 招标投标基本流程图
9.4 项目预算和项目立项
9.4.1 项目预算和项目立项
随着外包行业的发展、壮大,竞争也日趋激烈,外包公司十分重视项目管理。成本控制无疑是项目管理的重中之重,外包公司通常都有比较严格的审批流程。在有销售部和解决方案部门的外包公司,通常由销售和解决方案部门完成招投标相关工作。在招投标期间销售部门就要开始做预算工作,销售人员需要走项目管理系统流程,提交相关的成本预算相关文档,进行逐级审批,审批通过后,项目立项。项目立项后,产生项目实施相关成本费用才能够进行报工和报销。
9.4.2 项目预算相关内容及样表展示
通常做预算时需要填写以下信息:项目基本信息、技术售前预算信息、技术实施预算信息、技术售后预算信息,关于填写表格的样式,可以参照如下内容。
图9-4 项目基本信息
图9-5 技术售前预算信息
图9-6 技术实施预算信息
图9-7 技术售后预算信息
在这里需要指出的是,预算信息可能会因为项目内外在因素而发生变化,在中途实施过程中可能会发生预算变更情况,若项目变更则需要对预算进行调整,再次走相关审批流程。
9.5 项目准备阶段及验收测试方案编写
9.5.1 项目人员入场
当项目立项且招标单位和中标单位签订了书面合同后,通常是由项目经理到招标单位进行项目的需求调研。同甲方的相关负责同志沟通验收测试的范围、测试的内容、测试的环境、明确测试介入时间、相关要求等内容。因为外包公司非常注重人员成本的控制,而且人员相对来说有比较分散,所以相对来说对项目经理与相关领导、其他项目经理的沟通很重要。要及时了解相关预期在该项目的人员是否能够及时地释放出来,以免耽误该项目的进度。项目经理在人员入场前还需要同甲方的相关负责人进行沟通,尽量将项目组的成员集中安排在同一个工作区域,利于项目组成员的相互沟通、工作交流,也利于对项目组成员的管理。为了便于对项目组成员投入情况进行掌控及项目完成后结合我方人员投入进行结款等(有些项目是有附加条款的,如果因甲方责任耽误项目工期,会依据于延期的人员时间投入,甲方会向乙方额外支付相应金额的费用),通常甲方会要求我们进行人员考勤、记录等。控制严格的单位需要打卡,灵活一点的单位则要求项目经理每周汇报一次项目组人员考勤记录,结合我们项目就以该方式进行,图9-8为人员出勤表记录格式内容。
图9-8 人员出勤表图示
作为项目经理,您还要依据于甲方的要求,使用自带的工作用机或者是需要向甲方单位相关部门进行申请,需要提醒大家的是您在部署工作环境时,不要忘记至少需要1台的机器为您部署缺陷管理系统和配置管理系统。有一些单位非常严格所有的机器必须要经过相关IT部门的检查(包括:限制机器上安装的软件、必须安装指定的杀毒软件并经过系统性杀毒、只能访问内部网络且IP地址和工作用机绑定、禁用特定的一些系统功能或硬件设备、IP地址需要申请、安装软件需要申请等),当然这些工作您按照相关的流程进行就可以了,待所有的工作机和网络可以连通后,部署相关的缺陷管理系统和配置管理系统。当然为了让大家都能应用同一标准,建议均有文档进行相关说明,特别是缺陷级别的定义,最好再举一些示例,避免以后项目组内部提交的缺陷级别不统一,也尽量避免与甲方、软件开发方或监理方产生认定差异,在配置管理系统和缺陷管理系统均需要指定相应不同级别的人员访问权限,并建立相应的用户角色,保证相关人员都可以正常访问。这些工作都完成以后,接下来我们就可以进行后续工作了。
9.5.2 项目调研
接下来,您就可以将从甲方、开发方、监理方获得的相关资料放到配置管理系统中,对相关文档进行研读,对过程中出现的一些不明确或有问题的地方进行记录,并找相应的接口人进行明确。在条件允许的情况下,尽量能够让相关的业务人员和系统的开发方对被测试的系统进行一次系统性的培训,以加强项目组测试人员对系统的认识,掌握验收测试的重点内容,同时也能解答项目组测试人员存在的疑问,为后续测试方案、测试计划和测试用例的编写、缺陷的认定等都打下一个良好的基础。
9.5.3 验收测试方案
在要求较严格的甲方单位,为了准确地了解乙方单位项目人员对项目掌握的情况,同时也为了能够了解乙方单位在实施过程中的测试周期、测试策略和应用的测试方法是否能够覆盖到验收测试的各个对应需求点等内容,通常都需要让乙方单位项目经理提供一份针对本次验收测试的解决方案。
(未完待续)
版权声明:51Testing软件测试网及相关内容提供者拥有51testing.com内容的全部版权,未经明确的书面许可,任何人或单位不得对本网站内容复制、转载或进行镜像。51testing软件测试网欢迎与业内同行进行有益的合作和交流,如果有任何有关内容方面的合作事宜,请联系我们。
相关链接:
精通软件性能测试与LoadRunner最佳实战 连载一
精通软件性能测试与LoadRunner最佳实战 连载二
精通软件性能测试与LoadRunner最佳实战 连载三
精通软件性能测试与LoadRunner最佳实战 连载四
精通软件性能测试与LoadRunner最佳实战 连载五
精通软件性能测试与LoadRunner最佳实战 连载六