1）定制终端评测趋势
● 定制终端评测
→ 硬件：射频一致性、协议一致性、无线资源管理、硬件元器件、WLAN是当前硬件测试主要内容
→ 软件：操作系统测试、浏览器测试、移动应用测试、Widget测试当软件测试重点，内容逐渐由功能向非功能演进
● 预装在定制终端的移动应用评测
→ 功能、性能、稳定性、兼容性
→ 用户体验、隐私安全
● 终端和移动应用评测自动化工具越来越成熟
● 终端及其应用的性能、稳定性评测将成为入库重要依据
● 用户体验评测将成为不可或缺的组成部分
2）三大智能终端平台差异
以智能终端操作系统为基础，结合多种基础中间件、业务中间件、通信中间件来实现对应用的支撑。其中应用又可分为本地应用和Web应用两类。本地应用体系以iOS+App Store+NativeApp为代表，Web应用以HTML5/Widget+Web Store+Web App为代表
以iOS/WP7为代表的系统闭源/封闭文件管理系统/接口开放模式
以oPhone OS/WM为代表，系统闭源/开放文件管理系统和接口模式
以Android/Meego/WebOS/WinCE为代表系统开源/开放文件管理系统和接口模式
3）互联网应用测试的复杂因素
传统的测试方法是暴力的、疯狂的、相当麻烦的。
● 全球多达十亿两千万mobile web用户
● 74%的人将无法容忍超过5s的页面加载时间
● Gartner预测，至2014年超过90%企业级应用将支持智能终端版本
● 据统计，智能机上移动应用软件所引发的无线流量是非智能机10倍以上，美、英、德、日运营商都曾出现信令风暴导致的通信网瘫痪
● 截至2011年Q3的统计，Android操作系统出现7个版本，覆盖130个机型，每个机型超过2家硬件参考设计。光从终端适配角度看，若实现完整的测试覆盖，需完成1820次回归测试。倘若无法借鉴自动化测试工具，几乎是无法完成的任务
终端
● 操作系统平台、机型、屏幕分辨率、驱动差异等
网络
● 地域、制式、通信业务、网络优化程度、漫游等差别
自动化测试脚本
● 因平台、菜单风格不同，模拟客户端或自动化脚无法复用
移动应用客户端性能测试面临的困难
● 支持除支持http(s)协议外，普遍存在定制协议
● 整个应用链关联的对象复杂，如web service第三方内容、CDN内容分发
● 缺乏测试过程中数据收集、监控和诊断工具
● 缺乏客户端模拟并发工具，压力/负载测试工具需重新选择
4）测试
从互联网应用软件质量角度看，其主要的质量要求列举如下：
● 功能性：终端上移动应用功能越来越复杂，测试难度、周期和工作量逐步加大，测试成本快速上升
● 稳定性：用户使用移动应用时，与终端的电话、短信、浏览器等背景业务经常产生功能交互，增加了移动应用的不稳定性
● 可维护性：用户越来越关注应用业务的用户体验，在应用上线后需要持续对业务运营质量进行测试和监控
● 性能：终端上移动应用与终端、网络和服务的性能都有关系，性能遭遇瓶颈时，定位需围绕应用关联的整个链路来开展，导致应用业务优化的成本在不断提高
从用户角度看，测试重点列举如下：
测试类型 | 描述 | 测试场景重点 | 判断依据 |
功能测试 | 基本功能测试
新功能测试
重点功能测试
全量测试
网络或业务功能拨测
J2ME、Sybian signed等规范符合性测试 | 菜单路径
功能点
界面与操作流程
（通信）业务功能
角色权限等 | 是否可用 |
性能测试 | 基准性能
性能指标测试/多地域性能拨测
性能对标测试
专项性能测试：时延测试、流量测试、功耗测试、触控测试 | 对被测对象功耗、时延、响应时间、连接成功率、并发用户数等核心性能指标进行测试 | 是否可用，且收集指标值 |
兼容性测试 | mobile apps（手机客户端）实质为终端适配性测试
mobile web（web客户端）实质为浏览器兼容性测试
pc客户端端实质为与主流用户操作系统兼容性测试 | 终端适配：与不同分辨率、不同操作系统平台版本、不同定制终端的兼容性
浏览器兼容：html5兼容；浏览器引擎兼容
pc客户端兼容：主流windows桌面和linux桌面系统兼容性 | 是否兼容 |
稳定性测试 | 极限负荷下稳定性基准，表征为持续无故障时间有多长 | 基本功能反复多次
基本功能长时间持续执行 | 成功率，且收集指标值 |
安全性测试 | 黑盒安全性测试，采用模糊数据对被测对象进行攻击测试的手段 | 访问限制、应用程序签名、恶意程序安全、权限命名机制、协议通信安全和用户数据隐私安全 | 是否安全
|