测试技术分享 手机大厂必备测试技能-CTS 兼容测试

shakebabe · 2019年12月16日 · 最后由 lucky66 回复于 2020年01月12日 · 481 次阅读
本帖已被设为精华帖!

何为CTS?

相信小伙伴们都有用过各种款式的Android手机,如小米、魅族、华为、oppo、vivo,虽然他们的页面长的都不太一样,比如小米的长这样:

魅族的:

oppo的:

还有垂死挣扎的锤子...

但是这些手机其实都是搭载的Android系统,只不过国内的手机厂商在原生Android的基础上进行修改/定制。其实原生的Android长这样:

这么多手机厂商都要改造成自己的UI,甚至要对Android底层进行改动,难免不会改出什么问题。所以Google为了这些定制的系统能够符合统一的规范、兼容Android底层的API,就引入了CTS测试。

以下是其官方介绍

Compatibility Test suite系列兼容测试

Google定义了一个兼容性规范(Compatible Definition),而CTS就是为了确保某个测试符合该规范。从而基于Android的应用程序能在基于同一个api版本的设备上面运行。通过CTS测试的device可以获得android的商标,并且享受android market的权限。

为什么需要CTS?

由于Google的开放策略,越来越多的终端厂商以及互联网企业加入到手机终端商的领域,加剧了Android移动终端的碎片化,导致出现基于Android客户端的App产品因为兼容性差,不能在用户手机上正常安装、运行错误、强制退出等问题,严重影响用户的体验。

通过CTS测试,可以保证

  • 让APP提供更好的用户体验,用户可以选择更多的适合自己设备的APP;
  • 让开发者设计更高质量的APP;
  • 通过CTS的设备可以运行Android market;

CTS配置

下载和配置CTS

官网:http://source.android.com/compatibility/downloads.html

注意:此网站需要FQ

下载文件:(Android 4.4为例)

  • Android 4.4 Compatibility Definition Document (CDD)
  • Android 4.4 R3 Compatibility Test Suite (CTS) - ARM
  • Android 4.4 R3 Compatibility Test Suite (CTS) - x86
  • Android 4.4 R3 CTS Verifier - ARM
  • Android 4.4 R3 CTS Verifier - x86
  • Compatibility Test Suite (CTS)
  • User Manual CTS Media 1.1

配置CTS:

  • 解压Compatibility Test Suite对应的压缩包
  • 将解压出来的android-cts文件夹,复制到SDK根目录中

CTS目录结构说明

CTS测试流程

测试准备

step1:测试环境:

  • linux系统(最好是64位的ubuntu)

  • 需正确配置JAVA JDK , android SDK

step2:工具准备:

  • 将下载的CTS包解压到/data目录
  • 下载需要进行测试的软件版本(ROM)
  • 插入可用的SD卡,容量最好是大于1G
  • 插入可用的Sim卡,如果为双卡版本,需确保卡一的卡槽有可用的Sim卡.
  • 写入合法的IMEI号

step3:手机配置:

  • 手机恢复出厂设置(Settings→Backup and reset→Factory data reset)
  • 确保SD中有足够的空间(大于1G),可将SD格式化清空。
  • 确保手机里没有Google账号或者其他账号存在
  • 确保日期和时间的正确(开了Wifi或者数据连接以后会自动更新时间,时区选默认的)
  • 设置屏幕为常亮(Settings→Display→Sleep→Never)
  • 设置无锁屏(Settings→Security→Set up screen lock→None) 安装CtsDeviceAdmin.apk,(在android-cts/repository/testcases下,可用adb install CtsDeviceAdmin.apk),并进入Settings→Security→Device administrators开启里面的两个包

测试执行

进入到/android-cts/tools目录输入:

./ cts-tradefed

进入测试环境

再执行run cts --plan CTS进行整体测试

run cts -c android.app.cts.SystemFeaturesTest

测试过程持续时间超过10+小时

测试结果会生成在android-cts/repository/results目录中的 testResult.xml

Log日志文件位于android-cts/repository/logs目录下

CTS操作基本命令

分类 命令 说明
Host help 基本命令帮助说明
Host help all 全部命令帮助说明
Host exit 退出控制台
Run run cts --plan test_plan_name 运行指定计划
Run run cts --package/-p 运行指定包
Run run cts --class/-c [--method/-m] 运行指定方法
Run run cts --continue-session session_ID 继续运行指定回话ID
Run run cts [options] --serial/-s device_ID 运行指定设备
Run run cts [options] --shards number_of_shards 运行多个设备
Run run cts --help/--help-all 运行帮助
List l/list d/devices 列出连接的设备
List l/list packages 列出所有测试包
List l/list p/plans 列出所有测试计划
List l/list r/results 列出已经保存的结果

CTS测试结果分析

测试报告的fail项分为两类:

  • 一类是可以waive的,可以waive的项是谷歌自身的原因,经谷歌同意可以不用处理的项。另一类是需要我们分析修复的。 关于可以waive的选项,可以waive的选项一般会有一个表格维护,这个表格会不定时更新,可主动向相关人员索取。

  • 如果不是google waive项,请查看log,在异常log的附近会有一些相关的信息,看能否找到原因 如果在之前的版本上测试PASS,可定位一下OK版本和fail版本之间的代码提交,进而缩小排除范围 有些时候想在测试包里面加一些LOG信息,可以自行编译工程代码的CTS,用来测试调试。 若实在不能分析,可向平台商(如MTK/Qualcomm)寻求帮助。

共收到 2 条回复
shakebabe 将本帖设为了精华贴 12月16日 11:29
shakebabe 手机大厂必备测试技能-GMS 认证 中提及了此贴 12月16日 14:53
需要 登录 后方可回复, 如果你还没有账号请点击这里 注册