Testin.CN平台调研总结

1.认证要求

(1)注册Testin.CN,成为普通开发者身份。若需要更多的功能,更多的机型支持,请申请更高级别的认证,例如个人开发者、企业开发者。如果你是土豪,可以支持使用VIP支持服务。

(2)建议:对于小型用户群(3W-)的应用,个人开发者的权利已经足以满足你的需要。企业开发者拥有更多的免费机型支持和免费的服务,如果你是企业雇员,就申请企业开发者尽情享受吧。 

2.免费资格限制

(1)在使用下来一段时间,觉得各位关注两点基本就可以了。一是每天测试次数,二是可选机型数量。至于提交云端后自动化测试所花费的时间,一般来说一天就可以给出测试报告。这个时间是Testin平台排队所致,你唯一所能做的便是等待。

(2)Testin平台还提供了众多的付费深度测试服务,如果你邀请足够多的好友成为它们家用户,就可以获得一定量的点券,1点券等于1人民币,等你看完了Testin上所支持的付费价格之后,就会发现这些渠道获取的点券,其实是非常量少的。微信都挂AD了,它们家的价格在企业成本上算是便宜的了。如果你是土豪,可以友情捐赠下它们家的该项服务。

3.平台使用过程中的其他建议

    在账户管理功能中,有一项“常用联系人”的设置,这项设置是平台协作的亮点之一。可以为你的团队提供一份查看私有测试报告的权利。 

    这里要提醒一点,如非必要,请关闭你的测试报告在Testin平台的公开配置,避免应用测试结果的公网泄露。 

4.提交云测试

(1)在提交这一项事情上,作者建议充分使用Testin自己家的工具iTestin,可以自己创建场景脚本本地测试,也同时可以上传到Testin云端进行多机型测试。虽然Web站上也提供了创建兼容测试的功能,但是和iTestin是有较大区别的。Web站上的功能支持的场景比较单一,官方说的是一种叫做“自动遍历测试(3分钟)”,看,还给俺们限制了3分钟呃。 

(2)当然,不是说Web站就一无是处了,它还是很强大以及便捷的,别的不说,对于Mac和*Nux用户来说,iTestin你就是用不起来。因为目前iTestin只支持Windows平台。不过相信Testin的鸿鹄之志绝对不仅限置为盖茨家,只是世态份额的形势所迫罢了。 

(3)还有一点,你的应用如果需要登录,请在提交测试的过程中,将登录信息填写完整。所以在这之前,你需要提供一个可以给Testin君随便搞随便玩的测试帐号及其密码。 

(4)关于机型的选择,如果认证权限内许可,可以一把选完,再选好自己应用所需要支持的Android版本范围和所支持的分辨率,全量提测。如若其他原因无法使用全量的办法,建议可以根据自己应用的统计分析结果,选择统计中覆盖率超70%份额的Top机型,外加超70%份额Top分辨率,样本提测,这也不失为贫民窟过上小康幸福生活的好办法。 

(5)关于测试类型的选择,如果不使用付费服务,目测只有“标准兼容测试”和“功能测试”可供使用。标准兼容测试使用范围更普遍些。功能测试功能,如果时间人力资源允许,可以投入,其中需要在应用源代码中集成Google提供的测试框架Robotium,并且需要额外书写测试断言脚本。 

(6)再多唠叨一句吧,希望对初始入门Testin的提供一些参考。根据多次提测所给出的报告中显示得出,目前中国市场上总额覆盖7成以上份额的安卓机型,大致为三星,小米,华为,魅族,摩托罗拉,联想,酷派,中兴,HTC,LG,索尼,OPPO,TCL(包含阿尔卡特),步步高。为什么说到TCL和步步高呢,步步高在比较偏远的地方,廉价机策略在市面上也呈现着较为重要的作用。如果测试中覆盖了以上所有品牌的机型,也就不用太忧伤了,因为你已经抢占了中国7成以上的安卓手机用户。 

5.核心内容解析

    说起Testin的核心内容,自然就是它提供的独一无二的测试报告。覆盖点几近日常我们所需要关注的所有方面。作为开发者,在浩瀚的信息海洋中,自己需要根据需要筛选出自己需要关注的信息项目即可,不需要面面俱到,也不可能面面俱到,时间不允许,排期也不允许,人无完人。

    下面是作为开发者的一员,觉得应该关注的一些结果参数。

先介绍一些其中涉及到的概念。

(1)覆盖活跃用户数、影响用户数,这两项的数据并不是Testin家的,是和Umeng合作的成果,采的是Umeng家在移动统计分析领域的概况数字。 

(2)机型分辨率,在移动设备中,书写分辨率有一种不成文的规范,长宽(或者称为’宽高’也未必不可),即:分辨率中写着720X1280是手机的分辨率,矩形状短宽长高;写着1280X720的一般是宽屏的Pad设备。 

作者目前只尝试了兼容测试过程,下面介绍下兼容测试报告的内容分布。

(1)概况:简而言之,就是测试结果的概览,分别有多少成功和失败机型,测试通过率多少,饼图如何,使用Monkey性能测试之后的各项机器物理参数数值分布如何,还有发生的错误所影响用户数的估算数值,请留意,用户估算的数值的单位是万,个这个单位已经无以言表智能手机用户群之磅礴盛况。 

(2)问题报告:这个栏目很重要,特别是对于开发者的你,它是为了你而存在的。在这项报告中,你可以迅速阅读到报出异常的代码堆栈信息,提交问题响应效率。当然,前提是你的测试应用没有作代码混淆,如果做了代码混淆,你需要找出混淆的Mapping文件,定位到混淆前的具体代码部分即可。

(3)性能报告:该项内容在你作应用的性能优化之时,绝对可以称得上是手边文档案头书,它并非无所不能,但它会尽其所能给你提供你需要的性能分析结果。

(4)终端列表:与其说是终端列表,不如说是具备搜索功能的测试机型搜索功能。每一行是每一台测试终端,可以根据需要查看在该终端下的测试用例详情,过程日志及其跑屏的截图。

    前面谈及到测试报告在Testin平台的公开配置问题,这里补充一项好用的平台功能。在每一项报告的右上角,可以发现两项功能:“分享报告”和“下载报告”。

    作者比较常用的是“邮件分享”和“下载Excel报告”。 

    在提交测试中填写的表单有这么一项,建议填写报告发送人。每一项测试需要耗费1-N小时不等的宝贵时间,这项功能可以很好地通知需要知道结果的所有人。目前每一项测试的结果邮件会发送两封,第一封是在测试快结束的时候(貌似是>80%的时候)发送,还有一份是测试完全结束的时候(进度=100%)发送。

6.关于Testin提供的一项快速查看功能

    如果你足够仔细,会发现在左侧菜单栏的下方,放置了一项“快速查看”。这项功能点开后发现,天生就是为程序员而作的。Testin团队真的很用心!

    你如果只是想透过Testin了解应用具体哪些地方发生了异常,那么前面第5点中说的大部分都是额外的话,这一项“快速查看”足以满足你所需要的。 

7.其他一些你可能需要知道的

    作者发现提交测试之时选定的机型是A台,测试报告中“已通过”的机型,加上“问题机型”并不等于A台。所以关于这一点如果发现,不要惊讶,Testin已经尽力了。或许是这些机型的电源线被老鼠咬断了也说不定哦^_^