您可以捐助,支持我们的公益事业。

1元 10元 50元





认证码:  验证码,看不清楚?请点击刷新验证码 必填



  求知 文章 文库 Lib 视频 iPerson 课程 认证 咨询 工具 讲座 Modeler   Code  
会员   
   
 
     
   
 订阅
  捐助
AI移动自动化测试框架设计(解读)
 
作者: 何梁伟
  790  次浏览      1
 2020-8-10
 
编辑推荐:
本文主要提供了一种基于AI算法的自动化测试框架AIon,希望对您的学习有所帮助。
本文来自于“前端之巅”微信公众号,由火龙果软件Alice编辑推荐。

理想中的移动UI自动化框架:

1.易于开发和维护

2.稳定性

3.执行效率

4.跨平台

5.跨应用

6.支持Hybrid(混合应用)

传统的UI自动化框架(UIAutomator、Espresso、appium等),或多或少在这些方法做的不够完美。

那么理想中的框架应该是什么样的?

模拟用户的操作,用户在操作的时候是不需要知道控件的属性(ID、name)的,它应该是一种所见即所得的操作。

所以,像Sikuli 、AirTest这样的基于图片识别技术的测试框架就很好。

但是,它们也有一些不足:

1.准确率不足

2.没有层次结构

3.代码稳定性差

4.代码可维护性差

如果,测试脚本可以变成这样:

这个样的脚本表达接近我们的自然语言。比如,点击标签上的会员按钮,就变成 find('tab').find('会员'),代码的维护性也会变得很好。

要实现这样的框架需要哪些技术:

1.图像切割

2.图像分类识别

3.OCR文字识别

4.图像相似度匹配

5.像素点操作

图像切割:可以把一整张图片切割出不同的块,比如一张App的截屏,可以切割成导航栏、视频封面列表、搜索框等不同的块。

图像分类识别:对上面切割的块进行分类,需要图像分类的能力。

OCR文字识别:依赖图像 OCR 的识别能力,知道对应的视图里面有哪些文字。

图像相似度匹配能力:这一点传统的图像处理库就可以实现。比如Python的pillow库。

像素点的操作:可以依赖传统的框架,比如通过坐标完成操作,也可以使用机械臂来完成像素点的操作。

深度学习带来的机会

在深度学习以前,图像分类领域的准确率一定在75%以下,引入深度学习使准确率提高到98%、99%。有文章说准确率达到95%说明已经超过人类了,这是一个相当高的水平。

识别率在逐年提高。

ORC的能力主要体现在:完整准确率和文字准确率。

完整的准确率是指,在一个截图里面,会有一些标题和词组,如果标题里面有一个字出现了错误,就认为这个标题的识别是错误的,通过这种方式,准确率能够达到93%。

文字的准确率,是将一张截图分割成多个块,然后识别出每个块上的文字。因为已经分割了块,所以识别率可以达到98%。

终于介绍到AIon框架了。

有了上面这些技术做为基础以后,就可以尝试AIon框架实现了。

这中间还介绍了UI2Code 、pix2code两个“类似”框架的。它们是将截图生成用户界面代码,感兴趣可以百度了解。

这里直接介绍Alon的工作方法。敲黑板!这里考试重点。

AIon 会把一个截图切成几块:tab、导航、状态栏等,然后用深度学习图像分类,对每一块进行分类识别,识别完了以后,就会把对应块里的子元素提取出来,再用一些AI的技术,提取里面的内容,把它填充到子元素的属性里面去,最后就会得到二级视图树的结构,最后,就可以去做对应的点击操作了。

AIon的处理过程:

比如要实现一条测试用例,

首先截屏,对它进行场景判断,场景判断会应用到一些AI分类识别,识别出当前界面有没有弹出对话,或者它是否是登陆页的场景识别。场景识别完了以后,就会进行传统的图像切割,图像切割完了以后,进行布局分类,布局分类也会应用到一些AI的技术,分类完了以后,进行子元素的提取,对这个子元素进行填充,填充会应用到一些AI的技术。

最后,当视图树构建完了之后,匹配之前写的测试用例里面的条件进行匹配,匹配之后,执行测试用例,这就是整个AIon的核心流程。

由于考虑到之前的一些测试用例,还有一些传统的测试框架写的测试用例,本身还做了对传统测试框架的融合。

从中get到了一些基于AI实现自动化框架的思路。未来的自动化测试肯定会越来越使用更简单,功能更强大。要么去实现AI自动化框架,要么被AI自动化框架淘汰!你选吧!

 
   
790 次浏览       1
相关文章

微服务测试之单元测试
一篇图文带你了解白盒测试用例设计方法
全面的质量保障体系之回归测试策略
人工智能自动化测试探索
相关文档

自动化接口测试实践之路
jenkins持续集成测试
性能测试诊断分析与优化
性能测试实例
相关课程

持续集成测试最佳实践
自动化测试体系建设与最佳实践
测试架构的构建与应用实践
DevOps时代的测试技术与最佳实践
最新课程计划
 
最新文章
大数据平台测试
微服务架构下的测试之道
从零开始掌握微服务软件测试
如何进行测试需求分析:从接收需求到用例设计
python_selenium自动化测试框架
最新课程
测试需求分析与测试用例设计
性能测试方法与技术
自动化测试框架设计高级实践
接口自动化测试方法与工具
软件测试方法与实践(贯穿案例)
更多...   
成功案例
某支付企业 单元测试与重构培训
北京 用户体验、可用性测试与评估
某军工研究单位 自动化测试方法、案例与工具
知名消费金融公司 探索性测试与测试分析
北京 航天科工某子公司 软件测试架构师
更多...