文字识别技术升级:Airtest与PaddleOCR模型的协作小技巧

此文章来源于项目官方公众号:“AirtestProject”
版权声明:允许转载,但转载必须保留原链接;请勿用作商业或者非法用途

一、前言

在进行自动化测试的过程中,ocr文字识别一直是大家最想要实现以及最需要的能力,今天就来介绍一个由百度飞浆提供的一个免费的ocr识别库——PaddleOCR,以及探讨一下,PaddleOCRAirtest协作能擦出怎么样的火花~

二、PaddleOCR介绍

PaddleOCR是百度飞浆AI研发的一个ocr工具库,目前支持多种目标识别,更多的介绍可以戳官方项目去看看:https://github.com/PaddlePaddle/PaddleOCR,我们今天来讲讲,在与Airtest协作中,我们可能会用到PaddleOCR的什么功能。

在使用PaddleOCR之前,需要在自己的本地环境中安装对应的PaddleOCR库,方便我们后续调用。我们建议是安装到本地的python环境内,后续将AirtestIDE的python环境更换为本地python环境即可。

#安装PaddlePaddle
pip install paddlepaddle

#安装PaddleOCR whl包
pip install paddleocr

在开始使用之前,我们来了解一下PaddleOCR识别的效果以及返回的情况,PaddleOCR主要是通过我们传入需要识别的图片,通过调用PaddleOCR模型库,去进行识别并返回识别结果或识别后的图片,例如下图这样:

通过PaddleOCR识别打印文字信息如下,分别以列表的形式返回了所识别到的文字的左上角坐标、右上角坐标、右下角坐标、左下角坐标、识别到的文字以及识别置信度:

[[[154.0, 9.0], [492.0, 9.0], [492.0, 33.0], [154.0, 33.0]], ('小学数学第八册第三单元测试题', 0.9987085461616516)]
[[[238.0, 47.0], [319.0, 47.0], [319.0, 66.0], [238.0, 66.0]], ('(小数乘法)', 0.9819607138633728)]
[[[109.0, 80.0], [160.0, 80.0], [160.0, 103.0], [109.0, 103.0]], ('姓名:', 0.9986250996589661)]
[[[305.0, 81.0], [358.0, 81.0], [358.0, 104.0], [305.0, 104.0]], ('班别:', 0.9987398982048035)]
.............

接下来,我们来看一下如何使用PaddleOCR库来识别图像中的文字,并与Airtest进行联动,实现基于ocr的文字识别点击功能。

首先,我们需要导入PaddleOCR库,并准备好要识别的图片文件。通过调用PaddleOCR的接口,我们可以将图片路径作为参数传入。在识别过程中,PaddleOCR会在result变量中返回识别结果,其中包括文本框的坐标和对应的文字内容。

from paddleocr import PaddleOCR, draw_ocr

# Paddleocr目前支持的多语言语种可以通过修改lang参数进行切换
# 例如`ch`, `en`, `fr`, `german`, `korean`, `japan`
ocr = PaddleOCR(use_angle_cls=True, lang="ch")  # need to run only once to download and load model into memory
img_path = './imgs/11.jpg'
#开始ocr识别图片文字信息
result = ocr.ocr(img_path, cls=True)

通过PaddleOCR获取的图像中的文字信息,我们可以利用Airtest提供的接口和语句,创建一个名为ocr_touch()的函数。这个函数将执行以下步骤:

  1. 使用Airtest进行屏幕截图。
  2. 将截图传递给PaddleOCR进行文字识别。
  3. PaddleOCR获取识别到的文字及其在图像中的位置坐标。
  4. 利用Airtest根据坐标信息点击文字的中心点。

通过这种方式,ocr_touch()函数将实现从识别到点击的自动化操作,简化了整个流程。具体参考代码如下

def ocr_touch(target_text) :
     # 截屏
    pic_path=r"./now.png"
    snapshot(pic_path)
    
        # 使用PaddleOCR识别文字
    ocr_result = ocr.ocr(pic_path, cls=True)
    
    # 遍历识别结果,找到目标文字的坐标
    target_coords = None
    for line in ocr_result:
        for word_info in line:
            #获取识别结果的文字信息
            textinfo = word_info[1][0]
            print(textinfo)
            
            if target_text in textinfo:
                # 获取文字的坐标(中心点)
                x1, y1 = word_info[0][0]
                x2, y2 = word_info[0][2]
                target_coords = ((x1 + x2) / 2, (y1 + y2) / 2)
                break
        if target_coords:
            break

    # 点击坐标
    if target_coords:
        touch(target_coords)
    else:
        print(f"未找到目标文字:{target_text}")

三、PaddleOCR与Airtest协作案例

那么我们一起来通过一个小案例来看一下,在日常测试中的表现情况吧~

参考代码:

# -*- encoding=utf8 -*-
__author__ = "Airtest"

from airtest.core.api import *

auto_setup(__file__)

from paddleocr import PaddleOCR

def ocr_touch(target_text) :
     # 截屏当前画面
    pic_path=r"./now.png"
    snapshot(pic_path)
    
     # 使用PaddleOCR识别图片文字
    ocr_result = ocr.ocr(pic_path, cls=True)
    
    # 遍历识别结果,找到目标文字的坐标
    target_coords = None
    for line in ocr_result:
        for word_info in line:
            #获取识别结果的文字信息
            textinfo = word_info[1][0]
            print(textinfo)
            
            if target_text in textinfo:
                # 获取文字的坐标(中心点)
                x1, y1 = word_info[0][0]
                x2, y2 = word_info[0][2]
                target_coords = ((x1 + x2) / 2, (y1 + y2) / 2)
                break
        if target_coords:
            break

    # 使用Airtest点击坐标
    if target_coords:
        touch(target_coords)
    else:
        print(f"未找到目标文字:{target_text}")


if __name__ == "__main__":
    
    # 初始化PaddleOCR
    ocr = PaddleOCR(use_angle_cls=True, lang='ch')  # 可以根据需要选择语言
    
    #打开微博
    start_app("com.sina.weibo")
    wait(Template(r"tpl1719891218354.png", record_pos=(0.021, 0.998), resolution=(1080, 2520)))

    # 传入并点击“发现”
    ocr_touch("发现")
    wait(Template(r"tpl1719891346582.png", record_pos=(0.008, -0.957), resolution=(1080, 2520)))
    
    
    # 传入并点击“更多热搜”
    ocr_touch("更多热搜")
    wait(Template(r"tpl1719891584526.png", record_pos=(-0.291, -0.606), resolution=(1080, 2520)))

    # 传入并点击“热搜”
    ocr_touch("热搜")

四、Airtest_ocr的表现情况

Airtest私有云内,我们也有对应的一款商业化的Airtest-ocr的文字识别库,这个库已经封装好对应的ocr的识别以及对应的操作执行能力,具体介绍可以看往期推文,我们是封装好了日常使用较多的操作,在购买我们的商业化版本后,可以直接调用的~

# 点击某文字
ocr_touch("开始")
# 与 ocr_click("开始") 等价

# 双击某文字
ocr_double_click("开始")

# 某些情况下,文字处于按钮附近(比如按钮下方),使用offset设置点击偏移量
ocr_touch("开始", offset=(0, -20))
# 以“开始”文字的中心为起点, x轴不偏移,y轴向上偏移20个像素点
ocr_double_click("开始", offset=(0, -20))

# 指定高优先级区域 (version>=1.0.10)
ocr_touch("开始", location=(100, 100), threshold=0.98)
# 对于置信度高于0.98的多个 “开始”, 优先点击靠近 (100,100) 的

# ocr_swipe 与 swipe函数类似
ocr_swipe("生活", "学习")
# 从“生活”滑向“学习”
ocr_swipe("生活", vector=(0, 100))
# 从“生活”向下滑动100个像素
ocr_swipe((780, 1842), (780, 1000))
# 从坐标1滑向坐标2
......

我们Airtest-ocr的图片文字识别情况如下图:

PaddleOCR相比,我们Airtest-ocr除了可以直接识别传入图片内容外,还可以动态识别所连接的设备画面。具体的动态识别情况如下(在本地python环境中已加入Airtest-ocr库)

五、小结

我们本期推文介绍了PaddleOCR的文字识别能力,以及如何与Airtest协作,实现在脚本中可以ocr文字识别并点击的操作。当然,我们这里只是简单的封装实现了一个识别文字并点击的操作,还有更多的日常操作可以通过自己的需求去进行封装实现。或者有需要的同学,也可以联系我们,购买我们Airtest私有云,就可以直接调用Airtest-ocr的操作接口~

如果在测试的过程中,遇到了问题,或者有任何想要深入了解的知识点,欢迎在官方交流群(526033840)里告诉我们或者提交issue,也欢迎大家投稿其他不同的使用小技巧。


AirtestIDE下载:airtest.netease.com/
Airtest 教程官网:airtest.doc.io.netease.com/
搭建企业私有云服务:airlab.163.com/b2b

官方答疑 Q 群:526033840

热门相关:军少夜宠:小甜妻,乖!   帝都女皇   首席的强娶豪夺:离婚365次   女佣三人行女同服务   亿万老公,送上门!