基于多粒度学习的软件界面元素检测方法、系统、计算机设备和存储介质
专利汇可以提供基于多粒度学习的软件界面元素检测方法、系统、计算机设备和存储介质专利检索，专利查询，专利分析的服务。并且本 发明 公开了一种基于多粒度学习的 软件 界面元素检测与 定位 方法、系统、计算机设备和存储介质，本发明首先获得操作界面图像；将图像输入深度 卷积神经网络 提取特征，得到同等尺寸的中间结果；将中间结果进行网格化划分；输入多粒度级联背景判别器，检测器会以网格为单位对中间图像进行背景网格的检测；剔除背景网格后，将剩余的网格部分输多粒度的软件界面元素检测模型进行软件界面元素检测，输出所要检测的控件类型和区域大小。本发明所提出的多粒度级联的背景网格检测装置能够快速有效的找出背景网格，且提高了软件界面元素检测定位的效率和准确度。，下面是基于多粒度学习的软件界面元素检测方法、系统、计算机设备和存储介质专利的具体信息内容。
1.一种基于多粒度学习的软件界面元素检测方法，其特征在于，包括如下步骤：
步骤（1）、输入软件界面图像；
步骤（2）、利用卷积神经网络获取图像的特征，得到与原始图像具有相同尺寸的中间结果；
步骤（3）、对步骤（2）获取的特征进行多粒度网格化操作，得到若干组不同尺寸的图像网格；
步骤（4）、对于得到的图像网格，使用多粒度级联背景判别器对软件界面非控件背景网格区域进行标定；
步骤（5）、将步骤（4）标定出的非背景网格，使用多粒度软件界面控件检测模型对软件界面元素进行检测；
步骤（6）、输出检测出的控件类别和区域大小。
2.根据权利要求1所述的基于多粒度学习的软件界面元素检测方法，其特征在于，步骤（3）所述多粒度网格化的步骤如下：
步骤（301）、输入由深度卷积神经网络提取的特征；
步骤（302）、设定多粒度参数；
步骤（303）、按照参数设置，将特征等分为(a1*b1),(a2*b2),(a3*b3)……,(an*bn)的网格，分别得到n组不同尺寸的图像网格，(an*bn)代表网格化的图像大小。
3.根据权利要求1所述的基于多粒度学习的软件界面元素检测方法，其特征在于，步骤（4）所述多粒度级联背景判别器对软件界面非控件背景网格区域进行标定，具体为：
步骤（401）、输入划分好的多粒度网格图像；
步骤（402）、执行当前粒度下的第i级背景判别器，输出判别结果；
步骤（403）、根据结果判断每一个网格是否为背景网格：若是背景网格，则丢弃该网格；
若是非背景网格且存在下一级判别器，则将该网格输入下一级判别器，转至步骤（402）；若是非背景网格且不存在下一级判别器，则保留该网格。
4.权利要求1所述的基于多粒度学习的软件界面元素检测方法，其特征在于，步骤（5）所述将非背景网格使用多粒度软件界面控件检测模型对软件界面元素进行检测，具体步骤如下：
步骤（501）、输入所有非背景网格；
步骤（502）、执行相应粒度下的控件判别器，判别器同时预测网格中包含的控件的类型和区域位置；
步骤（503）、将各个粒度下各个网格的预测结果进行投票，根据投票结果确定预测出的控件最终的类型和位置区域。
5. 权利要求1所述的基于多粒度学习的软件界面元素检测方法，其特征在于，多粒度软件界面控件检测模型包含了n个独立的子模型，分别用于不同粒度的网格；该子模型的输入是网格，输出分别是：网格中控件类型的预测结果class_i 和网格中控件所覆盖像素的中心(x,y)和长宽(h,w)；每个子模型的训练是独立进行的，其过程如下：
获取训练样本，样本是同样粒度划分好的网格数据，并且获得网格中的控件真实类型y，网格中控件的真实位置中心（true_x,true_y）和长宽（true_h,true_w）；
输入训练网格，先经过一个特征提取层对网格进行特征提取；
将(002)提取特征经过一个分类层，获得对多类的预测结果class_i，并且此结果会与网格的真实类别y产生一个分类损失cla_loss(class_i, y)；
将(002)提取特征经过一个回归层，输出控件中心和长宽的四个值x,y,h,w，将其与网格中控件的真实中心、长宽产生一个回归损失reg_loss(x,y,h,w,true_x,true_y,true_h,true_w)；
该模型的总体损失就是cla_loss+reg_loss，采用神经网络优化算法对损失进行优化，最终模型收敛得到训练完成的模型。
6.权利要求5所述的基于多粒度学习的软件界面元素检测方法，其特征在于，步骤（6）所述输出检测出的控件类别和区域大小，具体是根据步骤（5）中得到的若干组class_i，（x,y）和（h,w），对其对应网格上像素的预测结果进行加权求和，得到最终的预测结果，即每个像素所覆盖的控件类型。
7.一种基于多粒度学习的软件界面元素检测系统，其特征在于，包括：
输入模块，用于输入软件界面图像；
特征提取模块，用于利用卷积神经网络获取图像的特征，得到与原始图像具有相同尺寸的中间结果；
网格化模块，用于对特征提取模块获取的特征进行多粒度网格化操作，得到若干组不同尺寸的图像网格；
标定模块，用于对于得到的图像网格，使用多粒度级联背景判别器对软件界面非控件背景网格区域进行标定；
检测模块，用于将标定出的非背景网格，使用多粒度软件界面控件检测模型对软件界面元素进行检测；
输出模块，用于输出检测出的控件类别和区域大小。
8.根据权利要求7所述的一种基于多粒度学习的软件界面元素检测系统，其特征在于，标定模块具体包括：
网格图像输入单元，用于输入划分好的多粒度网格图像；
判决单元，用于执行当前粒度下的第i级背景判别器，输出判别结果；
执行单元，用于根据判决结果判断每一个网格是否为背景网格：若是背景网格，则丢弃该网格；若是非背景网格且存在下一级判别器，则将该网格输入下一级判别器，转入判决单元执行；若是非背景网格且不存在下一级判别器，则保留该网格。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述方法的步骤。
基于多粒度学习的软件界面元素检测方法、系统、计算机设备
和存储介质
技术领域
背景技术
发明内容
步骤（1）、输入软件界面图像；
步骤（2）、利用卷积神经网络获取图像的特征，得到与原始图像具有相同尺寸的中间结果；
步骤（3）、对步骤（2）获取的特征进行多粒度网格化操作，得到若干组不同尺寸的图像网格；
步骤（4）、对于得到的图像网格，使用多粒度级联背景判别器对软件界面非控件背景网格区域进行标定；
步骤（5）、将步骤（4）标定出的非背景网格，使用多粒度软件界面控件检测模型对软件界面元素进行检测；
步骤（6）、输出检测出的控件类别和区域大小。
步骤（302）、设定多粒度参数；
步骤（303）、按照参数设置，将特征等分为(a1*b1),(a2*b2),(a3*b3)……,(an*bn)的网格，分别得到n组不同尺寸的图像网格，(an*bn)代表网格化的图像大小。
步骤（402）、执行当前粒度下的第i级背景判别器，输出判别结果；
步骤（403）、根据结果判断每一个网格是否为背景网格：若是背景网格，则丢弃该网格；
若是非背景网格且存在下一级判别器，则将该网格输入下一级判别器，转至步骤（402）；若是非背景网格且不存在下一级判别器，则保留该网格。
步骤（502）、执行相应粒度下的控件判别器，判别器同时预测网格中包含的控件的类型和区域位置；
步骤（503）、将各个粒度下各个网格的预测结果进行投票，根据投票结果确定预测出的控件最终的类型和位置区域。
002. 输入训练网格，先经过一个特征提取层对网格进行特征提取；
003. 将(002)提取特征经过一个分类层，获得对多类的预测结果class_i，并且此结果会与网格的真实类别y产生一个分类损失cla_loss(class_i, y)；
004. 将(002)提取特征经过一个回归层，输出控件中心和长宽的四个值x,y,h,w，将其与网格中控件的真实中心、长宽产生一个回归损失reg_loss(x,y,h,w,true_x,true_y,true_h,true_w)；
005. 该模型的总体损失就是cla_loss+reg_loss，采用神经网络优化算法对损失进行优化，最终模型收敛得到训练完成的模型。
特征提取模块，用于利用卷积神经网络获取图像的特征，得到与原始图像具有相同尺寸的中间结果；
网格化模块，用于对特征提取模块获取的特征进行多粒度网格化操作，得到若干组不同尺寸的图像网格；
标定模块，用于对于得到的图像网格，使用多粒度级联背景判别器对软件界面非控件背景网格区域进行标定；
检测模块，用于将标定出的非背景网格，使用多粒度软件界面控件检测模型对软件界面元素进行检测；
输出模块，用于输出检测出的控件类别和区域大小。
判决单元，用于执行当前粒度下的第i级背景判别器，输出判别结果；
执行单元，用于根据判决结果判断每一个网格是否为背景网格：若是背景网格，则丢弃该网格；若是非背景网格且存在下一级判别器，则将该网格输入下一级判别器，转入判决单元执行；若是非背景网格且不存在下一级判别器，则保留该网格。
具体实施方式
步骤（2）、利用卷积神经网络获取图像的特征，得到同尺寸的中间结果；
步骤（3）、对步骤（2）获取的特征进行多粒度网格化操作；
步骤（4）、使用多粒度级联背景判别器对软件界面非控件背景网格区域进行标定；
步骤（5）、将非背景网格使用多粒度软件界面控件检测模型对软件界面元素进行检测；
步骤（6）、输出检测出的控件类别和区域大小。
步骤（301）输入由深度卷积神经网络提取的特征；
步骤（302）设定多粒度参数；
步骤（303）按照参数设置，将特征等分为(a1*b1),(a2*b2)，(a3*b3)……,(an*bn)的网格。
步骤（402）将每一个网格输入相应粒度下级联的第i级背景判别器，输出判别结果；
步骤（403）根据结果判断每一个网格是否为背景网格：若是背景网格，则丢弃该网格；
若是非背景网格执行步骤（404）；
步骤（404）判断此时是否还存在下一级判别器：若存在，则将该网格输入下一级判别器，转至步骤（402）；若不存在下一级判别器，则保留该网格。
步骤（502）执行相应粒度下的控件判别器，判别器同时预测网格中包含的控件的类型和区域位置；
步骤（503）将各个粒度下各个网格的预测结果进行投票，根据投票结果确定预测出的控件最终的类型和位置区域。
特征提取模块，用于利用卷积神经网络获取图像的特征，得到与原始图像具有相同尺寸的中间结果；
网格化模块，用于对特征提取模块获取的特征进行多粒度网格化操作，得到若干组不同尺寸的图像网格；
标定模块，用于对于得到的图像网格，使用多粒度级联背景判别器对软件界面非控件背景网格区域进行标定；
检测模块，用于将标定出的非背景网格，使用多粒度软件界面控件检测模型对软件界面元素进行检测；
输出模块，用于输出检测出的控件类别和区域大小。
判决单元，用于执行当前粒度下的第i级背景判别器，输出判别结果；
执行单元，用于根据判决结果判断每一个网格是否为背景网格：若是背景网格，则丢弃该网格；若是非背景网格且存在下一级判别器，则将该网格输入下一级判别器，转入判决单元执行；若是非背景网格且不存在下一级判别器，则保留该网格。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种克服遮挡效应的驾驶场景双目深度估计方法 | 2020-05-08 | 655 |
| 一种基于集成神经网络学习的电子鼻信号漂移补偿方法 | 2020-05-11 | 226 |
| 通用动量方法、基于通用动量方法的目标检测与识别方法 | 2020-05-08 | 741 |
| 一种交叉对比神经网络在心声智能检测中的应用方法 | 2020-05-08 | 361 |
| 一种基于概率分布自适应的实体关系分类方法 | 2020-05-08 | 748 |
| 一种基于分布式编码的随机梯度下降优化方法 | 2020-05-08 | 869 |
| 一种基于正交角度X光的骨骼三维重建方法 | 2020-05-08 | 312 |
| 一种基于深度神经网络增广训练的表面缺陷检测方法 | 2020-05-08 | 31 |
| 一种基于深度学习的手势识别方法 | 2020-05-08 | 519 |
| 基于深度学习的安全帽佩戴识别方法 | 2020-05-08 | 158 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
