首页 / 专利库 / 资料储存系统 / 树遍历 / 页面显示异常的检测方法、装置及存储介质

页面显示异常的检测方法、装置及存储介质

阅读:499发布:2020-05-11

专利汇可以提供页面显示异常的检测方法、装置及存储介质专利检索,专利查询,专利分析的服务。并且本 发明 实施例 公开了一种页面显示异常的检测方法、装置及存储介质。该方案获取目标显示页面的第一页面图像;根据特征提取 算法 ,从所述第一页面图像中提取控件元素的第一特征图;按照多组 池化 参数分别对所述第一特征图进行池化处理得到多组特征,并对所述多组特征进行合并处理,生成预设维度的 特征向量 ;基于预设分类算法和所述特征向量,检测所述控件元素是否在所述目标显示页面上显示异常。基于此,本方案根据预先训练好的模型对页面中的控件显示异常进行自动化识别,解决了人工检测耗时较大的问题,可提升测试效率。,下面是页面显示异常的检测方法、装置及存储介质专利的具体信息内容。

1.一种页面显示异常的检测方法,其特征在于,包括:
获取目标显示页面的第一页面图像;
根据特征提取算法,从所述第一页面图像中提取控件元素的第一特征图;
按照多组池化参数分别对所述第一特征图进行池化处理,得到多组特征,并对所述多组特征进行合并处理,生成预设维度的特征向量
基于预设分类算法和所述特征向量,检测所述控件元素是否在所述目标显示页面上显示异常。
2.如权利要求1所述的页面显示异常的检测方法,其特征在于,根据特征提取算法,从所述第一页面图像中提取控件元素的第一特征图,包括:
获取所述目标显示页面对应的第一控件树数据;
基于所述第一控件树数据从所述目标显示页面上提取第一控件图像;
根据特征提取算法,从所述第一控件图像中提取所述控件元素的第一特征图。
3.如权利要求1所述的页面显示异常的检测方法,其特征在于,基于预设分类算法和所述特征向量,检测所述控件元素是否在所述目标显示页面上显示异常之后,还包括:
若检测到所述控件元素在所述目标显示页面上显示异常,则确定所述预设分类算法识别到的异常类别,并输出所述异常类别。
4.如权利要求1所述的页面显示异常的检测方法,其特征在于,根据特征提取算法,从所述第一页面图像中提取控件元素的第一特征图;按照多组池化参数分别对所述第一特征图进行池化处理,得到多组特征,并对所述多组特征进行合并处理,生成预设维度的特征向量;基于预设分类算法和所述特征向量,检测所述控件元素是否在所述目标显示页面上显示异常,包括:
通过训练后的异常识别网络的卷积层提取所述控件元素的第一特征图,其中,所述异常识别网络依次包括卷积层、空间金字塔池化层以及全连接层;
根据所述空间金字塔池化层,按照多个多组池化参数分别对所述第一特征图进行池化处理得到多组特征,对所述多组特征合并处理,生成具有预设维度的特征向量;
将所述特征向量输入所述全连接层进行计算,以检测所述目标显示页面的控件显示异常,并输出检测结果。
5.如权利要求4所述的页面显示异常的检测方法,其特征在于,所述卷积层的卷积核大小为m×n,其中,m≥1,n≥1,且m≠n。
6.如权利要求4所述的页面显示异常的检测方法,其特征在于,所述获取目标显示页面的第一页面图像的步骤之前,还包括:
在被测终端上运行目标应用,并遍历所述目标应用的显示页面,以获取所述显示页面的第二页面图像和所述显示页面对应第二控件树数据;
基于所述第二控件树数据从所述第二页面图像中截取第二控件图像,并基于所述第二控件图像生成正样本;
基于所述第二控件树数据对提取的第二控件图像进行叠加和/或变形处理,生成负样本;
根据所述正样本和所述负样本对预先构建的异常识别网络进行训练,以确定网络参数。
7.如权利要求6所述的页面显示异常的检测方法,其特征在于,所述基于所述第二控件树数据从所述第二页面图像中截取第二控件图像的步骤,包括:
根据所述第二控件树数据,获取所述显示页面中各控件元素在所述显示页面中的位置信息;
根据所述位置信息,从所述样本第二页面图像中截取所述控件元素的第二控件图像。
8.如权利要求6所述的页面显示异常的检测方法,其特征在于,所述基于所述第二控件图像生成正样本的步骤包括:
确定所述被测终端的第一分辨率,并获取预设机型数据对应的第二分辨率;
根据所述第一分辨率与所述第二分辨,得到缩放比例;
按照所述缩放比例对所述第二控件图像进行缩放处理,得到第三控件图像;
为所述第二控件图像和所述第三控件图像添加类别标签后,作为正样本。
9.如权利要求6所述的页面显示异常的检测方法,其特征在于,所述基于所述第二控件树数据对提取的第二控件图像进行叠加处理,生成负样本的步骤,包括:
根据所述第二控件树数据,确定出在所述显示页面上具有对齐关系的相邻控件元素;
对所述相邻控件元素对应的第二控件图像在预设调整范围内,进行随机偏移叠加处理,基于叠加后的图像生成异常控件图像;
为所述异常控件图像添加类别标签后,作为负样本。
10.如权利要求9所述的页面显示异常的检测方法,其特征在于,所述对所述相邻控件元素对应的第二控件图像在预设调整范围内,进行随机偏移叠加处理,基于叠加后的图像生成异常控件图像的步骤之前,还包括:
确定所述被测终端的第一分辨率,根据第一分辨率确定检测阈值
若相邻控件元素之间的距离小于所述检测阈值,则执行对所述相邻控件元素对应的第二控件图像在预设调整范围内,进行随机偏移叠加处理,基于叠加后的图像生成异常控件图像的步骤。
11.一种页面显示异常的检测装置,其特征在于,包括:
页面获取单元,用于获取目标显示页面的第一页面图像;
第一提取单元,用于根据特征提取算法,从所述第一页面图像中提取控件元素的第一特征图;
第二提取单元,用于按照多组池化参数分别对所述第一特征图进行池化处理,得到多组特征,并对所述多组特征进行合并处理,生成预设维度的特征向量;
异常检测单元,用于基于预设分类算法和所述特征向量,检测所述控件元素是否在所述目标显示页面上显示异常。

说明书全文

页面显示异常的检测方法、装置及存储介质

技术领域

[0001] 本发明涉及移动终端技术领域,具体涉及一种页面显示异常的检测方法、装置及存储介质。

背景技术

[0002] 当前Android机型众多,同一个页面在不同分辨率的机型上显示的效果必然不完全相同。因此测试人员需要在测试过程中关注多款机型上UI页面的展示情况,并检查是否存在UI兼容性显示异常,例如,控件重叠、控件被拉伸压扁等。
[0003] UI兼容性显示异常是UI(User Interface,用户界面)控件显示异常中对用户体验影响最为严重的一类问题,当UI布局在不同分辨率机型未适配好的情况下,很容易出现这类问题,并且出现后对用户体验影响最为严重。目前在UI测试中不具有自动识别控件重叠遮挡识别的方案,需要测试人员需要投入大量时间去检查此类问题,导致测试效率低下。

发明内容

[0004] 本发明实施例提供一种页面显示异常的检测方法、装置及存储介质,旨在实现自动识别控件显示异常,以提高测试效率。
[0005] 本发明实施例提供一种页面显示异常的检测方法,包括:
[0006] 获取目标显示页面的第一页面图像;
[0007] 根据特征提取算法,从所述第一页面图像中提取控件元素的第一特征图;
[0008] 按照多组池化参数分别对所述第一特征图进行池化处理,得到多组特征,并对所述多组特征进行合并处理,生成预设维度的特征向量
[0009] 基于预设分类算法和所述特征向量,检测所述控件元素是否在所述目标显示页面上显示异常。
[0010] 本发明实施例还提供一种页面显示异常的检测装置,包括:
[0011] 页面获取单元,用于获取目标显示页面的第一页面图像;
[0012] 第一提取单元,用于根据特征提取算法,从所述第一页面图像中提取控件元素的第一特征图;
[0013] 第二提取单元,用于按照多组池化参数分别对所述第一特征图进行池化处理,得到多组特征,并对所述多组特征进行合并处理,生成预设维度的特征向量;
[0014] 异常检测单元,用于基于预设分类算法和所述特征向量,检测所述控件元素是否在所述目标显示页面上显示异常。
[0015] 本发明实施例还提供一种存储介质,所述存储介质存储有多条指令,所述指令适于处理器进行加载,以执行本发明实施例所提供的任一页面显示异常的检测方法。
[0016] 本发明实施例还提供一种电子设备,所述电子设备包括处理器和存储器,所述存储器有计算机程序,所述处理器通过调用所述计算机程序,执行本发明实施例所提供的任一页面显示异常的检测方法。
[0017] 本发明实施例提供的页面显示异常的检测方案,获取目标显示页面的第一页面图像。根据特征提取算法,从第一页面图像中提取控件元素的第一特征图;按照多组池化参数分别对第一特征图进行池化处理得到多组特征,并对多组特征进行合并处理,生成预设维度的特征向量。基于预设分类算法和特征向量,检测控件元素是否在目标显示页面上显示异常。基于此,本方案根据预先训练好的模型对页面中的控件显示异常进行自动化识别,解决了人工检测耗时较大的问题,可提升测试效率。附图说明
[0018] 为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
[0019] 图1a是本发明实施例提供的页面显示异常的检测系统的架构示意图。
[0020] 图1b是本发明实施例提供的页面显示异常的检测方法的第一流程示意图;
[0021] 图1c是本发明实施例提出的页面显示异常的检测方法中异常识别网络的网络结构示意图;
[0022] 图1d是异常识别网络的空间金字塔池化层的结构示意图
[0023] 图1e是本发明实施例提出的页面显示异常的检测方法中页面图像以及控件图像示意图;
[0024] 图1f是本发明实施例提出的页面显示异常的检测方法中异常控件图像的第一种示意图;
[0025] 图1g是本发明实施例提出的页面显示异常的检测方法中异常控件图像的第二种示意图;
[0026] 图2是本发明实施例提供的页面显示异常的检测方法的第二流程示意图;
[0027] 图3a是本发明实施例提供的页面显示异常的检测装置的第一种结构示意图;
[0028] 图3b是本发明实施例提供的页面显示异常的检测装置的第二种结构示意图;
[0029] 图3c是本发明实施例提供的页面显示异常的检测装置的第三种结构示意图;
[0030] 图4是本发明实施例提供的电子设备的结构示意图。

具体实施方式

[0031] 下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
[0032] 在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
[0033] 人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
[0034] 人工智能技术是一综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
[0035] 机器学习(Machine Learning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
[0036] 随着人工智能技术研究和进步,人工智能技术在多个领域展开研究和应用,例如,本申请实施例提供的方案涉及人工智能的机器学习等技术,具体通过如下实施例进行说明。
[0037] 本发明实施例提供一种页面显示异常的检测方法,该页面显示异常的检测方法的执行主体可以是本发明实施例提供的页面显示异常的检测装置,或者集成了该页面显示异常的检测装置的电子设备,其中该页面显示异常的检测装置可以采用硬件或者软件的方式实现。其中,电子设备可以是智能手机、平板电脑、掌上电脑、笔记本电脑、或者台式电脑等设备。
[0038] 本发明实施例还提供一种页面显示异常的检测系统,请参阅图1a,图1a是本发明实施例提供的页面显示异常的检测系统的架构示意图。该系统包括页面显示异常的检测设备,以及与该设备连接的被测终端。该页面显示异常的检测设备上集成有页面显示异常的检测装置。其中,被测终端与检测装置可以通过USB数据线建立连接。例如,控制作为测试对象的目标应用在被测终端上运行,使用Monkey或Soloπ等测试工具对目标应用的兼容性进行测试,在使用检测设备控制被测终端进行UI测试的过程中,对被测终端的显示页面进行截图处理,得到目标显示页面的页面图像,测试设备通过adb命令抓取被测终端对目标显示页面的页面图像。测试设备在获取到目标显示页面的页面图像后,根据特征提取算法,从第一页面图像中提取控件元素的第一特征图;按照多组池化参数分别对第一特征图进行池化处理得到多组特征,并对多组特征进行合并处理,生成预设维度的特征向量;基于预设分类算法和特征向量,检测控件元素是否在目标显示页面上显示异常,得到检测结果。
[0039] 基于上述方案,随着目标应用在被测终端上的运行,不断地获取新的显示页面作为目标显示页面,按照上述流程对该显示页面上的控件显示情况进行检测,并输出检测结果。
[0040] 请参阅图1b,图1b是本发明实施例提供的页面显示异常的检测方法的第一流程示意图。该页面显示异常的检测方法的具体流程可以如下:
[0041] 101、获取目标显示页面的第一页面图像。
[0042] 相关技术中,Soloπ作为一种自动化测试工具,在兼容性测试方面,支持一拖N的测试,只需操作一台手机,其他手机便可完成相同操作,从而能够加速兼容性测试的过程,但多台机型由于分辨率的不同,往往会存在由于UI兼容性问题导致的控件显示异常,例如,出现相邻控件元素重叠、控件元素被拉伸、控件元素被压扁等。而Soloπ无法检测出这种异常,需要测试人员人工检测。
[0043] 本申请实施例提出的页面显示异常的检测方案,可以应用于终端UI测试中,例如,使用Monkey或Soloπ等测试工具对某一应用的UI兼容性进行测试的过程中,可以基于本方案对于页面上的控件的显示异常进行检测与识别。其中,Monkey为一种移动平台常用的测试工具。
[0044] 本实施例中的显示页面为应用程序呈现出的用户界面,供用户查看或者操作的页面,显示页面上一般包括一个或者多个控件元素。其中控件元素主要是指UI控件,可以是单纯的图片或者文字构成的控件,也可以是图片与文字结合构成的控件。
[0045] 在对被测终端进行测试的过程中,对被测终端的显示页面进行截图操作,得到目标显示页面的页面图像,检测设备通过adb(androiddebugbridge,安卓调试桥)命令获取该目标显示页面的页面图像。
[0046] 102、根据特征提取算法,从第一页面图像中提取控件元素的第一特征图。
[0047] 其中,特征提取算法为能够从图像中提取中表征该图像中的元素所具有的特征的算法,例如,BP(back propagation,反向传播)神经网络、卷积神经网络等。比如,通过异常识别网络的卷积层对第一页面图像进行卷积运算,将卷积层输出的特征图(feature map)作为第一特征图。
[0048] 在一些实施例中,为了提高异常控件检测的准确度,在从第一页面图像中提取第一特征图之前,先从第一页面图像中确定出控件元素的位置,例如,每一显示页面都有对应的控件树数据,该控件树数据中包含有各控件元素的位置坐标,可以基于该位置坐标对第一页面图像进行切图处理,获取目标显示页面中各控件元素的第一控件图像,将第一控件图像作为特征提取算法的输入,提取第一控件图像的第一特征图像。
[0049] 比如,根据特征提取算法,从第一页面图像中提取控件元素的第一特征图,可以包括:获取目标显示页面对应的第一控件树数据;基于第一控件树数据从目标显示页面上提取第一控件图像;根据特征提取算法,从第一控件图像中提取控件元素的第一特征图。
[0050] 103、按照多组池化参数分别对第一特征图进行池化处理得到多组特征,并对多组特征进行合并处理,生成预设维度的特征向量。
[0051] 由于显示页面上可能具有多个控件元素,并且每一控件元素的大小可能不同,导致经过特征提取算法后得到的第一特征图的大小也不相同。但是预设分类算法要求输入的特征向量的维度是固定的,即需要输入的特征向量的长度是固定的。
[0052] 基于此,在得到第一特征图之后,按照多组池化参数对第一特征图进行池化处理,得到多个第二特征图。由于每一组池化参数是固定的,该组池化参数的作用在于无论输入图像的大小如何,经过池化处理后,得到的第二特征图的尺寸是固定的。第二特征图中的每一个像素点作为一个特征,每一第二特征图中的像素点作为一组特征,经过多组池化参数对第二图像处理后,可以得到多组特征,将多组特征合并处理,即可得到固定维数的特征向量。此外,由于采用了多组池化参数进行第二特征图的提取,实现了从多个度提取特征,使得后续的预设分类算法能够有更多角度的特征输入,提高了异常检测的精准度。其中,预设的固定维数可以根据预设分类算法要求输入的特征尺寸确定。
[0053] 104、基于预设分类算法和特征向量,检测控件元素是否在目标显示页面上显示异常。
[0054] 在获取到特征向量之后,将特征向量作为预设分类算法的输入数据,其中,预设分类算法可以为softmax算法或者其他的逻辑回归分类算法。比如,该预设分类算法可以为二分类算法,其输出结果包括显示异常和显示正常两类。又比如,该预设分类算法还可以为多分类算法,当目标显示页面的控件元素均显示正常时,其输出结果为显示正常,当目标显示页面上存在显示异常的控件元素时,不仅输出异常的信息,同时输出异常类别,用于指示显示异常的控件元素属于哪一种异常情况。
[0055] 例如,在一些实施例中,基于预设分类算法和特征向量,检测控件元素是否在目标显示页面上显示异常之后,该方法还包括:若检测到控件元素在目标显示页面上显示异常,则确定所述预设分类算法识别到的异常类别,并输出异常类别。
[0056] 基于上述方案,本发明实施例通过目标显示页面上的控件元素进行特征提取,得到固定维度的特征向量,基于预设分类算法和特征向量,检测控件元素是否在目标显示页面上显示异常。实现了自动化的UI兼容性检测,提高了测试效率。
[0057] 接下来,以使用异常识别网络进行特征提取以及异常检测处理为例,对申请的方案作进一步说明。
[0058] 在一些实施例中,根据特征提取算法,从第一页面图像中提取控件元素的第一特征图;按照多组池化参数分别对第一特征图进行池化处理得到多组特征,并对多组特征进行合并处理,生成预设维度的特征向量;基于预设分类算法和特征向量,检测控件元素是否在目标显示页面上显示异常,可以包括:通过训练后的异常识别网络的卷积层提取控件元素的第一特征图,其中,异常识别网络依次包括卷积层、空间金字塔池化层以及全连接层;根据空间金字塔池化层,按照多个多组池化参数分别对第一特征图进行池化处理得到多组特征,对多组特征合并处理,生成具有预设维度的特征向量;将特征向量输入全连接层进行计算,以检测目标显示页面的控件显示异常,并输出检测结果。
[0059] 该实施例中,测试设备在获取到目标显示页面的页面图像后,将该页面图像输入到预先训练好的异常识别网络中,由该模型对该目标显示页面中的控件异常情况进行识别,该控件异常识别模包括卷积层、空间金字塔池化层和全连接层,首先在卷阶层提取目标显示页面的第一特征图,接下来,根据空间金字塔池化层,按照多组池化参数分别对第一特征图进行池化处理得到多组特征,然后再根据多组特征生成预设维度的特征向量,将该特征向量输入到全连接层进行计算,以检测目标显示页面中的控件显示异常情况,得到检测结果。
[0060] 其中,检测设备上有预先训练好的异常识别网络。其中,预先获取目标应用在正常显示的情况下的显示页面的页面图像,从中提取页面中各控件元素的控件图像作为正样本,同时,获取目标应用在显示异常的情况下,各显示页面中控件元素的控件图像作为负样本,使用采集的正样本和负样本训练预设的异常识别网络,以确定网络参数。
[0061] 请参阅图1c,图1c是本发明实施例提出的页面显示异常的检测方法中异常识别网络的网络结构示意图。本发明中的异常识别网络依次包括卷积层、空间金字塔池化层以及全连接层。可以理解的是,该异常识别网络的卷积层可以只有一层,也可以有多层,在搭建网络时可以根据需要设置卷积层的层数。当该异常识别网络有多层卷积层时,可以在每个卷积层之后设置池化层,也可以不设置池化层,其中,池化层可以对输入的feature map压缩处理,简化网络的计算复杂度,同时对特征进行压缩,提取主要特征。例如,使用最大池化层。卷积层可以对输入的图像进行卷积运算,提取特征,得到特征图。全连接层使用卷积层提取的特征可以检测目标显示页面上的控件元素是否显示异常。由于全连接层的神经元数量是固定的,这就要求全连接层输入的featuremap的尺寸是固定的。
[0062] 因此,本实施例中的异常识别网络,在卷积层与全连接层之间设置有空间金字塔池化层。空间金字塔池化层的作用在于将不同尺寸的输入图像转换为相同的尺寸,卷积层将不同尺寸的特征图输入空间金字塔池化层进行计算,仍然可以输出固定尺寸的全连接层。
[0063] 此外,由于本申请实施例中,控件发生重叠时,重叠特征一般都出现在同一方向上,例如出现在竖直方向或平方向上,且特征一般为长条状。基于此,为了更好的提取重叠特征,本申请的卷积层放弃了传统的n×n的卷积核,而是使用m×n大小的卷积核,其中,m≥1,n≥1,且m≠n,也就是说卷积核的长度与宽度大小不等。例如,使用大小为4*2以及2*4卷积核进行卷积运算,以经过卷积计算后,可以提取到长条状的重叠特征。经过实测验证,相对于使用3*3卷积核,使用本申请中大小为4*2以及2*4卷积核,对于异常显示页面的召回率有极大提升。其中,召回率是从样本库识别到的异常显示页面占样本库中实际存在的异常显示页面的比例,召回率越高,则根据该异常识别网络识别到异常显示页面的精准度就越高。
[0064] 请参阅图1d,图1d是异常识别网络的空间金字塔池化层的结构示意图。该实施例中,空间金字塔池化层包括多个子池化层,每一个子池化层具有不同的池化参数,例如,图1d中最左侧的子池化层将第一特征图划分为4×4份,取每一份中的最大值作为该份的特征,中间的子池化层将第一特征图划分为2×2份,取每一份中的最大值作为该份的特征,最右侧的子池化层将第一特征图划分为1×1份,取每一份中的最大值作为该份的特征,其中,图中的256为子池化层的神经元的数量,此处池化参数以及子池化层的数量仅为举例说明,在其他实施例中,可以根据需要选择其他的参数。
[0065] 通过上述处理后得到三组特征,将每一组特征展开后合并处理,得到一个16+4+1维度的特征向量。
[0066] 接下来对异常识别网络的训练过程进行详细说明。其中,训练过程如下:
[0067] a、在被测终端上运行目标应用,并遍历目标应用的显示页面,以获取显示页面的第二页面图像和显示页面对应第二控件树数据。
[0068] b、基于第二控件树数据从第二页面图像中截取第二控件图像,并基于第二控件图像生成正样本。
[0069] c、基于第二控件树数据对提取的第二控件图像进行叠加和/或变形处理,生成负样本。
[0070] d、根据正样本和负样本对预先构建的异常识别网络进行训练,以确定网络参数。
[0071] 首先,控制目标应用在被测终端上运行,在该目标应用在被测终端运行的过程中,遍历该目标应用的每一个显示页面。比如,由测试人员通过monkey测试工具手动控制目标应用显示每一显示页面。又比如,通过预先编写的自动化脚本控制目标应用自动运行以遍历到各个显示页面。
[0072] 其中,每当目标应用进入一个新的显示页面,获取该显示页面的页面图像,同时获取该显示页面对应的第二控件树数据。其中,在被测终端上,显示页面的控件树数据位于一个xml文件中,并且该文件中的数据会随着当前显示页面的变化而动态变化。因此,每当目标应用进入一个新的显示页面,在对当前显示页面进行截图的同时,检测设备还需要通过adb命令获取当前的控件树xml文件,并从该文件中获取控件树数据,其中,控件树数据中包含有当前显示页面上的每一个控件元素在显示页面上的位置信息,比如,位置信息为控件元素的位置坐标。
[0073] 需要说明的是,如果是采用自动化脚本的方式获取页面图像,则可以再由测试人员对获取的页面图像进行一次人工复查,删除掉其中出现控件异常显示的页面图像,以保证用作采集正样本的页面图像中的控件元素都是正常显示的。
[0074] 在获取到各个显示页面的第二页面图像及对应的第二控件树数据后,根据这些数据分别生成正样本和负样本。
[0075] 关于第二控件图像的获取方式,在一些实施例中,基于第二控件树数据从第二页面图像中截取第二控件图像的步骤可以包括:根据第二控件树数据,获取显示页面中各控件元素在显示页面中的位置信息;根据位置信息,从样本第二页面图像中截取控件元素的第二控件图像。
[0076] 由于第二控件树数据中包含有当前显示页面上的每一个控件元素在显示页面上的位置信息,因此,可以根据对应的位置信息,从第二页面图像上进行切图处理,得到每一个控件元素的控件图像。请参阅图1e,图1e是本发明实施例提出的页面显示异常的检测方法中页面图像以及控件图像示意图。其中,左侧为页面图像,右侧为从该页面图像中获取的控件图像。
[0077] 其中,关于正样本的生成方式,在一些实施例中,在获取到每一个控件元素第二控件图像后,为这些第二控件图像添加标签后,作为正样本,其中,添加的正样本标签用于将这些第二控件图像标识为正样本。这里的这样本标签以及下文中的负样本标签可以用数字表示,也可以用文字表示,本申请对此不作限定。
[0078] 或者,在另外一些实施例中,基于第二控件图像生成正样本的步骤可以包括:确定被测终端的第一分辨率,并获取预设机型数据对应的第二分辨率;根据第一分辨率与第二分辨,得到缩放比例;按照缩放比例对第二控件图像进行缩放处理,得到第三控件图像;为第二控件图像和第三控件图像添加类别标签,作为正样本。
[0079] 由于对于不同机型的终端来说,其分辨率也不尽相同,如果分辨率不同,则可能同样的控件在不同的机型上的显示大小也不相同。因此,该实施例中,为了提升模型的检测准确度,在构建正样本时,获取被测终端以及其他机型对应的分辨率,计算其他机型的分辨率与被测终端的第一分辨率之间的比例,将该比例作为缩放比例,按照该缩放比例对第一控件图像进行缩放处理,得到与其他机型的分辨率适配的第三控件图像,为第二控件图像和第三控件图像添加正样本标签,并将他们共同作为正样本,以增加正样本的数量,同时增加正样本的多样性,提高模型训练的准确率。
[0080] 接下来,在采集的第二控件图像的基础上,对这些第二控件图像进行变换处理,得到负样本的图像。
[0081] 比如,在一些实施例中,基于第二控件树数据对提取的第二控件图像进行叠加处理,生成负样本的步骤可以包括:根据第二控件树数据,确定出在显示页面上具有对齐关系的相邻控件元素;对相邻控件元素对应的第二控件图像在预设调整范围内,进行随机偏移叠加处理,基于叠加后的图像生成异常控件图像;为异常控件图像添加类别标签后,作为负样本。
[0082] 请参阅图1f,图1f是本发明实施例提出的页面显示异常的检测方法中异常控件图像的第一种示意图。显示页面上有相邻显示的控件图像A与控件图像B,在一定的预设调整范围内,随机地移动控件图像B,使其部分区域重叠于控件图像A之上,其中,预设调整范围可以是一个经验值,也可以是根据控件图像的大小设置的,移动控件图像B时,产生的重叠部分的宽度在预设调整范围内随机确定。基于重叠后的图像,按照原始的控件图像A的大小和位置从其中截取控件图像A,这样截取到的控件图像A上会有与之重叠显示的控件图像B的部分内容,即为异常显示图像,可以作为用于训练异常识别网络的负样本。
[0083] 请参阅图1g,图1g是本发明实施例提出的页面显示异常的检测方法中异常控件图像的第二种示意图。显示页面上有相邻显示的控件图像A与控件图像B,在一定的预设调整范围内,随机地移动控件图像A,使其部分区域重叠于控件图像B之上,基于重叠后的图像,按照原始的控件图像B的大小和位置从其中截取控件图像B,这样截取到的控件图像B上会有与之重叠显示的控件图像A的部分内容,即为异常显示图像,可以作为用于训练异常识别网络的负样本。
[0084] 在一些实施例中,对相邻控件元素对应的第二控件图像在预设调整范围内,进行随机偏移叠加处理,基于叠加后的图像生成异常控件图像的步骤之前,还包括:确当被测终端的第一分辨率,根据第一分辨率确定检测阈值;若相邻控件元素之间的距离小于检测阈值,则执行对相邻控件元素对应的第二控件图像在预设调整范围内,进行随机偏移叠加处理,基于叠加后的图像生成异常控件图像的步骤。例如,可以将检测阈值确定为第一分辨率在显示屏的长度方向上或者宽度方向上的1%-10%,比如,检测阈值确定为第一分辨率在显示屏的宽度方向上的5%。通过这种方式,可以根据被测终端的实际分辨率,灵活调整检测阈值,以提高生成的负样本的准确度,进而训练得到的异常识别网络的识别准确度。
[0085] 当相邻控件元素之间的距离小于预设阈值时,这两个控件元素发生重叠的概率较高,则将这两个控件元素对应的第二控件图像叠加处理,以生成负样本。
[0086] 根据控件树数据中各控件元素对应的位置信息,检测出在显示页面中具有水平对齐或者垂直对齐关系的相邻控件元素,这些相邻控件元素有较大概率出现显示异常,因此,可以根据他们之间距离,移动其中一个控件图像,使其与另一个控件元素重叠。
[0087] 又比如,在一些实施例中,基于第二控件树数据对提取的第二控件图像进行变形处理,生成负样本的步骤可以包括:对第二控件图像进行拉伸或者压扁处理,得到异常控件图像;为异常控件图像添加类别标签后,作为负样本。
[0088] 从上述两个例子可以看出,对于第二控件图像的处理方式不同,会得到不同类型的负样本,而负样本的类型不同,最终训练得到异常识别网络能够识别的异常类型也不相同。比如,采用对第二控件图像叠加处理的方式得到负样本,训练得到的异常识别网络可以识别页面中的控件叠加异常。又比如,采用对第二控件图像进行拉伸或者压扁处理的方式得到负样本,训练得到的异常识别网络可以识别页面中的控件拉伸或者压扁异常。又比如,负样本中有一部分是采用对第二控件图像叠加处理的方式得到,另一部分是采用对第二控件图像进行拉伸或者压扁处理的方式得到,那么训练得到的异常识别网络既可以识别页面中的控件叠加异常,又可以识别页面中的控件拉伸或者压扁异常,例如,该网络的分类算法可以为多分类,输出结果可以包括0、1和2,其中,当输出结果为0时,目标显示页面为显示正常,当输出结果为1时,目标显示页面中出现了控件叠加异常,输出结果为2时,目标显示页面中出现了控件拉伸或者压扁异常。
[0089] 在获取到正样本和负样本之后,由正样本和负样本构成训练集,使用该训练集对上述异常识别网络进行训练,以确定网络参数。将确定网络参数的异常识别网络用于UI兼容性测试中控件显示异常的识别。
[0090] 具体实施时,本申请不受所描述的各个步骤的执行顺序的限制,在不产生冲突的情况下,某些步骤还可以采用其它顺序进行或者同时进行。
[0091] 由上可知,上述实施例提供的页面显示异常的检测方法,获取目标显示页面的第一页面图像;根据特征提取算法,从第一页面图像中提取控件元素的第一特征图;按照多组池化参数分别对第一特征图进行池化处理得到多组特征,并对多组特征进行合并处理,生成预设维度的特征向量;基于预设分类算法和特征向量,检测控件元素是否在目标显示页面上显示异常。基于此,本方案根据预先训练好的模型对页面中的控件显示异常进行自动化识别,解决了人工检测耗时较大的问题,可提升测试效率。
[0092] 根据前面实施例所描述的方法,以下将举例作进一步详细说明。
[0093] 请参阅图2,图2是本发明实施例提供的页面显示异常的检测方法的第二流程示意图。方法包括:
[0094] 201、基于自动化脚本控制目标应用在被测终端上运行,以遍历目标应用的预设显示页面。
[0095] 本实施例中的控件主要是指UI控件,可以是单纯的图片或者文字构成的控件,也可以是图片与文字结合构成的控件。通过预先编写的自动化脚本控制目标应用自动运行以遍历到各个显示页面,或者遍历到需要进行UI兼容性测试的显示主要页面。
[0096] 202、获取预设显示页面的第二页面图像和预设显示页面对应的第二控件树数据。
[0097] 在被测终端上,显示页面的控件树数据位于一个xml文件中,并且该文件中的数据会随着被测终端当前显示页面的变化而动态变化。每当目标应用进入一个新的显示页面,在对该显示页面进行截图的同时,检测设备还需要通过adb命令获取当前的控件树xml文件,并从该文件中获取控件树数据,将该控件树文件与对应的页面图像关联存储。
[0098] 203、基于第二控件树数据从第二页面图像中截取第二控件图像。
[0099] 204、根据被测终端的第一分辨率和预设机型数据的第二分辨率,得到缩放比例,按照缩放比例对第二控件图像进行缩放处理,得到第三控件图像;为第二控件图像和第三控件图像添加类别标签,作为正样本。
[0100] 从第二控件数据中获取控件元素在显示页面上的位置信息,根据该位置信息从第二页面图像中截取第二控件图像,为了增加正样本的数量,同时增加正样本的多样性,提高模型训练的准确率,计算其他机型的分辨率与被测终端的第一分辨率之间的比例,将该比例作为缩放比例,按照该缩放比例对第一控件图像进行缩放处理,得到与其他机型的分辨率适配的第三控件图像,为这些第二控件图像和第三控件图像添加正样本标签后作为正样本。
[0101] 205、基于第二控件树数据对提取的第二控件图像进行叠加和/或变形处理生成异常控件图像,为异常控件图像添加负样本标签后作为负样本。
[0102] 根据第二控件树数据,确定出在显示页面上具有对齐关系的相邻控件元素;对相邻控件元素对应的第二控件图像在一定的调整范围内,进行随机偏移叠加处理,得到第一异常控件图像;同时,对第二控件图像进行拉伸或者压扁处理,得到第二异常控件图像;为第一异常控件图像和第二异常控件图像添加类别标签后,作为负样本。
[0103] 206、根据正样本和负样本对预先构建的异常识别网络进行训练,以确定网络参数。
[0104] 在获取到正样本和负样本之后,由正样本和负样本构成训练集,使用该训练集对上述异常识别网络进行训练,以确定网络参数。该异常识别网络的结构和原理请参见上述实施例,在此不再赘述。
[0105] 207、获取作为测试对象的目标显示页面的第一页面图像,以及目标显示页面对应的第一控件树数据。
[0106] 将确定网络参数的异常识别网络用于UI兼容性测试中控件显示异常的识别。控制作为测试对象的目标应用在被测终端上运行,使用Monkey或Soloπ等测试工具对目标应用的UI兼容性进行测试,在使用检测设备控制被测终端进行UI测试的过程中,对被测终端的显示页面进行截图处理,得到目标显示页面的页面图像,同时通过adb命令抓取目标显示页面对应的控件树数据。
[0107] 208、根据第一控件树数据从第一页面图像中进行切图处理,获取第二控件图像。
[0108] 209、根据训练好的异常识别网络和第二控件图像,检测目标显示页面中的控件元素是否发生显示异常。
[0109] 为了提高异常控件检测的准确度,先从第一页面图像中确定出控件元素的位置,例如,每一显示页面都有对应的控件树数据,该控件树数据中包含有各控件元素的位置坐标,可以基于该位置坐标对第一页面图像进行切图处理,获取目标显示页面中各控件元素的第一控件图像,将第一控件图像作为训练好的异常识别网络的输入,由该网络根据输入的第一控件图像对该目标显示页面中的控件异常情况进行识别。
[0110] 210、若检测到控件元素在目标显示页面上显示异常,则确定所述预设分类算法识别到的异常类别,并输出异常类别。
[0111] 该实施例中的异常识别网络为多分类网络,能够识别出控件异常的异常类型,根据异常识别网络的输出结果可以确定目标显示页面上的控件元素是否出现异常以及出现异常的类型。例如,该网络的输出结果可以包括0、1和2,其中,当输出结果为0时,目标显示页面为显示正常,当输出结果为1时,目标显示页面中出现了控件叠加异常,输出结果为2时,目标显示页面中出现了控件拉伸或者压扁异常。
[0112] 由上可知,本发明实施例提出的页面显示异常的检测方法,采集正常显示的UI页面中的控件图像作为正样本,同时对这些控件图像进行变形处理,得到负样本,使用正样本和负样本对预先构建的异常识别网络进行训练,在进行UI兼容性测试的过程中,获取作为测试对象的目标显示页面的页面图像,使用训练后的异常识别网络对该页面图像进行检测,以判断该页面显示是否异常,并输出异常类别。
[0113] 为了实施以上方法,本发明实施例还提供一种页面显示异常的检测装置,该页面显示异常的检测装置具体可以集成在终端设备如手机、平板电脑等设备中。例如,请参阅图3a,图3a是本发明实施例提供的页面显示异常的检测装置的第一种结构示意图。该页面显示异常的检测装置可以包括页面获取单元301、第一提取单元302、第二提取单元303和异常检测单元304,如下:
[0114] 页面获取单元301,用于获取目标显示页面的第一页面图像;
[0115] 第一提取单元302,用于根据特征提取算法,从所述第一页面图像中提取控件元素的第一特征图;
[0116] 第二提取单元303,用于按照多组池化参数分别对所述第一特征图进行池化处理,得到多组特征,并对所述多组特征进行合并处理,生成预设维度的特征向量;
[0117] 异常检测单元304,用于基于预设分类算法和所述特征向量,检测所述控件元素是否在所述目标显示页面上显示异常。
[0118] 请参阅图3b,图3b是本发明实施例提供的页面显示异常的检测装置的第二种结构示意图。在一些实施例中,第一提取单元302包括:
[0119] 数据获取子单元3021,用于获取所述目标显示页面对应的第一控件树数据;
[0120] 图像提取子单元3022,用于基于所述第一控件树数据从所述目标显示页面上提取第一控件图像;
[0121] 特征提取子单元3023,用于根据特征提取算法,从所述第一控件图像中提取所述控件元素的第一特征图。
[0122] 在一些实施例中,异常检测单元304还用于:基于预设分类算法和所述特征向量,检测所述控件元素是否在所述目标显示页面上显示异常之后,若检测到所述控件元素在所述目标显示页面上显示异常,则确定所述预设分类算法识别到的异常类别,并输出所述异常类别。
[0123] 在一些实施例中,第一提取单元302还用于:通过训练后的异常识别网络的卷积层提取所述控件元素的第一特征图,其中,所述异常识别网络依次包括卷积层、空间金字塔池化层以及全连接层;
[0124] 第二提取单元303还用于:根据所述空间金字塔池化层,按照多个多组池化参数分别对所述第一特征图进行池化处理得到多组特征,对所述多组特征合并处理,生成具有预设维度的特征向量;
[0125] 异常检测单元304还用于:将所述特征向量输入所述全连接层进行计算,以检测所述目标显示页面的控件显示异常,并输出检测结果。
[0126] 在一些实施例中,所述卷积层的卷积核大小为m×n,其中,m≥1,n≥1,且m≠n。
[0127] 请参阅图3c,图3c是本发明实施例提供的页面显示异常的检测装置的第三种结构示意图。在一些实施例中,该页面显示异常的检测装置还包括网络训练单元305,该网络训练单元305用于:
[0128] 在被测终端上运行目标应用,并遍历所述目标应用的显示页面,以获取所述显示页面的第二页面图像和所述显示页面对应第二控件树数据;
[0129] 基于所述第二控件树数据从所述第二页面图像中截取第二控件图像,并基于所述第二控件图像生成正样本;
[0130] 基于所述第二控件树数据对提取的第二控件图像进行叠加和/或变形处理,生成负样本;
[0131] 根据所述正样本和所述负样本对预先构建的异常识别网络进行训练,以确定网络参数。
[0132] 在一些实施例中,该网络训练单元305还用于:根据所述第二控件树数据,获取所述显示页面中各控件元素在所述显示页面中的位置信息;根据所述位置信息,从所述样本第二页面图像中截取所述控件元素的第二控件图像。
[0133] 在一些实施例中,该网络训练单元305还用于:确定所述被测终端的第一分辨率,并获取预设机型数据对应的第二分辨率;
[0134] 根据所述第一分辨率与所述第二分辨,得到缩放比例;
[0135] 按照所述缩放比例对所述第二控件图像进行缩放处理,得到第三控件图像;
[0136] 为所述第二控件图像和所述第三控件图像添加类别标签后,作为正样本。
[0137] 在一些实施例中,该网络训练单元305还用于:根据所述第二控件树数据,确定出在所述显示页面上具有对齐关系的相邻控件元素;
[0138] 对所述相邻控件元素对应的第二控件图像在预设调整范围内,进行随机偏移叠加处理,基于叠加后的图像生成异常控件图像;
[0139] 为所述异常控件图像添加类别标签后,作为负样本。
[0140] 在一些实施例中,该网络训练单元305还用于:
[0141] 确定所述被测终端的第一分辨率,根据第一分辨率确定检测阈值;
[0142] 若相邻控件元素之间的距离小于所述检测阈值,则对所述相邻控件元素对应的第二控件图像在预设调整范围内,进行随机偏移叠加处理,基于叠加后的图像生成异常控件图像。
[0143] 具体实施时,以上各个单元可以作为独立的实体来实现,也可以进行任意组合,作为同一或若干个实体来实现,以上各个单元的具体实施可参见前面的方法实施例,在此不再赘述。
[0144] 应当说明的是,本发明实施例提供的页面显示异常的检测装置与上文实施例中的页面显示异常的检测方法属于同一构思,在页面显示异常的检测装置上可以运行页面显示异常的检测方法实施例中提供的任一方法,其具体实现过程详见页面显示异常的检测方法实施例,此处不再赘述。
[0145] 本发明实施例提出的页面显示异常的检测装置,获取目标显示页面的第一页面图像;根据特征提取算法,从第一页面图像中提取控件元素的第一特征图;按照多组池化参数分别对第一特征图进行池化处理得到多组特征,并对多组特征进行合并处理,生成预设维度的特征向量;基于预设分类算法和特征向量,检测控件元素是否在目标显示页面上显示异常。基于此,本方案根据预先训练好的模型对页面中的控件显示异常进行自动化识别,解决了人工检测耗时较大的问题,可提升测试效率。
[0146] 本发明实施例还提供一种电子设备,请参阅图4,图4是本发明实施例提供的电子设备的结构示意图。具体来讲:
[0147] 该电子设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403、输入模块404以及通信模块405等部件。本领域技术人员可以理解,图4中示出的电子设备结构并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
[0148] 处理器401是该电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器402内的软件程序和/或模块,以及调用存储在存储器402内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。在一些实施例中,处理器401可包括一个或多个处理核心;在一些实施例中,处理器401可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器401中。
[0149] 存储器402可用于存储软件程序以及模块,处理器401通过运行存储在存储器402的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据电子设备的使用所创建的数据等。此外,存储器402可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器402还可以包括存储器控制器,以提供处理器401对存储器402的访问
[0150] 电子设备还包括给各个部件供电的电源403,在一些实施例中,电源403可以通过电源管理系统与处理器401逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
[0151] 该电子设备还可包括输入模块404,该输入模块404可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘鼠标、操作杆、光学或者轨迹球信号输入。
[0152] 该电子设备还可包括通信模块405,在一些实施例中通信模块405可以包括无线模块,电子设备可以通过该通信模块405的无线模块进行短距离无线传输,从而为用户提供了无线的宽带互联网访问。比如,该通信模块405可以用于帮助用户收发电子邮件、浏览网页和访问流式媒体等。
[0153] 尽管未示出,电子设备还可以包括显示单元等,在此不再赘述。具体在本实施例中,电子设备中的处理器401会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中,并由处理器401来运行存储在存储器402中的应用程序,从而实现各种功能,如下:
[0154] 获取目标显示页面的第一页面图像;
[0155] 根据特征提取算法,从所述第一页面图像中提取控件元素的第一特征图;
[0156] 按照多组池化参数分别对所述第一特征图进行池化处理,得到多组特征,并对所述多组特征进行合并处理,生成预设维度的特征向量;
[0157] 基于预设分类算法和所述特征向量,检测所述控件元素是否在所述目标显示页面上显示异常。
[0158] 本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
[0159] 由上所述,本发明实施例提出的电子设备,获取目标显示页面的第一页面图像;根据特征提取算法,从第一页面图像中提取控件元素的第一特征图;按照多组池化参数分别对第一特征图进行池化处理得到多组特征,并对多组特征进行合并处理,生成预设维度的特征向量;基于预设分类算法和特征向量,检测控件元素是否在目标显示页面上显示异常。基于此,本方案根据预先训练好的模型对页面中的控件显示异常进行自动化识别,解决了人工检测耗时较大的问题,可提升测试效率。
[0160] 为此,本发明实施例提供一种存储介质,其中存储有多条指令,该指令能够被处理器进行加载,以执行本发明实施例所提供的任一种页面显示异常的检测方法中。例如,该指令可以执行:
[0161] 获取目标显示页面的第一页面图像;
[0162] 根据特征提取算法,从所述第一页面图像中提取控件元素的第一特征图;
[0163] 按照多组池化参数分别对所述第一特征图进行池化处理,得到多组特征,并对所述多组特征进行合并处理,生成预设维度的特征向量;
[0164] 基于预设分类算法和所述特征向量,检测所述控件元素是否在所述目标显示页面上显示异常。
[0165] 以上操作的具体实施可参见前面的实施例,在此不再赘述。
[0166] 其中,该计算机可读存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。
[0167] 由于该计算机可读存储介质中所存储的指令,可以执行本发明实施例所提供的任一种页面显示异常的检测方法,因此,可以实现本发明实施例所提供的任一种页面显示异常的检测方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
[0168] 上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
[0169] 所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
[0170] 在本申请实施例所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
[0171] 所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
[0172] 另外,在本申请实施例各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。
[0173] 在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。
[0174] 所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机计算机程序时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
[0175] 以上对本申请实施例所提供的技术方案进行了详细介绍,本申请实施例中应用了具体个例对本申请实施例的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请实施例的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请实施例的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请实施例的限制。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈