技术领域
[0001] 本
发明涉及视觉检测技术领域，更具体的说是涉及一种基于注意机制的软件测试视觉检测方法。
背景技术
[0002] 人类超过80％的信息来自视觉，人所处的外界环境复杂多变，大部分信息均以视觉信息的形式进入
视野，而进入视野的信息中也不是同等重要的，其目标特征越显著越能更快、更多的吸引注意。面对复杂场景，人类视觉系统能够较好的实现对目标的证实、检测、
鉴别和识别。视觉检测技术作为一种非
接触式的柔性检测技术，具有
感知信息丰富，对被检测物体无影响的特点，便于利用现代信息理论和技术进行精细分析。但对于众多复杂的视觉场景如何从多变的背景中找到特征目标是视觉检测的核心问题，也是进一步针对目标进行模拟分析的关键所在。
[0003] 由于软件规模逐年增大、应用范围越来越广，而人类的需求也逐步攀升，因此软件开发中出现错误或
缺陷的机会也越来越多，市场对软件
质量重要性的认识逐渐增强。所以，软件测试在软件项目实施过程中的重要性日益突出。软件质量及性能监控作为软件测试的核心环节，目前随着信息技术及应用的发展也越来越受到重视。软件自动化测试伴随着软件可靠性要求以及软件复杂度的提升也成为软件测试中普遍采用的方法和工具。但随着自动化测试的推广，其问题也逐渐凸显出来。在某些高可靠性、高准确性、易产生灾难性后果的软件测试中，人还是无法从软件测试中解脱出来，无法真正实现软件测试自动化。将
计算机视觉监控技术引入软件测试领域进而实现软件测试的自动化这是本文主要研究的内容。
[0004] 因此，如何提供一种基于注意机制、能够对软件自动化测试中软件故障的显著性特征进行提取分析，实现无人值守的软件自动化测试的视觉检测方法是本领域技术人员亟需解决的问题。
发明内容
[0005] 有鉴于此，本发明采用生视觉特性的检测系统模式，采取了选择注意机制的计算策略，通过高速扫视软件测试显示内容的图像场景，选择场景中的显著区域，弱化不显著的区域，判断分析图像目标的
语义解释，解决了高可靠性、高时效性软件自动化测试需要长期有人值守的问题，从而提高了测试效率和准确程度，实现了全自动化软件测试。
[0006] 为了实现上述目的，本发明采用如下技术方案：一种基于注意机制的软件测试视觉检测方法，软件测试结果通过监视器显示，包括如下步骤：
[0007] 步骤1：对所述监视器显示的原始图像
采样，得到检测目标对象的扫视采样图像；
[0008] 步骤2：在计算机上检测所述扫视采样图像中的简单图像特征，并确定关注焦点；
[0009] 步骤3：集中处理所述关注焦点，获取若干局部细节特征，并进行局部细节特征的整合编组，形成图像目标；
[0010] 步骤4：将所述图像目标与先验
知识库进行目标匹配，获得检测结果语义解释。
[0011] 优选的，所述步骤1中所述原始图像采样过程包括但不限于以下方法：
[0012] 建立阵列摄像头，对所述监视器进行视频监控；
[0013] 在计算机上建立监视器屏幕事件捕捉器，计算机后台实时捕捉所述监视器显示的
动态图像。
[0014] 优选的，所述步骤2具体包括：
[0015] 设定视觉任务，包括所述简单图像特征的
对比度、范围、
时空、空间尺寸以及上下文关联性；
[0016] 在所述扫视采样图像中选择符合所述视觉任务的若干所述简单图像特征，构成简单图像特征集，若干所述简单图像特征之间相互独立；
[0017] 通过对所述简单图像特征集进行竞争神经网络分析，获得所述简单图像特征的分布情况；
[0018] 根据所述分布情况搜索和确定所述关注焦点，记录所述关注焦点坐标，并标定相应的ROI描述。
[0019] 优选的，对所述简单图像特征集进行竞争神经网络分析具体为：采用
单层感知器构建神经网络，通过有监督的学习进行训练，并结合竞争机制从所述简单图像特征集中找到所述关注焦点。
[0020] 优选的，所述简单图像特征包括至少一个下述特征：灰度特征，纹理特征，小波特征。
[0021] 优选的，所述步骤3具体包括：
[0022] 对所述关注焦点进行
图像分割，获得重要ROI目标集合；
[0023] 对所述重要ROI目标集合进行特征
抽取，获得若干所述局部细节特征；
[0024] 基于非均匀采样的融合策略对所述局部细节特征进行整合编组，生成图像目标。
[0025] 优选的，所述局部细节特征的
分辨率高于所述简单图像特征分辨率。
[0026] 优选的，步骤4中的所述先验知识库包括：
[0027]
原型目标知识，为在原始图像采样之前，已经存储在知识库中的图像目标模式及所述原型目标的语意解释；
[0028] 当前知识，为在局部细节特征提取过程中，通过协同学习
算法对各种已知原型目标的样本进行学习，逐渐形成的对局部细节特征图像内容的动态内部描述；
[0029] 处理期望，对视觉检测预期结果的表述。
[0030] 优选的，所述步骤4具体为：
[0031] 所述图像目标的获取过程中，所述先验知识库实时更新若干个所述局部细节特征图像的动态内部描述，最终获得所述图像目标的语义描述；
[0032] 将所述图像目标及对应的语义描述与所述图像目标模式及所述原型目标的语义解释进行目标匹配，获得检测结果语义解释。
[0033] 经由上述的技术方案可知，本发明提供一种基于注意机制的软件测试视觉检测方法，具体有益效果如下：
[0034] 通过视觉注意机制对两步图像特征提取，满足软件测试结果中目标显示内容的粗
定位和精准识别。
[0035] 对关注焦点进行集中处理可以大大降低信息冗余，并快速检测出图像目标。
[0036] 提高软件测试的自动化程度，具有一致性和可重复性的特点，而且测试更客观，提高了软件的信任度。
[0037] 软件测试过程摆脱了人为监控和干预，通过检测结果的语义解释直观获取软件测试的最终状态，有效提高了测试效率。
[0038] 大大降低了软件测试的人工投入，对于测试缺陷可以快速的实现分析和隔离。
[0039] 将计算机视觉监控引入软件自动化测试领域能执行更多、更频繁的测试，使测试任务的执行比人为判断测试结果的方式更高效，为解决大部分软件测试结果客观、自动化判断提供技术衡量指标，可以更快地将软件推向市场。
附图说明
[0040] 为了更清楚地说明本发明
实施例或
现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0041] 图1附图为本发明基于注意机制的软件测试视觉检测方法的流程示意图；
[0042] 图2附图为本发明软件自动化测试视觉检测模型示意图。
具体实施方式
[0043] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0044] 本发明基于软件测试的特点，视觉检测系统的检测以多台监视器显示内容为目标，监视器可以为计算机、示波器或者仪表显示器：
[0045] 计算机后台搭载测试软件，软件测试结果往往以
人机交互的形式展示于计算机显示器，其软件报错显示信息包括：蓝屏、error、提示窗口或字符等故障信息。在计算机上建立监视器屏幕事件捕捉器，通过通过脚本程序设定触发时钟，在每次一时钟上升沿触发屏幕捕捉功能，实时捕捉监视器显示的动态图像。以示波器或仪表显示器显示的软件测试结果，其测试信息往往为
波形、图像的形式进行显示。建立阵列摄像头，对监视器进行视频监控，对视频图像进行实时采样。动态图像和视频图像即为检测目标对象的扫视采样图像。
[0046] 因为检测目标对象在成像场景中仅占图像中很小的一部分，因此，将选择注意机制引入检测任务，模拟人眼通过眼动扫视预注意机制，选择感兴趣的目标；模拟人眼通过眼动凝视集中注意机制对感兴趣目标集中分析，并结合处理信息加工处理方法，实现软件自动化测试的视觉检测过程，软件自动化测试视觉检测模型示意图如图2所示。
[0047] 眼动扫视预注意机制：对所述监视器显示的原始图像采样，，并快速搜索感兴趣(ROI)目标，具有任务驱动的主观性和数据驱动的随意性等特点，主要步骤包括：
[0048]
图像空间采样，对原始图像采样得到检测目标对象的扫视采样图像，其输出的采样图像范围较大、分辨率较低。
[0049] 简单特征提取，从扫视采样图像中提取简单图像特征，简单图像特征为低分辨率大场景图像，对场景内的局部细节不敏感，和
视网膜感受野M型节细胞对应。该特征的提取依据设定的视觉任务，包括所需要选择出的简单图像特征的对比度、范围、时空、空间尺寸以及上下文关联性等，例如，对比度反映在图像上不同
像素点的
亮度和色彩上；范围、时空、空间尺寸反映在像素点的边界值及坐标；上下文关联性反映在字符提示型测试结果，因此，对应的被筛选出的简单图像特征包括至少一个下述特征：灰度特征，纹理特征，小波特征，上述特征需要满足视觉任务的要求。若干简单图像特征构成简单图像特征集，若干简单图像特征之间相互独立；
[0050] 对简单图像特征集进行竞争神经网络分析，采用单层感知器构建神经网络，进行有监督的学习训练，并结合竞争机制对简单图像特征集的显著性强弱进行排序，获得简单图像特征的分布情况，按序生成关注焦点。记录所述关注焦点坐标，通过空时聚类或感知编组过程，将离散的FOA对象层次组织起来获得比较集中完整的显著结构或感兴趣区域(ROI)描述，并标定相应的ROI描述，即完成原始图像的全局特征提取、描述和度量，证实并确定了眼动扫视预注意机制下的初步检测目标，可为下一步的图像目标检测和识别提供更高层次的内容描述。
[0051] 在全局特征显著性度量与计算过程中，包括运动物体的显著性特征提取和静态显著性提取，其中，
[0052]
块匹配算法应用于运动物体的显著性提取算法，其思想是将当前
帧划分成一个块矩阵，然后和前帧中的对应块或者相邻块进行比较，确定该块在帧与帧之间的运动向量。对于当前帧及其后续帧进行图像划分，每一个划分子区域记为MBi，j，用最小绝对均方误差方法计算在后续帧中与当前帧对应的子区域MBi，j，两者之间的位移记做当前帧该子区域的运动向量(motion vector)，即(dxi，j，dyi，j)。
[0053] (1)
块匹配算法隐含的一个前提假设是当前帧中的物体或背景通过移动形成后续帧中的相应的物体。块匹配的思想是将当前帧划分成一个宏块(macro blocks)矩阵，然后和前帧中的相应宏块或相邻宏块进行比较，从而构造出宏块从前帧的某一
位置到当前帧的某一位置的运动向量。对帧中所有的宏块进行计算，得到当前帧的运动向量图。对当前宏块的寻找匹配的搜索范围限定在该宏块四周p个像素范围之内。p称为搜索参数。运动越剧烈，搜索参数p越大，同时计算运动向量的时间代价也越大。一般而言，宏块取为8×8的正方形，搜索参数p取为7个像素。
[0054] 根据代价函数，衡量宏块与宏块之间匹配程度。与当前宏块具有最小代价函数的宏块认为是当前宏块的最佳匹配。有许多不同的代价函数，其中最常用的、计算代价较小的是绝对均值误差(MAD)和绝对均方误差(MSE)，如下式所示。其中N表示宏块的边长，Cii和Rij分别表示当前宏块和参照宏块内部的对应像素。
[0055]
[0056]
[0057] (2)谱残余方法是一种静态显著性提取算法，按照信息论的观点，一帧静态图像信息可以分解为两个部分：
[0058] H(图像)＝H(不变量)+H(先验知识) (3)
[0059] 基于大量的自然图像统计表明，自然图像的这一统计不变量的性质遵从1/f法则，即：
[0060] E{A(f)}∝1/f (4)
[0061] 在对数-对数尺度上，均衡各方向后，自然图像的整体振幅谱近似于一条直线。
[0062] 对于一帧静态的图像，相似性意味着存在冗余信息。视觉注意系统将最小化这些冗余的视觉信息，而关注那些在对数谱曲线上并不平滑的区域，我们认为振幅谱上的统计奇异点将对应于原图像的不规则区域，也就是会引起人注意的区域计算图像的对数谱L(f)，然后通过以下式子计算谱残余R(f)的信息量：
[0063] H(R(f))＝H(L(f)|A(f)) (5)
[0064] 其中，A(f)作为先验信息，表示对数谱的一般形态。R(f)是输入图像的统计上的特殊区域，定义为图像的谱残余。因此，谱残余R(f)可以通过以下关系式得到：
[0065] R(f)＝L(f)-A(f) (6)
[0066] 在这一个模型中，谱残余包含了图像的不规则信息。再通过逆
傅立叶变换，我们可以在空间域上构造出静态图像的显著图。静态显著图主要包含了场景中的非平凡部分。而谱残余的部分也可以理解成图像中与周围区域不同的部分。
[0067] 眼动凝视集中注意：鉴别并集中处理接受的FOA，对比较集中完整的显著结构或感兴趣区域(ROI)描述进行语意解释，完成
图像分析任务，主要由二次空间采样、简单特征提取、特征整合编组和目标匹配理解四个部分组成。
[0068] 二次空间采样，集中处理关注焦点，对关注焦点进行图像分割，根据显著结构或感兴趣区域(ROI)描述，筛选得到重要ROI目标集合。
[0069] 局部细节特征提取，对重要ROI目标集合进行特征抽取，获得若干局部细节特征，局部细节特征为高分辨率小场景图像，和视网膜感受野P型节细胞对应。
[0070] 特征整合编组是基于非均匀采样的融合策略对局部细节特征进行整合编组，形成图像目标。
[0071] 建立先验知识库，其是整个图像信息处理方法的信息中枢和控制中枢，它向上述两种处理过程提供原型目标知识、当前知识以及处理期望，并生成各种反馈信息与控制命令。
[0072] 原型目标知识为在原始图像采样之前，已经存储在知识库中的图像目标模式及所述原型目标的语意解释。在计算机端执行的软件自动化测试其内容一般为软件错误表现信息；在其他仪表显示器现实的软件测试内容一般为波形、图像。分别对测试结果判断的关键性图像特征保存至图像目标模式，并赋予其语义解释。
[0073] 当前知识是先验知识库实时更新若干个局部细节特征图像的动态内部描述，最终获得图像目标的语义描述，但只是图像信息处理的中间结果，它往往不完善也不稳定，时刻处于不断变化中，体现的是局部细节特征的综合分析过程。
[0074] 处理期望是对视觉检测预期结果的表述。它通常在眼动扫视预注意之前制定，在
图像处理过程中调整，完成对图像处理过程的总体规划。
[0075] 目标匹配是指对局部细节特征与知识库中的图像目标模式进行比较，确定最佳匹配，从而获得其语意解释，完成软件自动化测试结果的视觉检测。
[0076] 本
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0077] 对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种
修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
