表面缺陷仿蝇视觉在线检测装置及检测方法
技术领域
[0001] 本
发明属于工业视觉检测和
图像处理技术领域，特别是涉及一种仿蝇视觉在线表面缺陷检测装置及检测方法。
背景技术
[0002] 在
铜带材生产
制造过程中，由于受恶劣复杂多变的现场环境影响，再加上铜带带材表面本身的反射、散射特性以及高速运行产生的震动，还有金属带材的在线检测向着大尺寸、高
精度、高速度、高可靠性等方向发展，使得视觉检测技术在推广应用中面临诸多问题。成像
质量稳健性差、
信噪比低，缺陷形状特征和纹理特征弱、冗余信息匮乏，增加了图像细节分析和识别困难；特别是微小缺陷极易被杂波和噪声所淹没，缺陷检出率对环境变化敏感，经常出现漏检和虚惊。对微小缺陷检测的精准检测成为视觉检测技术充分发挥优良性能和进一步推广的
瓶颈。当缺陷距离观测点较远或者缺陷的相对尺寸较小时，往往需要采用高空间
分辨率的摄像机获取场景信息辨识表面缺陷。
[0003] 在自然界，昆虫视觉系统卓越的目标检测和识别能
力，使得昆虫可以在任何环境下对感兴趣高速运动目标进行检测和
跟踪，昆虫复眼视觉在信息获取和处理过程的层次和并行处理过程，最终形成对复杂场景中的目标的快速精准检测和凝视，且昆虫视觉对复杂场景目标的检测和识别过程本质上是良态的和适定的。例如苍蝇的复眼，它是有成千上万个小眼组成，每个小眼只能看到外部场景的非常小的一
块，由于每只小眼的孔径很小，同时小眼与小眼之间还存在一些干扰，所以复眼所获取的图像信息会受到衍射和干涉的影响分辨率都较低。尽管如此，苍蝇仍然可以依靠这样的视觉系统寻找食物和配偶。 [0004] 在昆虫视觉系统信息获取和处理的启发下，人们展开了大量的研究工作，企图通过复眼的一些成像机理来弥补现有设备的不足。而目前针对表面缺陷提取的方法也有很多，大多数是采用数字图像处理的方法例如：匹配
滤波器、小波分析等。这些人工视觉方法都是依靠从背景中分离出缺陷的思想，要求缺陷和背景之间存在一定的运动。而昆虫复眼的处理机制告诉我们，这样复杂的处理，对苍蝇来说太简单了。同时复眼处理方法还可以避免人工处理时需要考虑到的复杂的空间交互影响等问题。
发明内容
[0005] 为了解决上述问题，本发明在
生物学家对复眼生理学特征分析的
基础上，模仿蝇视觉信息获取与处理机理，提供了一种表面缺陷仿蝇视觉在线检测装置及检测方法。 [0006] 本发明的工作原理：本发明通过运行于嵌入式图像处理单元中的
软件处理来虚拟昆虫复眼对表面缺陷的探测过程。将来自多个CCD图像
传感器同时刻获取的图像
帧进行拼接，获得比单一CCD图像传感器更大的场景图像。在DSP芯片上的模拟复眼神经处理
算法中，采用分割图像块来虚拟若干个小眼面，每个小眼具有少量的光
感受器组成一个小的阵列。感光器阵列可以检测出它所观察的小区域内是否存在表面缺陷。其中每个光感受器对应一个
像素。每个小眼选取图像中的一个较小的图像块进行处理。由于小眼的入射孔径很小，一般为2度，所以小眼获得图像的分辨率较低。而在探测表面缺陷的时候，分辨率的好坏对探测效果影响不大。
[0007] 借鉴生物视觉中对缺陷边缘的响应要比其他平坦区域强烈，而对于纹理信息，视觉响应会随着纹理的不断重复而逐渐减弱的机理。以及视觉神经响应的快速上电和慢速放
电机理，考虑到场景中存在表面缺陷，那么其边缘处相对于周围场景的
亮度值之间是存在较大差异的。一般来讲对于一个比场景亮度低的缺陷，仅从
水平方向考虑，从左到右的亮度改变应该是：亮—暗—亮。因此，通过两幅图的融合来判断是否存在表面缺陷。分割成的两幅图，一幅亮度分布在分割
阈值之上的，叫做ON图，另外一幅的亮度分布在分割阈值之下的叫做off图。这样的分割使得沿表面缺陷边缘的缺陷体区域或比缺陷区域略大的一个闭合的区域出现在off图中（暗缺陷）。这样缺陷出现的地方就存在两个跳变
信号：亮度增加和降低。通过符号的变换，可以将本来为负的off图转为正方便后面的计算。这两个跳变信号通过中心侧抑制处理，可以将其转化为脉冲信号，同时增加了其他相邻信号之间差异。最后将平移的off图与on图进行乘法融合处理，获得表面缺陷的
输出信号。如果同时存在两个脉冲那么代表表面缺陷的存在；若只有一个存在，那么相乘之后就为零。在这个过程中，不仅可以获得表面缺陷是否存在的信息，表面缺陷的尺寸在off脉冲延迟的时间长度上也可以反映出来。
[0008] 本发明主要针对的是复杂的工业生产环境中的表面缺陷，这里表面缺陷一般指缺陷的尺寸在几个像素范围之内。同时对与那些纹理比较丰富的区域，on通道或者off通道的快速上电慢速放电的机制可以使得跌荡起伏的亮度信息平滑到接近常量。 [0009] 为了解决上述问题，本发明所采取的技术方案是：
[0010] 一种表面缺陷仿蝇视觉在线检测装置，包括CCD图像传感器部分，其特征在于：还包括嵌入式图像处理单元，所述CCD图像传感器部分包括若干用于视频信息采集的CCD图像传感器，所述若干CCD图像传感器呈扇形排列，且各CCD图像传感器的轴线共点，所述若干CCD图像传感器的信号线通过视频的同轴
电缆连接到嵌入式图像处理单元。
[0011] 前述的一种表面缺陷仿蝇视觉在线检测装置，其特征在于：所述CCD图像传感器部分包括五个CCD图像传感器，所述五个CCD图像传感器分布在一个半圆形的安装板32。 [0012] 前述的一种表面缺陷仿蝇视觉在线检测装置，其特征在于：所述嵌入式图像处理单元由以下几部分组成：
[0013] 视频同步器，用于协调五个CCD图像传感器协作工作和控制
视频信号的输入；
[0014]
视频编码器，接收视频同步器得模拟视频，用于将模拟视频数字化和视频制式转换；
[0015] 图像
帧存储器，接收视频
编码器输出的编码后的数字视频，用于数字视频的量化和编码后信息的存储；
[0016] 通用I/O，用于
开关量信号的输入和输出；
[0017] CPLD，分别与视频编码器、图像
帧存储器、通用I/O 和FLASH 相连接，用于总线扩展和系统时序
电路和
逻辑电路的实现；
[0018] 中央处理单元，用于对数字化的视频进行智能处理；
[0019] 无线局域网通信
接口，用于各
节点之间通信互联和交换信息；
[0021] D/A，与中央处理单元连接，用于将数字视频转换成模拟视频；
[0022] SDRAM，用于系统在处理数据时，存放数据；
[0023] RS485，用于中央处理单元和PTZ
控制器之间通信，交换控制命令；
[0024] PTZ控制器模块，分别用于对五个CCD图像传感器的控制。
[0025] 前述的一种表面缺陷仿蝇视觉在线检测装置，其特征在于：所述中央处理单元采用TMS320DM642处理器，所述SDRAM为64位同步动态存储器接口，存储空间4M*64位，所述FLASH 为 8位异步静态存储器接口，存储空间4M*8位。
[0026] 一种表面缺陷仿蝇视觉的检测方法，其特征在于：包括以下两大流程：
图像配准拼接流程和仿生复眼表面缺陷检测流程，
[0027] 所述图像配准拼接流程包括以下步骤：
[0028] （1）、获取多路图像，多个CCD 图像传感器得到的图像经过透视变换投影到检测面后，在检测平面上的坐标就已经被确定下来；
[0029] （2）、图像拼接预处理，对获取的图像初步
定位、缩小匹配范围、提高匹配速度，对图像去噪声、平衡图像亮度，对图像的拼接部分采用
频率域法对图像增强处理，将图像中感兴趣的特征有选择的突出，而衰减其次要信息；
[0030] （3）、图像配准，找出对齐的两幅或多幅重叠图像之间的位移情况，描述两幅图像之间转化关系的模型进行图像配准；
[0031] （4）、图像融合，不同CC图像传感器拍摄到的图像，光强、色彩
饱和度都会有差异，因此在图像拼接的边界处会有明显的缝隙，使用加权平均方法对多CCD 图像进行融合处理；
[0032] 所述仿生复眼表面缺陷检测流程包括以下步骤：
[0033] （1），视觉非线性压缩模块对拼接得到的场景图像做非线性压缩；
[0034] （2）、基于局部
对比度三维缺陷检测模块整合了基于阈值的整流处理和中心侧抑制处理；
[0035] （3）、缺陷融合输出将水平方向和垂直方向上的两个通道信号分别通过池细胞融合在一起，然后将融合的结果再次融合就可以得到最后缺陷的输出。
[0036] 前述的一种表面缺陷仿蝇视觉的检测方法，其特征在于：所述图像配准拼接流程步骤（3）：所述两幅图像之间转化关系的模型采用对应匹配（Homographic Mapping）模型，即原始图像是透视变换得到的，CCD 图像传感器的运动主要是绕其光学中心的摇镜、平移、倾斜、旋转和缩放，
[0037]（1）
[0038] 其中A 是表示缩放和旋转，B 表示平移，CT 表示投影。
[0039] 前述的一种表面缺陷仿蝇视觉的检测方法，其特征在于：所述仿生复眼表面缺陷检测流程步骤（1）中，视觉非线性压缩模块对拼接得到的场景图像做非线性压缩，采用线性压缩变换公式是：
[0040]
[0041] 该公式中 是压缩后的亮度值，该公式分母部分中第二项是采用的移动平均的方法，这样求出来的中点值具有自适应性。
[0042] 前述的一种表面缺陷仿蝇视觉的检测方法，其特征在于：所述仿生复眼表面缺陷检测流程步骤（2）中，通过计算局部对比度 来选择可能存在表面缺陷的图像块来进行处理，局部对比度 可以衡量该场景中是否存在可以被识别的表面缺陷，比度较大的
位置出现表面缺陷的可能性较大，选择该位置为被检测图像块的中心位置，这里假设表面缺陷的尺寸在4个像素左右，因此局部对比度采用的是 图像块的局部对比度，而不是单个像素，局部对比度计算公式如下：
[0043]
[0044] 是图像中一个以(x,y)为左上
角像素的 的图像块的亮度值之和，Imean为该以图像块为中心的 大小的图像块亮度平均值。
[0045] 前述的一种表面缺陷仿蝇视觉的检测方法，其特征在于：所述仿生复眼表面缺陷检测流程步骤（3）中，分析水平方向图像中从左到右先是亮度的降低然后是亮度的增加，中间相隔若干个像素的距离，off图经过平移与on通道在缺陷的边缘处重合，这样相乘就会得到非零的结果，而如果该图像块中没有表面缺陷，也就是没有一个闭合的边缘，那么off图像或者on图像中缺乏一个边缘，相乘之后结果为零，垂直方向上是同理的，水平方向上的融合输出不为零说明该方向上存在一对边缘，垂直方向上的融合输出不为零说明该方向上也存在一对边缘，将两个
正交方向采用逻辑与的方式融合，若输出不为零说明存在表面缺陷那么输出该信号。
[0046] 前述的一种表面缺陷仿蝇视觉的检测方法，其特征在于：所述（2）图像拼接处理包括以下步骤：
[0047] 第一步：是对两幅图像用SIFT特征提取方法自动提取出连接点，然后利用仿射变换对图像的变换情况进行检测，一旦检测到了要使用的连接点之后，使用欧几里得最近邻算法进行特征匹配，大量的错误连接点可以通过RMSE系数进行剔除，变换后的精度由均方根误差来描述：
[0048]
[0049] 其中N指的是所有匹配点的数目；
[0050] 第二步：匹配点对的RMSE大于某个特定值时，则丢弃这对特征点，如果总体的RMSE过大，则再进行一次误差检查，整个过程
迭代进行直到某一对特征点的RMSE小于某个值(例如0.5个像素)或者连接点少于设定的数目；
[0051] 第三步：粗匹配完成后，为了对局部形变进行矫正，需要进一步的细匹配，使用Harris角点检测方法在图像A中能检测到密集的特征点集，首先对输入图像进行Harris角点检测，由于Harris角点检测的过程是使用一系列的滤波器对图像进行处理，所以其操作复杂度是基于图像大小的，为了
加速处理过程，我们可以将
图像分割成小块，然后进行分块处理，最终的特征选择从每个块中检测到的特征的Harris值大者中选取，本文中选取前10%作为特征点；
[0052] 第四步：在图像B中选取与图像A中Harris角点对应的特征点，对应特征点的选取直接影响到处理的速度和最终配准的精度，首先分别对图像A和图像B建立小波金字塔；然后使用交叉匹配技术分别对对应于特定尺度的每一层的金字塔的匹配点进行分层搜索；
最后再一次使用RMSE系数去除误匹配点。
[0053] 前述的一种表面缺陷仿蝇视觉的检测方法，其特征在于：所述（4）图像融合包括以下步骤：
[0054] 第一步：将待融合的源图像进行加权平均和塔型变换的多尺度分解这两种传统方法的融合，融合后比较客观评价系数，即融合后图像与理想图像之间的均方根误差、平均误差与设定阈值大小，倘若小于设定阈值，则融合操作结束；
[0055] 第二步：若评价系数大于设定阈值，则将融合后图像分别与源图像A和B再分别进行融合，将再次融合后的两幅图像与理想图像之间的评价系数进行比较，选择融合状况理想的图像，即评价系数较小者，设定与之对应的源图像，即A或B作为后面迭代融合的图像；
[0056] 第三步：将较理想的融合图像的评价系数和设定阈值进行比较，若小于阈值，则结束融合操作，这幅图像作为最终的融合结果；若大于阈值，则再一次将此幅融合后的图像和之前
选定的源图像进行融合操作，直到融合后的图像的客观评价系数小于设定的阈值。
[0057] 本发明的有益效果是：本发明采用普通的CCD图像传感器和DSP
芯片组成的表面缺陷检测装置，依靠仿复眼神经机理对缺陷进行探测，在获得的场景图像质量上近似于复眼的低分辨率图像，准确率较高。同时该设备具有成本低，计算复杂性低等特点，针对静止在场景中的表面缺陷，该设备仍然可以发现表面缺陷的存在，为后续处理提供可靠的信息。
附图说明
[0058] 图1是本发明的系统组成示意图。
[0059] 图2是本发明嵌入式图像处理单元原理图。
[0061] 图4是本发明仿复眼表面缺陷检测流程图。
具体实施方式
[0062] 下面结合附图对本发明作进一步详细描述。
[0063] 如图1所示，所述的扇仿蝇视觉在线表面缺陷检测装置包括CCD图像传感器部分和嵌入式图像处理单元；其中，传感器结构部分采用轴线共点呈扇形排列的多CCD图像传感器31组合装置，多CCD图像传感器31分布在一个半圆形的安装板32上，多CCD图像传感器31的信号线通过视频的同轴电缆33连接到嵌入式图像处理单元34。
[0064] 如图2所示是本发明嵌入式图像处理单元以DSP核心，其特征在于视频同步器[2]，用于协调三摄像机协作工作和控制视频信号的输入；视频编码器[3]，用于模拟视频的数字化和视频制式转换；图像帧存储器[4]，用于量化和编码后信息的存储；通用I/O[5]，用于开关量信号的输入和输出；CPLD[6]，用于总线扩展和系统时序电路和逻辑电路的实现；中央处理单元[9]，用于对数字化的视频进行智能处理等；无线局域网
通信接口[7]，用于信息通信交换；FLASH[8]，用于存放系统软件； SDRAM[11]，用于系统在处理数据时，存放数据；RS485 [12]，用于中央处理单元和PTZ控制器之间通信，交换控制命令； PTZ控制器模块[13]，用于对摄像机的控制； D/A[10]，用于将数字化的视频转换模拟视频；所述的视频编码器[3]选用采用PHILIPS视频编解码芯SAA7114，D/A[10] 选用PHILIPS视频解码芯片SAA7121，中央处理单元[9]选用TI公司的TMS320DM642处理器，SDRAM[11] 为64位同步动态存储器接口，存储空间4M*64位，映射到中央处理单元[9]的CE0端口，存储范围定位为0x80000000~0x81FFFFFFF，其工作时钟由中央处理单元[9]的CLKOUT1端口提供，软件配置为CPU时钟/4，FLASH[8] 为 8位异步静态存储器接口，存储空间4M*8 位，映射到中央处理单元[9]的CE1端口，存储范围定位到0x90000000~0x9007FFFF。对照图1，本发明的视频同步器[2]之间通过三根同轴电缆连接，视频同步器[2]一侧的接口为BNC标准接口，支持
热插拔，同时视频同步器[2]与中央处理单元[9]通过I2C总线连接，视频同步器[2]接收中央处理单元[9]的决策命令，选择输出1-3路模拟视频至视频编码器[3]，对视频编码器[3]的参数配置命令由CPLD[6]通过I2C总线实现，编码后的数字视频通过视频编码器[3]输入至图像帧存储器[4]，中央处理单元[9] 从图像帧存储器[4]读取图像帧，所述的FLASH[8] 、视频编码器[3] 、图像帧存储器[4]和通用I/O[5]分别与CPLD[6]连接，工作所需的时序信号和逻辑信号由CPLD[6]产生，D/A[10]与中央处理单元[9]连接单项互通，完成数字视频到模拟视频的转换，PTZ控制器模块[13]通过RS485[12]与中央处理单元[9]互通，对前端五个CCD图像传感器的操作控制命令由中央处理单元[9]产生并经过RS485[12]输入至PTZ控制器模块[13]。
[0065] 如图3所示是本发明的图像配准拼接流程，多个CCD 图像传感器得到的图像经过透视变换投影到检测面后，在检测平面上的坐标就已经被确定下来，可以直接按位置拼接在一起，成为一个完整的大视场图像，具体实现步骤如下：
[0066] 图像拼接预处理
[0067] 对获取的图像初步定位、缩小匹配范围、提高匹配速度，对图像去噪声、平衡图像亮度，包括图像增强和预先对齐等，对图像的拼接部分采用频率域法对图像增强处理，将图像中感兴趣的特征有选择的突出，而衰减其次要信息。由于图像存在噪声，相邻图像样本的重叠部分在细节上是不完全相同的，为过滤图像噪声，先对灰度化图像选用高斯滤波器进行平滑处理和梯度锐化处理。
[0068] （2）图像配准
[0069] 图像配准是图像拼接的过程的核心步骤，其目标是找出对齐的两幅或多幅重叠图像之间的位移情况。精确配准的关键就是要有能很好的描述两幅图像之间转化关系的模型，拼接采用对应匹配（Homographic Mapping）模型，即原始图像是透视变换得到的，CCD 摄像机的运动主要是绕其光学中心的摇镜(pan)、平移、倾斜、旋转和缩放。
[0070]（1）
[0071] 其中A 是表示缩放和旋转，B 表示平移，CT 表示投影。
[0072] （3）图像的融合
[0073] 不同CC图像传感器拍摄到的图像，光强、色彩饱和度都会有差异，因此在图[0074] 像拼接的边界处会有明显的缝隙，本发明使用加权平均方法对多CCD 图像的融合处理。
[0075] 如图4所示是详细的仿生复眼表面缺陷检测流程图。主要包括了非线性压缩模块、基于局部对比度三维缺陷检测模块、缺陷融合输出模块三大部分。
[0076] 第一步，视觉非线性压缩模块对拼接得到的场景图像做非线性压缩，这样的处理可以压缩图像的亮度变化范围，增大亮度变换的时间范围。这里用到的非线性压缩变换公式是：
[0077]
[0078] 该公式中 是压缩后的亮度值。该公式分母部分中第二项是采用的移动平均的方法，这样求出来的中点值具有自适应性。
[0079] 第二步，基于局部对比度三维缺陷检测模块整合了基于阈值的整流处理和中心侧抑制处理。缺陷是否可以被探测出来的关键是缺陷出现的局部场景中的对比度是否突出。通过计算局部对比度 来选择可能存在表面缺陷的图像块来进行处理。局部对比度 可以衡量该场景中是否存在可以被识别的表面缺陷。比度较大的位置出现表面缺陷的可能性较大，选择该位置为被检测图像块的中心位置。这里假设表面缺陷的尺寸在4个像素左右。因此局部对比度采用的是 图像块的局部对比度，而不是单个像素。局部对比度计算公式如下：
[0080]
[0081] 是图像中一个以(x,y)为左上角像素的 的图像块的亮度值之和。Imean为该以图像块为中心的 大小的图像块亮度平均值。因为这样的对比度是建立在空间分辨率较低的场景图像上的，因此噪声在图像的获取过程中被视觉的滤波处理平滑掉了。同时随机噪声通常是单个像素出现的，这样的 像素块的对比度消除了噪声对对比度的影响，保证了表面缺陷的检测的正确率。图像中局部对比度较高的部分认为最有可能出现表面缺陷，默认对比度的平均值作为阈值，当局部对比度小于这个阈值时该位置上的图像块不进行缺陷检测。
[0082] 第三步，缺陷融合输出将水平方向和垂直方向上的两个通道信号分别通过池细胞融合在一起，然后将融合的结果再次融合就可以得到最后缺陷的输出。这里假设先考虑暗缺陷，分析水平方向图像中从左到右先是亮度的降低然后是亮度的增加，中间相隔若干个像素的距离。off图经过平移与on通道在缺陷的边缘处重合，这样相乘就会得到非零的结果。而如果该图像块中没有表面缺陷，也就是没有一个闭合的边缘，那么off图像或者on图像中缺乏一个边缘，相乘之后结果为零。垂直方向上是同理的。
[0083] 水平方向上的融合输出不为零说明该方向上存在一对边缘，垂直方向上同理。因此将两个正交方向采用逻辑与的方式融合，若输出不为零说明存在表面缺陷那么输出该信号。
[0084] 以上显示和描述了本发明的基本原理、主要特征及优点。本行业的技术人员应该了解，本发明不受上述
实施例的限制，上述实施例和
说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的
权利要求书及其等效物界。
