技术领域
[0001] 本
发明涉及
图像处理应用领域，尤其涉及一种基于视觉的高速旋转电机熔断器实时检测系统。
背景技术
[0002] 在工业领域，现代化生产过程不断向高速化、高复杂度化发展，当异常发生时，我们用肉眼根本无法看清异常瞬间，从而无法进行故障分析。随着高速摄影测量的发展和科研事业的应用需求，人们对高速运动物体的研究越来越多。在工业自动化中，对于高速运动物体的检测，目前传统的方法是使用高速相机连续拍摄，并对图像进行传输、存储以及处理。但是如果直接利用高速相机以每秒千
帧以上的速度连续拍摄并存储，数据量过大，在消耗很多
硬盘存储资源的同时也需要耗费大量的时间对拍摄到的图像进行处理识别，因此达不到对熔断器实时检测的要求。并且熔断器一般在电机
转子的圆周上是等间隔均匀分布的，如果用传统的方法用高速相机以每秒千帧以上的速度连续拍摄，拍摄到的图片中有很大一部分是没有捕捉到目标的，是没有检测价值的数据。
发明内容
[0003] 本发明的目的是提供一种基于视觉的高速旋转电机熔断器实时检测系统，以解决如下一个问题：电机转子以1500转/分钟的速度高速旋转，而48个熔断器在直径为1.6米的电机转子的圆周上等间隔均匀分布，要求实现对这样一组高速旋转的电机熔断器进行实时检测。
[0004] 为实现上述目的，本发明采用的技术方案为：
[0005] 一种基于视觉的高速旋转电机熔断器实时检测系统，包括：
[0006]
图像采集模
块，用于对高速旋转的熔断器组进行有序捕捉，采集熔断器图片；
[0007] 图像目标识别模块，用于对图像采集模块采集的熔断器图片进行实时处理，
锁定熔断器
位置计算补偿时间控制图像采集模块进行有序捕捉，并对锁定的熔断器的指示器的状态来判断熔断器的工作状态，当熔断器出现故障的时候，指示器目标会凸起；
[0008] 图像显示模块，用于显示图像目标识别模块处理得到的熔断器指示器的状态；
[0009] 图像储存模块，用于保存经图像目标识别模块处理后的熔断器图片。
[0010] 进一步的，还包括
光源，用于在图像采集模块采集图像时照射熔断器，以增加进光量。
[0011] 进一步的，所述图像采集模块为高速工业相机。
[0012] 进一步的，所述图像目标识别模块的实现方法为：
[0013] 正常熔断器的指示器为两个同心圆，当熔断器损坏时指示器弹出两个圆形不同心；
[0014] 对于这两组同心圆只要识别到其中一个即完成熔断器位置的
定位，再计算补偿时间，控制下一个熔断器捕捉时间；同样利用两组同心圆定位来判断熔断器的工作状态。
[0015] 通过下式实现熔断器状态的检测：
[0016]
[0017] 其中，1表示同心圆1,2表示同心圆2，同心圆1和同心圆2为第一组同心圆；3表示同心圆3,4表示同心圆4，同心圆3和同心圆4为第二组同心圆；cir1,2表示同心圆1、同心圆2的圆心位置，cir3,4同心圆3、同心圆4的圆心位置；|·|表示cir1,2和cir3,4的欧式距离；当距离大于设定的
阈值threshold时，表示该熔断器是坏的。
[0018] 通过在
霍夫变换基础上基于查找表和位操作累加器的圆检测
算法来实现两组同心圆定位，该算法包括以下步骤：
[0019] 步骤1，首先对图像利用Canny算子进行边缘提取；
[0020] 边缘点提取完成后，通过对每个边缘点邻域内的线段
曲率计算来估算该边缘点大致半径长度；基于边缘点半径的长度和方向信息，经过圆心和该边缘点的线段被确定；将圆量化等分为N份(N＝16,i＝0,1,2,3,...,15)，每一段弧都用一个16位的二进制串来表示；设该边缘点(x1',y1')位于圆的第i段弧边界上，那么经过该点线段上的候选圆心由下式计算：
[0021]
[0022] 其中，i和j分别是边缘点的半径离散方向和长度；为了加快产生线段的速度，引入一个提前定义好的二维查找表到算法中：
[0023]
[0024] 将上式中偏移地址xi,j和yi,j离线计算存储在二维查找表中，在使用的过程中直接利用边缘点的方向和半径信息，即i和j索引到对应的偏移地址；
[0025] 候选圆心被确定之后，通过下式所示的位操作累加器对候选圆心进行累加操作：
[0026] Ax,y＝Ax,y|τx',y' (4)
[0027] 其中，Ax,y是位操作累加器中位于点(x,y)的累加器单元，其数值是所有经过该点的垂线所对应的边缘点方向τx',y'＝2^i按位或操作之后的结果；在完成图像中所有边缘点的投票过程后，对投票的结果图利用局部非极大值抑制，确定圆心位置；根据确定的圆心位置，来判断熔断器的好坏以及熔断器的状态。
[0028] 所述圆检测算法在GPU中进行，判断熔断器的好坏以及熔断器的状态在CPU中进行。
[0029] 通过以下方法实现计算补偿时间，控制下一个熔断器捕捉时间：
[0030] 对图像采集模块曝光时间进行自适应补偿，通过下式实现：
[0031]
[0032] 其中，Tr为基本曝光周期，Tr＝(49/48)2T，T为电机旋转周期，ObjectLoc表示熔断器中的指示器在图像中的位置，ConstantLoc表示图像固定预设位置；v为熔断器旋转的线速度，l表示一个常量系数用来校准距离差实际为圆弧却被当作直线来计算产生的误差；lt为指示器实际位置与预设位置之间距离差阈值；通过计算指示器位置和图像预设位置的偏差进行相机曝光时间的补偿，每间隔dt秒触发相机曝光有效地避免系统误差带来的影响。
[0033] 有益效果：相对于传统的高速相机检测系统，本发明主要有以下有益效果：
[0034] (1)效率更高：传统的方法需要使用高速相机连续拍摄大量图片或者视频，并对大量数据进行传输、存储以及处理。本系统不必进行过于繁杂的
数据采集、只需要采集较少图像数据便可实现准确检测，因此对传输、存储设备的要求将大大降低。同时本系统结合NVIDIA显卡的CUDA
软件来处理图像信息，从而能够使图像处理的速度较快。
[0035] (2)准确性高：传统的方法需要人工查看采集图像或视频数据进行熔断器熔断情况判断，误差率高。本系统采用基于GPU的图像模板匹配技术来处理采集到的图像数据，能满足工业场合对准确率的要求。
附图说明
[0037] 图2为拍摄的熔断器图片；
[0038] 图3为熔断器边缘图；
[0039] 图4为圆心投票结果；
[0040] 图5为指示器目标识别结果图；
[0041] 图6为坏的熔断器识别结果图；
[0042] 图7为圆检测算法在GPU上实现并行化的过程；
[0043] 图8为熔断器与固定预设位置距离差。
具体实施方式
[0044] 下面结合附图对本发明做更进一步的解释。
[0045] 本发明的一种基于视觉的高速旋转电机熔断器实时检测系统，利用等效
采样原理，基于转速和视觉识别的结果准确控制高速相机的曝光时间，准确的逐个扫描拍摄每个熔断器，然后对其进行视觉图像处理，既满足系统对高速旋转的电机熔断器实时精确检测的要求，也不需要占用大量的存储空间，对传输、存储设备的要求将大大降低。
[0046] 本发明的一种基于视觉的高速旋转电机熔断器实时检测系统能够完成图像采集、图像显示、图像目标识别和图像储存四项基本的功能。利用工业相机对高速旋转的熔断器组进行有序捕捉，然后对采集的图像进行处理实时检测熔断器指示器的状态，并显示在工控机界面，最后对捕捉的熔断器图片进行保存便于工作人员离线查看。整个系统框架如图1所示。
[0047] 本发明的一种基于视觉的高速旋转电机熔断器实时检测系统，包括：
[0048] 图像采集模块，用于对高速旋转的熔断器组进行有序捕捉，采集熔断器图片；图像采集模块优选为高速工业相机；
[0049] 图像目标识别模块，用于对图像采集模块采集的熔断器图片进行实时处理，锁定熔断器位置计算补偿时间控制图像采集模块进行有序捕捉，并对锁定的熔断器的指示器的状态来判断熔断器的工作状态，当熔断器出现故障的时候，指示器目标会凸起；
[0050] 图像显示模块，用于显示图像目标识别模块处理得到的熔断器指示器的状态；
[0051] 图像储存模块，用于保存经图像目标识别模块处理后的熔断器图片；
[0052] 光源，用于在图像采集模块采集图像时照射熔断器，以增加进光量。
[0053] 本发明通过高速工业相机捕捉高速旋转的熔断器图像，对图像进行实时处理，完成熔断器位置识别并通过指示器的状态来判断熔断器的好坏。当熔断器出现故障的时候，指示器目标会凸起，为了使指示器凸起的状态在图像中呈现明显的变化，需要将相机和防爆灯与熔断器设置一定的
角度，即相机和防爆灯不与熔断器垂直。如图2所示，利用工业相机1微秒曝光时间下拍摄的正常熔断器与损坏熔断器对比图片。
[0054] 由于相机设置的1us曝光时间，所以对熔断器区域需要外在光照补偿。从图2可以看出不论好的、坏的熔断器，图中1、2、3和4箭头指示的圆是可以识别出来的。其中1和2圆是一组的，其圆心不论什么情况都是同心的。类似地，3和4圆是一组。
[0055] 图像目标识别模块的实现方法为：
[0056] 正常熔断器的指示器为两个同心圆，当熔断器损坏时指示器弹出两个圆形不同心；
[0057] 对于这两组同心圆只要识别到其中一个即完成熔断器位置的定位，再计算补偿时间，控制下一个熔断器捕捉时间；同样利用两组同心圆定位来判断熔断器的工作状态。
[0058] 通过下式实现熔断器状态的检测：
[0059]
[0060] 其中，1表示同心圆1,2表示同心圆2，同心圆1和同心圆2为第一组同心圆；3表示同心圆3,4表示同心圆4，同心圆3和同心圆4为第二组同心圆；cir1,2表示同心圆1、同心圆2的圆心位置，cir3,4同心圆3、同心圆4的圆心位置；|·|表示cir1,2和cir3,4的欧式距离；当距离大于设定的阈值threshold时，表示该熔断器是坏的。
[0061] 通过在霍夫变换基础上基于查找表和位操作累加器的圆检测算法来实现两组同心圆定位，该算法利用霍夫变换技术和圆的边界点上垂线的方向信息，能够快速准确的实现对圆形物体的检测和测量，同时克服了霍夫变换计算复杂、内存消耗大的缺点。算法先用Canny算子对图片进行边缘提取，接着对每一个边缘点进行半径的长度和方向的估计。基于估计的半径长度和方向信息，圆心所在的线段可以被确定。为了加快产生垂线的速度，一个提前定义好的查找表(Look-Up Table,LUT)被引入了。每一条垂线的轨迹及其方向都被记录在一个特殊的累加器——位操作累加器(Bitwise Center Accumulator,BCA)中，这个过程也可以称作投票过程。该算法包括以下步骤：
[0062] 步骤1，首先对图像利用Canny算子进行边缘提取，如图3所示；
[0063] 边缘点提取完成后，通过对每个边缘点邻域内的线段曲率计算来估算该边缘点大致半径长度；基于边缘点半径的长度和方向信息，经过圆心和该边缘点的线段被确定；将圆量化等分为N份(N＝16,i＝0,1,2,3,...,15)，每一段弧都用一个16位的二进制串来表示；设该边缘点(x1',y1')位于圆的第i段弧边界上，那么经过该点线段上的候选圆心由下式计算：
[0064]
[0065] 其中，i和j分别是边缘点的半径离散方向和长度；为了加快产生线段的速度，引入一个提前定义好的二维查找表到算法中：
[0066]
[0067] 将上式中偏移地址xi,j和yi,j离线计算存储在二维查找表中，在使用的过程中直接利用边缘点的方向和半径信息，即i和j索引到对应的偏移地址；通过二维查找表的使用大大提高了算法的执行效率；
[0068] 候选圆心被确定之后，剩余的问题就是对候选圆心进行累加操作。在经典算法当中，累加器常常用在投票过程当中，每个累加器单元都有一个数值，该数值就是投票过程中所得的票数。不同于传统的累加器，本发明通过下式所示的位操作累加器对候选圆心进行累加操作：
[0069] Ax,y＝Ax,y|τx',y ' (4)
[0070] 其中，Ax,y是位操作累加器中位于点(x,y)的累加器单元，其数值是所有经过该点的垂线所对应的边缘点方向τx',y'＝2^i按位或操作之后的结果；在完成图像中所有边缘点的投票过程后，投票的结果如图6所示，其中越亮的地方表示圆心的可能性越大。
[0071] 从图4边缘点投票的结果图来看，1、2、3、4四个圆的圆心集中在一个位置。然后对投票的结果图利用局部非极大值抑制，确定圆心位置。图5为指示器目标识别定位的位置。
[0072] 图5中(a)的十字为1、2组同心圆的圆心位置，图5中(b)的十字为3、4组同心圆的圆心位置。根据这两个位置利用公式(1)来判断熔断器的好坏。图6为坏的熔断器识别效果图。
[0073] 从图6可以看出，当熔断器中的指示器弹起后，图6中(a)中1、2组同心圆的圆心位置与图6中(b)中3、4组同心圆的圆心位置有一定距离，同样根据公式(1)来判断熔断器的状态。
[0074] 为了使算法执行效率更高，将算法利用GPU进行并行
加速设计。算法各部分处理操作流程如图7所示。判断熔断器的好坏以及熔断器的状态在CPU中进行。
[0075] 通过在GPU上实现并行化，算法的性能得到了提升。在处理1280×960的图像时算法用时19.3毫秒，可以满足对熔断器实时检测的要求。
[0076] 通过以下方法实现计算补偿时间，控制下一个熔断器捕捉时间：
[0077] 电机转子以1500转/分钟的速度高速旋转，旋转周期T为40毫秒。规定基本曝光周期Tr为(49/48)2T，可以在同一个位置依次捕捉到熔断器，并且出现在图像中固定预设位置处。
[0078] 实际中考虑到系统
硬件精确度的问题，如果设置固定曝光时间会使熔断器出现位置离图像预设位置偏离较大，导致一些熔断器捕捉丢失。为了准确地捕捉到每个熔断器，对工业相机曝光时间进行自适应补偿，可以通过下式实现：
[0079]
[0080] 其中ObjectLoc表示熔断器中的指示器在图像中的位置，ConstantLoc表示图像固定预设位置。v为熔断器旋转的线速度，l表示一个常量系数用来校准距离差实际为圆弧却被当作直线来计算产生的误差。lt为指示器实际位置与预设位置之间距离差阈值。通过计算指示器位置和图像预设位置的偏差进行相机曝光时间的补偿，每间隔dt秒触发相机曝光有效地避免系统误差带来的影响。图8为熔断器与固定预设位置距离差示意图。
[0081] 相比于
现有技术，本发明的优势体现在以下几个方面：
[0082] (1)电机转子的转速为1500转/分钟，熔断器处于直径为1.6米的圆周上，因此需要拍摄检测的熔断器正常运行时线速度达到了125米/秒。正常熔断器与已损坏熔断器主要区别在于熔断器的指示器是否弹出。熔断器指示器直径为5毫米，本发明经过多次实验得到结论当图片中指示器的
运动模糊为其实际大小的1/20及以下时，能实现较好的识别效果。本发明选用了Point Grey公司的GS3-U3-50S5M-C型号高速工业相机，
分辨率为2448×2048，
像素尺寸为3.45微米，其动态曝光时间范围为1微秒-32秒，将相机的曝光时间设置为最低的1微秒时相机采集图像中指示器的运动模糊为0.125毫米，指示器实际直径为5毫米，图像中运动模糊的像素仅为指示器目标像素的1/40。但是当高速工业相机的曝光时间设置为1微秒时，单位时间进入镜头的光少，图片较暗，给识别图像中指示器造成了困难。为了解决这个问题，本发明选用了直流供电防爆
LED灯(海洋王FW6102B)在高速工业相机采集图像时照射熔断器，增加进光量。通过调整LED灯与熔断器之间的距离与照射角度，使高速工业相机采集的图像能满足后续处理的要求。
[0083] (2)正常熔断器的指示器大致为两个同心圆，当熔断器损坏时指示器弹出两个圆形不同心，因此圆检测算法是本系统目标检测算法的核心。在圆检测算法方面，在分析和总结了以往众多算法的优缺点之后，本发明使用了一种在霍夫变换基础上基于查找表和位操作累加器的圆检测算法。该算法预先将圆上各点相对于圆心的坐标偏移存入查找表中，进行目标检测时依据边缘点的方向信息在查找表中索引相应的坐标偏移并在位操作累加器中投票。与传统的只记录数量不记录方向的累加器不同，位操作累加器通过位操作的方式既能记录数量信息又能记录方向信息。查找表和位操作累加器的应用使得程序的执行效率和检测准确性大大提高。该算法通过建立待检测圆形的模板，进行模板检测时利用边缘点的方向信息索引模板中的偏移值并在位操作累加器中投票。最后在累加器中寻找局部极大值，从而找到圆形目标所在位置。在GPU图像并行处理方面，本发明研究了基于CUDA平台的并行化处理技术，并重点研究了基于CUDA的图像处理并行化，包括基于CUDA的提取边缘、圆形目标检测等算法。在深入分析该算法的可并行性之后，最后实现了圆检测算法在CUDA平台上的并行化计算，相比于只在CPU上运行，速度得到了较大的提升。高速工业相机分辨率为2448×2048，熔断器只是出现在图像中的一部分区域，因此本发明为了提高图像处理效率，从2448×2048大小的图像中截取1280×960大小的图像进行处理。本发明选用了丽台P1000显卡，处理1280×960图像平均耗时为19毫秒，可以满足对熔断器实时检测的要求。
[0084] (3)触发高速工业相机曝光的方式是软件触发，通过在程序中调用高速工业相机的
接口函数进行周期曝光。电机转子以1500r/min的速度高速旋转，则旋转周期T为40ms。一共有48个熔断器，理想情况下每过(49/48)T秒对相机触发一次曝光就可以在图像中固定的某一位置处依次捕捉到全部熔断器，这样在49T时间内即可完成采集工作。在略大于40ms的时间内要完成一张图像的采集，传输与处理过程有些勉强，因此为了保证采集图像中的熔断器是依次连续的，本发明规定每(49/48)2T触发一次相机曝光，相当于转子每转两圈捕捉一个熔断器，这样3920毫秒就能采集全部48个熔断器的图像。实际中考虑到系统硬件精确度的问题，如果设置固定曝光时间会使熔断器出现位置离图像预设位置偏离较大，导致了一些熔断器的捕捉丢失。为了解决以上问题，本系统采取了一种自适应调整曝光时间的方法控制工业相机曝光。基本原理是为了让图像中的熔断器总是出现在某一固定预设位置附近，在基本曝光时间为(49/48)2T秒情况下，通过检测每一帧图像中目标与这一固定预设位置的距离差，根据线速度125米/秒计算出时间差t，如果|t|大于设定阈值则对曝光时间进行调整，经过(49/48)2T+t时间后再触发下一次相机曝光。
[0085] 以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
