基于序列图像的运动目标快速检测方法、计算机视觉系统
阅读：216发布：2020-05-13
专利汇可以提供基于序列图像的运动目标快速检测方法、计算机视觉系统专利检索，专利查询，专利分析的服务。并且本 发明 属于序列图像的运动目标检测技术领域，公开了一种基于序列图像的运动目标快速检测方法、 计算机视觉 系统，序列图像的预处理，在序列图像的采集过程中，采用图像灰度化、二值化、中值滤波进行处理；针对低照度的图像，采用Gamma变换增强图像；结合背景差分和边缘 帧 间差分的检测方法对静态环境的运动目标检测；基于SIFT 算法 特征匹配的检测方法对动态环境的运动目标检测。本发明正检率达到了96.3％，误检率为1.3％，相比于背景差分法和帧间差分法，提升都比较大；性能在正检率、误检率和处理时间三个方面都提升很明显。其中本发明方法的正检率为92.7％；误检率为1.9％；处理时间为7.2s。，下面是基于序列图像的运动目标快速检测方法、计算机视觉系统专利的具体信息内容。
1.一种基于序列图像的运动目标快速检测方法，其特征在于，所述基于序列图像的运动目标快速检测方法包括以下步骤：
第一步，序列图像的预处理，在序列图像的采集过程中，采用图像灰度化、二值化、中值滤波进行处理；针对低照度的图像，采用Gamma变换增强图像；
第二步，结合背景差分和边缘帧间差分的检测方法对静态环境的运动目标检测；
第三步，基于SIFT算法特征匹配的检测方法对动态环境的运动目标检测。
2.如权利要求1所述的基于序列图像的运动目标快速检测方法，其特征在于，所述基于序列图像的运动目标快速检测方法的序列图像预处理方法包括：
(1)图像灰度变换，彩色图像变换为灰度图像：
Y＝0.299R+0.587G+0.114B；
其中，Y是根据R、G、B颜色分量以及YUV中亮度信号Y之间的关系算出的亮度，R、G、B分别表示红色、绿色、蓝色分量；
(2)二值化，输入的图像为f(x,y)，输出图像为F(x,y)，选取阈值T，对图像的二值化变换函数表达式；
式中阈值T将图像F(x,y)分成两部分，大于T的像素点设为白色，小于T的区域为黑色；
(3)图像去噪，一维中值滤波：
Zk＝med(xk-N,xk-N+1,…,xk,…,xk+N)；
其中，med表示对图像中的像素进行求中值运算；式中是对2N+1个像素排序，最终输出像素即该像素序列的中值；
二维中值滤波适用于二维像素矩阵，给出二维中值滤波的定义：
(4)低照度处理，采用Gamma变换增强作为低照度处理的方法：将原始图像的均值调为
0，方差调为1；根据累计直方图分布特点初步判断当前图像属于高光还是低光照类型，并根据相应类型做灰度的初步微调，对图像做Gamma校正；变换公式：
3.如权利要求1所述的基于序列图像的运动目标快速检测方法，其特征在于，所述基于序列图像的运动目标快速检测方法的静态场景下的运动目标快速检测方法包括：
(1)第t帧背景为Bt(x,y)，对于新一帧图像It+1(x,y)，则两副图像差分后的图像为Sub_image，Sub_image(x,y)表示为在像素点(x,y)点处It+1(x,y)与Bt(x,y)的绝对值；选用Ostu法进行背景和前景的分割，对差分图像Sub_image每个像素点；
将灰度值为“0”处的概率分布w0＝0，阈值TH把图像的像素分为C0＝(0,1,…,TH)，C1＝(TH+1,TH+2,…,L-1)两类，分别代表目标与背景；
将每个联通域的左、右、上、下保存在内存中；对于每个联通域均与其它的联通域进行如下比较：
其中，position(i,1)为第i个联通域的最左边位置，position(i,2)为第i个联通域的最右边边位置，position(i,3)为第i个联通域的最顶端位置，position(i,4)为第i个联通域的最底端位置；
(2)选用Canny边缘进行图像边缘提取；包括高斯滤波、求取x方向的梯度、y方向梯度三部分；具体实现的步骤如下：
1)高斯滤波：采用二维高斯函数对图像进行低通滤波，二维高斯函数的方差δ根据经验而定，二维高斯函数为：
对于一幅灰度图像，滤波过程等价于求取卷积过程：
2)x、y方向梯度求取：图像Filter(x,y)为2-D离散矩阵，再求取x，y方向的一阶导数，在离散中求解一阶微分，x，y方向上的梯度求解如下：
3)(x,y)处总梯度：为简化x，y方向两个梯度给计算上带的不便，求取在像素点(x,y)的总梯度：
利用Ostu方法进行阈值分割，梯度大于分割阈值为“1”，否则为“0”；按照Canny边缘、分割步骤进行处理；
(3)利用基于边缘信息的三帧差分方法得到的边缘分割结果，与背景差分的运动目标检测方法结果运算。
4.如权利要求1所述的基于序列图像的运动目标快速检测方法，其特征在于，所述基于序列图像的运动目标快速检测方法的动态场景下的运动目标快速检测方法包括：首先提取目标的特征点，再在前后两帧图像中通过特征点匹配的方法检测目标的运动过程。
5.如权利要求4所述的基于序列图像的运动目标快速检测方法，其特征在于，所述动态场景下的运动目标快速检测方法具体包括：
步骤一，采用SIFT算法提取特征，包括：检测尺度空间极值点、精确定位极值点、为每个关键点指定方向参数以及特征点描述子生成；
步骤二，在待匹配图像中找到参考图像中的每一特征点的唯一匹配点；通过两帧之间特征点的位置变化，求出该特征点的局部运动矢量；将所有特征点在两帧之间的位置变化信息代入运动模型，求出背景的全局运动矢量；
步骤三，通过伪特征点剔除策略特征点匹配对的校正；
步骤四，运动补偿，摄像头的全局运动模型参数估计出后，需以参数帧为基准对当前帧进行运动补偿，以检测出运动目标；
步骤五，背景差分，经过全局运动估计与补偿之后所得的当前帧的估计帧与当前帧进行逐像素差分；对差值图像进行阈值处理，消除噪声。
6.如权利要求5所述的基于序列图像的运动目标快速检测方法，其特征在于，所述步骤二的特征匹配采用基于特征的匹配方法，即当两幅图像的SIFT特征向量生成后，采用关键点特征向量的欧式距离作为两幅图像中关键点的相似性判定度量；
取参考帧图像中的某个关键点，并找出与当前帧图像中欧式距离最近的前两个关键点，在两个关键点中，如果最近的距离除以次近的距离少于某个比例阈值，则接受这一对匹配点。
7.如权利要求5所述的基于序列图像的运动目标快速检测方法，其特征在于，所述步骤三的伪特征点剔除策略具体包括：
第一步，将提取出的所有特征匹配对，代入最小二乘公式中，求得仿射参数(A1,B1)；
第二步，将特征匹配对中参考帧中的特征点的坐标(x,y)，根据仿射参数(A1,B1)计算出其在当前帧中的估计坐标位置(x”,y”)，如果在当前帧中与(x,y)匹配的特征点的坐标(x',y')与(x”,y”)的欧式距离超过一定阈值T1时，认为该匹配对中包含有伪特征点，并将该匹配对剔除；
第三步，将利用第二步剔除过程之后留下的特征匹配对，计算最小二乘仿射参数解(A2,B2)；再重复第二步的操作，此时的阈值为T2；
第四步，再利用剩下的特征匹配对，计算最小二乘仿射参数解(A3,B3)；通过合理调整T1和T2的值，达到伪特征点剔除的目的。
8.一种应用权利要求1～7任意一项所述基于序列图像的运动目标快速检测方法的计算机视觉系统，其特征在于，所述计算机视觉系统为精确打击武器制导系统、计算机辅助驾驶系统、导弹的地形和地图匹配系统、工业流水线自动监测系统、智能房间、医用图像系统。
9.一种应用权利要求1～7任意一项所述基于序列图像的运动目标快速检测方法的智能机器人。
10.一种应用权利要求1～7任意一项所述基于序列图像的运动目标快速检测方法的智能交通系统。
基于序列图像的运动目标快速检测方法、计算机视觉系统
技术领域
[0001] 本发明属于序列图像的运动目标检测技术领域，尤其涉及一种基于序列图像的运动目标快速检测方法、计算机视觉系统。
背景技术
[0002] 目前，最接近的现有技术：运动目标的自动检测技术一直都是计算机视觉领域的研究热点和极具挑战性的难题。该技术将图像处理、自动控制、信息科学等技术进行有机结合，成为实际工程应用中诸多计算机视觉系统的底层关键技术，如精确打击武器制导系统、计算机辅助驾驶系统、导弹的地形和地图匹配系统、工业流水线自动监测系统、智能房间、智能机器人、医用图像系统、智能交通系统等等领域的应用。
[0003] 基于图像的目标检测是一个较为复杂的过程，应用环境和算法方案的不同将极大影响目标检测效果。而随着图像技术的进一步发展和工程应用的需要，利用先进的数字图像技术实现对序列图像中感兴趣目标的有效检测已成为图像检测技术研究的难点。实际应用中存在的光照是否变化、地形是否复杂、能见度高低、摄像机是否移动和传感器的类型等都将影响检测过程中目标的形体特征和运动特性。这导致传统算法方案在实现目标检测时变得困难，进而影响检测系统的准确性和稳定性。因此，如何选择具有针对性的高效、稳定算法或者对已有检测算法进行优化改进，实现对感兴趣目标的自动检测定位无疑是一项既有理论意义又有实用价值的课题。
[0004] 基于序列图像的运动目标检测，目的是要将图像序列中的运动区域和背景区域分离开。自序列图像运动目标检测理论发展以来，至今已经提出了许多不同的目标检测方法。常见的算法主要有光流法、图像差分法、扩展的EM算法、基于小波变换的方法、运动能量检测法、基于人工神经网络的方法等。其中最经典的检测算法有三类：光流法、帧间差分法和背景差分法。
[0006] 差分法：差分法是利用待检测的图像与选定的参考图像进行对应像素点相减来进行运动目标检测的方法。差分法通常可分为帧间差分和背景差分。帧间差分就是直接比较连续的两帧图像或几帧图像对应像素点的灰度值，从图像序列中提取灰度值不同的像素点，作为运动目标的信息。背景差分的主要原理是用待检测图像与背景图像进行差分，然后根据所选定的阈值比较，若差分图像的像素值大于选定的阈值，则判定该点属于运动目标区域，否则为背景区域。
[0007] 以上是三种经典的运动目标检测算法，在此基础上人们也提出了许多不同的改进方法。例如多帧差分就是在差分法的基础上提出的。最常使用的有三帧差分和五帧差分。
[0009] 在摄像机运动的情况下检测运动对象是一项具有挑战性的研究。现有技术的问题如下：
[0010] (1)当摄像机处于运动状态时，序列图像中背景和目标都处于运动状态，如何从运动的背景中检测出运动目标是一项较为复杂的工作。目前的方法对于已知背景运动规律的情况，可以将运动背景校正为静止背景；如果背景运动未知，往往采取背景运动估计的方法求出背景的运动情况。但是背景运动的估计本身就是个较难解决的问题。
[0011] (2)计算量与准确性的取舍，目前现有的算法往往不能满足计算量小、准确性高的特点，例如光流法就需要进行大量的运算，而差图像等计算速度快的算法，其检测精度又值得探讨，如何在计算量与准确性两者之间折中，寻求最佳解决方案是目前所有算法的追求目标。
[0012] (3)复杂环境的影响，现实环境中，影响运动目标检测的因素有很多，如光照，遮挡等情况。特别是当背景的纹理与目标的纹理相似时，目前的许多算法都不能得到正确的结果，最大限度的减少环境因素对目标的影响是我们必须解决的一个问题。
[0013] (4)目标间的相对运动，对于多个运动目标，如果不是以相同的速度运动，大多数情况下会出现目标的遮挡、重叠等情况，目标与目标之间的相对运动会直接影响序列图像的目标成像效果，给目标检测工作带了很大的不便，这也正是当前许多算法不能彻底解决的问题。
[0014] 综上所述，现有技术存在的问题是：
[0015] (1)当摄像机处于运动状态时，序列图像中背景和目标都处于运动状态，背景运动未知，往往采取背景运动估计的方法求出背景的运动情况。但是背景运动的估计本身就是个较难解决的问题。
[0016] (2)计算量与准确性的取舍，目前现有的算法往往不能满足计算量小、准确性高；如何在计算量与准确性两者之间折中，寻求最佳解决方案是目前所有算法的追求目标。
[0017] (3)复杂环境的影响，现实环境中，影响运动目标检测的因素有很多，目前的许多算法都不能得到正确的结果，最大限度的减少环境因素对目标的影响是我们必须解决的一个问题。
[0018] (4)目标间的相对运动，对于多个运动目标，目标与目标之间的相对运动会直接影响序列图像的目标成像效果，给目标检测工作带了很大的不便，这也正是当前许多算法不能彻底解决的问题。
发明内容
[0019] 针对现有技术存在的问题，本发明提供了一种基于序列图像的运动目标快速检测方法、计算机视觉系统。
[0020] 本发明是这样实现的，一种基于序列图像的运动目标快速检测方法，所述基于序列图像的运动目标快速检测方法包括以下步骤：
[0021] 第一步，序列图像的预处理，在序列图像的采集过程中，采用图像灰度化、二值化、中值滤波进行处理；针对低照度的图像，采用Gamma变换增强图像；
[0022] 第二步，结合背景差分和边缘帧间差分的检测方法对静态环境的运动目标检测；
[0023] 第三步，基于SIFT算法特征匹配的检测方法对动态环境的运动目标检测。
[0024] 进一步，所述基于序列图像的运动目标快速检测方法的序列图像预处理方法包括：
[0025] (1)图像灰度变换，彩色图像变换为灰度图像：
[0026] Y＝0.299R+0.587G+0.114B；
[0028] (2)二值化，输入的图像为f(x,y)，输出图像为F(x,y)，选取阈值T，对图像的二值化变换函数表达式；
[0029]
[0030] 式中阈值T将图像F(x,y)分成两部分，大于T的像素点设为白色，小于T的区域为黑色；
[0031] (3)图像去噪，一维中值滤波：
[0032] Zk＝med(xk-N,xk-N+1,…,xk,…,xk+N)；
[0033] 其中，med表示对图像中的像素进行求中值运算；式中是对2N+1个像素排序，最终输出像素即该像素序列的中值；
[0034] 二维中值滤波适用于二维像素矩阵，给出二维中值滤波的定义：
[0035]
[0036] (4)低照度处理，采用Gamma变换增强作为低照度处理的方法：将原始图像的均值调为0，方差调为1；根据累计直方图分布特点初步判断当前图像属于高光还是低光照类型，并根据相应类型做灰度的初步微调，对图像做Gamma校正；变换公式：
[0037]
[0038] 进一步，所述基于序列图像的运动目标快速检测方法的静态场景下的运动目标快速检测方法包括：
[0039] (1)第t帧背景为Bt(x,y)，对于新一帧图像It+1(x,y)，则两副图像差分后的图像为Sub_image，Sub_image(x,y)表示为在像素点(x,y)点处It+1(x,y)与Bt(x,y)的绝对值；选用Ostu法进行背景和前景的分割，对差分图像Sub_image每个像素点；
[0040]
[0041] 将灰度值为“0”处的概率分布w0＝0，阈值TH把图像的像素分为C0＝(0,1,…,TH)，C1＝(TH+1,TH+2,…,L-1)两类，分别代表目标与背景；
[0042] 将每个联通域的左、右、上、下保存在内存中；对于每个联通域均与其它的联通域进行如下比较：
[0043]
[0044] 其中，position(i,1)为第i个联通域的最左边位置，position(i,2)为第i个联通域的最右边边位置，position(i,3)为第i个联通域的最顶端位置，position(i,4)为第i个联通域的最底端位置；
[0045] (2)选用Canny边缘进行图像边缘提取。；包括高斯滤波、求取x方向的梯度、y方向梯度三部分；具体实现的步骤如下：
[0046] 1)高斯滤波：采用二维高斯函数对图像进行低通滤波，二维高斯函数的方差δ根据经验而定，二维高斯函数为：
[0047]
[0048] 对于一幅灰度图像，滤波过程等价于求取卷积过程：
[0049]
[0050] 2)x、y方向梯度求取：图像Filter(x,y)为2-D离散矩阵，再求取x，y方向的一阶导数，在离散中求解一阶微分，x，y方向上的梯度求解如下：
[0051]
[0052]
[0053] 3)(x,y)处总梯度：为简化x，y方向两个梯度给计算上带的不便，求取在像素点(x,y)的总梯度：
[0054]
[0055] 利用Ostu方法进行阈值分割，梯度大于分割阈值为“1”，否则为“0”；按照Canny边缘、分割步骤进行处理；
[0056] (3)利用基于边缘信息的三帧差分方法得到的边缘分割结果，与背景差分的运动目标检测方法结果运算。
[0057] 进一步，所述基于序列图像的运动目标快速检测方法的动态场景下的运动目标快速检测方法包括：首先提取目标的特征点，再在前后两帧图像中通过特征点匹配的方法检测目标的运动过程。
[0058] 进一步，所述动态场景下的运动目标快速检测方法具体包括：
[0060] 步骤二，在待匹配图像中找到参考图像中的每一特征点的唯一匹配点；通过两帧之间特征点的位置变化，求出该特征点的局部运动矢量；将所有特征点在两帧之间的位置变化信息代入运动模型，求出背景的全局运动矢量；
[0061] 步骤三，通过伪特征点剔除策略特征点匹配对的校正；
[0062] 步骤四，运动补偿，摄像头的全局运动模型参数估计出后，需以参数帧为基准对当前帧进行运动补偿，以检测出运动目标；
[0063] 步骤五，背景差分，经过全局运动估计与补偿之后所得的当前帧的估计帧与当前帧进行逐像素差分；对差值图像进行阈值处理，消除噪声。
[0064] 进一步，所述步骤二的特征匹配采用基于特征的匹配方法，即当两幅图像的SIFT特征向量生成后，采用关键点特征向量的欧式距离作为两幅图像中关键点的相似性判定度量；
[0065] 取参考帧图像中的某个关键点，并找出与当前帧图像中欧式距离最近的前两个关键点，在两个关键点中，如果最近的距离除以次近的距离少于某个比例阈值，则接受这一对匹配点。
[0066] 进一步，所述步骤三的伪特征点剔除策略具体包括：
[0067] 第一步，将提取出的所有特征匹配对，代入最小二乘公式中，求得仿射参数(A1,B1)；
[0068] 第二步，将特征匹配对中参考帧中的特征点的坐标(x,y)，根据仿射参数(A1,B1)计算出其在当前帧中的估计坐标位置(x”,y”)，如果在当前帧中与(x,y)匹配的特征点的坐标(x',y')与(x”,y”)的欧式距离超过一定阈值T1时，认为该匹配对中包含有伪特征点，并将该匹配对剔除。
[0069] 第三步，将利用第二步剔除过程之后留下的特征匹配对，计算最小二乘仿射参数解(A2,B2)；再重复第二步的操作，此时的阈值为T2；
[0070] 第四步，再利用剩下的特征匹配对，计算最小二乘仿射参数解(A3,B3)；通过合理调整T1和T2的值，达到伪特征点剔除的目的。
[0071] 本发明的另一目的在于提供一种应用所述基于序列图像的运动目标快速检测方法的计算机视觉系统，所述计算机视觉系统为精确打击武器制导系统、计算机辅助驾驶系统、导弹的地形和地图匹配系统、工业流水线自动监测系统、智能房间、医用图像系统。
[0072] 本发明的另一目的在于提供一种应用所述基于序列图像的运动目标快速检测方法的智能机器人。
[0073] 本发明的另一目的在于提供一种应用所述基于序列图像的运动目标快速检测方法的智能交通系统。
[0074] 综上所述，本发明的优点及积极效果为：本发明在图像预处理的基础上采用Gamma变化对序列图像进行处理，然后针对静态环境和动态环境，分别提出了相应的运动目标快速检测方法。本发明在图像预处理的基础上，针对夜间等低照度情况下运动目标特征提取困难情况，采用Gamma变化进行处理；针对静态场景下的运动目标快速检测，设计了一种结合背景差分和边缘帧间差分的检测方法；针对动态场景中的运动目标快速检测，基于SIFT算法良好的性能，设计了一种基于SIFT算法特征匹配的检测方法。
[0075] 从表1和图11可以看出，本发明设计的结合背景差分和边缘帧间差分运动检测方法，能结合背景差分法和帧间差分法的优势，并且提升各自优势，使两种方法很好的结合在一起，其中正检率达到了96.3％，误检率为1.3％，相比于背景差分法和帧间差分法，提升都比较大。
[0076] 结合表2与图12可以看出，相比于基于块匹配的方法和基于小波变换的方法，本发明方法的性能在正检率、误检率和处理时间三个方面都提升很明显。其中本发明方法的正检率为92.7％；误检率为1.9％；处理时间为7.2s。
[0077] 本发明在图像预处理的基础上采用Gamma变化对序列图像进行处理，然后针对静态环境和动态环境，分别提出了相应的运动目标快速检测方法。具体贡献表示如下：
[0078] (1)在图像预处理的基础上，针对夜间等低照度情况下运动目标特征提取困难情况，采用Gamma变化进行处理；
[0079] (2)针对静态场景下的运动目标快速检测，设计了一种结合背景差分和边缘帧间差分的检测方法；
[0080] (3)针对动态场景中的运动目标快速检测，基于SIFT算法良好的性能，设计了一种基于SIFT算法特征匹配的检测方法。
[0081] 通过与其他方法对比，静态环境下，提出方法在正检率、误检率方面提升都比较大，虽然处理时间增长了，但是处于可接受的范围。动态环境下，提出方法的性能在正检率、误检率和处理时间三个方面都提升很明显。说明了提出方法良好的性能，从而证明在各自环境中能有效且及时检测运动目标。附图说明
[0083] 图2是本发明实施例提供的结合背景差分和边缘帧间差分的检测方法流程图。
[0084] 图3是本发明实施例提供的静态环境的运动目标检测流程图。
[0085] 图4是本发明实施例提供的动态环境的运动目标检测流程图。
[0086] 图5是本发明实施例提供的原始图像示意图。
[0087] 图6是本发明实施例提供的灰度化处理示意图。
[0088] 图7是本发明实施例提供的低照度处理示意图。
[0089] 图8是本发明实施例提供的含有噪声的图像示意图。
[0090] 图9是本发明实施例提供的滤波后的图像示意图。
[0091] 图10是本发明实施例提供的二值化处理后的图像示意图。
[0092] 图11是本发明实施例提供的静态环境下改进前后方法性能对比示意图。
[0093] 图12是本发明实施例提供的动态环境下改进前后方法性能对比示意图。
具体实施方式
[0094] 为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0095] 现在序列图像的运动目标检测已经是计算机视觉中的热点，在军事与日常生活多个领域有着非常广泛的实际运用。本发明针对复杂背景条件下的运动目标快速检测进行研究，分别提出了适用于静态场景下和动态场景中的运动目标快速检测方法。首先，在图像预处理的基础上，针对夜间等低照度情况下运动目标特征提取困难情况，采用Gamma变化进行处理；其次，针对静态场景下的运动目标快速检测，设计了一种结合背景差分和边缘帧间差分的检测方法；最后，针对动态场景中的运动目标快速检测，基于SIFT算法良好的性能，设计了一种基于SIFT算法特征匹配的检测方法。仿真实验表明，本发明的检测方法具有良好的检测性能。
[0096] 下面结合附图对本发明的应用原理作详细的描述。
[0097] 如图1所示，本发明实施例提供的基于序列图像的运动目标快速检测方法包括以下步骤：
[0098] S101：序列图像的预处理，在序列图像的采集过程中，采用了图像灰度化、二值化、中值滤波等技术进行处理；针对低照度的图像，采用Gamma变换增强图像；
[0099] S102：结合背景差分和边缘帧间差分的检测方法:对静态环境的运动目标检测；
[0100] S103：基于SIFT算法特征匹配的检测方法对动态环境的运动目标检测。
[0101] 下面结合附图对本发明的应用原理作进一步的描述。
[0102] 1拟议方法
[0103] 1.1序列图像预处理
[0104] 图像的预处理是图像分析的前期工作，因为图像输入的过程会使图像的质量下降，无论是在视觉效果还是识别方面都存在很多问题，研究图像识别的人员，往往比较关注图像中的一些重要特征，控制他们不在乎的特性，经过处理后的图像信息量单一，内容较为简练、具有的个性明显。
[0105] 1.1.1图像灰度变换
[0106] 随着视频监控设备的普遍使用和科学技术的显著提高，目前存在的摄像头捕捉到的图像基本都是彩色的，一幅彩色图像的每个像素均有R、G、B三个分量，三个分量的每个分量都有255种取值，这样一每一个素点就有1600多万种颜色变化，图像的存储空间变大对后续的处理和计算影响很大。彩色图像的灰度化后每个像素只有256级灰度值，在使用算法和处理的过程中能很好的减少存储空间，还能使运算量减少，提高图像处理的速度最终提高运动目标检测的速度。可以根据式(1)把彩色图像变换为灰度图像：
[0107] Y＝0.299R+0.587G+0.114B (1)
[0108] 其中，Y是根据R、G、B颜色分量以及YUV中亮度信号Y之间的关系算出的亮度，R、G、B分别表示红色、绿色、蓝色分量，其中彩色分量信号对转换的结果影响了红、绿、蓝三个颜色的加权系数。
[0109] 1.1.2二值化
[0110] 图像包括目标、背景、噪声，而目标检测与跟踪中的有用信息是图像中的前景目标，二值化的定义是利用图像分割算法将图像中的前景目标像素点与背景像素点分开，是运动目标检测过程中不可缺失的一个重要步骤，具体做法如下，如果输入的图像为f(x,y)，输出图像为F(x,y)，通常会选取一个阈值T，对图像的二值化变换函数表达式如式(2)所示；
[0111]
[0112] 上式中阈值T将图像F(x,y)分成两部分，在本发明中大于T的像素点设为白色(目标物体)，小于T的区域为黑色(背景)。
[0113] 图像经过二值化后不仅使它的容量比相对应的灰度图像小，操作中计算速度快，更有利于后面的布尔逻辑运算，而且通过对转换过的二值图像的计算还可以很容易的计算出目标物体的大小和位置等几何特性。确定合理的阈值是二值化的关键，影响到目标信息的完整性，好的阈值对后续的处理起到很大的作用。
[0114] 1.1.3图像去噪
[0115] 在数字图像生成和传输的过程中研究人员发现这样经常会受噪声的干扰，从而导致图像的质量变的很差，导致后续的分析和处理受到影响。因此这一步在图像处理中对噪声滤波的作用尤其重要。
[0116] 中值滤波是图像处理中的非线性信号处理手段，与中值滤波方法对应的滤波器称为非线性滤波器。中值滤波的中心思想是基于排序统计理论上并能有效抑制噪声的非线性的信号处理技术。传统的中值滤波的平滑窗口个数一般为奇数个，把滤波窗口移动后将本窗口中的指定点的灰度值，即是窗口正中间那个点的灰度值，用窗口中的存在的所有灰度值中间的那个值换。但实际中也存在滑动窗口中具有偶数个，其滤波的中值是按排序后中间数值的平均值计算。
[0117] 一维中值滤波定义如式(3)所示：
[0118] Zk＝med(xk-N,xk-N+1,…,xk,…,xk+N) (3)
[0119] 其中，med表示对图像中的像素进行求中值运算。式中是对2N+1个像素排序，最终输出像素即该像素序列的中值。
[0120] 同理，二维像素矩阵表示的则是二维图像，二维中值滤波适用于二维像素矩阵。下式给出二维中值滤波的定义：
[0121]
[0122] 方形、十字形、圆环形等是二维中值滤波常见的窗口形状，线状型圆形也较为常见，实际中会根据需要采用合适的窗口形状和尺寸，不同的选择会出现不同的滤波的结果。
[0123] 1.1.4低照度处理
[0124] 本发明采用Gamma变换增强作为低照度处理的方法：将原始图像的均值调为0，方差调为1；根据累计直方图分布特点初步判断当前图像属于高光还是低光照类型，并根据相应类型做灰度的初步微调，对图像做Gamma校正。由于自然交通环境中较少出现光强过强的情况，故本发明只考虑过暗情况。变换公式如式(5)所示：
[0125]
[0126] 使用Gamma校正法做低照度图像的灰度变换，操作简单，计算量小。由于源图像到目标图像为非线性映射，因此变换后图像的灰度级会有所增加，有益于还原图像的细节，保留了车辆的基本特征，对车辆检测精度的提升有很大帮助。本发明使用方法对图像的所有点均采用一种映射方式，因此不会出现局部过暗或者是过亮的情况。
[0127] 1.2静态场景下的运动目标快速检测方法
[0128] 1.2.1背景差分检测方法
[0129] 基于背景差分的运动目标检测就是将运动的人或者是物体从监控的场景中提取出。假设第t帧背景为Bt(x,y)，对于新一帧图像It+1(x,y)，则两副图像差分后的图像为Sub_image，Sub_image(x,y)表示为在像素点(x,y)点处It+1(x,y)与Bt(x,y)的绝对值。
[0130] 众所周知，图像前景与背景被分为两类，基于此，本发明将选用Ostu法进行背景和前景的分割。对差分图像Sub_image每个像素点，均利用式(6)进行处理；
[0131]
[0132] 对于在Ostu方法中，应该将灰度值为“0”处的概率分布w0＝0，阈值TH把图像的像素分为C0＝(0,1,…,TH)，C1＝(TH+1,TH+2,…,L-1)两类，分别代表目标与背景。
[0133] 在运动目标检测后，可能会存在伪目标，为了解决这个问题，将每个联通域的左、右、上、下保存在内存中。对于每个联通域均与其它的联通域进行如下比较：
[0134]
[0135] 其中，position(i,1)为第i个联通域的最左边位置，position(i,2)为第i个联通域的最右边边位置，position(i,3)为第i个联通域的最顶端位置，position(i,4)为第i个联通域的最底端位置。
[0136] 1.2.2边缘帧差检测方法
[0137] 本发明选用Canny边缘进行图像边缘提取。Canny边缘检测算法主要包括高斯滤波、求取x方向的梯度、y方向梯度三部分。选取高斯滤波的目的在于能够对监控场景中的噪声有所抑制，进而保证在差分后获取运动目标轮廓的有效性。具体实现的步骤如下：
[0138] 1)高斯滤波：采用二维高斯函数对图像进行低通滤波，二维高斯函数的方差δ根据经验而定，二维高斯函数为：
[0139]
[0140] 由于在离高斯核中心处越远，则在滤波中加权的权重就越小，这就决定在滤波过程中设定一个有限的核带宽下进行高斯滤波。对于一幅灰度图像而言，滤波过程等价于求取卷积过程，描述如下：
[0141]
[0142] 2)x、y方向梯度求取：图像Filter(x,y)为2-D离散矩阵，再求取x，y方向的一阶导数，即在离散中求解一阶微分，基于此，x，y方向上的梯度求解如下：
[0143]
[0144]
[0145] 3)(x,y)处总梯度：为简化x，y方向两个梯度给计算上带的不便，需求取在像素点(x,y)的总梯度，如式(11)所示：
[0146]
[0147] 由于求取的梯度也构成一幅梯度图像，利用上节中的Ostu方法进行阈值分割，即梯度大于分割阈值为“1”，否则为“0”。按照Canny边缘、分割步骤进行处理。
[0148] 1.2.3结合背景差分和边缘帧间差分的检测方法
[0149] 假设监控场景存在运动目标，则相邻两帧间差分会得到运动目标的运动轮廓信息，为得到更可靠的轮廓信息，采用相邻三帧差分无疑是一种可行的方法。同时，为避免噪声对检测结果的影响，使用图像的边缘信息与三帧差分结合方法实现监控场景的运动目标检测成为可能，即形成基于边缘信息的三帧差分方法。利用基于边缘信息的三帧差分方法得到的边缘分割结果，与背景差分的运动目标检测方法结果做合理的运算，即在一定程度上解决衣服将人体分为多个或者多个运动目标这一问题。该方案既能保证检测的快速性，同时降低复杂监控场景中的运动目标检测误检率，具体实现流程如图2所示。
[0150] 1.3动态场景下的运动目标快速检测方法
[0151] 本发明中将采用基于特征匹配的方法实现全局运动估计。由于特征点具有移动不变性，因此，在进行序列图像的运动目标检测之前，首先提取目标的特征点，然后再在前后两帧图像中通过特征点匹配的方法检测目标的运动过程。
[0152] 步骤一，特征点提取
[0153] 从图像中提取特征点是基于点特征图像匹配的第一步，也是利用仿射变换求解全局运动参数的关键步骤之一。
[0154] 基于SIFT算法良好的性能，本发明采用SIFT算法提取特征，过程可分为：检测尺度空间极值点、精确定位极值点、为每个关键点指定方向参数以及特征点描述子生成四个步骤。
[0155] (1)检测尺度空间极值点；
[0156] (2)精确定位极值点；
[0157] (3)为每个关键点指定方向参数；
[0158] (4)特征点描述子生成；
[0159] 步骤二，特征匹配
[0160] 所谓特征点的匹配，就是在待匹配图像中找到参考图像中的每一特征点的唯一匹配点。通过两帧之间特征点的位置变化，可以求出该特征点的局部运动矢量，而将所有特征点在两帧之间的位置变化信息代入运动模型，即可求出背景的全局运动矢量。
[0161] 特征匹配主要有两种方法：基于特征的匹配以及基于灰度的匹配。本发明方法中采用基于特征的匹配方法，即当两幅图像的SIFT特征向量生成后，下一步采用关键点特征向量的欧式距离作为两幅图像中关键点的相似性判定度量。取参考帧图像中的某个关键点，并找出其与当前帧图像中欧式距离最近的前两个关键点，在这两个关键点中，如果最近的距离除以次近的距离少于某个比例阈值，则接受这一对匹配点。降低这个比例阈值，SIFT匹配点数目会减少，但更加稳定。
[0162] 步骤三，特征点匹配对的校正
[0163] 实际上，上节中提取的特征匹配对通常是有误差的，这些误差可以分为两类一类是特征点本身定位的误差，它们一般比较小，可以用正态分布表示。另一类是由于出现了伪特征点，在匹配时找到了比自己更像自己的点。可能的原因是，在特征点选取时，选择了在同一个图像中具有自相似的点作为特征点，如具有重复结构的纹理特征。此时，常会引起匹配的混淆，带对应的错误。当然，如果特征点取在运动的目标上，那么这个点也不再具有特征点的性质，也应归为伪特征点。
[0164] 因此，本发明提出了一种伪特征点剔除策略：
[0165] 第一步，将提取出的所有特征匹配对，代入最小二乘公式中，求得仿射参数(A1,B1)；
[0166] 第二步，将特征匹配对中参考帧中的特征点的坐标(x,y)，根据仿射参数(A1,B1)计算出其在当前帧中的估计坐标位置(x”,y”)，如果在当前帧中与(x,y)匹配的特征点的坐标(x',y')与(x”,y”)的欧式距离超过一定阈值T1时，认为该匹配对中包含有伪特征点，并将该匹配对剔除。
[0167] 第三步，将利用第二步剔除过程之后留下的特征匹配对，计算最小二乘仿射参数解(A2,B2)。再重复第二步的操作，只是此时的阈值为T2。
[0168] 第四步，再利用剩下的特征匹配对，计算最小二乘仿射参数解(A3,B3)。
[0169] 通过合理调整T1和T2的值，即可达到伪特征点剔除的目的。
[0170] 步骤四，运动补偿
[0171] 摄像头的全局运动模型参数估计出后，需以参数帧为基准对当前帧进行运动补偿，以检测出运动目标。但具体实现时，通过六参数模型公式计算出的坐标值通常不是整数，而图像的像素地址必须是整数，所以有必要采取图像插值对地址进行整数化。常用的插值方法有最近邻插值、双线性插值。因为双线性插值具有较高的精度，可达到像素之间的平滑，不会出现马赛克现象，所以本发明采用的是双线性插值法。
[0172] 步骤五，背景差分
[0173] 经过全局运动估计与补偿之后所得的当前帧的估计帧与当前帧进行逐像素差分，理想情况下图像中应该只存在运动目标的信息，背景被完全减掉。但是，由于光照的变化以及仿射参数估计时也可能产生误差，实际情况下的差分图像中存在较大噪声，需要对差值图像进行阈值处理，以消除噪声。
[0174] 下面结合实验对本发明的应用效果作详细的描述。
[0175] 针对本发明采集的序列图像，在充分研究了前人总结的运动目标检测算法的基础上，分别基于静态与动态环境下，提出了合适的检测方法，实现对运动目标的精确检测。
[0176] 其中采集到的序列图像时间间隔比较小，相邻帧之间会存在场景重叠区域，重叠区域大概介于1/3到1/2之间。在处理之前，应该对图像进行处理，然后实现对运动目标检测。本发明方法主要步骤为：
[0177] 第一步，序列图像的预处理：在序列图像的采集过程中，不可避免的会受到设备以及环境的影响，存在噪声等干扰，为了避免这些干扰对后续处理产生影响，应该对其进行图像处理，本发明主要采用了图像灰度化、二值化、中值滤波等技术进行处理，另外在此基础上，针对低照度的图像，本发明采用Gamma变换增强图像。
[0178] 第二步，针对静态环境的运动目标检测，本发明设计了一种结合背景差分和边缘帧间差分的检测方法，其具体实现过程如图3所示。
[0179] 第三步，针对动态环境的运动目标检测，本发明设计了一种基于SIFT算法特征匹配的检测方法，其具体实现过程图如图4所示。
[0180] 图5给出了本发明采集的序列图像，在检测运动目标之前，需要对图像进行预处理，避免设备以及环境因素对后续运动目标检测的干扰。
[0181] 首先，对图像进行灰度化处理，处理结果如图6所示，从图中可以看出，灰度化处理可以将三维图像降维为两维，但是图像及运动目标的轮廓并没有改变。
[0182] 在灰度化处理后，图像整体照度依然很低，因此，本发明采用Gamma变换进行处理，处理结果如图7所示。从图中可以看出，图像整体照度有所提升，目标的照度提升很明显，有效降低照度对图像后续处理的影响。
[0183] 在序列图像采集过程中，不可避免的存在因设备和环境影响而产生的噪声，因此对图像进行去噪处理是极有必要的。图8为加入椒盐噪声的图像，图9为中值滤波后的图像，可以看出，滤波处理明显降低了椒盐噪声对图像的干扰。
[0184] 图像包括目标、背景、噪声，在噪声滤除后，因此有必要的将目标与背景分离，使运动目标更加突出，而二值化正是将图像中前景目标像素点和背景像素点分开的一种方法，其中二值化处理结果图如图10所示。从图中可以看出，二值化处理成功的将大部分背景与运动目标区分开，因此可以知道，二值化处理是是运动目标检测过程中不可缺失的一个重要步骤。
[0185] 在预处理后，本发明首先对本发明设计的静态环境下的结合背景差分和边缘帧间差分运动检测方法进行测试，分析该方法的性能。将本发明方法与经典的背景差分法和帧间差分法进行比较，比较结果如表1所示。
[0186] 表1静态环境下运动目标检测方法性能分析
[0187] 方法 正检率(％) 误检率(％) 处理时间(s)背景差分法 86.1 6.8 10.9
帧间差分法 81.6 3.5 11.3
本发明方法 96.3 1.3 12.2
帧间差分法 81.6 3.5 11.3
本发明方法 96.3 1.3 12.2
[0188] 从表1和图11可以看出，本发明设计的结合背景差分和边缘帧间差分运动检测方法，能结合背景差分法和帧间差分法的优势，并且提升各自优势，使两种方法很好的结合在一起，其中正检率达到了96.3％，误检率为1.3％，相比于背景差分法和帧间差分法，提升都比较大。
[0189] 其次对本发明设计的动态环境下的基于SIFT算法特征匹配的运动目标检测方法进行测试，分析该方法的性能。将本发明方法与基于块匹配的方法和基于小波变换的方法进行比较，比较结果如表2所示。
[0190] 表2动态环境下运动目标检测方法性能分析
[0191]方法 正检率(％) 误检率(％) 处理时间(s)
基于块匹配的方法 83.2 3.7 9.7
基于小波变换的方法 85.7 4.9 10.6
本发明方法 92.7 1.9 7.2
基于块匹配的方法 83.2 3.7 9.7
基于小波变换的方法 85.7 4.9 10.6
本发明方法 92.7 1.9 7.2
[0192] 结合表2与图12可以看出，相比于基于块匹配的方法和基于小波变换的方法，本发明方法的性能在正检率、误检率和处理时间三个方面都提升很明显。其中本发明方法的正检率为92.7％；误检率为1.9％；处理时间为7.2s。
[0193] 如今，作为计算机视觉与智能视频监控系统关键技术的运动目标检测已经越发的重要了，在多个领域有着非常广泛的应用，蕴藏着巨大的能量，也受到众多学者的关注与研究。但到目前为止，序列图像中的运动目标检测仍面临许多未能很好解决的问题。为了实现快速以及准确的检测到运动目标，在复杂背景情况下，本发明针对静态环境与动态环境提出了相应的方法。在图像预处理中加入了Gamma变换针对低照度图像进行处理，有效提升图像的质量，然后针对静态环境，提出了一种结合背景差分和边缘帧间差分的检测方法，而针对动态环境，提出了一种基于SIFT算法特征匹配的检测方法，最后分别对本发明提出的方法进行测试，通过与其他方法对比，静态环境下，本发明方法在正检率、误检率方面提升都比较大。动态环境下，本发明方法的性能在正检率、误检率和处理时间三个方面都提升很明显。说明了本发明方法良好的性能，从而证明本发明的方法在各自环境中能有效且及时检测运动目标。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 使用无线通信的智能交通系统中的本地和全局消息分发策略 | 2020-05-08 | 251 |
| 一种基于座椅节点的智能交通系统及其工作方法 | 2020-05-14 | 850 |
| 汽车遥控系统及方法 | 2020-05-15 | 223 |
| 一种智慧车列交通系统沙盘演示装置及其控制方法 | 2020-05-12 | 348 |
| 一种智能网联插电式混合动力汽车协同优化能量管理方法 | 2020-05-15 | 672 |
| 一种基于激光雷达网络的交通信息感知系统及方法 | 2020-05-15 | 509 |
| 交通违法处罚证据链补全方法及设备 | 2020-05-14 | 516 |
| 车牌识别方法及装置 | 2020-05-14 | 691 |
| 提供公共警告系统消息 | 2020-05-15 | 350 |
| 智能新能源空中磁浮巴士列车系统 | 2020-05-16 | 976 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈