技术领域
[0001] 本
发明涉及
图像处理和
计算机视觉领域，尤其涉及一种基于双目视觉的车载视频异常运动检测方法。
背景技术
[0002] 随着
汽车工业的迅速发展和汽车数量的不断增加，伴随着越来越极端和频繁发生的交通事故，造成巨大的人员伤亡和财产损失。作为减少交通事故、降低事故损失的一种有效手段，汽车安全辅助驾驶技术成为交通工程领域的研究前沿。
[0003] 在汽车辅助驾驶系统的运动目标检测技术研究中，行人和车辆的识别及
跟踪已取得了丰硕的研究成果。然而，这些方法的基本思路都是需要先进行目标的分类和识别，再进行目标的跟踪。但是，受车辆的形状、大小，以及行人姿势变化等因素的影响，运动目标的检测非常困难，这也限制了汽车安全辅助驾驶系统的作用。同时，在实际的驾驶场景中，驾驶员真正关注的是交通环境中所存在的异常运动目标，而无需识别异常运动目标的是行人、车辆或者其他物体。因此，如果从异常运动检测的
角度入手，对交通环境中的异常运动目标建立异常性模型，对这些运动目标进行碰撞可能性量化，及时为驾驶员提供必要的碰撞预警信息，将会大大提高汽车安全辅助驾驶系统的性能，提高驾驶安全性，降低交通事故的发生。
[0004] 因此，当前需要一种基于双目视觉的车载视频异常运动检测的技术方案来解决上述问题。
发明内容
[0005] 本发明所要解决的技术问题是提供一种基于双目视觉的车载视频异常运动检测方法，解决传统的基于图像特征的检测方法中，仅能对特定类型的目标进行检测，实用性较低，只能适用于单一场景的问题。
[0006] 为了解决上述问题，本发明提供了一种基于双目视觉的车载视频异常运动检测方法，包括：
[0007] 1)按照一定步长在当前
帧的左视图中提取
像素点，作为原左视图的特征点，结合前一帧图像计算特征点的光流信息，获得特征点对集合，并在当前帧的左视图中检测车道线；
[0008] 2)通过当前帧的左视图和右视图计算
视差矩阵，基于双目视觉成像原理得到视差值和真实距离的关系，计算每个特征点在相机
坐标系中的真实距离，并由近及远将特征点划分为多层；
[0009] 3)根据得到的多层特征点集合，分别对每一层对应的特征点对进行多次仿射变换建模，将其划分为多个集合，每个集合中的特征点符合同一种运动模型；
[0010] 4)根据得到的符合不同运动模型的多个特征点集合，分别对每个运动模型对应的特征点集合，采用基于
密度的聚类
算法进行聚类，从而得到各待
检测区域的
位置和大小；
[0011] 5)根据得到的各待检测区域的位置和大小，结合视差矩阵、光流信息和车道线信息，计算各待检测区域的光流幅值、光流方向、真实距离和所属车道；
[0012] 6)建立异常运动检测模型，根据得到的各待检测区域的信息，计算该区域的异常性值，完成异常运动区域的检测。
[0013] 进一步，步骤1)具体为：
[0014] 1.1)计算相邻两帧图像中特征点的光流信息，需要通过计算一次正向和一次反向光流来筛选特征点，两次光流信息的误差小于设定
阈值的特征点才会保留；
[0015] 1.2)在当前帧的左视图中检测车道线：基于
霍夫变换检测出线段，筛选出线段斜率在设定范围内的线段集合，进一步从线段集合中，找出线段起点最靠近图像的垂直中线且线段终点不超过图像的垂直中线的线段，作为左车道线；找出线段起点最靠近图像的垂直中线且不超过垂直中线的线段，作为右车道线。如果在当前帧图像中没有检测到车道线，则使用上一帧图像的车道线信息。
[0016] 进一步，步骤3)具体为：
[0017] 3.1)第1次将该层上所有的特征点用于建立仿射变换模型，满足该仿射变换模型的特征点叫内点，不满足该仿射变换模型的特征点叫外点；
[0018] 3.2)之后进行M-1次仿射变换建模，每次建模的特征点对都是上一次仿射变换建模后的外点。从而将每层上的特征点划分为多个集合，每个集合中的特征点符合同一种运动模型。
[0019] 进一步，步骤5)具体为：
[0020] 5.1)根据
聚类算法得到的区域位置和大小，统计该区域内所有特征点的光流方向直方图和光流幅值直方图，选择统计值最大的光流方向和光流幅值作为该区域的光流方向和光流幅值；
[0021] 5.2)统计该区域内视差值大于0的像素点的视差值，计算平均视差，利用视差值和真实距离的关系，计算该区域的真实距离；
[0022] 5.3)将图像根据车道线划分为左车道区域、右车道区域、同车道区域，然后利用车道线与待检测区域几何中心的几何关系计算该待检测区域所属的车道。
[0023] 进一步，步骤6)具体为：
[0024] 6.1)根据该帧图像中所有待检测区域的最大光流幅值和最小光流幅值，归一化每一个待检测区域光流幅值，将其作为该区域的初始异常值；
[0025] 6.2)将该区域的真实距离通过高斯分布模型转换到[0,1]，并通过指数型广义加权算子进行加强或者抑制，将最终的距离权值作为真实距离对异常值的影响权值；
[0026] 6.3)根据待检测区域所属的车道，通过不同的光流方向的权值计算公式计算待检测区域的光流方向权值；
[0027] 6.4)结合待检测区域的初始异常值、距离权值和光流方向权值，计算得到该区域的异常性值。
[0028] 进一步，步骤5)具体为：
[0029] 步骤5.1、统计该待检测区域内所有特征点的光流幅值直方图，将统计值最高的光流幅值作为该区域的光流幅值fi；
[0030] 步骤5.2、将360°等分为NBin个区间，统计该待检测区域内所有特征点的光流方向直方图，将统计值最高的光流方向作为该区域的光流方向Oi；
[0031] 步骤5.3、统计待检测区域Ri内所有视差值大于0的像素点的视差值之和与个数，计算其平均视差值作为该待检测区域的视差值，并利用视差值和真实距离的关系，计算得到该待检测区域的真实距离：
[0032]
[0033]
[0034] 其中， 表示区域Ri的平均视差值，ni表示区域Ri中视差值大于0的像素点的个数，dj表示区域Ri中视差值大于0的像素点的视差值，f为相机焦距，b为基线。
[0035] 步骤5.4、计算待检测区域Ri所属车道：
[0036]
[0037] 其中， 表示区域Ri的几何中心，y＝hl(x)和y＝hr(x)分别表示左车道直线方程和右车道直线方程。
[0038] 进一步，步骤6)具体为：
[0039] 步骤6.1、根据该帧图像中所有待检测区域中的最大光流幅值fmag_max和最小光流幅值fmag_min，归一化待检测区域Ri的光流幅值，并将其作为该待检测区域的初始异常性值：
[0040]
[0041] 其中，fi表示区域Ri的光流幅值。
[0042] 步骤6.2、假设距离权值符合高斯分布模型，则距离权值计算公式如下：
[0043]
[0044] 其中，Di表示待检测区域Ri到自车的距离，σ2取值为5；
[0045] 步骤6.3、由于待检测区域距离自车的远近对自车的威胁程度是不同的，如果距离较远，目标区域的异常性则会降低，如果距离较近，目标区域的异常性则会加强，因此，采用一种指数型广义加权算子对距离权值进行加强或抑制，将其结果作为该待检测区域真实距离对异常性值的影响权值：
[0046]
[0047] n＝ln(2)/(ln(2)-ln(1-αd))
[0048] 其中，αd表示距离对异常性的影响程度，αd越大，则影响越强，反之，影响越弱，αd取值为0.9，ed表示抑制或加强的临界值， 大于ed则加强距离权值对异常性的影响，反之，则抑制距离权值对异常性的影响，本发明中ed取值为0.5。
[0049] 步骤6.4、待检测区域Ri属于不同的车道，其光流方向权值的计算公式也将不同，如下所示：
[0050] 当Li＝1时：
[0051]
[0052] 当Li＝2时：
[0053]
[0054] 当Li＝0时：
[0055]
[0056] 其中，Oi表示待检测区域Ri的光流方向,OV表示待检测区域的几何中心到自车的方向，Old表示左车道线的下端点到上端点的方向，Olu表示左车道线的上端点到下端点的方向，Ord表示右车道线的上端点到下端点的方向，Oru表示右车道的下端点到上端点的方向，NBin表示方向等分数量；
[0057] 步骤6.5、待检测区域Ri的异常性量化公式为：
[0058]
[0059] 其中，norm(x)为归一化函数，将参数x归一化为[0,1]；
[0060] 根据异常性量化公式计算每个待检测区域的异常性值，如果异常性值大于阈值，则该区域为异常运动区域。
[0061] 本发明提供了一种基于双目视觉的车载视频异常运动检测方法。该方法根据双目图像中特征点的真实距离，将特征点划分为多层，并基于每层特征点运动模型的不同，进一步将每层特征点分为不同集合，对每个运动模型对应的特征点集合进行聚类，从而得到一系列待检测的异常运动区域，根据每个区域的异常运动参数，通过建立的异常运动检测模型，计算每个待检测区域的异常性值，从而得到图像中的异常运动区域。本发明提供的异常运动检测机制能有效地检测出车载视频中的异常运动区域，以及该异常运动区域对自车的威胁大小。应用本发明，解决了传统的基于图像特征的目标检测算法中只能检测特定类型目标的问题，具有更高的实用性，并且准确率较高。
附图说明
[0062] 图1是本发明基于双目视觉的车载视频异常运动检测方法的
流程图。
[0063] 图2是本发明基于双目视觉的车载视频异常运动检测方法操作示例。
[0064] 图3是本发明基于双目视觉的车载视频待检测区域异常性值计算方法操作示例。
[0065] 图4是本发明基于双目视觉的车载视频异常运动检测方法的角度转换模型。
具体实施方式
[0066] 本发明提供了一种基于双目视觉的车载视频异常运动检测方法。该方法根据双目图像中特征点的真实距离，将特征点划分为多层，并基于每层特征点运动模型的不同，进一步将每层特征点分为不同集合，对每个运动模型对应的特征点集合进行聚类，从而得到一系列待检测的异常运动区域，根据每个区域的异常运动参数：光流幅值、光流方向、真实距离以及所属车道线，通过建立的异常运动检测模型，计算每个待检测区域的异常性值，从而得到图像中的异常运动区域。本发明提供的基于双目视觉的车载视频异常运动检测方法能有效地检测出车载视频中的异常运动区域，以及该异常运动区域对自车的威胁大小。应用本发明，能解决传统的基于图像特征的目标检测算法只能检测特定类型目标的问题，具有更高的实用性，并且准确率较高。
[0067] 本发明包括以下步骤：
[0068] 1)按照一定步长在当前帧的左视图中提取像素点，作为左视图的特征点，结合前一帧图像计算特征点的光流信息，获得特征点对集合，并对当前帧的左视图进行车道线检测；
[0069] 获得特征点对集合的具体步骤为：
[0070] 1.1)按照一定步长在当前帧的左视图中提取像素点，作为左视图的特征点；
[0071] 1.2)基于光流法计算所有特征点的光流信息，在前一帧左视图中获得各特征点所对应的匹配点；
[0072] 1.3)基于光流法计算这些匹配点在当前帧左视图中的匹配点，计算第二次光流法得到的当前帧左视图中的匹配点和当前帧中原对应特征点之间的误差，对当前帧中的特征点进行筛选，如果误差大于设定的阈值，则剔除该特征点对。
[0073] 2)通过当前帧的左视图和右视图计算视差矩阵，基于双目视觉成像原理得到视差值和真实距离的关系，计算每个特征点在相机坐标系中的真实距离，并由近及远将特征点划分为多层，其中视差值小于等于0的特征点划分到第0层，视差值大于0的特征点将根据真实距离的不同划分到相对应的层；
[0074] 3)根据得到的多层特征点集合，分别对每层上的特征点对进行多次仿射变换建模，进而将这些特征点对划分为多个集合，每一个集合中的特征点符合同一种运动模型；
[0075] 首先，将每层上的所有特征点对，采用RANSAC算法计算出的单应性矩阵进行第一次的运动建模，满足该运动模型的特征点对叫内点，不满足该运动模型的特征点对叫外点；之后每次采用RANSAC算法建立仿射变换模型的特征点对都是前一次建立仿射变换模型后的外点；重复多次采用RANSAC算法对每层上的所有特征点对进行仿射变换建模；最后，这些特征点对被划分为多个集合，每个集合中的特征点符合同一种运动模型。
[0076] 4)对每个运动模型对应的特征点集合，采用基于密度的聚类算法进行聚类，从而得到多个待检测区域的位置和大小；由于第0层的特征点的距离是小于等于0的，可以忽视。同时，为了更加准确地得到待检测区域，对不同层的特征点集合将采用不同的聚类密度进行聚类；
[0077] 5)根据得到的各待检测区域的位置和大小，结合视差图像、光流信息和车道线信息，计算各待检测区域的光流幅值、光流方向、真实距离和所属车道；
[0078] 计算各待检测区域的光流幅值、光流方向、真实距离和所属车道的具体步骤为：
[0079] 5.1)统计该区域内所有特征点的光流幅值直方图，将光流幅值直方图中统计值最高的光流幅值作为该区域的光流幅值；
[0080] 5.2)为了准确地统计该区域内所有特征点的光流方向直方图，将360°等分为NBin个区间，将光流方向直方图中统计值最高的光流方向作为该区域的光流方向；
[0081] 5.3)统计该区域内所有视差值大于0的像素点的视差值之和与个数，计算其平均视差值作为该区域的视差值，并利用视差值和真实距离的关系，计算得到该区域的真实距离；
[0082] 5.4)将图像根据车道线划分为左车道区域、右车道区域、同车道区域，然后利用车道线与待检测区域几何中心的几何关系计算该待检测区域所属的车道。
[0083] 6)建立异常运动检测模型，根据得到的各待检测区域的信息，计算该区域的异常性值，完成异常运动区域的检测。
[0084] 6.1)根据该帧图像中所有待检测区域的最大和最小光流幅值，归一化每个待检测区域的光流幅值，并将其作为该区域的初始异常性值；
[0085] 6.2)假设距离权值符合高斯分布模型,将各待检测区域的真实距离转换到[0,1]；
[0086] 6.3)由于待检测区域距离自车的远近对自车的威胁程度是不同的，如果距离较远，待检测区域的异常性则会降低，如果距离较近，待检测区域的异常性则会加强，因此，采用一种指数型广义加权算子对距离权值进行加强或抑制，将其结果作为该待检测区域真实距离对异常性值的影响权值；
[0087] 6.4)根据待检测区域所属车道的不同，采用不同的光流方向权值计算公式计算该待检测区域的光流方向权值；
[0088] 6.5)结合待检测区域的初始异常性值、距离权值和光流方向权值，计算得到该待检测区域的异常性值。
[0089] 本发明在计算机视觉领域有着广泛的应用，例如：辅助驾驶、智能
机器人等等。下面参照附图，对本发明进行详尽的描述。
[0090] 1)按照一定步长在当前帧的左视图中提取像素点，作为左视图的特征点，步长系数为5；
[0091] 2)根据前一帧图像和当前帧图像，分别计算一次正向光流信息和一次反向光流信息，获得特征点对集合，并根据两次光流信息的误差对获得的特征点对集合进行筛选，删除两次光流信息误差大于设定阈值的特征点对。本发明设定阈值为1像素；
[0092] 3)基于霍夫变换，在当前帧左视图中进行车道线检测；
[0093] 3.1)对当前帧的左视图进行二值化处理，阈值为120，并进行一次
腐蚀和一次膨胀处理；
[0094] 3.2)采用Canny算子提取图像的边缘特征点，然后基于霍夫变换检测出图像中的线段集合；
[0095] 3.3)扫描线段集合中的每条线段，计算其斜率k，并判断斜率k属于左车道线斜率范围还是右车道线斜率范围，从而将线段集合分为左线段集合和右线段集合。其中，左车道线斜率范围为(-1.5,-0.5)，右车道线斜率范围为(0.5,1.5)；
[0096] 3.4)扫描左线段集合中的每条线段，寻找线段起点最靠近图像的垂直中线且线段终点不超过图像的垂直中线的线段，作为该帧图像中的左车道线；
[0097] 3.5)同理，扫描右线段集合中的每条线段，寻找线段起点最靠近图像的垂直中线且不超过图像的垂直中线的线段，作为该帧图像中的右车道线。
[0098] 4)通过当前帧左视图和右视图计算视差矩阵，并基于双目视觉成像原理得到视差值和真实距离的关系，计算每个特征点在相机坐标系中的真实距离，并由近及远将特征点划分为N层；
[0099] 4.1)根据双目视觉成像原理，可以得到视差和真实距离之间的关系：
[0100]
[0101] 其中，f为相机焦距，b为基线，d为视差值。
[0102] 4.2)根据每个特征点的真实距离，将特征点划分为N层。由近及远将距离区间划分为N个层次，分别为：(-∞,0),[0,5),[5,10),[10,20),[20,40),[40,100),[100,+∞)。本发明中N＝7；
[0103] 5)对每层上的特征点对进行M次仿射变换建模，将每层上的特征点对划分为M个集合；
[0104] 5.1)首先，将每层上的所有特征点对，采用RANSAC算法计算出的单应性矩阵进行第一次运动建模，满足该运动模型的特征点对叫内点，不满足该运动模型的特征点对叫外点；
[0105] 5.2)将前一次仿射变换建模后的外点，采用RANSAC算法建立仿射变换模型，得到满足该运动模型的内点和不满足该运动模型的外点；
[0106] 5.3)重复M-2次步骤5.2；
[0107] 5.4)最后，每层上的所有特征点对被划分为M个集合，每个集合中的特征点符合同一种运动模型。
[0108] 6)根据得到的符合不同运动模型的M个特征点集合，对每个运动模型中的特征点集合采用基于密度的聚类算法进行聚类，从而得到各待检测区域的位置和大小；由于第0层的特征点的距离是小于0的，可以忽视。同时，为了更加准确地得到各待检测区域，对于位于不同层的特征点采用不同的聚类密度：
[0109]
[0110]
[0111] 其中，R和N分别表示基于密度聚类的范围和该范围内的特征点个数阈值，L表示特征点所属的层次；
[0112] 7)根据得到的待检测区域的位置和大小，结合视差图像、光流信息和车道线信息，计算待检测区域的光流幅值、光流方向、真实距离和所属车道；
[0113] 7.1)统计该待检测区域内所有特征点的光流幅值直方图，将统计值最高的光流幅值作为该区域的光流幅值fi；
[0114] 7.2)如图4所示，将360°等分为NBin个区间，统计该待检测区域内所有特征点的光流方向直方图，将统计值最高的光流方向作为该区域的光流方向Oi，本发明中NBin取值为36。
[0115] 7.3)统计待检测区域Ri内所有视差值大于0的像素点的视差值之和与个数，计算其平均视差值作为该待检测区域的视差值，并利用视差值和真实距离的关系，计算得到该待检测区域的真实距离：
[0116]
[0117]
[0118] 其中， 表示区域Ri的平均视差值，ni表示区域Ri中视差值大于0的像素点的个数，dj表示区域Ri中视差值大于0的像素点的视差值，f为相机焦距，b为基线。
[0119] 7.4)计算待检测区域Ri所属车道：
[0120]
[0121] 其中， 表示区域Ri的几何中心，y＝hl(x)和y＝hr(x)分别表示左车道直线方程和右车道直线方程。
[0122] 8)建立异常运动检测模型，根据得到的各待检测区域的信息，计算该区域的异常性值，完成异常运动区域的检测。
[0123] 8.1)根据该帧图像中所有待检测区域中的最大光流幅值fmag_max和最小光流幅值fmag_min，归一化待检测区域Ri的光流幅值，并将其作为该待检测区域的初始异常性值：
[0124]
[0125] 其中，fi表示区域Ri的光流幅值。
[0126] 8.2)假设距离权值符合高斯分布模型，则距离权值计算公式如下：
[0127]
[0128] 其中，Di表示待检测区域Ri到自车的距离，σ2取值为5；
[0129] 8.3)由于待检测区域距离自车的远近对自车的威胁程度是不同的，如果距离较远，目标区域的异常性则会降低，如果距离较近，目标区域的异常性则会加强，因此，采用一种指数型广义加权算子对距离权值进行加强或抑制，将其结果作为该待检测区域真实距离对异常性值的影响权值：
[0130]
[0131] n＝ln(2)/(ln(2)-ln(1-αd))
[0132] 其中，αd表示距离对异常性的影响程度，αd越大，则影响越强，反之，影响越弱，本发明中αd取值为0.9，ed表示抑制或加强的临界值， 大于ed则加强距离权值对异常性的影响，反之，则抑制距离权值对异常性的影响，本发明中ed取值为0.5。
[0133] 8.4)待检测区域Ri属于不同的车道，其光流方向权值的计算公式也将不同，如下所示：
[0134] 当Li＝1时：
[0135]
[0136] 当Li＝2时：
[0137]
[0138] 当Li＝0时：
[0139]
[0140] 其中，Oi表示待检测区域Ri的光流方向,OV表示待检测区域的几何中心到自车的方向，Old表示左车道线的下端点到上端点的方向，Olu表示左车道线的上端点到下端点的方向，Ord表示右车道线的上端点到下端点的方向，Oru表示右车道的下端点到上端点的方向，NBin表示方向等分数量。以上计算公式中的方向都是通过图4的角度模型转换到[0,NBin-1]的值。
[0141] 8.5)待检测区域Ri的异常性量化公式为：
[0142]
[0143] 其中，norm(x)为归一化函数，将参数x归一化为[0,1]。
[0144] 根据异常性量化公式计算每个待检测区域的异常性值，如果异常性值大于阈值，则该区域为异常运动区域，本发明中该阈值取值为1.0。
[0145] 本发明提供了一种基于双目视觉的车载视频异常运动检测方法，能快速准确地从车载
视频流中检测到异常运动区域，及时向驾驶员提供预警信息，提高驾驶安全性，同时本发明解决了传统检测算法中只能检测特定类型的运动目标的问题，具有更广的实用性。
