基于双目视觉的车辆转向状态判别方法及装置 |
|||||||
| 申请号 | CN201611156093.2 | 申请日 | 2016-12-14 | 公开(公告)号 | CN106846369A | 公开(公告)日 | 2017-06-13 |
| 申请人 | 广州市联奥信息科技有限公司; | 发明人 | 綦科; 黄斌; | ||||
| 摘要 | 本 发明 提供基于 双目视觉 的车辆转向状态判别方法及装置，属于 汽车 主动安全领域。所述装置包括：沿行驶方向拾取车辆前方图像的双目摄像头，根据车辆前方图像确定车辆转向状态的转向状态检测装置；所述方法包括：双目摄像头实时采集车辆行驶前方图像；提取左右摄像头拍摄图像的公共ROI区域；分别计算左右摄像头公共ROI区域的光流场并计算二者的差值；连续统计至少100幅行驶图像的双目摄像头公共ROI区域光流场的差值并计算差值的均值和方差；由差值的均值和方差判断车辆转向状态和转向方向。本发明计算量小，能够快速的判别车辆转向状态和方向，不受白天和夜晚条件的限制，适用于后装车辆主动安全系统。 | ||||||
| 权利要求 | 1.基于双目视觉的车辆转向状态判别方法及装置，其特征在于包括：沿行驶方向拾取车辆前方图像的双目摄像头（11），其左右摄像头拍摄的图像具有公共ROI图像区域；用于根据双目摄像头拾取的车辆前方图像确定车辆转向状态的转向状态检测装置（14），其中转向状态检测装置包括：双目摄像头公共ROI图像光流计算装置（141），其通过比较左摄像头和右摄像头对公共ROI图像的光流场而计算出公共ROI图像的光流差；转向状态判定装置（142），其根据双目摄像头公共ROI图像光流计算装置（141）计算的光流差来判断车辆是否处于转向状态。 |
||||||
| 说明书全文 | 基于双目视觉的车辆转向状态判别方法及装置技术领域背景技术[0002] 无人车以及车辆辅助安全系统通过在车辆上安装的各类传感器如视觉传感器、雷达传感器、加速度传感器等感知车辆周边环境信息，形成防碰撞、车道偏离、疲劳检测等安全系统，以提高车辆的安全性能。其中，实时快速判断车辆是否处于转弯状态是保障车辆行驶安全的一个非常重要的问题。 [0003] 传统的车辆转弯状态检测方法主要有以下几种：1）人工开启转向灯装置指示转向，但这种方法在转弯时不打转向灯、变道时忘记打转向灯时完全失效；2）利用GPS和陀螺仪检测转向状态，但这种方法极易受到GPS信号的影响；3）检测方向盘或者车轮转向器信号来检测轮胎的转向，或者加装转向角传感器来获取转向角速度，增加制造成本，且获取过程复杂，误差较大。 [0004] 目前，绝大多数的车辆辅助安全系统都组合多个雷达传感器，以及单目或双目视觉传感器作为环境感知单元，因此，利用双目视觉传感器采集的图像信息进行实时快速的车辆转弯状态判别是一个理想的解决方案。目前相关的解决方案和技术，例如：2013年3月20日公开的，公开号为101782394的国内发明《判断移动对象转弯的方法及使用该方法的导航装置》结合GPS和地图路口信息对采集的图像进行计算来判断车辆是否转向，但该方法易受GPS信号影响和地图数据准确性的影响使得判断结果不准确；又如，2012年11月14日公开的，公开号为102774380的国内发明《一种判断车辆行驶状态的方法》通过对车载环视系统的合成图像进行特征匹配的方法判断车辆是否转向，但该方法计算量大，计算时间长，无法满足快速实时转向状态判断的需求，实用性不高；再如，2015年5月22日公开的，公开号为 104537649的国内发明《一种基于图像模糊度比较的车辆转向判断方法及系统》通过比较对灰度和色阶敏感的图像ROI区域的图像模糊度来判断车辆是否转向，但该方法在同一幅图像上划分ROI区域，导致计算的ROI区域图像模糊度的差值很小，以图像模糊度差值为依据的转向判断误差较大。 发明内容[0005] 本发明的目的是提供一种基于双目视觉的车辆转向状态判别方法及装置，用以解决传统车辆转向判断方法在进行转向意图判断时可能造成较大误差或者误判的问题。 [0006] 为实线上述目的，本发明所述技术方案如下：一方面，提供了一种基于双目视觉的车辆转向状态判别装置，所述装置包括： 双目摄像头，图像处理模块，以及转向状态检测装置。其中： 双目摄像头，用于沿行驶方向拾取车辆前方图像，其左右摄像头拍摄的图像具有公共ROI图像区域； 图像处理模块：用于接收和缓存双目摄像头采集的图像数据； 转向状态检测装置：用于根据双目摄像头拾取的车辆前方图像确定车辆转向状态，包括： 双目摄像头公共ROI图像光流计算装置，其通过比较左摄像头和右摄像头对公共ROI图像的光流场而计算出公共ROI图像的光流差； 转向状态判定装置，其根据双目摄像头公共ROI图像光流计算装置计算的光流差来判断车辆是否处于转向状态；其中包括： 水平方向光流计算装置：其确定由双目摄像头公共ROI图像光流计算装置所计算的光流水平分量值； 水平方向光流统计装置：其根据由水平方向光流计算装置所计算的连续至少100幅行驶图像光流水平分量值的差值的平均值和方差来判断车辆的车辆转向状态和转向方向； 另一方面，一种基于双目视觉的车辆转向状态判别方法，根据车辆转向时，外侧车轮速度大于内侧车辆速度，因此双目摄像头中内侧摄像头采集图像的水平光流分量要小于外侧摄像头采集图像的水平光流分量，因此，通过对双目摄像头中左、右摄像头采集图像的公共ROI区域的水平光流分量的量化和比较，从而判断车辆转向状态和方向。所述方法包括： 图像采集过程、图像提取过程、光流计算过程、光流差统计过程和转向判断过程，其中： 所述图像采集过程：用于双目摄像头实时采集车辆每个时刻的行驶图像； 所述图像提取过程：用于接收所述的左、右摄像头拍摄的行驶图像，并分别提取左、右摄像头拍摄图像的公共图像区域构成ROI区域； 所述光流计算过程：用于将得到的左目摄像头ROI区和右目摄像头ROI区，采用全局或局部光流法分别计算得到左目摄像头ROI区的光流和右目摄像头ROI区光流，并分别计算左目摄像头ROI区和右目摄像头ROI区的光流水平分量值； 所述光流差统计过程：用于统计出至少100幅所述行驶图像的左目摄像头ROI区和右目摄像头ROI区的光流水平分量值的差值，再由各差值计算得到左目摄像头ROI区和右目摄像头ROI区之间光流水平分量值的差值的均值和方差； 所述转向判断过程：用于由所述光流差统计过程计算得到的均值和方差，判断车辆的车辆转向状态和转向方向，该过程可以进一步具体为： 步骤20：接收计算当前行驶图像的左目摄像头ROI区光流水平分量值GL和右目摄像头ROI区的光流水平分量值GR及其对应的差值M； 步骤21：查询本地是否有左目摄像头ROI区和右目摄像头ROI区的光流水平分量值的差值均值和方差可供调用；若是，则跳转步骤23；若否则返回步骤20； 步骤22：计算阈值Th=e+3σ，其中e和σ分别表示所述光流差统计过程中统计得到的至少当前行驶图像之前100幅图像的左目摄像头ROI区和右目摄像头ROI区的光流水平分量值的差值的均值和方差； 步骤23：判断M是否大于阈值Th，若是，则表示车辆当前处于转弯状态，跳转步骤24；若否，则表示车辆当前不处于转弯状态； 步骤24：判断GL是否大于GR：若是，则表示向左的水平光流分量更大，即右侧车轮处于弯道外侧，车辆当前向左转弯；若否，则表示向右的水平光流分量更大，即左侧车轮处于弯道外侧，车辆当前向右转弯。 [0007] 与现有技术相比，本发明具有的有益效果为：1、通过水平光流计算，对双目摄像头采集图像的公共ROI区域的水平光流进行量化和比较，从而判断车辆转向状态和方向，计算量小，误差小，可以满足实时快速判断车辆转向状态和方向的需求； 2、提取双目摄像头中左、右摄像头采集图像的公共ROI区域进行水平光流计算，使得所采集到图像受速度差引起水平光流变化的范围和程度相同，能够保证判断的准确性； 3、由于车辆在不同速度下左、右摄像头采集图像的公共ROI区域的水平光流分量的变化率本身会有差别，转向引起的水平光流分量的差值在不同速度下的范围也会有所不同，通过统计连续多幅左、右摄像头采集图像的公共ROI区域图像的水平光流分量差值的均值和方差，可以供转向判断模块参考决策做出正确的车辆转向判断； 4、与雷达、GPS、陀螺仪等设备比较而言，摄像头的成本较低，因此，本发明利用双目摄像头作为数据采集设备，具有成本低的优势，特别适用于后装车辆辅助安全系统； 附图说明 [0008] 图1为本发明提出的基于双目视觉的车辆转向状态判别方法及装置整体结构图；图2为本发明提出的基于双目视觉的车辆转向状态判别方法及装置的双目摄像头中左、右摄像头拍摄的图像具有公共ROI图像区域； 图3为本发明提出的基于双目视觉的车辆转向状态判别方法及装置中转向状态检测装置结构图； 图4为本发明提出的基于双目视觉的车辆转向状态判别方法及装置的实施例操作的处理流程图； 图5为本发明提出的基于双目视觉的车辆转向状态判别方法及装置所计算的摄像头ROI区的光流图像； 图6为本发明提出的基于双目视觉的车辆转向状态判别方法及装置根据摄像头ROI区光流图像所分解的水平光流分量图像； 图7为本发明提出的基于双目视觉的车辆转向状态判别方法及装置根据摄像头ROI区光流图像所分解的垂直光流分量图像； 图8为本发明提出的基于双目视觉的车辆转向状态判别方法及装置的一实施例的转向判断流程图； 具体实施方式[0009] 以下结合附图对本发明的实施例做进一步详细描述，但该实施例不应理解为对本发明的限制。 [0010] 本发明提供一种基于双目视觉的车辆转向状态判别方法及装置，其中：如图1所示的整体结构图，包括：双目摄像头11，图像处理模块12，以及控制部分13。控制部分13主要由微处理器组成并包含转向状态检测装置14。其中： 双目摄像头11：用于沿行驶方向拾取车辆前方图像。如图2所示，其左右摄像头拍摄的图像具有公共ROI图像区域112； 图像处理模块12：用于接收和缓存双目摄像头采集的图像数据； 如图3所示，转向状态检测装置14：用于根据双目摄像头拾取的车辆前方图像确定车辆转向状态，包括： 双目摄像头公共ROI图像光流计算装置141，其通过比较左摄像头和右摄像头对公共ROI图像的光流场而计算出公共ROI图像的光流差； 转向状态判定装置142，其根据双目摄像头公共ROI图像光流计算装置计算的光流差来判断车辆是否处于转向状态；其中包括： 水平方向光流计算装置143：其确定由双目摄像头公共ROI图像光流计算装置所计算的光流水平分量值； 水平方向光流统计装置144：其根据由水平方向光流计算装置所计算的连续至少100幅行驶图像光流水平分量值的差值的平均值和方差来判断车辆的车辆转向状态和转向方向。 [0011] 参照图4所示的流程图，给出按上述配置的本发明的一实施例操作的描述：步骤S1：图像采集 双目摄像头实时采集车辆每个时刻的行驶图像； 步骤S2：图像提取 接收所述的左、右摄像头拍摄的行驶图像，其中CCD的水平方向被定义为x方向，CCD的垂直方向被定义为y方向，分别提取左、右摄像头拍摄图像的公共图像区域构成ROI区域，如图2所示； 步骤S3：光流计算 将得到的左目摄像头ROI区和右目摄像头ROI区，采用全局或局部（微分法或者匹配法）光流法分别计算得到左目摄像头ROI区的光流和右目摄像头ROI区光流，计算出来的光流具有x分量和y分量，如图5所示； 左目摄像头ROI区和右目摄像头ROI区的光流被分解为x轴方向水平分量和y轴方向垂直分量，如图6所示和图7所示。其中，水平分量的长度被用作一个标量以代表正值或者负值（例如：定义方向向左的x轴方向水平分量值为负值，方向向右的x轴方向水平分量值为正值）； 步骤S4：光流差统计 计算在步骤S3中所确定的水平分量值的差值； 统计至少100幅行驶图像的上述差值，并计算得到差值的均值和方差； 步骤S5：转向判断 由上述光流差统计得到的均值和方差，判断车辆的车辆转向状态和转向方向，具体过程为： 步骤20：接收计算当前行驶图像的左目摄像头ROI区光流水平分量值GL和右目摄像头ROI区的光流水平分量值GR及其对应的差值M； 步骤21：查询本地是否有左目摄像头ROI区和右目摄像头ROI区的光流水平分量值的差值均值和方差可供调用；若是，则跳转步骤23；若否则返回步骤20； 步骤22：计算阈值Th=e+3σ，其中e和σ分别表示所述光流差统计过程中统计得到的至少当前行驶图像之前100幅图像的左目摄像头ROI区和右目摄像头ROI区的光流水平分量值的差值的均值和方差； 步骤23：判断M是否大于等于阈值Th，若是，则表示车辆当前处于转弯状态，跳转步骤 24；若否，则表示车辆当前不处于转弯状态； 步骤24：判断GL是否大于GR：若是，则表示向左的水平光流分量更大，即右侧车轮处于弯道外侧，车辆当前向左转弯；若否，则表示向右的水平光流分量更大，即左侧车轮处于弯道外侧，车辆当前向右转弯； 上述的实施例仅为本发明的优选实施例，不能以此来限定本发明的权利范围，因此，依本发明申请专利范围所作的等同变化，仍属本发明所涵盖的范围。 |
||||||
