技术领域
[0001] 本
发明涉及一种基于光流的车辆距离估计方法，属于数字
图像处理和
计算机视觉的技术领域。
背景技术
[0002] 目前，以Google为代表的自动驾驶
汽车(包括特斯拉、Waymo、通用和Uber等)已获美国加州交管局的认可，进入实际道路测试阶段。作为新型交通形势的开拓者，自动驾驶汽车已成为不可逆转的新趋势。
[0003] 车辆检测作为自动驾驶汽车或辅助驾驶系统的
基础，主要基于雷达、
激光雷达等被动
传感器实现，可满足高
精度和实时性的需求。目前比较成熟的半自动驾驶系统，如特斯拉 Autopilot、凯迪拉克Super Cruise、奔驰Drive Pilot，价格为6万美元到10万美元，设备价格昂贵阻碍了自动驾驶系统在民用领域的普及。而声呐、毫米波雷达虽然可快速探测周围目标，但不能识别远方或直径较小的目标，交通状况拥堵时设备
信号之间相互干扰，影响系统正常工作。基于计算机视觉的车辆检测方法，使用价格低廉的摄像头采集高
分辨率交通图像，作为一种可替代方案可极大降低自动驾驶系统成本。
[0004] 基于视觉的车辆检测方法通过摄像机采集图像，应用图像处理、
模式识别、计算机视觉等技术实时的进行车辆检测和测距。基于视觉的车辆检测方法大致可以分为以下几类：一是基于先验知识检测车辆，包括使用边缘、
角点等底层图像特征，还包括车辆阴影等其他特征。然而等底层图像特征提取计算量大，特征描述能
力相对不足；二是基于
立体视觉的方法；该类方法使用双目相机采集图像，充分利用交通场景中的立体几何信息，该类方法对遮挡和其他干扰具有较强鲁棒性，但在模型的构建上需要耗费大量人力物力资源；三是基于运动信息的方法；Toulmimet与Bortozzi在文章“Determining optical fow.”首次提出利用光流追踪运动目标，随后对光流法不断做出改进，一方面致力于采用更加鲁棒的误差
能量方程与全局优化方法满足真实运动场景中的
亮度一致性假设；另一方面致力于优化线性方程取代非线性方程
加速运动数据
迭代计算过程。但目前光流优化
算法依旧严重耗时，无法投入到实际应用。
发明内容
[0005] 针对
现有技术的不足，本发明提供一种基于光流的车辆距离估计方法。
[0006] 术语说明：
[0007] 1.光流：空间物体运动在成像平面上
像素的表观运动。
[0008] 2.LK光流：一种稀疏光流，针对图像上稀疏的点进行
图像配准的方法。
[0009] 3.Haar特征：特征描述算子，也称作矩形特征；白色矩形
块像素之和与黑色矩形块的像素和的差为特征值，通过积分图快速计算Haar特征值。
[0010] 4.AdaBoost算法：一种迭代算法，核心思想是针对同一个训练集训练不同弱分类器，加权集合弱分类器构造强分类器的算法。
[0011] 5. 光流：一种稠密光流，通过多项式转移原理进行图像配准。
[0012] 本发明的技术方案为：
[0013] 一种基于光流的车辆距离估计方法，该方法包含步骤如下：
[0014] A)OpenCV训练车辆级联AdaBoost分类器
[0015] A1)采集样本并生成正负样本说明文件；
[0016] 其中，正样本为包含车辆目标的图片，负样本为不包含车辆目标的图片；正样本和负样本的尺寸固定；
[0017] A2)使用opencv_createsamples.exe创建“样本.vec”文件；
[0018] A3)使用opencv_haartraining.exe训练车辆级联AdaBoost分类器，生成“AdaBoost分类器.xml”文件；
[0020] B1)动态感兴趣区域确定
[0021] 获取交通视频中连续两
帧图像后，选取左右对称
采样窗区域的稀疏光流，通过分析采样窗中光流分布的差异，定量呈现相机视角，进而确定随相机视角动态变化的感兴趣区域。
[0022] 获取交通视频中连续两帧图像，优化连续两帧图像对应像素点的运动误差，得到采样窗中的光流；所述采样窗为左右对称采样窗；误差能量方程如下：
[0023]
[0024] 其中，x、y为车辆目标点在图像中的
位置坐标；A(x,y)，B(x+δx,y+δy)分别为同一车辆目标点在连续两帧图像中的像素亮度，v＝(δx，δy)为图像中车辆目标点的
运动矢量；最优光流运动对应有误差能量方程ε(v)最小；误差能量方程ε(v)最小时有：
[0025]
[0026] 两个采样窗中主光流V1、V2的角度θ1、θ2差异与幅度U1、U2差异反映采样窗中光流分布的差异，如果两个采样窗没有同时包含光流，则两个采样窗垂直移到下一组对称区域，直至两个采样窗同时包含光流；
[0027] 感兴趣区域ROI由该区域的大小与中心坐标确定，其中感兴趣区域ROI的大小由主光流的倾角确定，有
[0028] Θ＝Average(θ1，θ2) (3)
[0029] r＝Θ/90° (4)
[0030] 其中，r为感兴趣区域ROI所占图像的比例，感兴趣区域的大小由r表示；
[0031] 公式(3)中Average(θ1，θ2)表示对θ1，θ2取平均值。Average通常情况下Θ远小于45°，通过对数方程F(r)对r进行提升，使车辆目标点的纵坐标y在(0，1)范围内被伸展；
[0032] F(r)＝log10(r+a)+b (5)
[0033] 感兴趣区域ROI的中心坐标由下式确定，
[0034]
[0035]
[0036] 其中，a,b,c为常量，Nrow为图像高度，Ncol为图像宽度，R为提升后的感兴趣区域所占
图像比例，Φ为采样窗中主光流的差异；
[0037] 按照国内交通规则车辆行驶在右侧车道，
视野右侧物体更靠近相机，在式(6)中减去常量c以弥补光流幅度受此情况的影响。
[0038] B2)Haar特征AdaBoost分类器检测车辆
[0039] 确定感兴趣区域ROI的位置坐标与大小后，在第二帧图像的感兴趣区域ROI内利用所述“AdaBoost分类器.xml”文件检测车辆；将候选车辆矩形框左上角的
顶点坐标及候选车辆矩形框的长、宽构成的数组保存于内存容器中，并在图片中标注；检测到的车辆目标对应的每组数据单独存储，当有多辆车辆同时存在时，各组候选车辆矩形框数据的存储互不影响；
[0040] B3) 光流提取车辆精准轮廓
[0041] 步骤B2)检测到的候选车辆矩形框中车辆并不总位于矩形框正中，利用光流法计算矩形框中的稠密光流，并通过孟塞尔
颜色系统对光流数据进行编码，通过彩色
图像分割出车辆轮廓；
[0042] 光流法中将像素邻域用多项式表示，多项式的转移表示像素点在连续两帧图像间的位移；
[0043] 图像的局部信号模型：
[0044]
[0045] 经过位移d后的信号模型：
[0046]
[0047] A1，A2为多项式二次项参数，b1，b2为多项式一次项参数，c1，c2为多项式常数项参数；如果A1，A2是非奇异的，联立公式(8)与公式(9)有
[0048] 2A1d＝b2-b1 (10)
[0049] 在优化过程中作简化近似，获得 光流法的初始约束条件：
[0050] A(x)d(x)＝Δb(x) (11)
[0051] 其中，d(x)为时域全局位移场；假设d(x)适应于公式(11)，使误差方程最小化可得d(x)；误差方程如下：
[0052]
[0053] ω(Δx)为邻域像素点权重方程；ω(Δx)由
实部与
虚部组成，其中虚部的宽度由多项式转移参数获得并决定结构单元的尺寸；多项式转移参数是优化计算中的步长；结构单元尺寸是优化计算过程中所用窗口大小；通过变虚部宽度可填补光流优化过程中由运动速度较快形成的较大运动间隔；
[0054] 对 光流数据进行孟塞尔颜色系统编码，通过彩色图像分割提取车辆精准轮廓； 光流数据即每个像素在连续帧图像中的位移矢量；
[0055] C)车辆距离估计
[0056] 所述交通视频通过摄像头捕捉；摄像头距离地面高度为H，摄像头视角为2α，摄像头
俯仰角为γ，依次经过摄像头
光心、车辆后背所在平面与地面的相交线的光线与地面的夹角为θ， dx为车辆横向距离，dy为车辆纵向距离；车辆所处位置为Position1或Position2；摄像头距离地面高度H，摄像头视角2α，摄像头俯仰角γ通过测量得到；
[0057] dy＝H/tanθ (13)
[0058] 其中，β，γ，θ有下述关系：
[0059]
[0060] 符号±由前方车辆位置决定，Position1处对应符号+，Position2处对应符号-；符号±的添加是本距离估计算法的创新点，以此可适应不同相机俯仰角情况下不同距离处的车辆距离估计；
[0061] 对于β，在摄像头成像的内部关系中有：
[0062]
[0063] hi为图像高度，Y为车辆轮廓质心对应轮廓的最底边纵坐标，fy是单位像素纵向长度， hi，Y，fy三个量均以像素为单位；结合公式(13)～(15)，有：
[0064]
[0065] 横向距离dx与纵向距离dy有如下关系：
[0066]
[0067] Δx为车辆质心距离图像
中轴线的像素数，di为车辆轮廓底边距离图像底边像素数；实际车辆距离D为：
[0068]
[0069] 根据本发明优选的，所述步骤A1)中正样本数量1500个，负样本数量4000个。
[0070] 根据本发明优选的，所述步骤A1)中的正负样本说明文件为“.txt格式”。
[0071] 根据本发明优选的，所述步骤C)之后，还包括对车辆轮廓进行颜色编码的步骤；以不同颜色差异地显示前方车辆所处的不同距离，小于10米时车辆轮廓用偏红色表示，大于10 米的用偏绿色表示，车辆距离数据显示于车辆轮廓上方。
[0072] 根据本发明优选的，所述步骤C)中的fy通过Matlab提供的相机标定工具箱得到。
[0073] 本发明的有益效果为：
[0074] 1.本发明所述基于光流的车辆距离估计方法，通过选取车辆检测感兴趣区域、分类器检测车辆候选框、 光流提取车辆轮廓，逐步缩减算法遍历区域，定位前方车辆质心位置坐标，计算车辆距离，避免重复计算，保证算法实时性；
[0075] 2.本发明所述基于光流的车辆距离估计方法，通过定位车辆轮廓质心，计算车辆距离，并通过自适应的方法，计算不同相机视角下不同位置处的车辆距离；相比于使用车辆候选矩形框计算车距的方法，本发明有更高的计算精度；
[0076] 3.相比整张图像遍历处理或将本车辆行驶车道作为感兴趣区域的方法，本发明所述基于光流的前方车辆距离估计方法，可自适应分割图像中前方车辆运动区域与背景区域，有效去除无关背景区域并且包含潜在可能车辆，减少道路标志牌、
广告牌等的干扰；
[0077] 4.本发明所述基于光流的车辆距离估计方法，使用车辆Haar特征训练AdaBoost分类器检测车辆，积分图计算图像Haar特征，对目标特征形变与剧烈光线变化等有较强鲁棒性；
[0078] 5.本发明所述基于光流的车辆距离估计方法，使用交通图像由
运动相机拍摄，可应用于低功率便携设备，易于推广与实现。
附图说明
[0079] 图1为道路交通场景中LK光流分布及采样窗示意图；
[0080] 图2为确定动态感兴趣区域的示意图；
[0081] 图3为级联AdaBoost分类器检测车辆确定的车辆候选矩形框；
[0082] 图4为通过 光流提取的车辆轮廓；
[0083] 图5为本发明距离估计算法纵向距离计算示意图；
[0084] 图6为本发明距离估计算法横向距离计算示意图；
[0085] 图7、图8、图9为
叠加车辆轮廓的真实交通图像及车辆距离估计结果。
具体实施方式
[0086] 下面结合
实施例和
说明书附图对本发明做进一步说明，但不限于此。
[0087] 实施例1
[0088] 一种基于光流的车辆距离估计方法，该方法包含步骤如下：
[0089] A)OpenCV训练车辆级联AdaBoost分类器
[0090] A1)采集样本并生成正负样本说明文件；
[0091] 其中，正样本为包含车辆目标的图片，负样本为不包含车辆目标的图片；正样本和负样本的尺寸固定；正样本数量1500个，负样本数量4000个。正负样本说明文件为“.txt格式”。
[0092] A2)使用opencv_createsamples.exe创建“样本.vec”文件；
[0093] A3)使用opencv_haartraining.exe训练车辆级联AdaBoost分类器，生成“AdaBoost分类器.xml”文件；
[0094] B)由粗略到精细逐层定位前方车辆
[0095] B1)动态感兴趣区域确定
[0096] 获取交通视频中连续两帧图像后，选取左右对称采样窗区域的稀疏光流，通过分析采样窗中光流分布的差异，定量呈现相机视角，进而确定随相机视角动态变化的感兴趣区域。交通场景中稀疏光流分布如图1所示；
[0097] 获取交通视频中连续两帧图像，优化连续两帧图像对应像素点的运动误差，得到采样窗中的光流；所述采样窗为左右对称采样窗；误差能量方程如下：
[0098]
[0099] 其中，x、y为车辆目标点在图像中的位置坐标；A(x,y)，B(x+δx,y+δy)分别为同一车辆目标点在连续两帧图像中的像素亮度，v＝(δx，δy)为图像中车辆目标点的运动矢量；最优光流运动对应有误差能量方程ε(v)最小；误差能量方程ε(v)最小时有：
[0100]
[0101] 两个采样窗中主光流V1、V2的角度θ1、θ2差异与幅度U1、U2差异反映采样窗中光流分布的差异，如果两个采样窗没有同时包含光流，则两个采样窗垂直移到下一组对称区域，直至两个采样窗同时包含光流；
[0102] 感兴趣区域ROI由该区域的大小与中心坐标确定，其中感兴趣区域ROI的大小由主光流的倾角确定，有
[0103] Θ＝Average(θ1，θ2) (3)
[0104] r＝Θ/90° (4)
[0105] 其中，r为感兴趣区域ROI所占图像的比例，感兴趣区域的大小由r表示；
[0106] 公式(3)中Average(θ1，θ2)表示对θ1，θ2取平均值。Average通常情况下Θ远小于45°，通过对数方程F(r)对r进行提升，使车辆目标点的纵坐标y在(0，1)范围内被伸展；
[0107] F(r)＝log10(r+a)+b (5)
[0108] 感兴趣区域ROI的中心坐标由下式确定，
[0109]
[0110]
[0111] 其中，a,b,c为常量，Nrow为图像高度，Ncol为图像宽度，R为提升后的感兴趣区域所占图像比例，Φ为采样窗中主光流的差异；确定感兴趣区域如图2所示。
[0112] 按照国内交通规则车辆行驶在右侧车道，视野右侧物体更靠近相机，在式(6)中减去常量c以弥补光流幅度受此情况的影响。
[0113] B2)Haar特征AdaBoost分类器检测车辆
[0114] 确定感兴趣区域ROI的位置坐标与大小后，在第二帧图像的感兴趣区域ROI内利用所述“AdaBoost分类器.xml”文件检测车辆；将候选车辆矩形框左上角的顶点坐标及候选车辆矩形框的长、宽构成的数组保存于内存容器中，并在图片中标注；检测到的车辆目标对应的每组数据单独存储，当有多辆车辆同时存在时，各组候选车辆矩形框数据的存储互不影响；如图3所示；
[0115] B3) 光流提取车辆精准轮廓
[0116] 步骤B2)检测到的候选车辆矩形框中车辆并不总位于矩形框正中，利用光流法计算矩形框中的稠密光流，并通过孟塞尔颜色系统对光流数据进行编码，通过彩色图像分割出车辆轮廓；
[0117] 光流法中将像素邻域用多项式表示，多项式的转移表示像素点在连续两帧图像间的位移；
[0118] 图像的局部信号模型：
[0119]
[0120] 经过位移d后的信号模型：
[0121]
[0122] A1，A2为多项式二次项参数，b1，b2为多项式一次项参数，c1，c2为多项式常数项参数；如果A1，A2是非奇异的，联立公式(8)与公式(9)有
[0123] 2A1d＝b2-b1 (10)
[0124] 在优化过程中作简化近似，获得 光流法的初始约束条件：
[0125] A(x)d(x)＝Δb(x) (11)
[0126] 其中，d(x)为时域全局位移场；假设d(x)适应于公式(11)，使误差方程最小化可得d(x)；误差方程如下：
[0127]
[0128] ω(Δx)为邻域像素点权重方程；ω(Δx)由实部与虚部组成，其中虚部的宽度由多项式转移参数获得并决定结构单元的尺寸；多项式转移参数是优化计算中的步长；结构单元尺寸是优化计算过程中所用窗口大小；通过变虚部宽度可填补光流优化过程中由运动速度较快形成的较大运动间隔；
[0129] 对 光流数据进行孟塞尔颜色系统编码，通过彩色图像分割提取车辆精准轮廓； 光流数据即每个像素在连续帧图像中的位移矢量；车辆轮廓提取如图4所示。
[0130] C)车辆距离估计
[0131] 如图5所示，所述交通视频通过车载摄像头捕捉；摄像头距离地面高度为H，摄像头视角为2α，摄像头俯仰角为γ，依次经过摄像头光心、车辆后背所在平面与地面的相交线的光线与地面的夹角为θ，dx为车辆横向距离，dy为车辆纵向距离；车辆所处位置为Position1 或Position2；摄像头距离地面高度H，摄像头视角2α，摄像头俯仰角γ通过测量得到；
[0132] 由图5可知，
[0133] dy＝H/tanθ (13)
[0134] 其中，β，γ，θ有下述关系：
[0135]
[0136] 符号±由前方车辆位置决定，Position1处对应符号+，Position2处对应符号-；符号±的添加是本距离估计算法的创新点，以此可适应不同相机俯仰角情况下不同距离处的车辆距离估计；
[0137] 对于β，在摄像头成像的内部关系中有：
[0138]
[0139] hi为图像高度，Y为车辆轮廓质心对应轮廓的最底边纵坐标，fy是单位像素纵向长度，hi，Y，fy三个量均以像素为单位；fy通过Matlab提供的相机标定工具箱得到；结合公式 (13)～(15)，有：
[0140]
[0141] 由图6，dx，dy有如下关系：
[0142]
[0143] Δx为车辆质心距离图像中轴线的像素数，di为车辆轮廓底边距离图像底边像素数；实际车辆距离D为：
[0144]
[0145] 对不同距离处车辆距离估计结果如图7～8所示；
[0146] 实施例2
[0147] 如实施例1所述的基于光流的车辆距离估计方法，进一步的，所述步骤C)之后，还包括对车辆轮廓进行颜色编码的步骤；以不同颜色差异地显示前方车辆所处的不同距离，小于 10米时车辆轮廓用偏红色表示，大于10米的用偏绿色表示，车辆距离数据显示于车辆轮廓上方。
