专利汇可以提供一种基于立体视觉的多策略自适应车道线检测方法专利检索,专利查询,专利分析的服务。并且本 发明 公开了一种基于 立体视觉 的多策略自适应车道线检测方法,该方法建立在立体视觉 基础 上,通过融合 视差 图的三维深度信息与二维图像的RGB语义信息来提高车道线检测任务的鲁棒性。检测阶段以三维环境信息的先验知识来自适应的分割道路路面区域作为车道线估计区域,滤除与检测非相关的障碍物,解决干扰问题。车道线提取阶段,使用二维图像的RGB语义信息,采用图像时域内多策略融合机制和滑动窗口技术进一步排除与检测相关的树木阴影、道路标识、局部污损等同区域的干扰。车道线拟合过程采用三阶贝塞尔曲线模型,能够更好的表达不同车道线的阶数特性。以上方法极大提高了基于视觉的车道线检测任务的鲁棒性,提高了数据点搜索速度和准确性。,下面是一种基于立体视觉的多策略自适应车道线检测方法专利的具体信息内容。
1.一种基于立体视觉的多策略自适应车道线检测方法,其特征在于,包含以下5个步骤:
步骤1,离线状态下双目摄像机的时间、空间对准;
步骤1.1:双目相机捕获帧序列的时间对准;
立体匹配计算视差图的核心是搜索、配对左右相机图像的像素点;为了降低误匹配率,提高车辆动态场景下立体匹配的鲁棒性需要对左右相机捕获的左、右帧进行时间对准,实现左、右帧捕获的同步性;
步骤1.2:双目相机左右图像对的空间对准;
同步骤1.1,为了提高立体匹配过程的效率,降低误匹配率,需要对左右相机拍摄的左右图像进行行对齐即空间对准;空间对准采用的是图像棋盘标定法,通过拍摄一组不同位置的标定图像,识别图像中的角点位置,通过角点数据解算出两个相机在空间中的旋转关系和平移关系进而实现空间标定;
步骤2,双目图像对立体匹配计算视差图;
步骤2.1:左右图像的像素匹配代价度量准则;
像素对的匹配代价计算过程决定了立体匹配算法的优劣;通过融合匹配窗口内像素点的绝对梯度幅值、像素灰度、Census变换码流来构建匹配代价计算函数,能够更好的适应驾驶场景下的立体匹配过程;
步骤2.2:匹配代价聚合和后处理过程;
代价计算步骤得到的像素点的视差是离散的,代价聚合过程本质上就是一个滤波过程,将离散的视差平滑聚合;后处理过程是对视差计算结果进行最后的精化处理,包括:亚像素插值计算、左右一致性检测、误匹配点处理,经过精化后便可得到最终的视差图;
步骤3,车道线感兴趣区域的最优化分割;
步骤3.1:路面映射点集的最优化估计;
对视差图进行V方向差异映射变换,设计评价道路映射点集强度的能量函数,采用动态规划算法在V差异映射视图中全局最优化估计道路路面映射点集合;
步骤3.2:路面剖面模型参数求解和道路区域分割;
使用上一步骤中提取出的路面映射点集合,求解道路路面映射模型参数;确定模型参数后,使用计算的模型分割道路区域作为车道线检测的感兴趣区域;
步骤4,多策略的图像时域特征融合;
步骤5,车道数据点搜索,车道线拟合;
步骤5.1:滑动窗口基点定位;
步骤5.2:基于窗口搜索车道线数据点;
步骤5.3:三阶贝塞尔曲线模型拟合。
2.根据权利要求1所述的一种基于立体视觉的多策略自适应车道线检测方法,其特征在于,步骤1.1中,时间对准方法采用逐帧时间戳标记和容器缓存方式;当左相机采集一帧数据时,标记数据时间戳为t1,同理,右相机采集一帧数据时,标记数据时间戳为t2;则左右数据帧的同步时间差为:ΔT=|t1-t2|;在左右相机捕获数据后,分别定义两个长度为5帧的缓存容器保存异步采集的图像数据,并对数据进行逐帧时间戳标记;当左相机缓存容器触发捕获中断时,设置右相机同步标志位,比较捕获的左相机数据时间戳与右相机的当前帧、上一帧、下一帧的同步时间差ΔT,取ΔT最小的右相机数据帧与左相机数据帧捆绑作为一帧双目数据传递到下一处理单元。
3.根据权利要求2所述的一种基于立体视觉的多策略自适应车道线检测方法,其特征在于,步骤1.2:在立体匹配过程中,匹配算法需要在自定义窗口内逐像素计算左图像和右图像相似性度量;对于图像上的某一特征像素点其在对应的另一视图的匹配点必处于对应的对极线上,称为极线约束;标定过程需要求解得到左相机的内部参数矩阵Ml、右相机的内部参数矩阵Mr和右相机相对于左相机的三维旋转向量 三维平移向量T[Tx,Ty,Tz]z;三维旋转向量R中ψ表示偏航角, 表示横滚角,θ表示俯仰角;三维平移向量T中Tx表示三维笛卡尔坐标系下x轴的偏移量;同理,Ty和Tz分别表示y和z方向的偏移量;首先需要拍摄一组标定棋盘图片并检测棋盘图片的角点,然后将检测到的角点数据导入Opencv提供的标定函数,分别求解得到两个相机的内参矩阵[fx,cx,fy,cy]、畸变系数[k1,k2,p1,p2,p3]、旋转向量 平移向量T[Tx,Ty,Tz];完成单相机标定后,进行双目联合立体校正,将两个相机的单目标定参数导入Opencv提供的双目标定函数,求解得到两相机之间的旋转矩阵R、平移矩阵T、本征矩阵E、基础矩阵F;下一步进行双目图像的立体矫正,将参数导入Opencv立体矫正函数,求解得到公共成像平面旋转矩阵[Rl,Rr]、左右相机的投影矩阵[Pl,Pr]、重投影矩阵Q,最后分别求出两相机图像的矫正映射便可对左右图像进行投影变换,变换后的图像对严格的行对齐。
4.根据权利要求3所述的一种基于立体视觉的多策略自适应车道线检测方法,其特征在于,步骤2.1中,匹配代价是计算左图像素点pl(x,y)在右图中对应视差为d的像素点pr(x,y)的相似性度量;用一个r×c×d的三维矩阵表示,其中r、c表示图像的行和列,d表示左右像素点视差计算范围;采用一种多特征融合的方式来定义匹配代价;度量函数的第一个组成部分是相对梯度代价,式(1)定义相对梯度计算方法:
式中, 表示像素p(x,y)的相对梯度, 表示像素p(x,y)的绝对梯度,
表示以像素p(x,y)为中心的n×n匹配窗口内像素梯度最大值;基于相对梯度模型,以左图像素p(x,y)和对应右图中视差为d的像素分别求得其相对梯度,以左右相对梯度绝对值之差构造匹配代价如下:
式中,CRG(p,d)为相对梯度代价, 为左图像素点p的相对梯度,
为右图与p点视差为d的像素相对梯度值;
AD代价是左右图像的像素灰度绝对值之差,计算公式如式(3)所示:
CAD(p,d)=|IL(x,y)-IR((x-d),y)| (3)
式中,CAD(p,d)为左图像素点p与对应右图视差为d像素点之间的AD代价,IL(x,y)为左图像素点灰度值,IR((x-d),y)为右图对应视差为d的像素点灰度值;
Census变换是将匹配窗口中心像素灰度值与其邻域内像素点比较,将比较结果进行二值化运算后得到二进制码流的过程;利用Hamming距离计算两个像素点的相似性测度;
Ccensus(p,d)=Hamming(CTgL(x,y),CTgR((x-d),y)) (5)
其中,式(4)表示的是Census变换过程,p是窗口中心像素,q属于p的邻域Np,ξ()函数是一个二值化函数,I(p)表示像素p的灰度值,I(q)表示像素q的灰度值;式(5)中CTgL和CTgR函数分别是计算左图像素点p与其对应视差为d的右图像素点Census变换值;使用Hamming距离来计算两个二进制码流的相似程度;
以上分别定义了相对梯度代价、AD代价和Census代价,最终的对应右图视差为d的左图像素点p的匹配总代价为三者加权和,表示为:
式中λ1、λ2、λ3分别为三个像素点匹配代价计算部分的正则化参数,用来控制求解代价的取值权重和范围;定义了像素点匹配代价函数后,需要遍历左右图像,逐像素计算每个像素点在[0,d]视差范围内的匹配代价,得到一个尺寸为r×c×d的三维代价地图。
5.根据权利要求4所述的一种基于立体视觉的多策略自适应车道线检测方法,其特征在于,步骤2.2中,
代价计算步骤得到的像素点视差是离散的,代价聚合过程本质上就是一个滤波过程,将离散的视差平滑聚合;通过代价聚合可以减少异常点的影响,提高信噪比进而提高匹配精度;代价聚合的思路是建立一个全局能量函数E(d),将视差计算转换为全局能量函数优化求解问题;定义全局能量函数如下:
式中,E(d)表示所有像素匹配代价总和;C(p,d)表示视差为d的像素点p(x,y)的匹配代价,由式(6)计算得到;p1、p2为惩罚系数;p、q为像素点,且点q包含于点p的邻域Np中即匹配窗口;函数T是一个判断真值函数;由于在一个二维图像内最优化求解能量函数E(d)是一个NP完全问题,复杂度极高;为了实现复杂度降维,在n条(取n=3)一维扫描线上采用动态规划算法累加匹配代价,将各方向匹配代价求和得到某像素点匹配总代价;如式(8)所示,定义Lr(p,d)为沿r方向的一条聚合路径上点p对应视差为d的匹配代价,S(p,d)为最小成本的一维路径代价之和;
通过匹配代价计算和代价聚合过程得到总的匹配代价后,利用WTA策略选择最小代价对应视差值为该像素最终视差;经过代价计算和聚合后,对视差计算结果进行最后的精化处理:亚像素插值计算、左右一致性检测、误匹配点处理得到最终的视差图。
6.根据权利要求5所述的一种基于立体视觉的多策略自适应车道线检测方法,其特征在于,车道线感兴趣区域的最优化分割;
立体匹配过程将左、右摄相机采集的仅包含二维RGB像素信息的视频序列帧转换为能够表达空间三维深度信息的视差图;对视差图进行二次处理,经过统计各行列像素视差分布变换得到”U-V disparity”即水平-垂直方向差异映射;其中V差异映射的具体计算方法是:通过累加计算视差图的每个水平行直方图来创建V差异映射;V差异映射用一个二维笛卡尔坐标系表示;其横轴d是左右相机视差范围,纵轴v是视差图的行坐标;值L(v,d)表示在视差图中,索引(v,d)位置的像素点个数累加;
步骤3.1:路面映射点集的最优化估计;
通过分析三维重建后的环境点云数据可以得到:路面区域的点云数量远大于其他环境要素的点云数量,在V差异映射中可以描述为地面点在V视图中具有更大的灰度值;假设道路剖面非平坦,平面道路在V差异映射图上的投影用一个抛物线模型d=f(v)=ω0v2+ω1v+T
ω2来描述;对于假设的道路区域映射模型,只需要求解参数ω=[ω0,ω1,ω2] 确定模型的解;
非平坦道路模型是通过对V差异映射进行曲线拟合的方式求解;但未处理过的V差异映射数据包含大量的噪声点、错误匹配点、障碍物点,因此无法直接拟合得到最优的模型参数;数据优化方法是,建立路径点能量函数,以动态规划方法在V差异映射数据集合中最小化能量函数E,通过此方法能够求得模型拟合的全局最优路径点集合;
定义能量函数如式(10)、式(11)所示,能量函数包含数据项Edata和平滑项Esmooth;
E=Edata+Esmooth (10)
式(11)求解过程从d=dmax开始,迭代到d=0;在初始迭代中Esmooth=0,每次迭代过程,Edata=-L(v,dmax)的值来源于前一个周期的最优路径值之和;迭代初始化过程中需建立一个与V差异映射同尺寸的缓存集合,用以回溯求解规划的最优路径索引;在回溯求解的每一个步进阶段,选择此阶段能量最小的点作为最优路径点,最优路径点索引保存在中;其中v=[v0,v1,...,vk-1]T为行索引向量,d=[d0,d1,...,dk-1]T为列
索引向量。
7.根据权利要求6所述的一种基于立体视觉的多策略自适应车道线检测方法,其特征在于,步骤3.2:路面剖面模型参数求解和道路区域分割;
模型求解过程需要对上一个步骤优化得到的最优路径点集合进行曲线拟合,求解抛物线模型参数ω=[ω0,ω1,ω2]T;采用随机抽样一致性算法对最小二乘求得的参数解进行随机优化迭代;整个过程描述为迭代求解式(12)的过程;
式中ω=[ω0,ω1,ω2]T为抛物线参数;
经过数据拟合求解得到抛物线参数ω=[ω0,ω1,ω2]T;确定道路区域映射模型后,便可根据式(13)在左相机视图上进行道路区域分割;
式中ε是道路区域分割阈值(取ε=10),f-1(0)是抛物线模型f(v)的反函数,Ileft(G)表示左相机图像的G通道值,Idisp(u,v)表示视差图像素值。
8.根据权利要求7所述的一种基于立体视觉的多策略自适应车道线检测方法,其特征在于,分别选择RGB色彩空间的R通道、HSV色彩空间的V通道、图像x方向导数幅值三个时域特征融合得到最终的车道线描述特征;通过融合的方式能够克服地面阴影,图像亮度不均匀,地面类车道线痕迹,路面障碍物;使用式(14)来计算像素p(x,y)的车道线特征响应;
式中p(x,y)r表示左视图像素点经过计算得到的车道线强度响应,参数η为不同特征的权值控制参数,IG(x,y)表示RGB色彩空间的R通道强度值,IV(x,y)表示HSV色彩空间的V通道强度值,Gx(x,y)表示x方向导数幅值;μ表示响应图中像素点的二值化判断阈值;遍历感兴趣区域像素点便算得到车道线响应图的二值化结果。
9.根据权利要求8所述的一种基于立体视觉的多策略自适应车道线检测方法,其特征在于,步骤5.1中,滑动窗口基点定位是为了找到左右车道线的初始位置,基点定位的准确性决定了后续搜索过程的准确性;将步骤4处理得到的车道线响应图进行逆透视变换,将倾斜视角拍摄的道路图像转换成鸟瞰图,通用的变换公式如下:
式(15)中u,v是变换前像素索引,对应变换后的坐标x=x'/w',y=y'/w',其中w和w'是尺度因子,式(16)M被称为变换矩阵,矩阵内元素aij表示变换矩阵的控制参数;按照式(15)重写变换公式得到:
由式(17)可知只需要在原始视图中标定四个像素点p0(u0,v0)、p1(u1,v0)、p2(u2,v2)、p3(u3,v2),同时确定变换后视图的四个顶点p'0(x0,y0)、p'1(x1,y0)、p'2(x0,y1)、p'2(x1,y1)便可求解出变换矩阵M及其所有控制参数aij,然后对原始图像按照式(15)进行变换;
将整个视图按照行值划分近端视场和远端视场,远端视场确定为1/3行值,近端视场确定为2/3行值;在近端视场中按照纵向划分10个统计窗口,每个统计窗口的尺寸为(1/3r×
1/10c);编号#0-#5的统计窗口作为左车道数据,编号#6-#10的统计窗口作为右车道数据;
然后对各编号的窗口内数据点分别统计像素点密度、垂直方向的离散程度;其中像素点密度通过不均匀求和方式得到,即加和过程中视场越近的像素点拥有更大的置信度;定义数学表达式如下:
式中ρi定义为各窗口的像素密度,kc是窗口列数,kr是窗口行数,λ控制不同行像素点置信度,p(x,y)r为车道线响应图的像素点灰度值;σi为窗口内值为1的像素的行索引标准差,以此定义窗口的垂直方向离散程度;N为窗口内值为1的像素数目,μ为窗口内值为1的像素行索引期望;
通过以上方法求得各窗口的ρi和σi后,分别比较左、右车道数据的ρi和σi,选择ρi+σi值最大的窗口作为基点,则可求得左右滑动窗口基点坐标为: 其中k0,kc是
选定窗口起点、终点的列索引,row是鸟瞰变换后响应图的行值;
步骤5.2:基于窗口搜索车道线数据点
上一步骤分别求取了左右车道线的基点坐标,车道线数据点提取是从基点坐标开始,采用滑动窗口按一定的步进阶段,自底向上搜索保存车道线数据点;定义滑动窗口尺寸为:
(h×w)=(row/24,col/10),其中row是鸟瞰变换后响应图的行值,同理,col为列值;初始化过程,以基点作为滑动窗口底边中心点si;提取窗口内第一个像素值为1的像素点x索引标记为xi1,提取最后一个像素值为1的像素点x索引标记为xi2,由以上条件确定下一滑动窗口的底边中心点坐标为式(19)所示;
式中 表示下一窗口底边中心点的行坐标, 表示当前窗口底边中心点的行坐标,h表示窗口高度, 表示下一窗口底边中心点的列坐标, 表示当前窗口底边中心点的列坐标,若当前窗口无有效数据点时,下一窗口列坐标保持不变;若当前窗口存在有效数据,按照车道线斜率分为三种形式,下一窗口底边中心点的列坐标等于xi2加上偏移量按照规定的滑动窗口中心点的定位规则,分别从左右基点开始,滑动搜索像素值为1的点并保存在数据点集合Lpoint和Rpoint中;至此,左右车道线数据点提取完成;
步骤5.3:三阶贝塞尔曲线模型拟合
分别得到了左右车道线的数据点集合Lpoint和Rpoint,由于车道线可能存在直线段和高阶曲线段,为了更好的描绘车道线,采用三阶贝塞尔曲线模型来拟合左右车道线数据点,并引入采用随机采样一致性方法来提高拟合过程的鲁棒性。
10.根据权利要求9所述的一种基于立体视觉的多策略自适应车道线检测方法,其特征在于,三阶贝塞尔曲线可以通过四个点来定义;
B(t)=P0(1-t)3+P1(1-t)2t+P2(1-t)t2+P3t4,t∈[0,1] (20)
式中P0、P3为贝塞尔曲线的起点和终点,通过点P1、P2控制曲线形状;
拟合左车道线数据集合Lpoint细描述贝塞尔曲线的拟合过程:
(1)在车道线数据集合Lpoint中随机选择四个数据点作为初始拟合过程的控制点,估计一条初始三阶贝塞尔曲线L0;
(2)建立有效数据点集合Q;分别计算Lpoint中剩余点P(xi,yi)与初始估计曲线的距离di,若存在某点距离di<δ则将该点存入集合Q中;记 在曲线L0上与点P(xi,yi)具有相同的行值,定义
(3)循环计算(2),直到集合Q长度大于有效点数量N或循环次数超过设定值C;
(4)在随机优化后的集合Q中重新拟合贝塞尔曲线并计算曲线得分,返回执行(1)以当前拟合得到的曲线Li代替L0,直到达到迭代次数结束;最后取得分最高的曲线作为最终拟合结果;
利用集合Q中重新拟合贝塞尔曲线的方法如下:
式(15)的矩阵形式表示为式(16),式中P0=Q(0),P3=Q(t);令Q1,Q2,···,Qn为n个待修正点,假设每个点Qi对应的ti为式(17)所示;
定义
根据式(21)则有:
Q=TMP (24)
式(24)中,已知矩阵Q,根据式(21)可求得矩阵T,矩阵M已知,便可求解矩阵P得到贝塞尔曲线的四个控制点参数,实现曲线拟合;
计算每条曲线得分方法是,以集合Q中所有数据点到曲线距离di的期望值的倒数作为评分准则;如式(25)所示;
最后,将拟合的左右车道线绘制到鸟瞰视图中,再次进行透视变换,将车道线位置标注到原始视图中,统计左右车道线中间像素点,并在RGB色彩空间中设置G通道强度绘制出绿色车道位置。
标题 | 发布/更新时间 | 阅读量 |
---|---|---|
基于田间图像特征点匹配的农业装备横滚角获取方法 | 2020-05-13 | 968 |
一种基于螺旋线法确定回转体目标横滚角的测量方法 | 2020-05-13 | 324 |
基于横滚/偏摆结构的两轴捷联平台光轴超半球稳定方法 | 2020-05-13 | 169 |
旋转弹横滚角速率测量方法 | 2020-05-11 | 478 |
横滚侧翻任意倒置液位测量装置 | 2020-05-11 | 357 |
一种基于巨磁阻传感器的地磁横滚角测量系统及方法 | 2020-05-12 | 358 |
高级辅助驾驶视觉感知传感器的横滚角标定方法及系统 | 2020-05-12 | 767 |
横滚轴组件及其使用的云台 | 2020-05-11 | 51 |
一种横滚支撑传动结构 | 2020-05-12 | 955 |
一种能够实现飞机横滚的射流机构 | 2020-05-13 | 553 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。