车道偏离警告系统和与其相关联的方法专利检索-近地警告系统航空电子专利检索查询-专利查询网

车道偏离警告系统和与其相关联的方法

阅读：175发布：2020-05-11

专利汇可以提供车道偏离警告系统和与其相关联的方法专利检索，专利查询，专利分析的服务。并且本发明公开了一种车道偏离警告系统，用于将候选区域验证为包含道路上的车道标记的图像，所述车道偏离警告系统包含存储器和处理器。所述候选区域是在从沿着道路行驶的车辆的前方拍摄的道路图像的时序序列中的最新的道路图像内被识别的。所述存储器存储非暂时性计算机可读指令并适合于存储道路图像。当没有先前核实区域且没有先前拒绝区域与候选区域一致时，所述图像处理器适合于执行指令来：(i)确定候选区域和序列中的先前拍摄的道路图像的先前核实区域之间的最小距离、(ii)当最小距离超过阈值距离时将候选区域存储为核实区域以及(iii)当最小距离小于阈值距离时将候选区域存储为拒绝区域。，下面是车道偏离警告系统和与其相关联的方法专利的具体信息内容。

权利要求

1.一种在车道偏离警告系统中使用的用于将候选区域验证为包含道路上车道标记的图像的方法，所述候选区域是在从沿着道路行驶的车辆的前方拍摄的道路图像的时序序列中的最新的道路图像内被识别的，所述方法包括以下步骤：
当没有先前核实区域和先前拒绝区域与所述候选区域一致时，
确定所述候选区域和所述序列中的先前拍摄的道路图像的先前核实区域之间的最小距离；
当所述最小距离超过阈值距离时将所述候选区域存储为核实区域；以及
当所述最小距离小于所述阈值距离时将所述候选区域存储为拒绝区域。
2.根据权利要求1所述的方法，其中，所述方法进一步包含当所述候选区域对应于先前核实区域时，将所述候选区域存储为核实区域。
3.根据权利要求1所述的方法，其中，所述方法进一步包含当所述候选区域对应于先前拒绝区域时，将所述候选区域存储为拒绝区域。
4.根据权利要求1所述的方法，其中，所述方法进一步包含：
处理所述最新的道路图像来识别所述候选区域；
确定(d1)所述候选区域是否对应于所述序列中的先前拍摄的道路图像的先前核实区域和(d2)所述候选区域是否对应于所述序列中的先前拍摄的道路图像的先前拒绝区域中的至少一项。
5.根据权利要求4所述的方法，其中，处理步骤包括：
在所述最新的道路图像内识别脊特征来生成脊特征图像；以及
识别分别至少部分地与所述脊特征重叠的多根线。
6.根据权利要求5所述的方法，其中，所述处理步骤进一步包含将所述多根线结合来识别所述候选区域。
7.根据权利要求6所述的方法，其中，结合步骤包括：在具有多个像素的空白图像中，其中每一个像素具有(i)相同的像素值和(ii)在所述空白图像中的像素坐标，改变分别具有与所述多根线中的一根线相对应的像素坐标的多个车道候选像素的像素值；以及
在所述多个车道候选像素上执行形态算子。
8.根据权利要求5所述的方法，其中，识别脊特征的步骤包括：
对于所述最新的道路图像的多个位置中的每一个位置，
部分地基于表示完全位于所述位置的左侧的第一图像区域的第一图像亮度计算第一水平图像梯度；
部分地基于表示完全位于所述位置的右侧的第二图像区域的第二图像亮度计算第二水平图像梯度；以及
基于所述第一水平图像梯度和所述第二水平图像梯度确定所述位置是否是脊特征的一部分。
9.根据权利要求8所述的方法，其中，所述识别步骤进一步包括基于所述位置的垂直位置，确定(a)所述第一图像区域、(b)所述第二图像区域以及(c)所述脊特征中的至少一个的水平宽度。
10.根据权利要求8所述的方法，其中，所述识别步骤进一步包括将连续阈值操作应用于所述脊特征图像来拒绝不对应于车道标记的脊特征。
11.根据权利要求5所述的方法，其中，所述最新的道路图像包含具有近子区域的车道存在区域，所述近子区域包含更接近所述车辆的成像道路区域，所述多根线中的一根线拟合于对应于所述候选区域的所述脊特征图像中的多个近控制点，所述近控制点在所述脊特征图像的第二近子区域中，所述脊特征图像的第二近子区域对应于所述最新的道路图像的所述近子区域。
12.根据权利要求1所述的方法，其中，当最小距离小于所述阈值距离时，所述方法进一步包括以下至少一项：(i)将所述候选区域存储为拒绝区域和(ii)将所述候选区域存储到数据缓冲器中，所述数据缓冲器也包含所述道路图像的时序序列中的一个或多个先前拒绝区域。
13.一种车道偏离警告系统，用于将候选区域验证为包含道路上的车道标记的图像，所述候选区域是在从沿着所述道路行驶的车辆的前方拍摄的道路图像的时序序列中的最新的道路图像内被识别的，所述系统包括：
存储器，存储非暂时性计算机可读指令并且适合于存储所述道路图像；以及图像处理器，适合于当没有先前核实区域且没有先前拒绝区域与所述候选区域一致时执行所述指令来：
确定所述候选区域和所述序列中的先前拍摄的道路图像的先前核实区域之间的最小距离；
当所述最小距离超过阈值距离时，将所述候选区域存储为核实区域；以及当所述最小距离小于所述阈值距离时，将所述候选区域存储为拒绝区域。
14.根据权利要求13所述的车道偏离警告系统，其中，所述图像处理器进一步适合于当所述候选区域对应于先前核实区域时执行所述指令来将所述候选区域存储为核实区域。
15.根据权利要求13所述的车道偏离警告系统，其中，所述图像处理器进一步适合于当所述候选区域对应于先前拒绝区域时执行所述指令来将所述候选区域存储为拒绝区域。
16.根据权利要求13所述的车道偏离警告系统，其中，所述图像处理器进一步适合于执行所述指令来：
处理所述最新的道路图像来识别所述候选区域；以及
确定(d1)所述候选区域是否对应于所述序列中的先前拍摄的道路图像的先前核实区域和(d2)所述候选区域是否对应于所述序列中的先前拍摄的道路图像的先前拒绝区域中的至少一项。

说明书全文

车道偏离警告系统和与其相关联的方法

背景技术

[0001] 越来越多的新型道路车辆配备有车道偏离警告系统，用于监测车辆相对于道路上的车道边界的位置。车道偏离预警系统的核心是鲁棒的车道标记检测算法模块，为驾驶安全和导航目的提供有意义和一致的车道信息。传统的车道检测算法依赖于特征检测方案，其包括以下缺点中的至少一个：噪音敏感性、计算复杂性和复杂的硬件实现。发明内容

[0002] 所公开的车道偏离警告系统和方法克服了传统的车道检测方案的问题。在实施例中，公开了有用于将候选区域验证为包含道路上的车道标记的图像的方法。所述候选区域是在从沿着道路行驶的车辆的前方拍摄的道路图像的时序序列中的最新道路图像内被识别的。当没有先前核实区域且没有先前拒绝区域与候选区域一致时，所述方法包含步骤:确定候选区域和所述序列中的先前拍摄的道路图像的先前核实区域之间的最小距离。当最小距离超过阈值距离时，所述方法包含将候选区域存储为核实区域的步骤。当最小距离小于阈值距离时，所述方法包含将候选区域存储为拒绝区域的步骤。

[0003] 在第二实施例中，公开了用于将候选区域验证为包含道路上车道标记的图像的车道偏离警告系统。所述候选区域是在从沿着道路行驶的车辆的前方拍摄的道路图像的时序序列中的最新的道路图像内被识别的。所述系统包含存储器和图像处理器。所述存储器存储非暂时性计算机可读指令并适合于存储道路图像。当没有先前核实区域且没有先前拒绝区域与候选区域一致时，所述图像处理器适合于执行指令来：(i)确定候选区域和所述序列中的先前拍摄的道路图像的先前核实区域之间的最小距离；(ii)当最小距离超过阈值距离时，将候选区域存储为核实区域；以及(iii)当最小距离小于阈值距离时，将候选区域存储为拒绝区域。

[0004] 在第三实施例中，公开了用于在道路图像的时序序列中的最新的道路图像内确定精炼的消失点估计的方法。每一个道路图像是从沿着道路行驶的车辆的前方拍摄的。对于时序序列中的每一个道路图像，所述方法包含下述步骤：(a)将第一线拟合于与道路上的第一车道标记相对应的最新的道路图像的第一区域；(b)将第二线拟合于与道路上的第二车道标记相对应的最新的道路图像的第二区域；(c)确定第一区域和第二区域之间的车道标记间距；(d)将消失点候选识别为第一线与第二线的交叉点；(e)确定消失点候选和先前确定的消失点估计之间的距离；(f)当(1)车道标记间距在基于先前确定的车道标记间距而预先确定的间距内并且(2)距离小于阈值距离时，将消失点候选存储为消失点估计；以及(g)将对应于消失点估计的坐标存储在存储器中。所述方法也包含将精炼的消失点估计确定为已存储的消失点估计的统计平均值的步骤以及将先前确定的消失点估计设定为等于精炼的消失点估计的步骤。

[0005] 在第四实施例中，公开了用于在道路图像内确定精炼的消失点估计的车道偏离警告系统。所述道路图像是从沿着道路行驶的车辆的前方拍摄的道路图像的时序序列中的最新的道路图像。所述系统包含存储器和图像处理器。所述存储器存储非暂时性计算机可读指令并且适合于存储道路图像。所述图像处理器适合于对于时序序列中的每一个道路图像执行指令来执行前述第三实施例所公开的方法的步骤(a)至(g)。

[0006] 所述图像处理器也适合于执行指令来(i)将精炼的消失点估计确定为已存储的消失点估计的统计平均值以及(ii)将先前确定的消失点估计设定为等于精炼的消失点估计。附图说明

[0007] 图1是示出在一个实施例中一种在配备有照相机的车辆内使用的示例性的车道偏离警告系统的俯视图；

[0008] 图2示出在一个实施例中图1的车道偏离警告系统的进一步的示例性的细节；

[0009] 图3A示出图1的照相机所拍摄的示例性的道路图像，图3B示出图3A的道路图像沿着水平填充线段(patch)的图解性的像素值截面；

[0010] 图4A和图4B示出通过图1的车道偏离警告系统从图3A的道路图像处理而成的示例性的脊特征(ridge-feature)图像；

[0011] 图5A示出图1的照相机所拍摄的道路图像，图5B至5E示出通过图1的车道偏离警告系统从图5A的道路图像处理而成的图像；

[0012] 图6示出通过图1的车道偏离警告系统从图5D的图像生成的标记候选图像；

[0013] 图7是从图5C的图像和图6的标记候选图像形成的真实标记候选图像；

[0014] 图8是通过图1的车道偏离警告系统形成的车道延伸图像，其将图7的真实标记候选图像的核实测出标记延伸；

[0015] 图9示出叠加在图5A的道路图像的车道标记上的由图1的车道偏离警告系统检测出的车道标记；

[0016] 图10是示出了在一个实施例中用于检测道路图像内的车道标记的一个示例性的方法的流程图；

[0017] 图11是示出一个实施例中图10的道路图像处理步骤的进一步的示例性的细节的流程图；

[0018] 图12是示出一个实施例中图11的结合步骤的进一步示例性的细节的流程图；

[0019] 图13A描绘了一个实施例中图3A的道路图像，以及图13B描绘了一个实施例中显示图13A的道路图像的设备；

[0020] 图14是示出一个实施例中用于在道路图像内确定初始消失点估计的示例性的方法的流程图；

[0021] 图15是示出一个实施例中用于在道路图像内确定精炼的消失点估计的示例性的方法的流程图；

[0022] 图16A和图16B分别是在先道路图像和最新道路图像的示意图，它们的处理在图16C中部分地示出；

[0023] 图17是示出示例性的车道分叉场景的道路的俯视图；

[0024] 图18是一个实施例中图1的车道偏离警告系统的存储器的示意图；

[0025] 图19是示出一个实施例中用于在道路图像内验证候选区域的示例性的方法的流程图；

[0026] 图20是示出图19的方法的一个例子的流程图。

具体实施方式

[0027] 图1是示出在车辆180内使用的示例性的车道偏离警告系统100的俯视图。车辆180在具有车道标记182的道路181上，车道标记182在与坐标系198的x-z平面平行的平面中。本文中，除非另有说明，对x、y和z的引用针对的是坐标系198。车道偏离警告系统100包含图像处理器240。车辆180包含照相机120以及可选地包含显示器190，照相机120和显示器190与车道偏离警告系统100通信耦合。照相机120包含具有像素阵列122的图像传感器。在一个实施例中，车道偏离警告系统100包含照相机120和显示器190中的至少一个。在此，为了简单起见，车道标记也被称为标记。

[0028] 车道偏离警告系统100接收在照相机120的视场125内的一部分道路181的道路图像132。车道偏离警告系统100处理道路图像132的至少一部分来检测一个或多个车道标记182并生成对应的一个或多个测出车道标记142。测出车道标记142例如是标定车道标记182的图像和可表示为能够叠加在道路图像132上的直线或曲线的等式(或坐标的数据集)中的一个或多个。

[0029] 在图1的示例中，车道偏离警告系统100将测出车道标记142发送至输出图像生成器150，输出图像生成器150生成用于显示在显示器190上的输出图像152。输出图像生成器150可以根据道路图像132和测出车道标记142生成输出图像152。例如，输出图像152可以是测出车道标记142叠加在其上的道路图像132。在一个实施例中，输出图像生成器150是车道偏离警告系统100的一部分。

[0030] 图2进一步示出车道偏离警告系统100的示例性的细节。车道偏离警告系统100包含图像处理器240和存储软件220的存储器210。软件220包含机器可读指令，当由图像处理器240执行这些指令时，这些指令能够执行如本文所述的车道偏离警告系统100的功能。软件220包含下述软件模块：标记候选识别器222、车道核实器228和车道延伸器230。软件220还可以包含消失点追踪器221和标记间距追踪器229。存储器210也被示出为存储有从照相机120接收的道路图像132和由软件220生成的测出车道标记142这两者或者其中之一。存储器210可以代表易失性存储器(例如静态随机存取存储器、动态随机存取存储器、或者它们的任意组合)和非易失性存储器(闪存、只读存储器、磁性介质、光学介质、或者它们的任意组合)这两者或者其中之一。

[0031] 标记候选识别器222包含机器可读指令，当由图像处理器240执行这些指令时，这些指令运行并处理道路图像132来在道路图像的车道存在区域内识别一个或多个标记候选。标记候选识别器222可以包含梯度模块223、线检测器224和线结合器226。

[0032] 车道核实器228包含机器可读指令，当由图像处理器240执行这些指令时，这些指令运行以在(a)与标记候选的一部分拟合的第一线和(b)道路图像中的消失点估计之间的距离小于相邻距离时，将由标记候选识别器222识别出的标记候选核实为核实测出标记。车道延伸器230包含机器可读指令，当由图像处理器240执行这些指令时，这些指令运行以将由车道核实器228核实出的核实测出标记向道路图像132的地平线延伸来形成标定车道标记182的测出车道标记142。

[0033] 图3A示出一个由图1的照相机120拍摄的示例性的道路图像300。图3B至图9示出通过软件220从道路图像300处理而成的示例性的数据，软件220用于检测道路图像300中的车道标线。道路图像300可以代表图1的道路图像132。道路图像300包含划分为近子区域391和远子区域392的车道存在区域390。车道存在区域390包含道路图像300的底部。在其他实施例中，车道存在区域390不包含道路图像300的底部。

[0034] 道路图像300内的消失点估计314可以对应于(a)道路图像300的消失点和(b)道路图像300的地平线上的位置中的一个或多个。在照相机120安装在车辆180上时，消失点估计314可以对应于已确定的像素阵列122(图1)上的位置。道路图像300中的消失点估计314的垂直位置可以对应于照相机120的垂直视角内的角度，其中，垂直视角在与道路181正交的平面中。

[0035] 在一个实施例中，消失点追踪器221使用本领域公知的消失点追踪算法和一个或多个道路图像132来调整消失点估计314的位置。例如，当车辆180接近道路181的上坡段时，消失点估计314可以向道路图像300的顶部调整。车道存在区域390延伸到消失点估计314的上方使得在发生这样的消失点估计314的调整时，消失点估计314保持在车道存在区域390内。

[0036] 道路图像300具有高度h300。相对于道路图像300的底部，近子区域391和远子区域392分别具有高度h391和h392。类似地，消失点估计314位于道路图像300的底部的上方的高度h314处。车道偏离警告系统100以h391＝αh314计算h391并以h392＝h314+βh300计算h392，此处，对于道路图像300，α＝3/4、β＝1/16。

[0037] 在下述示例中，道路图像300定量地表示为多个像素值p(i，j)，其中，如图3A所示，坐标(i，j)分别表示像素列索引和像素行索引。像素(i，j)指的是在道路图像300中的坐标(i，j)处的位置上的具有像素值p(i，j)的像素。下述对道路图像300的基于像素的讨论给标记候选识别器222的示例性的操作提供了背景，具体地，为梯度模块223如何识别道路图像300内的脊特征提供了背景，识别的脊特征中的至少一些成为标记候选。

[0038] 行索引jmax和jmin分别对应于车道存在区域390的底部和顶部的像素行。像素值p(i，j)例如是灰度像素值，使得每个像素值是0到2N-1之间的整数，包括0和2N-1，其中N是正整数。

[0039] 道路图像300示出车道标记301(1,2,…)和车道标记302(1,2,…)，它们对应于道路181的车道标记182。为了图示清晰，仅标出了车道标记301(1至2)和车道标记302(1至3)。图3B是示出与车道标记301(1)相交的像素坐标(i1，j1)处的一部分道路图像300的示意性像素值截面350的图形。道路图像300的像素坐标(i1，j1)处的水平填充线段331包含三个子填充线段331(L)、331(C)以及331(R)，分别对应于车道标记301(1)左侧的位置、车道标记301(1)上的位置以及车道标记301(1)右侧的位置。因此，像素值截面350包含分别对应于子填充线段331(L，C，R)的三个子区域351(L，C，R)。

[0040] 每个子填充线段331(L，C，R)(以及所对应的子区域351(L，C，R))具有对应于确定的标尺S(j)的宽度335和一个像素行的高度。标尺S(j)例如是道路图像300中的多个像素列，并且可以是道路图像300中的行j处的车道标记301的预期成像宽度。每个车道标记301、302具有成像车道标记宽度(在道路图像300中)，该成像车道标记宽度由于道路图像300的固有视角而取决于道路图像300内的车道标记的垂直位置。因此，成像车道标记呈现出在车道存在区域390的底部最宽，在车道存在区域390的顶部最窄。因此，水平填充线段331(C)的宽度335(以及标尺s(j1)的值)取决于道路图像300中的水平填充线段331的垂直位置(由行索引j1表示)。

[0041] 对于车道偏离警告系统100，梯度模块223确定标尺s(j)。例如，梯度模块223设定s(jmax)＝20,s(jmin)＝1，并且针对jmin申请的范围。

[0042] 明暗度截面350(图3B)的子区域351(L，C，R)具有分别表示为、＜pC(i1,j1)>以及＜pR(i1,j1)＞的平均像素值，它们例如计算如下(在(i，j)＝(i1,j1)下计算，其中，s是偶数)：平均像素值＜pL(i，j)＞是在行索引j处且在列(i-1.5s(j))到(i-0.5s(j)-1)之间(包括端点)的像素的像素值的平均值。平均像素值＜pC(i，j)＞是在行索引j处且在列(i-0.5s(j))到(i+0.5s(j)-1)之间(包括端点)的像素的像素值的平均值。平均像素值＜pR(i，j)＞是在行索引j处且在列(i+0.5s(j))到(i+1.5s(j)-1)之间(包括端点)的像素的像素值的平均值。

[0043] 平均像素值＜pL(i，j)＞、＜pC(i，j)＞以及可以用于确定像素位置(i1,j1)是否为候选脊像素。例如，如果两个条件(1)和(2)被满足，则像素位置(i1,j1)是候选脊像素，其中，ρ·Δ是预定义的弱阈值，其保证多数车道像素能够被成功地分类为候选脊像素。参量ρ是弱因子，例如ρ＝0.15。

[0044] 参量Δ是表示(a)道路图像中的对应于车道标记的像素的像素值pL和(b)道路图像中的对应于不是车道标记的一部分道路的像素的像素值pNL之间的典型差异的对比度值。例如，Δ＝-，当Δ的上限是255时，其结果可以是Δ＝130。在道路图像300中，像素值pL的示例包含车道标记301、302内的像素值，像素值pNL的示例包含标记间区域305内的像素值。在条件(1)和(2)中，左梯度和右梯度是能够由梯度模块223计算出的水平图像梯度。

[0045] 左梯度：<ρC(i,j)>-≥ρ·Δ (1)

[0046] 右梯度：-≥ρ·Δ (2)

[0047] 在一个实施例中，参量ρ和Δ基于代表性道路图像经验性地预先确定并存储在车道偏离警告系统100的存储器210中来作为预先确定参数332。预先确定参数332可以包含ρ和Δ中的至少一个以及乘积ρ·Δ。预先确定参数332也可以包含表示在影响能见度的不同条件(例如雨、雾、冰、雪、眩光、环境光级别以及车道标记颜色)下的道路的Δ的几个值。

[0048] 梯度模块223评估道路图像300内的多个像素坐标(i，j)处的条件(1)和(2)，其结果是图4A所示的脊特征图像400。该多个像素坐标对应于例如车道存在区域390内的坐标。脊特征图像400中的像素值p(i，j)是二值(例如1或0)中的一个值，其取决于与道路图像300的像素坐标(i，j)相关联的水平填充线段是否满足条件(1)和(2)，其中，阈值ρ等于0.15。脊特征是可以对应于道路图像300中的车道标记的多个连续的候选脊像素。脊特征图像400包含与道路图像300中的车道标记301(1，2)、302(1至3)相对应的脊特征421(1，2)、422(1至
3)。

[0049] 脊特征图像400也可以包含虚假脊特征，例如不对应于道路图像300的车道标记的虚假脊特征413(1至6)。虚假脊特征的发生率随着ρ·Δ的值减小而增大。在实施例中，标记候选识别器222对脊特征图像400进行精炼来消除虚假脊特征(例如虚假脊特征413(1至4))从而产生图4B所示的脊特征精炼图像450。脊特征精炼图像450是从对脊特征图像400的连续阈值操作而产生，该连续阈值操作例如由标记候选识别器222执行。该连续阈值操作从脊特征图像400中消除不是M个候选脊像素的连续组的一部分的候选脊像素，其中，M≥k，k是为整数的连续阈值。例如，在脊特征精炼图像450中k＝8。两个连续像素可以在相对于像素行和像素列的水平方向、垂直方向、对角方向中的一个方向上邻接。

[0050] 图5A至5C示出道路图像500(N)、从道路图像500(N)形成的脊特征图像510以及从脊特征图像510精炼而成的脊特征精炼图像520。道路图像500(N)是在车辆180沿道路181或道路581前进时照相机120所拍摄的道路图像500(1,2,…N)的时序序列中的最新的道路图像(最新拍摄的)。图像索引(1，2,…N)分别对应于图像500(1,2,…N)各自的拍摄时间t1,t2,…,tN，其中，t1

[0051] 道路图像500(N)是道路图像132的示例，并包含道路581的一部分，道路581包含车道标记501至504和车道存在区域590A，车道存在区域590A包含近子区域591和远子区域592，其分别类似于道路图像300的子区域391、392。道路图像500(N)包含消失点估计514，其可以对应于(a)道路图像500(N)的消失点和(b)道路图像500(N)的地平线上的垂直位置中的一个或多个。道路581是道路181的示例。

[0052] 脊特征精炼图像520从例如由标记候选识别器222执行的对脊特征图像510的连续阈值操作中产生。脊特征图像510和脊特征精炼图像520包含分别对应于车道标记501至504的脊特征521至524。对于车道偏离警告系统100，脊特征521至524是使用与用于识别脊特征421、422的处理类似的处理由图像处理器240执行的梯度模块223的示例性的输出。

[0053] 图5D是从脊特征精炼图像520得到的脊特征拟合图像530。脊特征拟合图像530包含线组531至534，每个线组分别至少部分地与脊特征521至524重叠。对于车道偏离警告系统100，线检测器224识别线组531至534。每一个线组531至534分别包含多根线531(1至m1)、532(1至m2)、533(1至m3)、534(1至m4)。例如，图5E是示出线532(1至8)的线组532的一部分的放大图。

[0054] 脊特征精炼图像520包含车道存在区域590C。在一个实施例中，脊特征拟合图像530由线检测器224对脊特征精炼图像520的车道存在区域590C进行霍夫变换而形成。或者，脊特征拟合图像530可以由线检测器224对脊特征图像510的车道存在区域590B进行霍夫变换而形成。也可使用霍夫变换之外的特征提取技术来从脊特征图像510或520生成脊特征拟合图像530。

[0055] 每个车道存在区域590(0，1，2)分别指的是图像500(N)、510、520的车道存在区域。由于图像510、520是道路图像500(N)的处理过的版本，因此车道存在区域590(1，2)在本文中也被认为对应于车道存在区域590A，其中，括号内的索引指定相关的图像。

[0056] 如图6的标记候选图像600所示，线组531至534可以通过例如线结合器226而分别结合成标记候选631至634。在一个实施例中，线结合器226可以分别将形态算子应用于线组531至534来生成标记候选631至634。

[0057] 图7是从脊特征精炼图像520和标记候选图像600形成的真实标记候选图像700。真实标记候选图像700例如由车道偏离警告系统100的车道核实器228生成。真实标记候选图像700包含位于自真实标记候选图像700的底部起高度715处的消失点估计714E，高度715处由叠加在其上的地平线716指示。消失点估计714E可以对应于(a)道路图像500(N)的消失点和(b)道路图像500(N)的地平线上的位置中的一个或多个。例如，消失点估计714E对应于道路图像500(N)的消失点估计514。

[0058] 真实标记候选图像700包含脊特征521至524和分别对应的线性脊延伸731至734。线性脊延伸731至733均与地平线716相交于至消失点估计714E距离小于相邻距离717的位置处，这将脊特征521至523鉴定为核实测出标记。相邻距离717是在真实标记候选图像700内的距离。线性脊延伸731、732在位置714处相交。位置714对应于真实标记候选图像700内的像素位置(iuv，juv)，其反过来对应于道路图像500(N)内的像素位置。

[0059] 邻近的线性脊延伸731、732在真实标记候选图像700的底部以车道标记间距741(在本文中也被称为W741)分开。真实标记候选图像700具有宽度700W，在本文中也被称为W700。车道标记间距741和宽度700W的大小例如可表示为像素的数量并且是存储在图2的存储器210中的已提取的车道标记特征143的示例。存储器210可选择地包含数据缓冲器212，在数据缓冲器212中可以存储有已提取的车道标记特征143。

[0060] 由于真实标记候选图像700来自道路图像500(N)，因此它是对应于道路图像500(1,2,…,N)的时序序列的真实标记候选图像700(1,2,…,N)的序列中的最新的图像。因此，真实标记候选图像700也用附图标记700(N)来表示。类似地，位置714可以被认为是位置714(1,2,…,N)序列中的最新的位置714(N)，并且，车道标记间距741可以被认为是车道标记间距741(1,2,…,N)序列中的最新的位置741U(N)。

[0061] 对于车道偏离警告系统100，车道核实器228生成线性脊延伸731至734并将脊特征521至523核实为核实测出标记。车道核实器228还可以否决脊特征524成为核实测出标记。

[0062] 脊特征524没有鉴定为核实测出标记的原因是，脊特征524的线性脊延伸734与地平线716相交的位置到消失点估计714E的距离超过了相邻距离717。相邻距离717不需要是地平线716上自消失点估计714E起的距离。例如，相邻距离717可以是线性脊延伸和消失点估计714E之间的最小距离(即垂直距离)的最大允许值。或者，相邻距离717是以消失点估计714E为圆心的圆717C的半径。

[0063] 真实标记候选图像700包含具有近子区域791和远子区域792的车道存在区域790。区域790、791和792分别对应于道路图像500(N)的区域590A、591和592。线性脊延伸731至
734通过在近子区域791内分别将线拟合至每个脊特征521至524中的多个近控制点而形成。
脊特征521至523分别具有近控制点721至723。线性脊延伸731至733是例如通过车道核实器
228而分别拟合于近控制点721至723的线。脊延伸731至733可以分别非线性地拟合于控制点721至723，而不脱离本申请的范围。

[0064] 近控制点721至723对应于脊特征图像510和脊特征精炼图像520的至少一个中的位置。在实施例中，车道核实器228通过分别使用标记候选631至633中的点作为用于搜索控制点的起始点搜索脊特征图像510、520内的控制点来确定控制点721至723。在这一点上，标记候选631至633起到种子车道的作用。

[0065] 图8是通过延伸由真实标记候选图像700的线性脊延伸731至733确定的核实测出标记(脊特征521至523)而形成的车道延伸图像800。车道延伸图像800包含具有近子区域891和远子区域892的车道存在区域890。区域890至892分别对应于标记候选图像700的区域
790至792。对于车道偏离警告系统100，车道延伸器230将脊特征521至523延伸到车道延伸图像800的远子区域892中。

[0066] 车道延伸图像800包含分别对应于脊特征521至523的拟合曲线831至833。在一个实施例中，车道延伸器230通过将非线性曲线拟合于近子区域891中的近控制点和远子区域892中的远控制点来生成各个拟合曲线831至833。脊特征521至523分别具有远控制点821至
823。拟合曲线831是拟合于近控制点721和远控制点821的多项式曲线。拟合曲线832是拟合于近控制点722和远控制点822的多项式曲线。拟合曲线833是拟合于近控制点723和远控制点823的多项式曲线。对于车道偏离警告系统100，车道延伸器230识别分别对应于脊特征
521至523的远控制点821至823。

[0067] 在一个实施例中，车道延伸器230通过采用对脊特征521至523各自的近控制点和远控制点的线性拟合、多项式曲线拟合以及非线性曲线拟合中的至少一种来生成一个或多个拟合曲线831至833。控制点例如近控制点721至723和远控制点821至823的位置可以对应于道路图像中的像素坐标或者对应于道路图像中的邻近的像素之间的位置，例如多个像素坐标之间的内插位置。

[0068] 车道延伸图像800通过车辆180的车道偏离警告系统100从道路图像500(N)处理而成。控制点721至723、821至823可以被指定为721(1)至723(1)、821(1)至823(1)。在随后的例如被指定为500(2)的道路图像中，远控制点821(1)至823(1)的至少一部分移动到近子区域891中，并可以被重新指定为近控制点721(2)至723(2)，并通过线条而拟合。或者，道路图像500(2)的近控制点721(2)至723(2)可以被独立地确定为在先图像500(1)的远控制点821(1)至823(1)。

[0069] 图9是示出在道路581的车道存在区域590A中分别叠加在车道标记501至503(白色)上的测出车道标记931至933(黑色)的道路图像900。测出车道标记931至933分别是在消失点估计714E之下的拟合曲线831至833的一部分。对于车道偏离警告系统100，车道延伸器230生成测出车道标记931至933，它们中的每个是一个测出车道标记142的示例。道路图像
900可以被显示在显示器190上。

[0070] 图10是示出检测从沿着具有车道标记的道路行驶的车辆的前方拍摄的道路图像内的车道标记的示例性的方法1000的流程图。图2至9示出道路图像和对应于方法1000的步骤的处理后的道路图像。图2至10最好与下述说明一起阅读。方法1000例如是在车道偏离警告系统100的一个或多个方面内实施。例如，方法1000通过图像处理器240执行软件220的计算机可读指令而实施。

[0071] 方法1000可以包含可选的步骤1005。如果包含步骤1005，则在步骤1005中，方法1000确定道路图像中的消失点估计。在步骤1005的示例中，车辆180的驾驶员或乘客相对于x-z平面和y-z平面中的至少一个调整照相机120的角度取向来确定道路图像500的消失点估计514。

[0072] 在步骤1010中，步骤1010处理道路图像来识别道路图像的车道存在区域内的标记候选，该车道存在区域具有近子区域和远子区域，近子区域和远子区域分别包含接近车辆的成像道路区域和远离车辆的成像道路区域。在步骤1010的第一示例中，标记候选识别器222识别标记候选图像600的标记候选631。在步骤1010的第二示例中，标记候选识别器222识别标记候选图像600的标记候选631至634。申请人注意到，方法1000，特别是步骤1010，既不需要例如降噪和特征增强的预处理步骤，也不需要逆透视变换(inverse perspective transform)来识别标记候选。

[0073] 在步骤1040中，在(a)拟合于近子区域内的标记候选的一部分的第一线和(b)道路图像中的消失点估计之间的距离小于相邻距离时，方法1000将标记候选指定为核实测出标记。在步骤1040的示例中，如图7所示，车道核实器228将脊特征521至523指定为核实测出标记。所述消失点估计例如是步骤1005中确定的消失点估计。

[0074] 方法1000可以包含可选的步骤1039。如果包含步骤1039，则在步骤1039中，方法1000调整道路图像中的消失点估计的位置。在步骤1039的示例中，消失点追踪器221调整道路图像300内的消失点估计314的位置。

[0075] 在步骤1050中，方法1000将核实测出标记延伸到远子区域中来形成标定车道标记的测出车道标记。在步骤1050的示例中，车道延伸器230将脊特征521至523延伸到车道延伸图像800的远子区域892中。

[0076] 步骤1050可选地包含步骤1054、1056和1058。如果包含步骤1054，则在步骤1054中，方法1000在远子区域中识别对应于核实测出标记的远控制点。在步骤1054的示例中，如图8所示，车道延伸器230识别分别对应于脊特征521至523的远控制点821至823。

[0077] 如果包含步骤1056，则在步骤1056中，方法1000将曲线拟合于远控制点和位于近子区域并对应于核实测出标记的多个近控制点。在步骤1056的示例中，车道延伸器230(i)将拟合曲线831拟合于近控制点721和远控制点821，(ii)将拟合曲线832拟合于近控制点722和远控制点822，并且(iii)将拟合曲线833拟合于近控制点723和远控制点823。

[0078] 如果包含步骤1058，则在步骤1058中，方法1000截短拟合曲线来生成测出车道标记。在步骤1058的示例中，车道延伸器230分别截短拟合曲线831至833来生成测出车道标记931至933。

[0079] 如图11所示，步骤1010可以包含步骤1121和步骤1127。如果包含步骤1121，则在步骤1121中，方法1000识别道路图像内的脊特征来生成脊特征图像。在步骤1121的示例中，标记候选识别器222识别道路图像300内的脊特征421、422来生成图4所示的脊特征图像400。

[0080] 步骤1121可以包含步骤1022至1024。如果包含步骤1122，则在步骤1122中，对于道路图像的多个位置中的每一个位置，方法1000部分地基于表示完全位于所述位置左侧的第一图像区域的第一图像亮度计算第一水平图像梯度。如果包含步骤1123，则在步骤1123中，对于道路图像的多个位置中的每一个位置，方法1000部分地基于表示完全位于所述位置右侧的第二图像区域的第二图像亮度计算第二水平图像梯度。对于所给定的道路图像中的位置，第一水平图像梯度和第二水平图像梯度也基于表示包含所述位置的中心图像区域的中心图像亮度。

[0081] 在步骤1122、1123的示例中，梯度模块223计算与图3A中的道路图像300的水平填充线段331(L，C，R)的子区域351(L，C，R)(像素位置(i1,j1))相关联的条件(1)和(2)的左梯度和右梯度。

[0082] 如果包含步骤1124，则在步骤1124中，方法1000基于第一水平图像梯度和第二水平图像梯度而确定该位置是否是脊特征的一部分。在步骤1124的示例中，梯度模块223根据条件(1)和(2)是否满足而确定道路图像300中的像素位置(i1,j1)是否是候选脊像素。

[0083] 在步骤1127中，方法1000识别多根线，这些线中的每根线至少与脊特征部分地重叠。在步骤1127的示例中，线检测器224识别脊特征拟合图像530(图5D)的线组531至534，其至少分别与脊特征521至524部分地重叠。

[0084] 步骤1127可选地包含步骤1130。如果包含步骤1130，则在步骤1130中，方法1000将多根线结合来识别标记候选。在步骤1130的示例中，如图6所示，线结合器226将每一个线组531至534结合，分别得到标记候选631至634。申请人注意到，方法1000，特别是步骤1127，不需要例如数据遍历、追加以及删除的消耗时间的计算。

[0085] 在方法1000的一个实施例中，如图12所示，步骤1130包含步骤1234和1236。步骤1234涉及具有多个像素的空白图像。所述多个像素中的每一个像素具有(i)相同的像素值和(ii)空白图像中的像素坐标。空白图像例如在视觉上等同于去除标记候选631至634后的标记候选图像600。定量地说，空白图像可以是以阵列数据类型存储在车道偏离警告系统
100的存储器210内的数字的二维阵列，其中，每一个阵列元素具有相同的值，例如0。二维阵列可以以图像来显示，这使得每一个阵列元素(例如由两个索引而识别出的)是像素并且阵列元素的值是像素值。

[0086] 如果包含步骤1234，则在步骤1234中，方法1000改变空白图像的多个标记候选像素的像素值，该标记候选像素是具有与步骤1127(图11)中所识别出的多根线中的一根线相对应的像素坐标的像素。在步骤1234的示例中，线结合器226产生在视觉上与图像530相似的图像。步骤1130也可以包含步骤1232，在该步骤1232中，方法1000生成空白图像。

[0087] 如果包含步骤1236，则在步骤1236中，方法1000在多个标记候选像素上执行形态算子。在步骤1236的示例中，线结合器226执行将多个标记候选像素结合成标记候选631至634的形态算子。该形态算子例如是闭算子。

[0088] 图13A示出具有地平线1316的道路图像300，地平线1316位于自道路图像300的底部边缘306起的距离yh13处。地平线1316与道路图像300的消失点314相交。附图标记301、302和181是对道路图像300的注释，并不是道路图像300的一部分。

[0089] 图13B示出由设备1390显示的道路图像300作为显示图像300D。设备1390是显示器190(图1)的示例，设备1390可以包含照相机120并且例如安装在车辆180中。设备1390将视觉辅助1392叠加在显示图像300D上。视觉辅助1392具有在初始消失点估计1314E处相交的垂直部分1392V和水平部分1392H。初始消失点估计1314E是真实标记候选图像700的消失点估计714E的示例。在该示例中，消失点估计1314E从道路图像300的实际的消失点(例如消失点314)处移开。

[0090] 图14是示出在从沿着具有车道标记的道路行驶的车辆的前方拍摄的初始道路图像内确定初始消失点估计的示例性的方法1400的流程图。方法1400例如作为方法1000的一部分由车道偏离警告系统100的软件220实施。

[0091] 方法1000包含步骤1005。在步骤1005的示例中，步骤1005执行方法1400的步骤，其中，步骤1005的消失点估计是方法1400的初始消失点。方法1000包含可选的步骤1039，其中，消失点估计可以对应于在方法1400中确定的初始消失点。图13A、13B、14最好与下述说明一起查看。

[0092] 方法1400包含步骤1410。在步骤1410中，方法1400使用具有包含道路的视场的照相机来拍摄初始道路图像。在步骤1410的示例中，照相机120(图1)拍摄道路图像300。

[0093] 在步骤1420中，方法1400将具有垂直部分和水平部分的静态视觉辅助叠加在初始道路图像的显示器上。在步骤1420的示例中，显示器1390将视觉辅助1392叠加在显示图像300D的中心或者显示图像300D的中心的附近。

[0094] 在步骤1430中，方法1400相对于道路调整照相机的水平角度取向，使得视觉辅助的垂直部分的水平位置位于显示图像所显示的车道标记之间的中心处。在步骤1430的示例中，相对于x-z平面调整照相机120的方向，使得垂直部分1392V位于如显示图像300D所显示的车道标记301和车道标记302之间的中央处。在显示图像300D中，车道标记301和车道标记302(或者它们的线性延伸)在底部边缘306处具有最大水平间隔S1。在步骤1430的示例中，垂直部分1392V的水平位置相对于消失点314的水平位置在公差Δx13内，其中，Δx13/S1是
0.10。

[0095] 在步骤1440中，方法1400相对于道路调整照相机的垂直角方向，使得视觉辅助的水平部分的垂直位置接近显示图像的地平线。在步骤1430的示例中，相对于y-z平面调整照相机120的方向，使得水平部分1392H接近显示图像300D的地平线1316。在步骤1430中确定的水平位置和在步骤1440中确定的垂直位置对应于初始消失点估计。在步骤1440的示例中，水平部分1392H的垂直位置在地平线1316的公差Δy13内，其中，Δy13/yh13是0.10。

[0096] 图15是示出在从沿着道路行驶的车辆的前方拍摄的道路图像的时序序列中的最新道路图像内确定精炼的消失点估计的示例性的方法1500的流程图。方法1500例如是在车道偏离警告系统100的一个或多个方面内实施的。例如，方法1500是通过执行软件220的计算机可读指令的图像处理器240而实施的。方法1500可以作为方法1000的步骤1039的至少一部分来实施。

[0097] 步骤1502是可选的。在步骤1502中，方法1500拍摄道路图像序列。在步骤1550的示例中，车辆180的照相机120拍摄道路图像500(1,2,3,…,N)并且将它们存储在车道偏离警告系统100的存储器210中。

[0098] 方法1500包含步骤1500L，其对于时序序列中的最新道路图像之前的每一个道路图像执行，在下文中，对于多个在先道路图像执行。步骤1500L包含可选的步骤1505、1510、1515、必选的步骤1520、1525、1530、1540以及可选的步骤1545。

[0099] 在可选的步骤1505中，方法1500识别(i)与道路上的第一车道标记的图像相对应的最新的道路图像的第一区域和(ii)与道路上的第二车道标记的图像相对应的最新的道路图像的第二区域中的至少一项。步骤1505可以包含方法1000的步骤1010。在步骤1505的示例中，标记候选识别器222执行方法1000的步骤1010来识别标记候选图像600的标记候选631、632。

[0100] 在可选的步骤1510中，方法1500确定第一区域和第二区域之间的车道标记间距。在步骤1510的示例中，标记间距追踪器229确定图7的车道标记间距741。

[0101] 在可选的步骤1515中，方法1500执行(i)将第一线拟合于第一标记候选的一部分和(ii)将第二线拟合于第二标记候选的一部分中的至少一项。在步骤1515的示例中，车道核实器228将线性脊延伸731拟合于控制点721并且将线性脊延伸732拟合于控制点722。

[0102] 在步骤1520中，方法1500将最新消失点候选识别为交叉点，该交叉点是(a)拟合于第一标记候选的一部分的第一线以及(b)拟合于第二标记候选的一部分的第二线的交叉点。当方法1500包含步骤1515时，步骤1515产生步骤1520的第一线和第二线。在步骤1520的示例中，消失点追踪器221将最新消失点候选估计为位置714，位置714是图7所示的线性脊延伸731与线性脊延伸732的交叉点。

[0103] 在步骤1525中，方法1500确定最新消失点候选和先前确定的消失点估计之间的距离。在步骤1525的示例中，消失点追踪器221确定位置714和消失点估计714E之间的距离。

[0104] 在步骤1530中，在(i)第一标记候选和第二标记候选之间的车道标记间距小于预先确定的车道分开范围和(ii)最新消失点候选和先前确定的消失点估计之间的距离小于阈值距离时，方法1500将最新消失点候选指定为消失点估计。在步骤1530的示例中，第一标记候选和第二标记候选分别是线性脊延伸731和线性脊延伸732(图7)，并且预先确定的车道分开范围在0.5*W700和1.5*W700之间。线性脊延伸731和线性脊延伸732以车道标记间距W741分开，其满足0.5*W700

[0105] 在步骤1540中，方法1500将车道标记间距和对应于消失点估计的坐标存储在存储器中。在步骤1540的示例中，系统100将位置714(作为像素位置(iuv,juv))作为已提取的车道标记特征143而存储在例如数据缓冲器212的存储器210内。

[0106] 在可选的步骤1545中，方法1500将车道标记间距存储在存储器中。在步骤1545的示例中，系统100将车道标记间距741作为已提取的车道标记特征143而存储在例如数据缓冲器212的存储器210中。

[0107] 由于步骤1500L对多个在先道路图像中的每一个执行，因此步骤1500L的多次执行导致(a)相应的多个消失点估计和(b)相应的多个车道标记间距。步骤1500L例如被执行在道路图像500(1,2,…,N)上并且产生相应的位置714(1,2,…,N)和相应的车道标记间距741(1,2,…,N)。

[0108] 在步骤1550中，方法1500将与道路图像的序列相对应的已存储的消失点估计的统计平均值确定为精炼的消失点估计。在步骤1550的示例中，消失点追踪器211将精炼的消失点确定为位置714(1,2,…,N)的统计平均值。步骤1550也可以包含对存储在数据缓冲器212中的位置714进行排序和去除位置714的异常值。统计平均值例如是多个数值的平均值、中值以及众数值。

[0109] 在步骤1560中，方法1500将预先确定的消失点估计设定为等于精炼的消失点估计。在步骤1560的示例中，消失点追踪器211将消失点估计714E设定为等于位置714(1,2,…,N)的统计平均值。

[0110] 当方法1500包含可选的步骤1545时，方法1500也可以包含可选的步骤1555、1565。在步骤1555中，方法1500将精炼的车道标记间距确定为与道路图像序列相对应的已存储的车道标记间距的统计平均值。在步骤1555中，标记间距追踪器229将精炼的车道标记间距确定为车道标记间距741(1,2,…,N)的统计平均值。步骤1550也可以包含对存储在数据缓冲器212中的车道标记间距741进行排序和去除车道标记间距741的异常值。在步骤1555的示例中，标记间距追踪器229将精炼的车道标记间距确定为车道标记间距741(1,2,…,N)的统计平均值。步骤1550也可以包含对存储在数据缓冲器212中的车道标记间距741进行排序和去除车道标记间距741的异常值。

[0111] 在步骤1565中，方法1500将预先确定的车道分开范围设定为等于精炼的车道标记间距。在步骤1565的示例中，消失点追踪器211将车道标记间距741设定为等于车道标记间距741(1,2,…,N)的统计平均值。

[0112] 图16A和图16B分别是道路1681的在先道路图像1600A和最新的道路图像1600B的示意图。道路图像1600例如是由车辆180的照相机120所拍摄的。在先道路图像1600A和最新的道路图像1600B通过在道路1681上行驶的车辆在时间tA和tB(tB>tA)分别拍摄。道路图像1600A和道路图像1600B例如是道路图像序列上连续的道路图像。或者，道路图像1600A和道路图像1600B是道路图像的序列中不连续的道路图像。例如，该序列可以包含在时间tA和tB之间所拍摄的一个或多个道路图像，由于道路181和照相机120之间的障碍，例如车辆180的挡风玻璃上的泥，这些在时间tA和tB之间所拍摄的道路图像不适合用于车道识别。

[0113] 每一个道路图像1600是道路图像132的一个示例，并且包含道路1681的成像部分，道路1681包含车道标记1621至1623和车道存在区域1690。道路图像1600A/B各自包含近子区域1691A/B和远子区域1692A/B，它们各自与道路图像300的子区域391和子区域392类似。

[0114] 在先道路图像1600A包含在最新的道路图像1600B中不存在的终止车道标记1624。

[0115] 道路1681包含车道标记1626，车道标记1626的图像分别在道路图像1600A、1600B的图像区域1636A、1636B中。图像区域1636A在道路图像1600A的远子区域1692A中，因此，当处理道路图像1600A时系统100不评价其作为车道标记的身份。图像区域1636B在道路图像1600B的近子区域1691B中，因此，当处理道路图像1600B时，系统100评价其作为车道标记的身份。

[0116] 道路1681包含非车道标记1628，非车道标记1628的图像分别在道路图像1600A、1600B的图像区域1638A、1638B中。图像区域1638A分别在道路图像1600A、1600B的近子区域
1692A、1692B中。因此，当处理道路图像1600A、1600B时，系统100评价其作为车道标记的身份。

[0117] 道路1681包含非车道标记1629，非车道标记1629的图像分别在道路图像1600A、1600B的图像区域1639A、1639B中。图像区域1639A在道路图像1600A的远子区域1692A中，因此，当处理道路图像1600A时，系统100不评价其作为车道标记的身份。图像区域1639B在道路图像1600B的近子区域1691B中，因此，当处理道路图像1600B时，系统100评价其作为车道标记的身份。

[0118] 在先道路图像1600A包含先前核实区域1631A、1632A、1634A，它们分别包含所拍摄的车道标记1621、1622、1624的图像。最新的道路图像1600B包含候选区域1631B、1632B、1636B、1639B。为了说明清晰，图16中的候选区域表示为比它们各自围绕的车道标记或非车道标记更宽。

[0119] 候选区域1631A、1631B都对应于相同的车道标记(1621)，但是它们通常不会对应于它们各自的道路图像1600A、1600B的相同的显示像素位置。这种显示像素位置的不同是由于例如车辆180所具有的(a)和(b)中的至少一项。所述(a)是车道标记1621和车道标记1622之间不同的横向位置。所述(b)是相对于车道标记1621和车道标记1622中的一项或两项的不同的角度方向。例如，如图16C的最新的道路图像1600B'所显示地，候选区域1631A、
1631B可以不重叠。为了示出，图16C着重强调区域1631A和区域1631B的不同，并且图16C示出了候选区域1632A、1636B的线性延伸与道路图像1600B的底部边缘1602在哪里相交。最新的道路图像1600B'是为图示清晰而省略了车道标记1621、1623至1625的最新的道路图像
1600B。

[0120] 候选区域1631A、1631B(或者它们各自的线性延伸1631A'和1631B')在底部边缘1602处以横向距离Dn分开并且在地平线1609处以横向距离Df分开。当Dn<ρn并且Df<ρf时，其中，ρn和ρf是预先确定的偏离阈值，车道核实器228确定候选区域1631B与先前核实区域
1631A相对应，即，候选区域1631B与先前核实区域1631A一致。车道核实器228确定候选区域
1632B与先前核实区域1632A相对应(一致)。在先道路图像1600A的先前核实区域1631A、
1632A在底部边缘1602处以预先确定的间距1641(在下文中也称为w16)分开。偏离阈值ρn和ρf可以对应于分数预先确定的间距1641，例如，ρn＝ρf＝0.15w16。

[0121] 间距1641例如是方法1500的步骤1555中所确定的精炼的车道标记间距。因此，间距1641可以计算为多个道路图像1600上所平均的车道标记1621和车道标记1622之间的间距(类似于间距741)，多个道路图像1600各自具有分别等同于区域1631A,B和区域1632A,B的道路图像区域。该多个道路图像可以对应于以预先确定的时间周期拍摄的道路图像，所述时间周期例如30秒，并且可以周期性地更新，例如每五分钟。或者，间距1641是连续更新的单图像的邻近的线性脊延伸之间的距离的移动平均值。

[0122] 候选区域1639B相对于底部边缘1602上的位置1639Bx居中。位置1639Bx是在底部边缘1602上自区域1631A起距离1649L且自区域1632A起距离1649R的位置，其中，距离1649L和距离1649R的和等于间距1641。由于距离1649L、1649R的最小值小于阈值距离δ·w16，其中，例如，因子δ＝0.7，因此候选区域1639B不对应于新核实的区域(对应于车道标记)。

[0123] 候选区域1636B是在底部边缘1602上自区域1632A起距离1651的区域。由于距离1651超过阈值距离δ·w16，因此，车道核实器228可以确定候选区域1636B为新核实的区域。

[0124] 图17是示出道路分离场景的道路1781的俯视图，其中，车道1782分离成两个车道1783、1784。车道标记1721、1723对车道1782划界；车道标记1721、1722对车道1783划界；车道标记1722、1723对车道1784划界。道路1781包含由车辆180上的照相机120成像的两个重叠的成像区域1701、1702。成像区域1701、1702也分别对应于视角变换的道路图像1700A、
1700B的低于地平线的区域。即，视角变换的图像1700等同于由照相机120拍摄的区域道路图像，类似于道路图像1600，但去除了远景并仅包含每一个图像的各自低于地平线的区域。
因此，道路图像1700A、1700B具有各自的地平线1711、1712。

[0125] 在先道路图像1700A具有先前核实区域1731A、1733A，其分别包含所拍摄的车道标记1721、1723的图像。在道路图像1700A中，车道标记1722只出现在地平线1711附近，因此车道偏离警告系统100不将它归类为候选车道标记。最新的道路图像1700B包含候选区域1731B、1732B、1733B，其分别包含所拍摄的车道标记1721、1722、1723的图像。

[0126] 在先道路图像1700A的先前核实区域1731A、1733A在道路图像1700A的底部以预先确定的间距(在下文中也称为w17)分开。间距类似于间距1641。在最新的道路图像1700B中，候选区域1732B是从区域1731A起距离1749L且从区域1733B起距离1749R的区域。由于距离1749L和距离1749R的最小值(或者等同地，距离1749L和距离1749R二者均)超过阈值距离δ·w17，车道核实器228可以确定候选区域1732B对应于新核实的区域，其中，例如，因子δ＝
0.7。

[0127] 图18是存储器1800的示意图，其例如是车道偏离警告系统100的存储器210的一部分。存储器1800例如是数据缓冲器并且可以是一种易失性存储器的形式。存储器1800包含数据缓冲器1811、1812、1813、1821、1822、1823、1831。数据缓冲器1811、1812、1813、1821、1822、1823、1831可以是单个数据缓冲器的一部分，其中，每一个缓冲器18XX内的数据具有与其他缓冲器中的数据相区别的特征(例如，性质、标签、属性、元数据等)。

[0128] 在先图像数据缓冲器1811存储一个或多个在先道路图像的先前核实区域数据1811D，其例如包含与在先道路图像1600A的先前核实区域1631A、1632A、1634A相对应的数据。由于先前核实区域1634A对应于终止车道标记1624，车道偏离警告系统100可以在在先道路图像1600A之后拍摄的一些道路图像(例如五个道路图像)之后，从据缓冲器1831中删除先前核实区域1634A。

[0129] 最新图像数据缓冲器1812存储候选区域数据1812D，其例如包含对应于最新的道路图像1600B的候选区域1631B、1632B、1638B、1639B的数据。拒绝数据缓冲器1813存储拒绝区域数据1813D，其对应于拒绝区域，例如道路图像1600A的候选区域1638A以及最新的道路图像1600B的区域1638B、1639B。

[0130] 拒绝数据缓冲器1813可以存储来自最新的道路图像1600B之前的参数N个道路图像的拒绝区域。参数N例如在5和20之间(包含5和20)，使得拒绝数据缓冲器1813不存储长于必要的拒绝区域。系统100可以调整连续的道路图像132中的参数N和帧率，使得存储在拒绝数据缓冲器1813中的拒绝区域对应于沿着道路132的距离，所述距离独立于车辆速度。

[0131] 匹配数据缓冲器1821存储匹配候选区域数据1821D，其是数据1811D与数据1812D的交集。即，数据1821D对应于存储在最新图像数据缓冲器1812中的候选区域，该候选区域与存储在在先图像数据缓冲器1811中的先前核实区域匹配。例如，这样的候选区域包含道路图像1600B的候选区域1631B、1632B。

[0132] 不匹配数据缓冲器1822存储不匹配的核实区域数据1822D，其对应于与存储在最新图像数据缓冲器1812中的候选区域不匹配的存储在在先图像数据缓冲器1811中的先前核实区域。先前核实区域1634A(图16)是这种先前核实区域的示例。

[0133] 不匹配数据缓冲器1823存储不匹配的候选区域数据1823D，其对应于对在先道路图像的先前核实区域的缺乏匹配的最新道路图像的候选区域。道路图像1600B的区域1636B、1639B是这种不匹配候选区域的示例。道路图像1700B的区域1732B也是不匹配候选区域的示例。

[0134] 数据缓冲器1831存储对应于ND个在先道路图像的先前核实区域数据1831D，其例如包含对应于在先道路图像1600A的先前核实区域1631A、1632A的数据，以及在道路图像1600A之前的道路图像中对应于车道标记1621、1622的先前核实区域的数据。参数ND例如是
5，或者可以对应于代表图像拍摄的时间间隔的在先道路图像的个数以使得参数ND取决于车辆180的速度。

[0135] 存储器1800也可以包含新核实的数据缓冲器1841，其包含新核实的区域数据1841D。新核实的区域数据1841D对应于存储为候选区域数据1812D的候选区域，候选区域数据1812D包含道路181上的车道标记的图像。当照相机120拍摄道路图像1600B后拍摄道路图像1600时，新核实的区域数据1841D的至少一部分存储为先前核实区域数据1811D。

[0136] 图19是示出在道路图像的时序序列中的最新道路图像内将候选区域验证为道路上的车道标记的图像的示例性的方法1900的流程图，该道路图像是从沿着道路行驶的车辆的前方拍摄的。方法1900例如是在车道偏离警告系统100的一个或多个方面内实施的。例如，方法1900由图像处理器240执行软件220的计算机可读指令而实施。图16至19最好与下述说明一起查看。

[0137] 步骤1910是可选的。在可选的步骤1910中，方法1900处理最新的道路图像来识别候选区域。步骤1910例如与方法1000的步骤1010相同。候选区域可以存储为最新图像数据缓冲器1812内的候选区域数据1812D。在步骤1910的示例中，标记候选识别器222识别最新的道路图像1600B内的候选区域1631B、1632B、1636B、1638B、1639B。

[0138] 步骤1920是可选的。在可选的步骤1920中，方法1900确定以下至少一项：

[0139] (a)候选区域是否对应于序列中的先前拍摄的道路图像的先前核实区域，以及[0140] (b)候选区域是否对应于序列中的先前拍摄的道路图像的先前拒绝区域。

[0141] 在步骤1920的第一示例中，如图16C以及所对应的文本所述，车道核实器228确定候选区域1631B对应于先前核实区域1631A。在步骤1920的第二示例中，车道核实器228确定候选区域1639B不对应于在先道路图像1600A的先前核实区域。在步骤1920的第三示例中，车道核实器228确定候选区域1639B既不对应于在先道路图像1600A的先前核实区域(例如区域1631A、1632A)也不对应于在先道路图像1600A的先前拒绝区域。

[0142] 步骤1931是可选的。在步骤1931中，当候选区域对应于先前核实区域时，方法1900将候选区域存储为已核实区域。在步骤1931的示例中，由于候选区域1631B对应于道路图像1600A的先前核实区域1631A，系统100将候选区域1631B存储在新核实的数据缓冲器1841中。

[0143] 步骤1932是可选的。在步骤1932中，当候选区域对应于先前拒绝区域时，方法1900将候选区域存储为拒绝区域。在步骤1932的示例中，由于其对应于道路图像1600A的先前拒绝区域1638A，系统100将候选区域1638B存储在拒绝数据缓冲器1813中。

[0144] 当没有先前核实区域且没有先前拒绝区域与候选区域一致时，方法1900包含步骤1940、1951、1952。在步骤1940中，方法1900确定候选区域和序列中的先前拍摄的道路图像的先前核实区域之间的最小距离。在步骤1940的第一示例中，车道核实器228确定候选区域
1636B和先前核实区域1631A、1632A之间的最小距离(距离1651)。在步骤1940的第二示例中，车道核实器228确定候选区域1732B和先前核实区域1731B、1733B之间的小距离(距离
1749L和距离1749R之一)。在步骤1940的第三示例中，车道核实器228确定候选区域1639B和先前核实区域1631A、1632A之间的最小距离(距离1649R)。

[0145] 在步骤1951中，当最小距离超过阈值距离时，方法1900将候选区域存储为已核实区域。在步骤1951的示例中，由于距离1651超过阈值距离δ·w16，因此系统100将候选区域1636B存储在新核实的数据缓冲器1841中。在步骤1951的第二示例中，由于距离1749L和距离1749R超过阈值距离δ·w17，因此系统100将候选区域1732B存储在新核实的数据缓冲器
1841中。

[0146] 在步骤1952中，当最小距离小于阈值距离时，方法1900将候选区域存储为拒绝区域。在步骤1952的示例中，由于距离1649L和距离1649R的最小值小于阈值距离δ·w16，因此系统100将候选区域1639B存储在拒绝数据缓冲器1813中。

[0147] 图20是示出方法2000的流程图，其是方法1900的示例。方法2000例如是在车道偏离警告系统100的一个或多个方面内实施的。例如，方法2000是通过图像处理器240执行软件220的计算机可读指令而实施的。方法2000包含步骤1910、2020、2040。步骤2020、2040分别是步骤1920、1930的示例。步骤1910在前文方法1900的内容中被描述。

[0148] 步骤2020类似于方法1900的步骤1920，并包含步骤2021、2025，它们都是判定步骤。如果在步骤2021中方法2000确定候选区域对应于序列中的先前拍摄的道路图像的先前核实区域，则方法2000继续步骤1931、2023；否则，方法2000继续步骤2024、2025。先前核实区域可以(例如作为在先图像数据缓冲器1811内的先前核实区域数据1811D)存储在在先图像数据缓冲器中。步骤2025可以在步骤2021之前，而不脱离本申请的范围。

[0149] 在步骤2021的示例中，车道核实器228确定候选区域1631B对应于先前核实区域1631A，并且方法2000继续进行步骤1931和2023。步骤1931在方法1900的内容中被描述。

[0150] 在步骤2023中，方法2000将对应于先前核实区域的候选区域存储到匹配数据缓冲器中。在步骤2023的示例中，系统100将候选区域1631B、1632B存储到匹配数据缓冲器1821中来作为匹配候选区域数据1821D。在步骤2023中，系统100可以等效地将先前核实区域1631A、1632A存储到匹配缓冲器1821中，作为匹配候选区域数据1821D的一部分。

[0151] 在步骤2020的第二示例中，车道核实器228确定候选区域1638B、1639B不对应于在先道路图像1600A的先前核实区域，并且方法2000继续步骤2024、2025。

[0152] 在步骤2024中，方法2000将候选区域存储到不匹配数据缓冲器中。在步骤2024的示例中，系统100将候选区域1638B、1639B存储到不匹配数据缓冲器1823来作为数据1823D。

[0153] 如果在步骤2025中，方法2000确定候选区域对应于序列中的先前拍摄的道路图像的先前拒绝区域，则方法2000步骤1932、2027；否则，方法2000继续步骤2040。先前拒绝区域例如存储在数据缓冲器中，例如拒绝数据缓冲器1813。

[0154] 在步骤2025的第一示例中，车道核实器228确定候选区域1638B对应于在先道路图像1600A的先前拒绝区域1638A，并且方法2000继续步骤1932和可选地继续步骤2027。步骤1932在方法1900的内容中被描述。

[0155] 在可选的步骤2027中，方法2000从不匹配数据缓冲器中删除候选区域。在步骤2027的示例中，系统100从不匹配数据缓冲器1823中删除候选区域1638B。

[0156] 在步骤2025的第二示例中，车道核实器228确定候选区域1639B不对应于在先道路图像1600A的先前拒绝区域，并且，方法2000继续步骤2040。

[0157] 步骤2040是判定步骤并且类似于方法1900的步骤1940。如果在步骤2040中，方法2000确定(i)候选区域和(ii)序列中的先前拍摄的道路图像的先前核实区域之间的最小距离超过阈值距离，则方法2000继续步骤1951；否则，方法2000继续步骤1952。

[0158] 在步骤2040的示例中，车道核实器228确定候选区域1639B和先前核实区域1631A、1632A之间的最小距离(距离1649R)小于阈值距离0.7w16。在该示例中，方法2000继续步骤
1952，其中，由于距离1649L和距离1649R的最小值小于阈值距离δ·w16，因此系统100将候选区域1639B存储在拒绝数据缓冲器1813中。

[0159] 在步骤2040的第二示例中，车道核实器228确定候选区域1636B和先前核实区域1631A、1632A之间的最小距离(距离1651)超过阈值距离δ·w16。在该示例中，方法2000继续步骤1951，其中，系统100将候选区域1636B存储在新核实的数据缓冲器1841中。

[0160] 在步骤2040的第三示例中，车道核实器228确定候选区域1732B和先前核实区域1731B、1733B之间的最小距离(距离1749L和距离1749R之一)超过阈值距离δ·w17。在该示例中，方法2000继续步骤1951，其中，系统100将候选区域1732B存储在新核实的数据缓冲器
1841中。

[0161] 特征的组合。

[0162] 在不脱离本发明的范围的情况下，上述特征以及下文中要求保护的特征可以以各种各样的方式组合。下述示例示出了一些可能的非限制性的组合。

[0163] “(A1)”表示用于将候选区域验证为包含道路上的车道标记的图像的方法。该候选区域是在从沿着道路行驶的车辆的前方拍摄的道路图像的时序序列中的最新的道路图像内被识别的。在没有先前核实区域且没有先前拒绝区域与候选区域一致时，方法(A1)确定候选区域和序列中的先前拍摄的道路图像的先前核实区域之间的最小距离。当最小距离超过阈值距离，方法(A1)将候选区域存储为已核实区域。当最小距离小于阈值距离时，方法(A1)将候选区域存储为拒绝区域。

[0164] (A2)由(A1)表示的方法可以进一步包含当候选区域对应于先前核实区域时，将候选区域存储为已核实区域。

[0165] (A3)由(A1)和(A2)中的一个表示的任何方法可以进一步包含当候选区域对应于先前拒绝区域时，将候选区域存储为拒绝区域。

[0166] (A4)由(A1)至(A3)中的一个表示的任何方法可以进一步包含处理最新的道路图像来识别候选区域并且确定(d1)候选区域是否对应于序列中的先前拍摄的道路图像的先前核实区域和(d2)候选区域是否对应于序列中的先前拍摄的道路图像的先前拒绝区域中的至少一项。

[0167] (A5)在由(A4)表示的任何方法中，处理步骤可以包含：(a)在最新的道路图像内识别脊特征来生成脊特征图像；和(b)识别多根线，其中每根线至少部分地重叠脊特征。

[0168] (A6)在(A5)表示的任何方法中，处理步骤可以进一步包含将多根线结合来识别候选区域。

[0169] (A7)在(A6)表示的任何方法中，结合步骤可以包含：在具有多个像素(每一个所述像素具有(i)相同的像素值和(ii)空白图像中的像素坐标)的空白图像中，

[0170] (a)改变多个车道候选像素的像素值，每一个所述车道候选像素具有各自的与多根线中的一根线相对应的像素坐标；以及

[0171] (b)在多个车道候选像素上执行形态算子。

[0172] (A8)在由(A5)至(A7)中的一个表示的任何方法中，识别脊特征的步骤可以包含：对于最新的道路图像的多个位置的每一个，(i)部分地基于表示完全位于所述位置的左侧的第一图像区域的第一图像亮度而计算第一水平图像梯度、(ii)部分地基于表示完全位于所述位置的右侧的第二图像区域的第二图像亮度而计算第二水平图像梯度、以及(iii)基于第一水平图像梯度和第二水平图像梯度确定所述位置是否是脊特征的一部分。

[0173] (A9)在由(A8)表示的任何方法中，识别步骤可以进一步包含基于所述位置的垂直位置确定(a)第一图像区域、(b)第二图像区域以及(c)脊特征中的至少一个的水平宽度。

[0174] (A10)在由(A8)和(A9)中的一个表示的任何方法中，识别步骤可以进一步包含将连续阈值操作应用于脊特征图像来拒绝不对应于车道标记的脊特征。

[0175] (A11)在由(A5)至(A10)中的一个表示的任何方法中(其中，最新的道路图像包含具有近子区域的车道存在区域，所述近子区域包含更接近车辆的成像道路区域)，多根线中的一根线可以拟合于对应于候选区域的脊特征图像的多个近控制点，所述近控制点在脊特征图像的第二近子区域中，所述脊特征图像的第二近子区域对应于最新的道路图像的近子区域。

[0176] (A12)由(A1)至(A11)中的一个表示的任何方法可以进一步包含：当最小距离小于阈值距离，(i)将候选区域存储为拒绝区域和(ii)将候选区域存储到数据缓冲器中，所述数据缓冲器也包含道路图像的时序序列中的一个或多个先前拒绝区域。

[0177] “(B1)”表示用于在道路图像的时序序列中的最新的道路图像内确定精炼的消失点估计的方法。每一个道路图像是从沿着道路行驶的车辆的前方拍摄的。对于时序序列中的每一个道路图像，方法(B1)包含下述步骤：

[0178] (a)将第一线拟合于与道路上的第一车道标记相对应的最新的道路图像的第一区域；

[0179] (b)将第二线拟合于与道路上的第二车道标记相对应的最新的道路图像的第二区域；

[0180] (c)确定第一区域和第二区域之间的车道标记间距；

[0181] (d)将消失点候选识别为第一线与第二线的交叉点；

[0182] (e)确定消失点候选和先前确定的消失点估计之间的距离；

[0183] (f)当(1)车道标记间距在基于先前确定的车道标记间距而预先确定的间距内并且(2)距离小于阈值距离时，将消失点候选存储为消失点估计；以及

[0184] (g)将对应于消失点估计的坐标存储在存储器中。

[0185] 方法(B1)也包含将精炼的消失点估计确定为已存储的消失点估计的统计平均值的步骤和将先前确定的消失点估计设定为等于精炼的消失点估计的步骤。

[0186] (B2)由(B1)表示的方法可以进一步包含下述步骤：对于所述序列中的每一个道路图像，(i)将车道标记间距存储在存储器中、(ii)将精炼的车道标记间距确定为与道路图像的时序序列相对应的已存储的车道标记间距的统计平均值以及(iii)将先前确定的消失点估计设定为等于精炼的车道标记间距。

[0187] “(C1)”表示用于将候选区域验证为包含道路上的车道标记的图像的车道偏离警告系统。所述候选区域是在从沿着道路行驶的车辆的前方拍摄的道路图像的时序序列中的最新的道路图像内被识别的。所述系统包含存储器和图像处理器。所述存储器存储非暂时性计算机可读指令且适合于存储道路图像。当没有先前核实区域且没有先前拒绝区域与候选区域一致时，所述图像处理器适合于执行指令来：(i)确定候选区域和序列中的先前拍摄的道路图像的先前核实区域之间的最小距离、(ii)当最小距离超过阈值距离时，将候选区域存储为已核实区域以及(iii)当最小距离小于阈值距离时，将候选区域存储为拒绝区域。

[0188] (C2)在由(C1)表示的车道偏离警告系统中，当候选区域对应于先前核实区域时，图像处理器可以进一步适合于执行指令来将候选区域存储为已核实区域。

[0189] (C3)在由(C1)和(C2)中的一个表示的任何车道偏离警告系统中，当候选区域对应于先前拒绝区域时，图像处理器可以进一步适合于执行指令来将候选区域存储为拒绝区域。

[0190] (C4)在由(C1)至(C3)中的一个表示任何车道偏离警告系统中，图像处理器可以进一步适合于处理最新的道路图像来识别候选区域并且确定(d1)候选区域是否对应于序列中的先前拍摄的道路图像的先前核实区域和(d2)候选区域是否对应于序列中的先前拍摄的道路图像的先前拒绝区域中的至少一项。

[0191] “(D1)”表示用于在从沿着道路行驶的车辆的前方拍摄的道路图像的时序序列中的最新的道路图像内确定精炼的消失点估计的车道偏离警告系统。所述系统包含存储器和图像处理器。所述存储器存储非暂时性计算机可读指令并适合于存储道路图像。所述图像处理器适合于对于时序序列中的每一个道路图像执行指令来执行由(B1)表示的方法的步骤(a)至(g)。所述图像处理器也适合于执行指令来(i)将精炼的消失点估计确定为已存储的消失点估计的统计平均值和(ii)将先前确定的消失点估计设定为等于精炼的消失点估计。

[0192] (D2)在由(D1)表示的方法中，对于时序序列中的每一个道路图像，图像处理器可以进一步适合于执行指令来：将车道标记间距存储在存储器中；将精炼的车道标记间距确定为与道路图像的时序序列相对应的已存储的车道标记间距的平均值；以及将先前确定的消失点估计设定为等于精炼的车道标记间距。

[0193] 在不脱离本发明范围的情况下，可以在上述方法和系统中进行改变。因此，应当注意，上述描述中所包含的内容或附图中所示的内容应被解释为说明性的而不是限制性的。以下的技术方案旨在涵盖本文所述的所有通用和特定特征，以及本方法和本系统的范围内的所有叙述，由于语言表述的问题，在其间也可以被称为在保护范围内。

标题	发布/更新时间	阅读量
用于将电动车辆连接到电力网络的装置和系统及使用方法	2020-05-08	424
一种智能网联交通系统的固定路径服务系统	2020-05-08	581
一种车辆信息投影的多场景应用方法及系统	2020-05-11	658
车道偏离警告系统和与其相关联的方法	2020-05-11	175
一种智能安防入侵检测系统	2020-05-12	721
基于组网监控的变电站周界侵的智能识别系统及方法	2020-05-12	118
密集人群应急疏散方法	2020-05-08	840
能够防止对目标造成非故意X射线辐射的医学成像系统	2020-05-08	77
无人店铺系统及服务器	2020-05-08	779
多感官主动巡检机器人装置及其控制方法	2020-05-13	393

车道偏离警告系统和与其相关联的方法

车道偏离警告系统和与其相关联的方法

背景技术

具体实施方式

该功能需要专业版企业版VIP权限，您可以：