检测道路边界的设备和方法
阅读：671发布：2023-03-09
专利汇可以提供检测道路边界的设备和方法专利检索，专利查询，专利分析的服务。并且本 发明 提供一种检测道路边界的设备和方法，所述设备具有：摄像装置，用于拍摄车辆前方的图像；图像 存储器 ，其连接到所述摄像装置，用于存储图像；以及控制单元，其连接到所述图像存储器。所述道路边界检测设备还具有可在所述控制单元上执行的程序，所述程序用于：计算由所述摄像装置所拍摄的连续图像的 像素 的速度信息；基于像素的速度信息，检测具有速度成分的像素沿纵向连续存在的区域中的最低点 位置 ；以及判断连接所述最低点位置的直线是否是道路边界。，下面是检测道路边界的设备和方法专利的具体信息内容。
1.一种道路边界检测设备，其包括：
摄像装置，用于拍摄车辆前方的图像；
图像存储器，其连接到所述摄像装置，用于存储图像；
控制单元，其连接到所述图像存储器，用于：
计算由所述摄像装置拍摄的连续图像的像素的速度信息；
基于所述像素的速度信息，检测具有速度成分的像素沿所拍摄的图像的上下方向连续存在的区域中的最低点位置；以及
判断连接所述最低点位置的直线是否是道路边界。
2.根据权利要求1所述的道路边界检测设备，其特征在于，所述控制单元还用于：
将所述最低点位置转换为实际空间中的三维位置，并计算转换后的最低位置的位置分布；
基于所述转换后的最低位置的位置分布，从图像中提取具有道路边界的可能性高的区域；以及
基于所提取的区域，判断连接最低点位置的直线是否是道路边界。
3.根据权利要求2所述的道路边界检测设备，其特征在于，所述控制单元还通过假设全部的所述最低点位置位于路面上，使用所述摄像装置的摄像参数将所述最低点位置转换为三维位置。
4.根据权利要求2所述的道路边界检测设备，其特征在于，所述控制单元判断连接所提取的区域中的所述最低点位置的所述直线的梯度是否处于对每个区域所确定的预定范围内，从而判断连接每个区域中的所述最低点位置的所述直线是否是道路边界。
5.根据权利要求1所述的道路边界检测设备，其特征在于，所述道路边界包括白线、护栏、路缘、连接外墙和路面之间的接触点的直线、连接三维物体和路面之间的接触点的直线以及连接路面和田地的直线中的至少一种。
6.一种检测道路边界的方法，包括：
拍摄车辆前方的图像；
计算所拍摄的图像的每个像素的速度信息；
基于所述每个像素的速度信息，检测包括速度成分的像素沿所拍摄的图像的上下方向连续存在的区域中的最低点位置；以及
判断连接检测到的最低点位置的直线是否是车辆行驶的道路的道路边界。
7.一种检测道路边界的方法，包括以下步骤：
拍摄车辆前方的图像；
计算由摄像装置拍摄的连续图像的像素的速度信息；
基于所述像素的速度信息，检测具有速度成分的像素沿所拍摄的图像的上下方向连续存在的区域的最低点位置；以及
判断连接所述最低点位置的直线是否是道路边界。
8.根据权利要求7所述的检测道路边界的方法，其特征在于，还包括以下步骤：
将所述最低点位置转换为实际空间中的三维位置，并计算转换后的位置的位置分布；
基于所述位置分布，从图像中提取具有道路边界的可能性高的区域；以及基于所提取的区域，判断连接最低点位置的直线是否是道路边界。
9.根据权利要求8所述的检测道路边界的方法，其特征在于，还包括以下步骤：
通过假设全部的所述最低点位置位于路面上，使用摄像装置的摄像参数将所述最低点位置转换为三维位置。
10.根据权利要求8所述的检测道路边界的方法，其特征在于，还包括以下步骤：
判断连接所提取的区域中的所述最低点位置的所述直线的梯度是否处于对每个区域所确定的预定范围内，从而判断连接每个区域中的所述最低点位置的所述直线是否是道路边界。
11.根据权利要求7所述的检测道路边界的方法，其特征在于，所述道路边界包括白线、护栏、路缘、连接外墙和路面之间的接触点的直线、连接三维物体和路面之间的接触点的直线以及连接路面和田地的直线中的至少一种。
12.一种道路边界检测设备，其包括：
摄像部，其位于车辆上，用于拍摄车辆前方的图像，所述图像包括多个像素；
速度信息计算部，用于接收由所述摄像部拍摄的图像并计算图像的每个像素的速度信息；
最低点位置检测部，用于接收所述速度信息，并基于所述速度信息检测具有速度成分的像素沿相对于道路的纵向连续存在的区域中的最低点位置；以及
道路边界判断部，用于接收检测到的最低点位置，并判断连接所述最低点位置的直线是否是道路边界。
13.根据权利要求12所述的道路边界检测设备，其特征在于，还包括：
三维位置分布计算部，其中，所述三维位置分布计算部将由所述最低点位置检测部检测的所述最低点位置转换为实际空间的三维位置，并计算转换后的位置的位置分布；
道路边界区域提取部，其从图像中提取包括车辆行驶的道路的道路边界的可能性高的提取区域，其中，基于由所述三维位置分布计算部计算的所述位置分布进行所述提取；以及其中，所述道路边界判断部基于所提取的区域，判断连接由所述最低点位置检测部检测到的所述最低点位置的直线是否是由路面上的点形成的直线，以及所述直线的梯度是否与表示所述直线是车辆行驶的道路的道路边界的预定梯度相对应。
14.根据权利要求13所述的道路边界检测设备，其特征在于，所述三维位置分布计算部通过假设由所述最低点位置检测部检测到的全部的所述最低点位置位于路面上，使用所述摄像部的摄像机参数将所述最低点位置转换为三维位置。
15.根据权利要求13所述的道路边界检测设备，其特征在于，当连接所提取的区域中的所述最低点位置的所述直线的梯度处于由每个所提取的区域确定的预定范围内时，所述道路边界判断部判断为连接区域中存在的所述最低点位置的所述直线是车辆行驶的道路的道路边界。
16.根据权利要求12所述的道路边界检测设备，其特征在于，所述车辆行驶的道路的道路边界包括白线、护栏、路缘、连接外墙和路面之间的接触点的直线、连接三维物体和路面之间的接触点的直线以及连接路面和田地的直线中的至少一种。
检测道路边界的设备和方法
技术领域
[0001] 本发明一般涉及一种用于检测道路上的物体的道路边界检测设备，以及检测车辆正在行驶的道路的边界(boundary)的方法。
背景技术
[0002] 日本特开平10-214326A号公报公开了车辆的行驶控制设备。该行驶控制设备从图像检测边缘(edge)，从而通过Hough变换来变换对齐的边缘行以检测道路边界。对于每个道路边界的点的检测，Hough变换需要在参数空间内画一条曲线，并将曲线上的点的累积值相加。必须在形成道路边界的全部点处执行该处理。
[0003] 美国专利申请No.11/146,041(名称为“Motion DetectionApparatus and Motion Detection Method”)、名称为“MotionDetector and Motion Detection Method” 的日本专利申请2004-279394和名称为 “Apparatus and Methods for DetectingMotion”的日本专利申请2004-278250公开了用于检测和计算运动物体的速度信息的设备和方法。美国专利申请No.11/146,041、日本专利申请2004-279394和日本专利申请2004-278250的全部内容通过引用包括于此。
发明内容
[0004] 本发明的一个或多个实施例提供了能够简化检测道路边界中所需的处理的设备和方法。
[0005] 在本发明的一个或多个实施例中，一种道路边界检测设备，其包括：摄像装置，用于拍摄车辆前方的图像；图像存储器，其连接到所述摄像装置，用于存储图像；控制单元，其连接到所述图像存储。所述道路边界检测设备还包括可在所述控制单元上执行的程序，所述程序用于：计算由所述摄像装置拍摄的连续图像的像素的速度信息；基于所述像素的速度信息，检测具有速度成分的像素沿所拍摄的图像的上下方向连续存在的区域中的最低点位置；以及判断连接所述最低点位置的直线是否是道路边界。
[0006] 在本发明的一个或多个实施例中，一种检测道路边界的方法，包括以下步骤：拍摄车辆前方的图像；计算由摄像装置拍摄的连续图像的像素的速度信息；基于像素的速度信息，检测具有速度成分的像素沿所拍摄的图像的上下方向连续存在的区域中的最低点位置；以及判断连接最低点位置的直线是否是道路边界。
[0007] 在本发明的一个或多个实施例中，一种检测道路边界的方法，包括：拍摄车辆前方的图像；计算所拍摄的图像的每个像素的速度信息；基于每个像素的速度信息，检测包括速度成分的像素沿所拍摄的图像的上下方向连续存在的区域中的最低点位置；以及判断连接检测到的最低点位置的直线是否是车辆行驶的道路的道路边界。
[0008] 在本发明的一个或多个实施例中，一种检测道路边界的方法，包括：拍摄车辆前方的图像；计算所拍摄的图像的每个像素的速度信息；以及基于所计算的速度信息，判断由包括速度成分的像素形成的斜线是否是车辆行驶的道路的道路边界。
[0009] 在本发明的一个或多个实施例中，一种道路边界检测设备，其包括：摄像部，其位于车辆上，用于拍摄车辆前方的图像，所述图像包括多个像素；速度信息计算部，用于接收由摄像机拍摄的图像并计算图像的每个像素的速度信息；最低点检测部，用于接收所述速度信息，并基于如下内容检测图像的区域中的最低点位置：在检测到的最低点位置处，沿相对于道路的纵向连续存在速度成分；以及道路边界判断部，用于接收检测到的最低点位置，并判断是否可以画出连接多个所述最低点位置的直线，从而识别出最低点位置的连线表示道路边界。
[0010] 在本发明的一个或多个实施例中，一种道路边界检测设备，包括：摄像装置，用于拍摄车辆前方的图像；速度信息计算装置，用于计算由所述摄像装置拍摄的图像的每个像素的速度信息；最低点位置检测装置，用于基于所述每个像素的速度信息，检测具有速度成分的像素沿纵向连续存在的区域中的最低点位置；以及判断装置，用于判断连接所述最低点位置的直线是否是道路边界。
[0012] 图1是示出根据本发明的一个或多个实施例的道路边界检测设备的结构例的框图。
[0013] 图2示出根据本发明的一个或多个实施例在车辆中摄像机的设置例。
[0014] 图3示出根据本发明的一个或多个实施例由摄像机拍摄的图像的例子。
[0015] 图4A到图4 F示出根据本发明的一个或多个实施例为了通过规格化(normalize)所提取的边缘来获得边缘图像而执行的处理的例子。
[0016] 图5示出根据本发明的一个或多个实施例的速度图像的例子。
[0017] 图6示出根据本发明的一个或多个实施例在速度图像上设置用于检测道路边界的区域的例子。
[0018] 图7示出根据本发明的一个或多个实施例，用于判断设定X轴范围和Z轴范围的二维区域中的哪一个区域与所计算的三维坐标值相对应的处理的例子。
[0019] 图8示出根据本发明的一个或多个实施例用于计算最低点位置的三维位置分布的处理的例子。
[0020] 图9示出根据本发明的一个或多个实施例用于执行关于表示道路边界的直线是否在各区域中存在的判断的处理的例子。
[0021] 图10是示出根据本发明的一个或多个实施例的道路边界检测设备的处理的流程图。
具体实施方式
[0022] 下面通过参考附图说明本发明的典型实施例。图中类似的项目以相同的附图标记示出。此外，在图中使用的“S”等同于以下详细说明中使用的“步骤”。
[0023] 在本发明的实施例中，为了提供对本发明更加清晰的理解，列出了许多具体的细节。然而，对于本领域的技术人员来说，非常明显，没有这些具体的细节，本发明也可以实施。在其它情况下，没有详细说明众所周知的特征，以避免使本发明模糊。
[0024] 图1是示出根据本发明的一个或多个实施例的道路边界检测设备的结构例的框图。道路边界检测设备100安装在车辆上。道路边界检测设备100包括：摄像机101，用于拍摄车辆前方的图像；图像存储器102，用于存储由摄像机101所拍摄的图像；控制单元103，用于对由摄像机101所拍摄并存储在图像存储器102中的图像执行图像处理；以及存储器104，用于存储后面详细说明的像素计数器的计数值。
[0025] 摄像机101是包括例如CCD和CMOS等摄像元件的摄像机。摄像机101连续地拍摄车辆前方的图像，并将它们的每一帧输出到图像存储器102。如图2所示，摄像机101安装在车辆的乘客厢中的前部的上方。更具体地，安装摄像机101使得光轴Z朝向车辆前方的正面方向，摄像面的水平轴X平行于地面，摄像面的垂直轴Y垂直于地面。由摄像机101所拍摄的连续图像输出到图像存储器102，并存储在那里。
[0026] 图3示出根据本发明的一个或多个实施例由摄像机101拍摄的图像的例子。由摄像机101拍摄的图像3a由x-y坐标系(摄像机坐标)表示，在该坐标系中，图像的左上角为原点，x轴从左向右延伸，y轴从上向下延伸。在图3中，所拍摄的图像3a包括道路的边缘(道路边界)A、B和C，例如设置在道路的右侧或左侧的路缘、白线、护栏、外墙、停放的车辆等。
[0027] 如后所述，控制单元103通过对存储在图像存储器102中的所拍摄的图像3a执行图像处理，执行在所拍摄的图像3a中的道路边界的检测。为了执行在所拍摄的图像3a中的道路边界的检测，首先检测图像3a中的物体沿横向的移动速度，然后生成使用等级(grade)值(级别标记，class mark)表示的所拍摄的图像3a中的物体沿横向的移动方向和移动速度的速度图像。
[0028] 更具体地，通过从图像存储器102读取由摄像机101拍摄的图像，并通过对所读取的图像3a使用预定的阈值二值化图像，提取图像中的物体的边缘。通过对图像中所提取的每个边缘执行细线化处理，精确地获得边缘的中心。扩展被细线化的边缘，从而使其具有恒定的宽度，例如，3个像素。通过规格化所提取的边缘，可以获得每个边缘具有相等的宽度的边缘图像。
[0029] 图4A到图4F示出根据本发明的一个或多个实施例为了通过规格化上述所提取的边缘来获得边缘图像而执行的处理的例子。首先对于边缘图像执行二值化处理。二值化处理是一种将检测到边缘的位置(“检测到边缘的位置”)的像素设置为1，将未检测到边缘的位置(“未检测到边缘的位置”)的像素设置为0的处理。通过执行二值化处理，产生图4A所示的二值化图像。
[0030] 然后在所产生的二值化图像中执行细线化处理。细线化处理是将所检测到的边缘的边缘宽度按比例缩减直到达到预定的像素宽度的处理。在图4B中，执行细线化，直到边缘的边缘宽度变为1个像素的预定宽度。通过细线化边缘直到边缘宽度变为预定数量的像素，确定作为边缘的中心的中心位置。本领域的技术人员可知，尽管以将边缘细线化为一个像素宽度的情况作为例子示出，但是其可以细线化为任意数量的像素。
[0031] 然后执行用于扩展细线化边缘的边缘宽度的扩展处理。扩展处理是这样一种处理，即从由细线化处理所确定的中心位置向着边缘的移动方向扩展边缘宽度，以及从中心位置向着边缘的移动方向的相反方向扩展边缘宽度的处理。
[0032] 例如，在图4C中，通过从边缘的中心位置x0向移动方向(x轴的正方向)扩展细线化的边缘1个像素，以及从边缘的中心位置x0向移动方向的相反方向(x轴的负方向)扩展细线化的边缘1个像素，将边缘宽度扩展到3个像素。
[0033] 通过执行上述细线化处理和扩展处理，所提取的边缘图像的边缘宽度沿着边缘的移动方向统一地规格化到预定的宽度。
[0034] 然后对于具有规格化边缘宽度的边缘执行向上计数处理。向上计数处理是将在检测到边缘的位置的存储器地址处的值向上计数，将在未检测到边缘的位置的存储器地址处的值复位的处理。
[0035] 现在通过参考图4C到4F说明边缘的向上计数处理。为了简化说明，假设边缘沿着x轴的正向移动。可以类似地说明边缘沿着x轴的负向、y轴方向或二维方向移动的情况。
[0036] 如图4C所示，在帧中，边缘具有位于位置x0处的中心位置，从中心位置沿着边缘的移动方向扩展一个像素到位置x0+1，并从中心位置沿着与边缘的移动方向相反的方向扩展一个像素到位置x0-1。
[0037] 在这种情况下，检测到边缘的位置x0-1、x0和x0+1的计数值向上计数1，未检测到边缘的位置的计数值复位。例如，在图4D中，由于在时刻t在位置x0-1、x0和x0+1检测到边缘，在每个位置向上计数计数值。因此位置x0+1的计数值为1，位置x0的计数值为3，位置x0-1的计数值为5。由于如图4E所示在时刻t+1边缘不移动，因此在位置x0-1、x0和x0+1中的每个检测到边缘，位置x0-1、x0和x0+1的计数值中的每一个向上计数1。因此，位置x0+1的计数值变为2，位置x0的计数值变为4，位置x0-1的计数值变为6。
[0038] 此外，如图4F所示，在时刻t+2边缘沿着x轴的正向移动一个像素，因此在位置x0、x0+1和x0+2检测到边缘。因此，在检测到边缘的位置x0、x0+1和x0+2的计数值向上计数，在未检测到边缘的位置x0-1的计数值复位。结果，如图4F所示，位置x0+2的计数值变为1，位置x0+1的计数值变为3，位置x0的计数值变为5。此外，未检测到边缘的位置x0-1的计数值复位，因此变为0。这样，检测到边缘的位置的计数值向上计数，未检测到边缘的位置的计数值复位。
[0039] 在图4A到4F中，尽管在边缘的中心位置(x0)、从中心位置沿边缘移动方向偏移一个像素的位置(x0+1)和从中心位置沿与边缘移动方向相反的方向偏移一个像素的位置(x0-1)的三个位置检测计数值，但是只要能获得后述计数值的梯度，可以在沿着边缘移动方向的两个或多个的任意数量的位置检测计数值。
[0040] 如果与边缘移动速度相比，帧速设为足够高的值，则在连续的帧中边缘在相同的位置被检测到多次。例如，在图4A到4F的例子中，在位置x0，在时刻t和时刻t+1，两次检测到边缘。因此，当在检测到边缘的位置计数值计数时，计数值与时间(帧数)相等。具体地，边缘的计数值中的最小计数值h表示边缘被移动时，在相同位置存在边缘的帧数。
[0041] 接下来，计算移动速度、移动方向和边缘的位置。
[0042] 首先，计算沿移动方向的计数值的梯度。基于该梯度，计算移动速度、移动方向和边缘位置。例如，在图4 E中，位置x0-1、x0和x0+1的计数值分别为6、4和2。因此，通过从位置x0-1的计数值6减去位置x0+1的计数值2，计算出计数值的梯度，为H＝(6-2)＝4。由于此处，H＝{(从边缘移动到位置x0-1的时刻到当前时刻所经过的时间段)-(在边缘移动到位置x0+1之后所经过的时间段)}，因此计算出边缘通过位置x0的像素所需的时间段(帧数)。因此，获得计数值的梯度H就是获得边缘通过一个像素所需的帧数，因此，基于计数值的梯度H，可以计算出边缘的移动速度1/H。
[0043] 图4E示出移动一个像素需要4帧，因此，计算出边缘的移动速度为1/4(像素每帧)。类似地，在图4F中，同样得到H＝(5-1)＝4，因此，边缘的移动速度是1/4(像素每帧)。
[0044] 根据计数值的大小判断边缘的移动方向。在边缘移动后新检测到边缘的位置的计数值为1，其为各位置的计数值中最小的。因此，在沿边缘移动的方向(“边缘移动方向”)侧的位置的计数值小，在沿与边缘移动方向相反的方向侧的计数值大。从这里，可以判断边缘的移动方向。
[0045] 此外，如果与边缘的移动速度相比，帧速设为足够高的值，则可以假设所检测的物体以恒定的速度移动。当前位置的计数值中的最小计数值h表示在相同位置检测到边缘的时间量，或在边缘移动后，边缘在相同的位置停留多少帧。
[0046] 由于以上原因，当边缘的中心位置确定为x0时，边缘位置如下获得：
[0047] 边缘位置＝x0+h/H。
[0048] 例如，在图4E中，边缘的速度是1/4(像素/帧)。由于在时刻t+1在相同的位置连续2帧检测到边缘，在时刻t+1边缘从位置x0移动的大小可如下计算：
[0049] [0.5像素＝2(帧)×1/4(像素/帧)]。
[0050] 根据以上，可以将检测到边缘的位置的计数值向上计数，并基于向上计数的计数值的梯度计算边缘的移动速度和移动方向。
[0051] 产生速度图像，其中通过以上处理计算的所拍摄的图像3a中的物体的速度信息由预定的级别标记表示。在一个或多个实施例中，在速度图像5a中，在检测到速度成分处的像素由圆表示，如图5所示。圆作为速度信息的级别标记，其中，随着像素的移动速度变得更高，圆变得更大。此外，通过将朝向右手侧的速度表示为黑色的圆，将朝向左手侧的速度表示为白色的圆来表示移动方向。即，在图5中，从位于道路的右手侧的道路边界B和C检测到朝向图像的右手侧的速度，从位于道路的左手侧的外墙A检测到朝向图像的左手侧的速度。
[0052] 接下来，为了在所计算的速度图像5a中检测道路边界，建立一个或多个道路边界检测区域。更具体地，如图6所示，通过在速度图像5a上设定多个矩形区域，将速度图像划分为分别设定的矩形区域。对于每个矩形区域，检测速度图像5a中形成道路边界的点。
[0053] 将形成道路边界的点检测为位于具有速度成分的像素连续存在的矩形区域的最低部分的点(“最低点”)。因此，从图像的下部向图像的上部扫描每个矩形区域。如果在矩形区域中，具有速度成分的像素连续出现至少阈值T1，则判断为形成道路边界的物体存在，并检测其最低点。为了方便本实施例的处理，对于每个矩形区域，检测形成道路边界的点，即，包括最低点的线。换言之，当包括具有速度成分的像素的线连续存在至少预定的阈值T1时，判断为存在形成道路边界的物体。从而，检测到具有最低点的位置。通过该处理，检测到图6中的最低点位置B11到B110。
[0054] 接下来，在包含每个矩形区域中检测到的最低点的线B11到B110中，将矩形区域的宽度中心点的X坐标确定为每条线的最低点的X坐标，计算坐标值Bp1到Bp10，作为各最低点的代表坐标值。基于所计算的各线中的最低点的X坐标值Bp1到Bp10和摄像机101的摄像机参数，通过三角法计算位于实际空间中并与各最低点相对应的三维坐标值RB1到RB10。此处，基于全部的最低点位置在路面上的假设，计算三维坐标值。
[0055] 然后判断由图7所示的X轴范围和Z轴范围所设定的二维区域中的哪一个与所计算的三维坐标值RB1到RB10相对应。例如，沿X轴方向，设定如下的8个区域：小于-5.25m的区域、在-5.25m和-3.5m之间的区域、在-3.5m和-1.75m之间的区域、在-1.75m和0m之间的区域、在0m和1.75m之间的区域、在1.75m和3.5m之间的区域、在3.5m和5.25m之间的区域以及大于或等于5.25m的区域。沿Z轴方向，设定如下的5个区域：0m到10m、10m到20m、20m到30m、30m到40m和40m到50m。因此，设定了8×5个二维区域，这些区域根据沿X轴方向和Z轴方向所确定的区域来划分。所设定的区域可以按米(meter)有效地确定。
[0056] 在8×5个二维区域中，给出了用于辨别区域的名称，每个区域由使用列(X轴区域)i和行(Z轴区域)j的区域ij表示。例如，如图7所示，在第一列和第一行的区域表示为区域11，在第一列和第二行的区域表示为区域12，在第二列和第一行的区域表示为区域21。此外，具有列中的每个区域的区域表示为区域i0，具有行中的每个区域的区域表示为区域0j。例如，在图7所示的例子中，包括第4列中每个区域的区域表示为区域40。
[0057] 如果在8×5个区域中的一个中包括由上述处理所计算的最低点位置的三维坐标，则包括最低点位置的区域的计数值增加1，计算最低点位置的三维位置分布。例如，由于在图7所示的区域33中包括图8所示的最低点的坐标值Bp1，因此区域33的计数值增加1。类似地，由于在区域32中包括最低点的坐标值Bp3，在区域31中包括最低点的坐标值Bp4，因此各区域的计数值分别增加1。由于在图7所示的任何区域中均未包括图8中的最低点的坐标值Bp2，因此其计数值不增加。
[0058] 图9示出作为对于8×5个区域中的每一个的计数值增加处理的结果所获得的最低点位置的三维位置分布的例子。控制单元103基于图9所示的最低点位置的三维位置分布，提取存在道路边界的可能性高的区域作为道路边界区域。即，在三维位置分布中，提取在具有相同的X轴区域的多个Z轴区域中具有计数值的列作为道路边界区域，其中存在表示道路边界的直线。在图9所示的例子中，由于在区域30、50和80中的每一个的多个Z轴区域中存在计数值，因此提取区域30、50和80作为道路边界区域。
[0059] 接下来，对于作为道路边界区域所提取的每个区域，判断在每个所提取的道路边界区域中是否存在表示道路边界的直线。更具体地，基于在每个道路边界区域中的最低点位置(最低点的坐标值)，通过在x-y坐标系中执行回归分析来计算直线的梯度。在图9所示的例子中，在区域30中，基于最低点的坐标值Bp1、Bp3和Bp4通过在x-y坐标系中执行回归分析来计算直线的梯度a3。在区域50和区域80中，类似地计算各道路边界区域的梯度a5和a8。如果所计算的梯度在预定的范围内，则判断为在所提取的道路边界区域中存在表示道路边界的直线。
[0060] 即，如果基于上述最低点的坐标值所计算的梯度在由梯度Tn0a1和梯度Tn0a2所设定的范围内，则判断为在所提取的道路边界区域中存在表示道路边界的直线Ln。此处，通过将X轴区域的左端坐标和每个Z轴区域的代表坐标变换到x-y坐标系中并执行关于其的回归分析来计算Tn0a1，通过将X轴区域的右端坐标和每个Z轴区域的代表坐标变换到x-y坐标系中并执行关于其的回归分析来计算Tn0a2。此处，使用Z轴区域中Z坐标范围的中心值作为Z轴区域的代表坐标。通过对全部的所提取的道路边界区域执行该处理，可以检测在速度图像5a中表示全部道路边界的直线。
[0061] 在图9所示的例子中，在所提取的道路边界区域30中，通过将坐标(X，Z)＝(-3.5，45)、(-3.5，35)、(-3.5，25)、(-3.5，15)和(-3.5，5)变换为x-y坐标并执行关于其的回归分析来计算梯度T30a1。此外，通过将坐标(X，Z)＝(-1.75，45)、(-1.75，35)、(-1.75，25)、(-1.75，15)和(-1.75，5)变换为x-y坐标并执行关于其的回归分析来计算梯度T30a2。然后判断所计算的梯度a3在由T30a1和T30a2所设定的范围内是否存在。
[0062] 如果梯度a3在由T30a1和T30a2所设定的范围内存在，则判断为在所提取的道路边界区域30中存在表示道路边界的直线L3。类似地，在所提取的道路边界区域50的情况下，如果梯度a5在由T50a1和T50a2所设定的范围内存在，则判断为在所提取的道路边界区域50中存在直线L5。在所提取的道路边界区域80的情况下，如果梯度a8在由T80a1和T80a2所设定的范围内存在，则判断为在所提取的道路边界区域80中存在直线L8。
[0063] 通过该处理，当判断为在道路边界区域(区域30，50，80)中存在直线时，通过识别出在摄像机101所拍摄的图像中的直线是道路边界，可以从由摄像机101所拍摄的图像检测道路边界。
[0064] 图10是示出根据本发明的一个或多个实施例的道路边界检测设备的处理的流程图。在图10中示出的处理可作为程序执行，该程序包括当未在此处示出的点火开关打开时由控制单元103开始的步骤S1～S10。例如，这样的程序可以包括在用于存储可由设备、控制单元和/或CPU执行的指令的存储器装置中。
[0065] 在步骤S1，从图像存储器102获得由摄像机101所拍摄的车辆前方的图像。在步骤S2，通过执行图像的边缘提取处理产生通过提取所拍摄的图像中的物体的轮廓所获得的边缘图像。在步骤S3，如上所述计算包括在每个像素中的边缘的速度信息，通过将所计算的速度信息转换为预定的级别标记来计算速度图像5a。
[0066] 在步骤S4，在所计算的图像5a上确定用于检测最低点位置的矩形区域。在步骤S5，通过在每个矩形区域内从下部向上部扫描图像并通过判断含有具有速度成分的像素的线是否连续存在来检测最低点位置。
[0067] 在步骤S6，通过获得所检测的最低点位置的代表坐标值Bp1到Bp10，并通过假设这些点在路面上存在，使用摄像机101的摄像机参数计算在实际空间中与代表坐标值Bp1到Bp10相对应的三维位置。即，计算三维坐标值RB1到RB10。在步骤S7，判断设定X轴范围和Z轴范围的二维区域中的哪一个区域与每一个所计算的三维坐标值RB1到RB10相对应。如果存在相应的区域，则区域的计数值增加1。如果没有相应的区域，则不执行对计数值的增加。从而，计算最低点位置的三维位置分布。
[0068] 在步骤S8，判断是否计算了全部的所检测的最低点位置的三维位置。当判断为没有计算全部的所检测的最低点位置的三维位置时，程序从步骤S6重复该处理。如果判断为计算了全部的所检测的最低点位置的三维位置，则程序进行到步骤S9。在步骤S9，从所获得的三维位置分布，提取相同X轴区域的多个Z轴区域中存在计数值的区域，作为具有道路边界的可能性高的区域。
[0069] 在步骤S10，基于在所提取的道路边界区域中的最低点，通过在x-y坐标系中执行回归分析来计算直线的梯度。当所计算的梯度在由x-y坐标系的梯度所设定的范围内存在时，判断为在道路边界区域中存在表示道路边界的直线，其中所述范围是基于X轴区域的左端坐标和每个Z轴坐标的代表坐标以及X轴区域的右端坐标和每个Z轴坐标的代表坐标计算的。
[0070] 在步骤S11，在判断为其中具有表示道路边界的直线的所提取的道路边界区域中，检测连接最低点的直线，作为图像中的道路边界。在步骤S12，判断是否已经从所提取的道路边界区域检测了表示全部道路边界的直线。当判断为尚未检测表示全部道路边界的直线时，程序从步骤S9重复该处理。作为选择，当判断为已经检测了表示全部道路边界的直线时，程序进行到步骤S13。
[0071] 在步骤S13，判断主车辆的点火开关是否关闭。如果判断为点火开关未关闭，则程序返回步骤S1以从步骤S1开始重复该处理。作为选择，如果判断为点火开关关闭，则程序终止。
[0072] 根据本发明的一个或多个实施例，可以获得以下一个或多个有利的作用和效果。
[0073] (1)在基于由摄像机101所拍摄的图像计算的速度图像上确定用于检测最低点位置的区域，并检测形成表示道路边界的直线的点。由于道路边界是平行于光轴的直线成分，因此通过该配置，包括在由摄像机101所拍摄的图像中的、例如道路上的白线的道路边界总是作为斜线被获取，并且该斜线总是沿纵向产生连续的速度。此外，即使对于由三维物体和路面之间的接触点所形成的道路边界，也可以沿高度方向检测连续的速度。因此，可以以高精度检测各种道路边界。
[0074] (2)将所检测的最低点位置作为路面上的点处理，使用摄像机101的摄像机参数计算其三维位置。通过该配置，当计算在路面上不存在但是作为最低点检测出的点的三维位置时，通过使其从由X轴和Z轴所设定的区域较大地偏移，可以执行过滤该点的过滤处理。因此，可以高精度地仅提取形成道路边界的最低点。
[0075] (3)通过比较基于最低点所计算的梯度和基于由X轴和Z轴设定的范围所计算的梯度，可以执行关于包括在所提取的X-Z坐标道路边界区域中的直线是否是表示道路边界的直线的判断。通过该配置，可以消除不能通过三维变换的过滤处理过滤的错误的检测，从而可以可靠地执行对道路边界的提取。
[0076] 变形例
[0077] 例如根据本发明的一个或多个实施例的道路边界检测设备可以变形为如下的一种或多种。
[0078] (1)使用以下的例子说明了本发明的一个或多个实施例，即通过对所拍摄的图像执行边缘提取处理来获得边缘图像，更新包括边缘的像素的像素计数器，并基于相应的像素计数器的计数值按图像的每个像素计算边缘的速度成分。然而，该设备不局限于此，可以配置为使用例如梯度法或块匹配等通常使用的方法来计算光流(optical flow)。
[0079] (2)以使用图5所示的级别标记来计算速度图像5a为例说明了本发明的一个或多个实施例。然而本发明不局限于此，速度图像可由其它级别标记表示，例如速度和速度方向以向量的形式表示的速度图像。
[0080] (3)以将道路边界检测设备100安装在车辆上为例说明了本发明的一个或多个实施例。然而本发明不局限于此，设备100可以安装在任意其它移动单元上。
[0081] (4)以检测白线或路面与外墙的接触点为例说明了本发明的一个或多个实施例，本发明不局限于此，也可以检测其它道路边界，例如路面和路缘、护栏或停放的车辆之间的边缘或路面和另一个区域(稻田、田地等)之间的边缘。
[0082] 尽管对于有限数量的实施例说明了本发明，从该公开中受益的本领域技术人员可以认识到可以设计其它实施例而不脱离在此处所公开的本发明的范围。因此，本发明的范围应当仅由所附权利要求书来限定。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 盲区显示装置及方法 | 2020-11-04 | 4 |
| 洗扫车高压水路侧喷杆双重避让机构 | 2021-10-31 | 0 |
| 作业车辆 | 2021-09-03 | 3 |
| 一种醒目提醒的智能交通设备 | 2020-10-24 | 1 |
| 燃料电池车辆的进气装置 | 2020-11-10 | 0 |
| 组合式前后可视汽车倒车镜 | 2022-11-19 | 2 |
| 自平衡电动车辆远近光模式的切换方法 | 2021-10-12 | 1 |
| 虚拟道路边界的辅助驾驶装置 | 2021-12-19 | 1 |
| 小型摩托车型车辆的系车钩 | 2021-08-30 | 1 |
| 一种前视辅助系统 | 2022-07-27 | 4 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
前方车辆热门专利
QQ群二维码
意见反馈
意见反馈