[0002] 本申请要求于2017年10月12日提交的韩国申请号10-2017-0132250的优先权，其整体通过引用的方式结合于此。
技术领域
[0003] 本
发明涉及一种校准方法和校准设备，更特别地，涉及一种能够基于车道估计安装在车辆上的摄像头的安装
角度的校准方法和校准设备。
背景技术
[0004] 环视监控(AVM)系统指的是一种将从车辆的前摄像头、后摄像头、左摄像头和右摄像头获得的周围图像组合成一个图像并提供该图像使得驾驶员可识别周围情况的系统。已经使AVM系统扩展为一种用于通过对驾驶员提供方便来辅助驾驶员的驾驶支持系统。例如，AVM系统在停车期间可提供车辆的
盲点图像或者车辆的后视图像。
[0005] 为了将从多个安装在车辆中的摄像头获得的图像组合成一个图像，必须提供摄像头的内部参数和外部参数。内部参数可包括光学中心和焦距，而外部参数可包括安装
位置和安装角度。由于内部参数是恒定的，所以可将通过校准获得的值连续用作内部参数。然而，由于可通过外部冲击容易地改变外部参数，所以需要连续地校准外部参数。在外部参数中，由于安装夹具的原因而不会明显地改变安装位置，即使更换摄像头。然而，安装角度对干扰的影响是敏感的，并且安装角度的误差可能导致无法组合从相应摄像头获得的图像的问题。
[0006] 在相关技术中，熟练工人已经在校准地点使用单独的装置在摄像头上执行校准，该校准地点具有在地上画的特定校准图案。这种方法可提供精确的结果，因为工人可提前精确地知道校准图案上的特定标记的相对位置。然而，该方法具有空间限制，因为需要具有预定面积或者更大面积的空间。例如，该空间可安装在工厂中，从工厂运输车辆。而且，由于该方法由熟练工人使用单独的装置执行，所以不可避免地消耗驾驶员的时间和成本。因此，需要一种能够改进校准操作的方便性的系统。
[0007] 在2011年5月25日公布的韩国
专利申请No.10-2011-0055421中公开了相关技术。
发明内容
[0008] 本发明的
实施例涉及这样的校准方法和校准设备：其能够去除传统校准操作的不方便性(该传统校准操作是熟练工人已经通过外部设备在之上绘制有特定校准图案的校准地点中来执行的)，从而改善了校准操作的实用性和方便性。
[0009] 在一个实施例中，一种校准方法可包括：当车辆的行为满足预设行为条件时，由车道检测单元从通过车辆的摄像头获得的周围图像中检测车道；由有效车道提取单元分析所检测到的车道的位置和方向的统计特征，并通过移除误测车道来提取有效车道；并且由参数估计单元基于有效车道的方向和通过有效车道决定的消失点来估计摄像头的安装角度。
[0010] 行为条件可包括车速条件和转向角条件中的一个或多个，车速条件是车速等于或大于预设车速，转向角条件是转向角等于或大于预设转向角。
[0011] 检测车道可包括：由车道检测单元基于从周围图像提取的边缘分量(edge components)检测直线；并且由车道检测单元通过在所检测到的直线中确定预设车道
检测区域中存在的直线的车道拟合(lane fits)来检测车道。
[0012] 检测直线可包括：由车道检测单元计算从周围图像产生的
鸟瞰图中的梯度(gradients)，并基于所计算的梯度的方向和量值(magnitudes，大小)提取边缘分量；并且由车道检测单元在所提取的边缘分量中检测一个或多个直线对，每个直线对包括用于在
像素值的增加方向上具有梯度的边缘分量的直线和用于在像素值的减小方向上具有梯度的边缘分量的直线。
[0013] 在通过确定车道拟合来检测车道时，车道检测单元可确定，当满足一个或多个以下条件时满足车道拟合，这些条件是：交叉条件，包含在直线对中的两条直线彼此不交叉；车道厚度条件，包含在直线对中的两条直线之间的最小距离和最大距离落在预设车道厚度变化范围内；以及重叠比条件，当将包含在直线对中的两条直线投射在鸟瞰图上的参考轴上时这两条直线的重叠比等于或大于预设比。
[0014] 有效车道的提取可包括：由有效车道提取单元将所检测到的车道的位置投射在通过周围图像产生的鸟瞰图上的参考轴上，通过累积预定数量的
帧或者更多帧产生柱状图，将离根据所产生的柱状图决定的参考车道位置预设距离或者更远距离的车道确定为误测车道，并移除误测车道；并且由有效车道提取单元使用通过所检测到的车道估计的消失点来计算摄像头的安装角度，通过基于所计算的安装角度校准所检测到的车道的角度误差来决定所计算的车道，基于所决定的校准车道与鸟瞰图上的参考轴之间的平行度来决定误测车道，并移除误测车道。
[0015] 摄像头可包括前摄像头、后摄像头、左摄像头和右摄像头，并且安装角度可包括
俯仰角、
偏航角和翻滚角。在摄像头的安装角度的估计中，参数估计单元可估计12个安装角度，包括前摄像头、后摄像头、左摄像头和右摄像头的俯仰角、偏航角和翻滚角。
[0016] 摄像头的安装角度的估计可包括：由参数估计单元基于前/后有效车道的方向和通过前/后有效车道决定的消失点来估计前摄像头和后摄像头的俯仰角、偏航角和翻滚角，其中，前/后有效车道是通过前摄像头和后摄像头的周围图像产生的鸟瞰图上的有效车道；由参数估计单元基于左/右有效车道的方向和通过左/右有效车道决定的消失点来估计左摄像头和右摄像头的偏航角和翻滚角，其中，左/右有效车道是通过左摄像头和右摄像头的周围图像产生的鸟瞰图上的有效车道；并且由参数估计单元将前/后有效车道和左/右有效车道投射在公共
坐标系上，并估计左摄像头和右摄像头的俯仰角以使得相同车道彼此匹配。
[0017] 前摄像头和后摄像头的俯仰角、偏航角和翻滚角的估计可包括：由参数估计单元将前/后有效车道转换成校准其透镜
变形的坐标系上的校
准直线；由参数估计单元基于通过校准直线决定的消失点与预设第一参考消失点之间的关系来估计前摄像头和后摄像头的俯仰角和偏航角；由参数估计单元使用前摄像头和后摄像头的初始估计的俯仰角和偏航角作为初始值，通过Levenberg-Marquardt(LM)在预设角度范围内重新估计前摄像头和后摄像头的俯仰角和偏航角；并且由参数估计单元初始估计前摄像头和后摄像头的翻滚角，以使得根据前摄像头和后摄像头的重新估计的俯仰角和偏航角进行校准的、在鸟瞰图中的前/后有效车道中所包含的左车道和右车道的宽度之间的差最小化。
[0018] 在通过LM重新估计前摄像头和后摄像头的俯仰角和偏航角中，参数估计单元可使用通过LM在重新估计处理期间计算的前摄像头和后摄像头的旋转矩阵，将校准直线转换成鸟瞰图上的前/后有效车道，并重新估计前摄像头和后摄像头的俯仰角和偏航角，以使得前/后有效车道与鸟瞰图上的第一方向参考轴平行，且彼此平行。
[0019] 前摄像头和后摄像头的俯仰角、偏航角和翻滚角的估计可进一步包括：当检测到预设数量或者更多的与车辆的行驶方向不平行的车道时，由参数估计单元从与车辆的行驶方向不平行的车道提取停车线，并基于两条包含在所提取的停车线中的直线之间的平行度，通过LM在预设角度范围内重新估计前摄像头和后摄像头的初始估计的翻滚角。
[0020] 左摄像头和右摄像头的偏航角和翻滚角的估计可包括：由参数估计单元将左/右有效车道转换成校准其透镜变形的坐标系上的校准直线；由参数估计单元基于通过校准直线决定的消失点与预设第二参考消失点之间的关系来初始估计左摄像头和右摄像头的偏航角和翻滚角；并且由参数估计单元使用左摄像头和右摄像头的初始估计的偏航角和翻滚角作为初始值，通过LM在预设角度范围内重新估计左摄像头和右摄像头的偏航角和翻滚角。
[0021] 校准方法可进一步包括：由参数估计单元通过LM精确地估计12个安装角度，这12个安装角度包括对前摄像头、后摄像头、左摄像头和右摄像头估计的俯仰角、偏航角和翻滚角。
[0022] 校准方法可进一步包括：由参数选择单元累积12个安装角度作为12维向量，这12个安装角度包括对前摄像头、后摄像头、左摄像头和右摄像头估计的俯仰角、偏航角和翻滚角，并且当所累积的12维向量的数量等于或大于预设值时，在所累积的12维向量中选择具有最小平均欧氏距离(Euclidean distance)的向量，作为前摄像头、后摄像头、左摄像头和右摄像头的最终安装角度。
[0023] 在另一实施例中，一种校准设备可包括：车道检测单元，其配置为当车辆的行为满足预设行为条件时，从通过车辆的摄像头获得的周围图像中检测车道；有效车道提取单元，其配置为分析所检测到的车道的位置和方向的统计特征，并通过移除误测车道来提取有效车道；以及参数估计单元，其配置为基于有效车道的方向和通过有效车道决定的消失点来估计摄像头的安装角度。
附图说明
[0024] 图1是示出了根据本发明的一个实施例的校准设备的
框图。
[0025] 图2A至图2D是在根据本发明的实施例的校准设备中当前摄像头、后摄像头、左摄像头和右摄像头具有5°的误差时的鸟瞰图。
[0026] 图3A至图3D示出了根据本发明的实施例的校准设备中的前摄像头、后摄像头、左摄像头和右摄像头的鸟瞰图中的感兴趣区域(ROI)的车道检测区域。
[0027] 图4A和图4B示出了通过在根据本发明的实施例的校准设备中使用中值
滤波器在鸟瞰图图像上执行图像预处理操作来获得的结果。
[0028] 图5A和图5B示出了按照根据本发明的实施例的校准设备中的重叠比条件来确定车道拟合的过程。
[0029] 图6A和图6B是在根据本发明的实施例的校准设备中校准前摄像头和后摄像头的俯仰角和偏航角之前和之后的鸟瞰图。
[0030] 图7A和图7B示出了在根据本发明的实施例的校准设备中提取停车线的过程。
[0031] 图8示出了在根据本发明的实施例的校准设备中估计左摄像头和右摄像头的俯仰角的过程。
[0032] 图9是示出了根据本发明的一个实施例的校准方法的
流程图。
[0033] 图10是示出了根据本发明的实施例的校准方法中的车道检测单元检测车道的过程的流程图。
[0034] 图11是示出了根据本发明的实施例的校准方法中的有效车道提取单元提取有效车道的过程的流程图。
[0035] 图12是示出了根据本发明的实施例的校准方法中的参数估计单元估计摄像头的安装角度的过程的流程图。
[0036] 图13是示出了根据本发明的实施例的校准方法中的参数估计单元估计前摄像头和后摄像头的俯仰角、偏航角和翻滚角的过程的流程图。
[0037] 图14是示出了根据本发明的实施例的校准方法中的参数估计单元估计左摄像头和右摄像头的偏航角和翻滚角的过程的流程图。
具体实施方式
[0038] 在下文中将参考附图详细地描述本发明的实施例。应注意，这些图并不是精确地按比例绘制的，并且仅为了描述方便和清楚起见而可在线的厚度或者部件的尺寸上放大。而且，通过考虑本发明的功能来定义如这里使用的术语，并可根据用户或者操作员的习惯或者意图来改变这些术语。因此，应根据这里阐述的全部公开内容来定义术语。
[0039] 首先，将描述根据本发明的一个实施例的校准设备的操作。
[0040] 在本实施例中，当车辆在道路上行驶时，车道检测单元可实时地从多个通过前摄像头、后摄像头、左摄像头和右摄像头获得的图像检测车道，车道包括道路标线和停车线。可将所检测到的车道储存在队列型数据结构中。当所储存的车道的数量等于或大于预定值时，可由有效车道提取单元移除误测车道。也就是说，当车辆沿着道路标线行驶时，车道的位置和方向在预定时间内可能不会明显变化。因此，有效车道提取单元可通过分析所检测到的车道的位置和方向的统计特征来移除误测车道，从而提取有效车道。参数估计单元可基于有效车道的方向和由有效车道决定的消失点来估计12个摄像头安装角度，包括前摄像头、后摄像头、左摄像头和右摄像头的俯仰角、偏航角和翻滚角。然后，参数选择单元可累积
12个摄像头安装角度，作为12维向量，在这些12维向量中选择最佳的12维向量，并将所选择的向量设置为最终的摄像头安装角度。
[0041] 在下文中，基于上述构造，将详细地描述根据本发明的实施例的校准设备。
[0042] 图1是示出了根据本发明的一个实施例的校准设备的框图，图2A至图2D是在根据本发明的实施例的校准设备中当前摄像头、后摄像头、左摄像头和右摄像头具有5°的误差时的鸟瞰图，图3A至图3D示出了根据本发明的实施例的校准设备中的前摄像头、后摄像头、左摄像头和右摄像头的鸟瞰图中的感兴趣区域(ROI)的车道检测区域，图4A和图4B示出了通过在根据本发明的实施例的校准设备中使用中值滤波器在鸟瞰图图像上执行图像预处理操作来获得的结果，图5A和图5B示出了按照根据本发明的实施例的校准设备中的重叠比条件来确定车道拟合的过程，图6A和图6B是在根据本发明的实施例的校准设备中校准前摄像头和后摄像头的俯仰角和偏航角之前和之后的鸟瞰图，图7A和图7B示出了在根据本发明的实施例的校准设备中提取停车线的过程，并且图8示出了在根据本发明的实施例的校准设备中估计左摄像头和右摄像头的俯仰角的过程。
[0043] 参考图1，根据本发明的实施例的校准设备可包括车道检测单元100、有效车道提取单元200、参数估计单元300和参数选择单元400。
[0044] 当车辆的行为满足预设行为条件时，车道检测单元100可从从车辆的摄像头获得的周围图像中检测车道。行为条件可包括一个或多个用于判断车速是否等于或者大于预设车速的车速条件和用于判断转向角是否等于或者小于预设转向角的转向角条件。
[0045] 具体地，在本实施例中，可基于通过车道检测单元100检测的车道校准摄像头。因此，由于车道检测的
精度与摄像头的校准精度直接连接，所以精确地检测车道是重要的。当使车辆停止一段时间时，车道检测单元100可仅检测相同车道，这使得校准结果可能有
缺陷。此时，当误测车道时，即使如后面描述的分析车道的位置和方向的统计特征，也无法移除误测车道。在此情况中，校准误差可进一步增加。因此，当满足车速条件或者车速等于或大于预设车速时，车道检测单元100可确定车辆正在行驶，然后检测车道。
[0046] 当车辆调头时，车道检测单元100无法精确地检测车道。因此，当满足转向角条件或者转向角等于或大于预设转向角时，车道检测单元100可检测车道。
[0047] 在本实施例中，车道检测单元100可检测道路标线和停车线。当在预定时间(例如，3秒)内都满足车速条件和转向角条件时，可表示车辆正在沿着车道行驶。因此，车道检测单元100可检测道路标线。当满足转向角条件但是不满足车速条件时，车道检测单元100可能不检测道路标线，而是仅检测停车线，以防止校准期间的偏转。
[0048] 当车辆的行为满足行为条件时，车道检测单元100可从从车辆的摄像头获得的周围图像中检测车道。可在受透视变形和透镜变形(诸如径向变形)影响较小的鸟瞰图执行车道检测，并且可使用低
分辨率图像(例如，300*125)来进行高速处理。图2A至图2D是当前摄像头、后摄像头、左摄像头和右摄像头的安装角度具有5°的误差时的鸟瞰图。在下文中，将详细地描述车道检测单元100检测车道的过程。
[0049] 首先，可提前在车道检测单元100中设置感兴趣区域(ROI)，ROI包括车道检测区域、车道角度变化范围和车道厚度变化范围。
[0050] 具体地，当车辆沿着道路行驶时，道路标线可与从前摄像头和后摄像头的周围图像产生的鸟瞰图中的y轴平行，并与从左摄像头和右摄像头的周围图像产生的鸟瞰图中的x轴平行。因此，当提前提供每个摄像头的安装角度误差范围(例如，-5°到+5°)时，可通过预定模拟来获得安装角度误差的情况中的车道可存在于鸟瞰图中的区域、鸟瞰图中的车道的角度变化范围、以及鸟瞰图中的车道的厚度变化范围，并且可提前在车道检测单元100中设置通过模拟获得的ROI。如后面描述的，车道检测单元100可基于ROI的车道检测区域来检测车道，当提取边缘分量时，必须利用车道角度变化范围，并且当确定车道拟合时，必须利用车道厚度变化范围。可将车道检测区域分成左车道检测区域、右车道检测区域和停车线检测区域，并且图3A至图3D示出了前摄像头、后摄像头、左摄像头和右摄像头的鸟瞰图中的车道检测区域。
[0051] 基于上述ROI，车道检测单元100可使用从摄像头的周围图像提取的边缘分量来检测直线，并在所检测到的直线中确定ROI的车道检测区域中存在的直线的车道拟合，从而检测车道。
[0052] 首先，将详细地描述车道检测单元100基于边缘分量检测直线的过程。
[0053] 车道检测单元100可使用相应摄像头的初始安装角度，产生用于将从摄像头获得的周围图像转换成鸟瞰图的查找表，并且使用查找表产生鸟瞰图。车道检测单元100可计算所产生的鸟瞰图中的梯度，并基于所计算的梯度的方向和量值来提取边缘分量。
[0054] 具体地，车道检测单元100可提取鸟瞰图的参考轴(x轴或者y轴)和在鸟瞰图中计算的梯度的方向之间的角度落在ROI的车道角度变化范围内的点，并且梯度的量值等于或大于预设
阈值75，例如，作为边缘分量。在道路标线的情况中，可将参考轴(其是与梯度方向的比较对象)设置为前摄像头和后摄像头的鸟瞰图中的y轴，或者左摄像头和右摄像头的鸟瞰图中的x轴。在停车线的情况中，可将参考轴设置为前摄像头和后摄像头的鸟瞰图中的x轴。
[0055] 此时，为了在移除诸如错误边缘分量的噪声的同时保留可用的边缘分量，在梯度的计算之前，车道检测单元100可通过中值滤波器(例如，3*3大小)执行图像预处理。因此，如图4A和图4B中示出的，车道检测单元100可将错误边缘分量最小化，从而在减小计算量的同时改进车道检测精度。
[0056] 在提取边缘分量之后，车道检测单元100可检测一个或多个直线对，每个直线对包括用于在像素值的增加方向上具有梯度的边缘分量的直线和用于在像素值的减小方向上具有梯度的边缘分量的直线。直线对可指示一对两条包含在一个车道中的直线，如图2中示出的。也就是说，道路标线可包括一对左直线和右直线，停车线可包括一对上直线和下直线。可通过随机样本一致性(RANSAC)
算法来检测用于边缘分量的线。当执行RANSAC算法时，车道检测单元100可仅检测这样的线，每条线具有其数量等于或大于预设值的内围层。
[0057] 在车辆的左侧，可存在双车道(例如，中心线)。因此，车道检测单元100可通过上述过程检测ROI的左车道检测区域中的直线对，通过RANSAN算法检测附加直线对，并且选择最接近车辆的直线对。在遵循左侧通行的道路运输系统中，车道检测单元100可在右车道检测区域上执行上述过程。
[0058] 接下来，将详细地描述从所检测到的直线检测车道的过程。
[0059] 车道检测单元100可在通过上述过程检测的直线中决定ROI的车道检测区域中存在的直线，并确定所决定的直线的车道拟合，以检测车道。车道拟合可包括交叉条件、车道厚度条件和重叠比条件中的一个或多个。
[0060] 具体地，由于两条包含在上述直线对中的直线是一对两条包含在一个车道中的直线，所以两条直线不会彼此交叉。因此，车道检测单元100可判断是满足交叉条件，还是两条直线不彼此交叉。而且，车道检测单元100可判断是满足车道厚度条件，还是包含在直线对中的两条直线之间的最小距离和最大距离落在ROI的车道厚度变化范围内。而且，当将两条直线投射在鸟瞰图的参考轴(x轴或者y轴)上时，车道检测单元100可判断是满足重叠比条件，还是包含在直线对中的两条直线的重叠比等于或大于预设比。在本实施例中，当将两条直线投射在鸟瞰图的参考轴上时，重叠比可指示两条直线彼此重叠多少。
[0061] 将如下更详细地描述重叠比。当从相同车道检测不到两条直线时，如图5A和图5B中示出的，当将用来检测直线的在像素值的增加方向上具有梯度的边缘分量和在像素值的减小方向上具有梯度的边缘分量投射在参考轴上时，重叠比可减小。在道路标线的情况中，可将参考轴设置为前摄像头和后摄像头的鸟瞰图中的y轴，及左摄像头和右摄像头的鸟瞰图中的x轴。而且，在停车线的情况中，可将参考轴设置为前摄像头和后摄像头的鸟瞰图中的x轴。换句话说，当两条直线包含在相同车道中时，重叠比高。因此，当重叠比等于或大于预设比时，车道检测单元100可确定这两条直线包含在相同车道中，并检测车道。可根据以下方程式1计算重叠比。
[0062] [方程式1]
[0063]
[0064] 在方程式1中，Or代表重叠比，A代表投射在参考轴上并在像素值的增加方向上具有梯度的边缘分量的组，并且B代表投射在参考轴上并在像素值的减小方向上具有梯度的边缘分量的组。而且，Mc代表用于边缘分量投射于其上的参考轴的一维闭合形态算子。当使用重叠比确定车道拟合时，从阴影检测直线，或者可有效地排除另一车辆，如图5A和图5B中示出的。
[0065] 车道检测单元100可检测车道，可判断是否满足交叉条件、车道厚度条件和重叠比条件中的一个或多个。然而，为了更精确地检测车道，车道检测单元100可将直线检测为车道，直线满足所有三个条件。
[0066] 当由车道检测单元100检测车道时，有效车道提取单元200可分析所检测到的车道的位置和方向的统计特征，并移除误测车道，从而提取有效车道。
[0067] 具体地，由于在由车道检测单元100检测到的车道中不可避免地存在误测车道，所以需要移除误测车道。在如上所述的车辆沿着道路行驶的环境中，可限制由车道检测单元100检测到的车道的位置和方向的变化。而且，当大多数检测到的车道是行驶道路的车道时，车道的位置和方向特征可形成一个组。因此，有效车道提取单元200可分析车道的位置和方向的统计特征，并从该组移除误差，即，误测车道。
[0068] 为了此操作，有效车道提取单元200可将由车道检测单元100检测到的车道的位置投射在鸟瞰图的参考轴上，通过累积预定数量的帧或者更多帧来产生柱状图，并将车道确定为误测车道，该车道离根据所产生的柱状图决定的参考车道位置预设距离或者更远。然后，有效车道提取单元200可移除误测车道。也就是说，车道检测单元100可分析车道位置的统计特征，以移除误测车道。
[0069] 具体地，在从前摄像头和后摄像头的图像获得的道路标线的情况中，可限制鸟瞰图上的特
定位置(例如，鸟瞰图的底部)处的x轴位置(x坐标)的变化。因此，车道检测单元100可将道路标线的x轴位置投射在y轴上，通过累积预定数量的帧或者更多帧来产生柱状图，基于所产生的柱状图决定参考车道位置，将离参考车道位置预设距离或者更远的道路标线确定为误测车道，并移除误测车道。
[0070] 类似地，在从左摄像头和右摄像头的图像获得的道路标线的情况中，可限制鸟瞰图上的特定位置(例如，鸟瞰图的中心)处的y轴位置(y坐标)的变化。因此，车道检测单元100可将道路标线的y轴位置投射在x轴上，通过累积预定数量的帧或者更多帧来产生柱状图，基于所产生的柱状图决定参考车道位置，将离参考车道位置预设距离或者更远的道路标线确定为误测车道，并移除误测车道。
[0071] 当所产生的柱状图是单峰柱状图时，参考车道位置可由峰值决定。当所产生的柱状图是多峰柱状图时，参考车道位置可由最接近车辆的模式决定。
[0072] 然后，有效车道提取单元200可使用通过检测到的车道估计的消失点计算摄像头的安装角度，通过基于所计算的安装角度校准检测到的车道的角度误差来决定校准车道，基于所决定的校准车道和鸟瞰图上的参考轴之间的平行度来决定误测车道，并移除误测车道。也就是说，有效车道提取单元200可分析车道方向的统计特征，以移除误测车道。
[0073] 具体地，在前摄像头和后摄像头的情况中，有效车道提取单元200可使用一对由车道检测单元100检测到的左车道和右车道来计算消失点，将消失点的位置累积为柱状图，并使用属于最
大数据集(bin，接收器)的消失点的平均值来估计最终消失点。有效车道提取单元200可使用所估计的最终消失点计算前摄像头和后摄像头的俯仰角和偏航角，并通过基于所计算的安装角度(即，俯仰角和偏航角)校准由车道检测单元100检测到的车道的角度误差来决定校准车道。由于用于使用消失点计算俯仰角和偏航角的方法在相同的技术领域中是公知的，所以这里省略其详细描述。由于所决定的校准车道需要与鸟瞰图中的y轴平行，所以有效车道提取单元200可基于校准车道和鸟瞰图上的参考轴(y轴)之间的平行度来决定误测车道，并移除误测车道。可将校准车道和参考轴(y轴)之间的平行度计算为鸟瞰图上的校准车道的两个端点的x坐标之间的差的绝对值。当计算值等于或大于阈值时，有效车道提取单元200可将对应车道确定为误测车道，并移除误测车道。
[0074] 由于左摄像头和右摄像头获得比前摄像头和后摄像头更小量的数据，所以有效车道提取单元200可对多个帧中的特定帧
采样，并使用两条从对应帧检测的直线估计消失点。有效车道提取单元200可使用所估计的消失点计算左摄像头和右摄像头的偏航角和翻滚角，并通过基于所计算的安装角度(即，偏航角和翻滚角)校准检测到的车道的角度误差来决定校准车道。由于所决定的校准车道需要与鸟瞰图中的x轴平行，所以有效车道提取单元
200可基于校准车道和鸟瞰图上的参考轴(x轴)之间的平行度来决定误测车道，并移除误测车道。可将校准车道和参考轴(x轴)之间的平行度计算为鸟瞰图上的校准车道的两个端点的y坐标之间的差的绝对值。当计算值等于或大于阈值时，有效车道提取单元200可将对应车道确定为误测车道，并移除误测车道。
[0075] 当有效车道提取单元200通过移除误测车道来提取有效车道时，参数估计单元300可基于有效车道的方向和通过有效车道决定的消失点来估计摄像头的安装角度。此时，参数估计单元300可估计12个安装角度，包括前摄像头、后摄像头、左摄像头和右摄像头的俯仰角、偏航角和翻滚角。
[0076] 为了便于描述，可清楚地定义术语。
[0077] 可将前/后有效车道定义为从前摄像头和后摄像头的周围图像产生的鸟瞰图上的有效车道，并且可将左/右有效车道定义为从左摄像头和右摄像头的周围图像产生的鸟瞰图上的有效车道。
[0078] 仅当由有效车道提取单元200提取的有效车道的数量等于或大于估计摄像头的安装角度之前的预设值时，参数估计单元300可估计摄像头的安装角度，从而保证安装角度估计的可靠性。而且，仅当在相同时间点检测的前/后有效车道和左/右有效车道的数量等于或大于预设值时，参数估计单元300可估计摄像头的安装角度，从而保证估计左摄像头和右摄像头的俯仰角的操作的可靠性。
[0079] 可将参数估计单元300估计摄像头的安装角度的过程分成估计前摄像头和后摄像头的俯仰角、偏航角和翻滚角的过程，估计左摄像头和右摄像头的偏航角和翻滚角的过程，以及估计左摄像头和右摄像头的俯仰角的过程。
[0080] 首先，将详细地描述参数估计单元300估计前摄像头和后摄像头的俯仰角、偏航角和翻滚角的过程。
[0081] 参数估计单元300可基于前/后有效车道的方向和通过前/后有效车道决定的消失点来估计前摄像头和后摄像头的俯仰角、偏航角和翻滚角。
[0082] 具体地，参数估计单元300可将前/后有效车道转换成校准其透镜变形的坐标系上的校准直线。透镜变形可包括鱼眼透镜的径向变形。可根据以下方程式2将前/后有效车道转换成校准直线。
[0083] [方程式2]
[0084] Luv＝(Kb×Ro×K-1)-T×Lbv
[0085] 在方程式2中，Luv代表校准其透镜变形的坐标系上的校准直线，Kb代表鸟瞰图的内部参数矩阵，R0代表由前摄像头和后摄像头的初始安装角度形成的摄像头旋转矩阵，K代表校准其透镜变形的图像的内部参数矩阵，而Lbv代表前/后有效车道(即，包含在前/后有效车道中的直线)。
[0086] 当校准其透镜变形的坐标系上的校准直线Luv＝[Luv1,Luv2,...,LuvN]被决定时，参数估计单元300可基于校准直线的消失点和预设第一参考消失点之间的关系来初始地估计前摄像头和后摄像头的俯仰角和偏航角。
[0087] 也就是说，由于校准直线的消失点与车辆的行驶方向平行的车道相遇，所以消失点需要定位在鸟瞰图中的坐标[0,1,0]处。因此，参数估计单元300可根据方程式3和4计算用于将校准直线的消失点转换成第一参考消失点的旋转矩阵，以初始地估计前摄像头和后摄像头的俯仰角和偏航角。
[0088] [方程式3]
[0089]
[0090] [方程式4]
[0091]
[0092] 在方程式3和4中，V1'代表校准直线的消失点，θ代表两条直线之间的角度，这两条直线分别使原点[0,0,0]连接到校准直线的消失点和第一参考消失点[0,1,0]，而u代表与这两条直线垂直的向量(旋
转轴)，而R代表旋转矩阵。由于翻滚角与校准直线的消失点无关，所以初始地可通过方程式3和4估计前摄像头和后摄像头的俯仰角和偏航角。由于用于通过方程式3和4计算俯仰角和偏航角的方法是公知的，所以这里省略其详细描述。
[0093] 当初始地估计前摄像头和后摄像头的俯仰角和偏航角时，参数估计单元300可使用初始估计的前摄像头和后摄像头的俯仰角和偏航角作为初始值，通过Levenberg-Marquardt(LM)算法在预设角度范围内重新估计前摄像头和后摄像头的俯仰角和偏航角。此时，参数估计单元300可使用前摄像头和后摄像头的旋转矩阵(通过使用LM算法的重新估计过程来计算该旋转矩阵)，将校准直线转换成鸟瞰图上的前/后有效车道，并且重新估计前摄像头和后摄像头的俯仰角和偏航角，以使得前/后有效车道与鸟瞰图上的第一方向上的参考轴(y轴)平行，且彼此平行。
[0094] 具体地，参数估计单元300可使用初始估计的前摄像头和后摄像头的俯仰角和偏航角作为初始值，通过LM在预设角度范围(例如，±1°)内重新估计前摄像头和后摄像头的俯仰角和偏航角。而且，参数估计单元300可使用每当重复LM时计算的摄像头旋转矩阵，根据以下方程式5将校准直线转换成鸟瞰图上的直线，然后根据以下方程式6计算LM的成本。
[0095] [方程5]
[0096]
[0097] [方程式6]
[0098]
[0099] 在方程式5中，Ri代表当将偏航角和翻滚角设置为初始估计值并将翻滚角设置为R0时计算的摄像头旋转矩阵，Luv代表校准直线，而Lbv'代表鸟瞰图上的转换直线。在方程式6中，xli(y)代表用于获得用于鸟瞰图中的直线li的y坐标值的x坐标的函数，而H代表鸟瞰图的竖直轴的分辨率。在方程式6中，第一项 表示所转换的前/后有效车道需要与鸟瞰图上的第一方向参考轴(y轴)平行，而第二项
表示所转换的前/后有效车道需要彼此平行。而且，i和j代表帧数。
[0100] 当重新估计前摄像头和后摄像头的俯仰角和偏航角时，参数估计单元300可初始地估计前摄像头和后摄像头的翻滚角，以使得根据前摄像头和后摄像头的重新估计的俯仰角和偏航角进行校准的、在鸟瞰图中的前/后有效车道中所包含的左车道和右车道的宽度之间的差最小化。
[0101] 具体地，当校准前摄像头和后摄像头的俯仰角和偏航角时，参数估计单元300可估计前/后有效车道的宽度，因为指示鸟瞰图中的道路标线的前/后有效车道与y轴平行，如图6A和图6B所示。如图6B所示，参数估计单元300可基于在鸟瞰图的高度的1/2位置处与x轴平行的测量线来估计前/后有效车道的宽度。而且，参数估计单元300可基于包含在前/后有效车道中的左车道和右车道的宽度彼此相等的假设，估计前摄像头和后摄像头的翻滚角。因此，参数估计单元300可通过LM估计前摄像头和后摄像头的翻滚角，以使得根据以下方程式
7将左车道和右车道的宽度之间的差最小化。
[0102] [方程式7]
[0103]
[0104] 在方程式7中，WLi代表第i帧处的左车道的宽度，而WRi代表第i帧处的右车道的宽度。
[0105] 在通过上述过程估计前摄像头和后摄像头的翻滚角之前，参数估计单元300可排除左车道和右车道的宽度的比例明显不同的前/后有效车道。为了此操作，参数估计单元300可将任意时间点的鸟瞰图中的左车道和右车道的宽度的比例选择为模型，并通过在不同的时间点将方程式7仅应用于左车道和右车道来估计前摄像头和后摄像头的翻滚角，其中，来自所选模型的比例差落在阈值(例如，10％)内。
[0106] 估计前摄像头和后摄像头的翻滚角的上述过程不考虑停车线。然而，当在车辆行驶的同时检测到大量停车线时，参数估计单元300可通过利用检测到的停车线，更精确地估计前摄像头和后摄像头的翻滚角。也就是说，当检测到预设数量或者更多的与车辆的行驶方向不平行的车道时，参数估计单元300可从车道提取停车线，并基于两条包含在所提取的停车线中的直线之间的平行度，通过LM在预设角度范围内重新估计初始估计的前摄像头和后摄像头的翻滚角。
[0107] 为了此操作，当检测到预设数量或者更多的与车辆的行驶方向(即，鸟瞰图上的y轴方向)不平行的车道时，参数估计单元300可通过移除道路标线来提取停车线，通过RANSAC算法来移除道路标线，如图7A和图7B中示出的，道路标线包含在与车辆的行驶方向不平行的车道中。图7A示出了所提取的停车线，而图7B示出了移除与车辆的行驶方向不平行的道路标线。参数估计单元300可通过使通过一条包含在所提取的停车线中的停车线决定的消失点连接到校准直线的消失点(在估计前摄像头和后摄像头的俯仰角和偏航角的过程期间决定的校准直线的消失点V1')，来产生消失线，并根据方程式8从所产生的消失线计算前摄像头和后摄像头的旋转矩阵。
[0108] [方程式8]
[0109] Re＝[r1-r1×r3r3]
[0110] 在方程式8中，Re代表前摄像头和后摄像头的旋转矩阵，r1代表校准直线的消失点，在估计前摄像头和后摄像头的俯仰角和偏航角的过程期间决定该消失点，而r3代表消失线。
[0111] 当计算摄像头的旋转矩阵时，参数估计单元300可根据以下方程式9将两条包含在停车线中的直线转换成鸟瞰图上的直线，并根据以下方程式10计算所转换的直线之间的平行度。
[0112] [方程式9]
[0113]
[0114] 在方程式9中，Luv代表停车线(即，两条包含在停车线中的直线，指示根据方程式2校准其透镜变形的直线)，而Lbv'代表鸟瞰图上的转换直线。
[0115] [方程式10]
[0116] Di＝|di(1)-di(W)|
[0117] 在方程式10中，di(1)代表当第i条停车线在鸟瞰图中的x坐标是1时第i条停车线的宽度，而W代表鸟瞰图的
水平轴分辨率。
[0118] 当通过方程式10计算的值等于或小于预设值时，参数估计单元300可确定这两条直线之间的平行度高，并将包含这些直线的停车线设置为用于重新估计前摄像头和后摄像头的翻滚角的停车线。当所设置的停车线的数量等于或大于预设值时，参数估计单元300可根据方程式11通过LM在预设角度范围(例如，±1°)内重新估计前摄像头和后摄像头的初始估计的翻滚角。
[0119] [方程式11]
[0120]
[0121] 当通过上述过程估计前摄像头和后摄像头的俯仰角、偏航角和翻滚角时，参数估计单元300可基于左/右有效车道的方向和通过左/右有效车道决定的消失点来估计左摄像头和右摄像头的偏航角和翻滚角。可以与估计前摄像头和后摄像头的俯仰角和偏航角的过程类似的方式，执行估计左摄像头和右摄像头的偏航角和翻滚角的过程。也就是说，参数估计单元300可通过校准左/右有效车道的透镜变形来决定校准直线，基于校准直线的消失点和预设第二参考消失点[1,0,0]之间的关系来初始地估计左摄像头和右摄像头的偏航角和翻滚角，并使用左摄像头和右摄像头的初始估计的偏航角和翻滚角作为初始值，在预设角度范围内重新估计左摄像头和右摄像头的偏航角和翻滚角。当重新估计左摄像头和右摄像头的偏航角和翻滚角时，参数估计单元300可使用左摄像头和右摄像头的旋转矩阵(通过使用LM的重新估计过程来计算该旋转矩阵)，将校准直线转换成鸟瞰图上的左/右有效车道，并重新估计左摄像头和右摄像头的偏航角和翻滚角，以使得所转换的左/右有效车道与鸟瞰图上的第二方向参考轴(x轴)平行，且彼此平行。
[0122] 当估计前摄像头和后摄像头的偏航角和翻滚角及左摄像头和右摄像头的偏航角和翻滚角时，参数估计单元300可估计左摄像头和右摄像头的俯仰角。具体地，参数估计单元300可估计左摄像头和右摄像头的俯仰角，以使得通过前摄像头、后摄像头、左摄像头和右摄像头检测的车道中的相同车道彼此匹配。也就是说，参数估计单元300可将前/后有效车道和左/右有效车道投射在公共坐标系上，并估计左摄像头和右摄像头的俯仰角，以使得相同车道彼此匹配。
[0123] 具体地，如图8中示出的，参数估计单元300可对左/右有效车道(其中，已经通过RANSAC算法完全估计偏航角和翻滚角)采样(a)，在通过左摄像头和右摄像头检测的车道与通过前摄像头和后摄像头检测的车道重合的假设下，使用俯仰角作为模型估计左摄像头和右摄像头的俯仰角(b)，并且根据以下方程式12评估在(b)估计的左摄像头和右摄像头的俯仰角的车道拟合(c)。
[0124] [方程式12]
[0125]
[0126] 在方程式12中，xsi代表AVM系统的侧面和前面之间的边界处的侧车道i(即，左/右有效车道)的x坐标，而xfi代表侧面和前面之间的边界处的前车道i(即，前/后有效车道的前有效车道)的x坐标。而且，xsj和xrj代表侧面和后面之间的边界处的侧车道j的x坐标，和后车道j(即，前/后有效车道的后有效车道)的x坐标。而且，U代表单位阶跃函数，th代表阈值像素值(例如，五个像素)。
[0127] 当通过上述过程估计12个安装角度(包括前摄像头、后摄像头、左摄像头和右摄像头的俯仰角、偏航角和翻滚角)时，参数估计单元300可通过LM精确地估计12个安装角度。在此情况中，参数估计单元300可使用通过方程式12估计的俯仰角作为初始值，在左摄像头和右摄像头的安装角度误差范围(例如，±5°)内估计左摄像头和右摄像头的俯仰角，并基于通过方程式6和7(当未检测到停车线时)或者方程式11(当检测到停车线时)估计的角度在预设角度范围(例如，±1°)内重新估计其他10个安装角度。在精确估计过程期间应用的LM成本可包括条件C1(前/后有效车道与y轴平行，并且左/右有效车道与x轴平行)、条件C2(前/后有效车道和左/右有效车道彼此匹配)、条件C3(当未检测到停车线时，将左车道和右车道的宽度之间的差最小化)，和条件4(当检测到停车线时，两条包含在停车线中的直线彼此平行)。在估计前摄像头、后摄像头、左摄像头和右摄像头的俯仰角、偏航角和翻滚角的过程期间已经应用这些条件，并且这些条件可表达为以下方程式13。
[0128] [方程式13]
[0129] C＝C1+C2+C3 or C1+C2+C4
[0130]
[0131]
[0132]
[0133]
[0134] 在方程式13的C1中，x和y代表鸟瞰图的有效车道上的点的x坐标和y坐标，f、b、l和r代表前摄像头、后摄像头、左摄像头和右摄像头，而H和W代表鸟瞰图的高度和宽度。在方程式13的C2中，第一项代表前有效车道和左有效车道之间的匹配条件，第二项代表后有效车道和左有效车道之间的匹配条件，第三项代表前有效车道和右有效车道之间的匹配条件，而第四项代表后有效车道和右有效车道之间的匹配条件。例如，第一项中的xfi'代表四个摄像头图像布置于其中的公共坐标系上的前面和侧面之间的边界处的前有效车道的x坐标。在方程式13的C3中，w代表道路标线的宽度，而L和R代表左侧和右侧。在方程式13的C4中，dfi(1)代表当在前摄像头的鸟瞰图中的x坐标是1时的第i条停车线的宽度。当以方程式11的成本执行LM时，可精确地估计左摄像头和右摄像头的安装角度以将成本最小化，同时调节之前已经相对精确地估计的前摄像头和后摄像头的安装角度。而且，检测到的车道可精确地彼此连接，并且变得与车辆的行驶方向平行，以使得可将四个摄像头图像很好地布置在AVM坐标系上。
[0135] 根据本实施例的校准设备可进一步包括参数选择单元400，该参数选择单元累积12个安装角度作为12维向量，这12个安装角度包括对前摄像头、后摄像头、左摄像头和右摄像头估计的俯仰角、偏航角和翻滚角。当所累积的12维向量的数量等于或大于预设值时，参数选择单元400可在12维向量中选择具有最小平均欧氏距离的向量，作为前摄像头、后摄像头、左摄像头和右摄像头的最终安装角度。
[0136] 换句话说，这12个通过上述过程精确地估计的安装角度可用作最终系统输出。然而，根据本实施例的参数选择单元400可储存并累积12个安装角度，作为队列中的12维向量，以提高估计12个安装角度的过程的可靠性。当所累积的12维向量的数量等于或大于预设值时，参数选择单元400可在12维向量中选择具有最小平均欧氏距离的向量，作为最终安装角度。
[0137] 在本实施例中，已将车道检测单元100、有效车道提取单元200、参数估计单元300和参数选择单元400描述为单独的单元。然而，根据一个实施例，可将这些单元100到400集成并实现为一个处理器。
[0138] 图9是示出了根据本发明的一个实施例的校准方法的流程图，图10是示出了根据本发明的实施例的校准方法中的车道检测单元检测车道的过程的流程图，图11是示出了根据本发明的实施例的校准方法中的有效车道提取单元提取有效车道的过程的流程图，图12是示出了根据本发明的实施例的校准方法中的参数估计单元估计摄像头的安装角度的过程的流程图，图13是示出了根据本发明的实施例的校准方法中的参数估计单元估计前摄像头和后摄像头的俯仰角、偏航角和翻滚角的过程的流程图，而图14是示出了根据本发明的实施例的校准方法中的参数估计单元估计左摄像头和右摄像头的偏航角和翻滚角的过程的流程图。
[0139] 在下文中，将参考图9至图14描述根据本发明的实施例的校准方法，并且这里将省略上述过程的重复描述。
[0140] 首先，当车辆的行为在步骤S100满足预设行为条件时，车道检测单元100可在步骤S200从通过车辆的摄像头获得的周围图像中检测车道。该行为条件可包括一个或多个用于判断车速是否等于或大于预设车速的车速条件和用于判断转向角是否等于或小于预设转向角的转向角条件。
[0141] 参考图10，将如下详细地描述步骤S200。在步骤S210，车道检测单元100可基于从通过摄像头获得的周围图像提取的边缘分量来检测直线，并在步骤S230通过在所检测到的直线中确定ROI的车道检测区域中存在的直线的车道拟合来检测车道。
[0142] 将如下更详细地描述步骤S210。在步骤S211，车道检测单元100可计算从周围图像产生的鸟瞰图中的梯度，并基于所计算的梯度的方向和量值提取边缘分量。此时，车道检测单元100可提取鸟瞰图的参考轴和在鸟瞰图中计算的梯度的方向之间的角度落在ROI的车道角度变化范围内的点，并且梯度的量值等于或大于预设阈值75，例如，作为边缘分量。在道路标线的情况中，可将参考轴(其是与梯度方向的比较对象)设置为前摄像头和后摄像头的鸟瞰图中的y轴，或者左摄像头和右摄像头的鸟瞰图中的x轴。在停车线的情况中，可将参考轴设置为前摄像头和后摄像头的鸟瞰图中的x轴。
[0143] 然后，在步骤S213，车道检测单元100可检测一个或多个直线对，每个直线对包括用于在像素值的增加方向上具有梯度的边缘分量的直线和用于在像素值的减小方向上具有梯度的边缘分量的直线。
[0144] 当通过步骤S210检测到直线时，在步骤S230，车道检测单元100可在通过上述过程检测的直线中决定ROI的车道检测区域中存在的直线，并确定所决定的直线的车道拟合，从而检测车道。车道拟合可包括交叉条件、车道厚度条件和重叠比条件中的一个或多个。具体地，当满足交叉条件、车道厚度条件和重叠比条件中的一个或多个时，车道检测单元100可确定直线满足车道拟合。交叉条件可指示两条包含在通过步骤S213检测的直线对中的直线彼此是否交叉，车道厚度条件可指示包含在直线对中的两条直线之间的最小距离和最大距离是否落在ROI的车道厚度保护范围内，而重叠比条件可指示当将包含在直线对中的两条直线投射在鸟瞰图上的参考轴上时这两条直线的重叠比是否等于或大于预设比。
[0145] 当通过步骤S200检测到车道时，在步骤S300，有效车道提取单元200可分析检测到的车道的位置和方向的统计特征，并通过移除误测车道来提取有效车道。
[0146] 参考图11，将如下详细地描述步骤S300。在步骤S310，有效车道提取单元200可将由车道检测单元100检测到的车道的位置投射在从周围图像产生的鸟瞰图的参考轴上，通过累积预定数量或更多的帧来产生柱状图，将车道确定为误测车道，该车道离根据所产生的柱状图决定的参考车道位置预设距离或者更远，并且移除误测车道。也就是说，车道检测单元100可分析车道位置的统计特征，以移除误测车道。
[0147] 然后，在步骤S330，有效车道提取单元200可使用通过由车道检测单元100检测到的车道估计的消失点来计算摄像头的安装角度，通过校准基于计算安装角度而检测的车道的角度误差来决定校准车道，基于所决定的校准车道和鸟瞰图上的参考轴彼此有多平行来确定误测车道，并且移除误测车道。也就是说，车道检测单元100可分析车道方向的统计特征，以移除误测车道。
[0148] 当通过步骤S300提取到有效车道时，在步骤S400，参数估计单元300可基于有效车道的方向和通过有效车道决定的消失点来估计摄像头的安装角度。此时，参数估计单元300可估计12个安装角度，包括前摄像头、后摄像头、左摄像头和右摄像头的俯仰角、偏航角和翻滚角。
[0149] 如图12中示出的，步骤S400可包括：估计前摄像头和后摄像头的俯仰角、偏航角和翻滚角的步骤S410，估计左摄像头和右摄像头的偏航角和翻滚角的步骤S430，以及估计左摄像头和右摄像头的俯仰角的步骤S450。
[0150] 参考图13，将描述估计前摄像头和后摄像头的俯仰角、偏航角和翻滚角的步骤S410。首先，在步骤S411，参数估计单元300可通过校准前/后有效车道的透镜变形来决定校准直线。可根据以上方程式2决定校准直线。
[0151] 然后，在步骤S412，参数估计单元300可基于校准直线的消失点与预设第一参考消失点之间的关系来初始地估计前摄像头和后摄像头的俯仰角和偏航角。由于校准直线的消失点与平行于车辆行驶方向的车道相遇，所以消失点需要定位在鸟瞰图中的[0,1,0]的坐标处。因此，参数估计单元300可根据方程式3和4计算用于将校准直线的消失点转换成第一参考消失点的旋转矩阵，以初始地估计前摄像头和后摄像头的俯仰角和偏航角。
[0152] 然后，在步骤S413，参数估计单元300可使用前摄像头和后摄像头的初始估计的俯仰角和偏航角作为初始值，通过LM在预设角度范围内重新估计前摄像头和后摄像头的俯仰角和偏航角。此时，参数估计单元300可使用前摄像头和后摄像头的旋转矩阵(通过使用LM算法的重新估计过程来计算该旋转矩阵)，将校准直线转换成鸟瞰图上的前/后有效车道，并且重新估计前摄像头和后摄像头的俯仰角和偏航角，以使得前/后有效车道与鸟瞰图上的第一方向参考轴(y轴)平行，且彼此平行。
[0153] 换句话说，参数估计单元300可使用前摄像头和后摄像头的初始估计的俯仰角和偏航角作为初始值，通过LM在预设角度范围(例如，±1°)内重新估计前摄像头和后摄像头的俯仰角和偏航角。而且，参数估计单元300可使用每当重复LM时计算的摄像头旋转矩阵，根据以上方程式5将校准直线转换成鸟瞰图上的直线，然后根据以上方程式6计算LM的成本。
[0154] 在步骤S414，当重新估计前摄像头和后摄像头的俯仰角和偏航角时，参数估计单元300可初始地估计前摄像头和后摄像头的翻滚角，以使得根据前摄像头和后摄像头的重新估计的俯仰角和偏航角进行校准的、在鸟瞰图中的前/后有效车道中所包含的左车道和右车道的宽度之间的差最小化。也就是说，当校准前摄像头和后摄像头的俯仰角和偏航角时，参数估计单元300可测量前/后有效车道的宽度，因为鸟瞰图中的前/后有效车道变得与y轴平行，如图6中示出的，并且基于包含在前/后有效车道中的左车道和右车道的宽度彼此相等的假设来估计前摄像头和后摄像头的翻滚角。因此，参数估计单元300可根据以上方程式7通过LM估计前摄像头和后摄像头的翻滚角，以使得左车道和右车道的宽度之间的差最小化。
[0155] 通过步骤S414估计前摄像头和后摄像头的翻滚角的过程不考虑停车线。然而，当在车辆行驶的同时检测到足够数量的停车线时，参数估计单元300可通过利用检测到的停车线，更精确地估计前摄像头和后摄像头的翻滚角。也就是说，当在步骤S415检测到预定数量或者更多的与车辆的行驶方向不平行的车道时，参数估计单元300可在步骤S416从车道提取停车线，并且在步骤S417，基于包含在所提取的停车线中的两条直线之间的平行度，通过LM在预设角度范围内重新估计前摄像头和后摄像头的初始估计的翻滚角。
[0156] 当通过步骤S410估计了前摄像头和后摄像头的俯仰角、偏航角和翻滚角时，在步骤S430，参数估计单元300可估计左摄像头和右摄像头的偏航角和翻滚角。
[0157] 参考图14，将如下更详细地描述步骤S430。首先，在步骤S431，参数估计单元300可通过校准左/右有效车道的透镜变形来决定校准直线。
[0158] 然后，在步骤S432，参数估计单元300可基于校准直线的消失点与预设第二参考消失点[1,0,0]之间的关系，初始地估计左摄像头和右摄像头的偏航角和翻滚角。
[0159] 然后，在步骤S433，参数估计单元300可使用左摄像头和右摄像头的初始估计的偏航角和翻滚角作为初始值，通过LM在预设角度范围内重新估计左摄像头和右摄像头的偏航角和翻滚角。可以与步骤S413的重新估计过程类似的方式，执行步骤S433的重新估计过程。也就是说，参数估计单元300可使用左摄像头和右摄像头的旋转矩阵(在重新估计过程中使用LM计算该旋转矩阵)，将校准直线转换成鸟瞰图上的左/右有效车道，并且重新估计左摄像头和右摄像头的偏航角和翻滚角，以使得左/右有效车道与鸟瞰图上的第二方向参考轴(x轴)平行，且彼此平行。
[0160] 当估计了前摄像头和后摄像头的俯仰角、偏航角和翻滚角以及左摄像头和右摄像头的偏航角和翻滚角时，参数估计单元300可估计左摄像头和右摄像头的俯仰角。此时，参数估计单元300可估计左摄像头和右摄像头的俯仰角，以使得通过前摄像头、后摄像头、左摄像头和右摄像头检测的车道中的相同车道彼此匹配。也就是说，在步骤S450，参数估计单元300可将前/后有效车道和左/右有效车道投射在公共坐标系上，并且估计左摄像头和右摄像头的俯仰角以使得相同车道彼此匹配。
[0161] 当通过上述过程估计了12个安装角度(包括前摄像头、后摄像头、左摄像头和右摄像头的俯仰角、偏航角和翻滚角)时，在步骤S500，参数估计单元300可通过LM精确地估计12个安装角度。在精确估计的过程中应用的LM成本可包括条件C1(前/后有效车道与y轴平行，并且左/右有效车道与x轴平行)、条件C2(前/后有效车道和左/右有效车道彼此匹配)、条件C3(当未检测到停车线时，将左车道和右车道的宽度之间的差最小化)，和条件4(当检测到停车线时，两条包含在停车线中的直线彼此平行)。在估计前摄像头、后摄像头、左摄像头和右摄像头的俯仰角、偏航角和翻滚角的过程中已经应用了这些条件。
[0162] 可将通过上述过程估计的12个安装角度用作最终系统输出。在本实施例中，参数选择单元400可累积12个安装角度，包括对前摄像头、后摄像头、左摄像头和右摄像头估计的俯仰角、偏航角和翻滚角，作为12维向量。在步骤S600，当所累积的12维向量的数量等于或大于预设值时，参数选择单元400可在12维向量中选择具有最小平均欧氏距离的向量，作为前摄像头、后摄像头、左摄像头和右摄像头的最终安装角度。也就是说，参数选择单元400可储存并累积12个安装角度，作为队列中的12维向量，以提高估计12个安装角度的过程的可靠性。当所累积的12维向量的数量等于或大于预设值时，参数选择单元400可在12维向量中选择具有最小平均欧氏距离的向量，作为最终安装角度。
[0163] 根据本实施例的校准设备和校准方法可在没有单独设备和具有绘制于其上的特定图案的校准地点的情况下执行校准，并且去除在根据相关技术的校准操作期间所伴随的时间限制和空间限制，从而改进驾驶员的方便性。而且，一旦驾驶员在没有特殊指导的情况下在道路上驾驶车辆，便可自动地校准摄像头的外部参数，这使得可能改进校准操作的实用性。
[0164] 虽然已经为了说明性目的公开了本发明的优选实施例，但是本领域技术人员将认识到，在不脱离如在所附
权利要求中定义的本发明的范围和实质的情况下，各种
修改、添加和替代是可能的。
