在车辆中操作夜视系统的方法及对应的夜视系统 |
|||||||
| 申请号 | CN200710147869.9 | 申请日 | 2007-08-31 | 公开(公告)号 | CN101135570B | 公开(公告)日 | 2013-05-08 |
| 申请人 | 哈曼贝克自动系统股份有限公司; | 发明人 | R·埃布纳; | ||||
| 摘要 | 在操作夜视系统的方法中，用夜视 传感器 提供车辆环境的视频图像，该视频图像经处理以便考虑从导航设备检索的道路路线信息而检测车辆在道路上行驶的路线，且该视频图像和检测的道路路线被显示在显示设备上。 | ||||||
| 权利要求 | 1.在车辆中操作夜视系统的方法，其包括： |
||||||
| 说明书全文 | 在车辆中操作夜视系统的方法及对应的夜视系统技术领域背景技术[0002] 在机动车辆，如汽车领域，众所周知为机动车辆提供所谓夜视系统以便增强驾驶员的夜间观察力。借助该方法，可以通过减少由于弱光条件导致的事故数量而增加安全性。进一步，由于夜视系统允许驾驶员以更放松的方式监视车辆环境，夜视系统可增加驾驶员夜间驾驶的舒适性。夜视系统通常基于特定的夜视传感器，如红外摄像机，其甚至能够在没有可见光时提供图像。 [0003] 然而，通过夜视传感器提供的图像可能常常与工作在电磁波谱中可见光范围内的传统光学成像设备提供的图像差别很大。因此，有时难于定向夜视图像。而且，某些相关的结构，如道路表面和道路边缘，会在夜视图像中引起弱反差，因此驾驶员难于识别相关的结构。 [0004] 考虑到上述因素，一个宗旨是在夜视图像中高亮机动车辆行驶的路线。这要求在夜视图像中可靠的路线方向检测，而现有技术难于实现这一点。 [0005] 因此，本领域需要以如下方式改善夜视系统的操作，即机动车辆行驶的路线能被可靠地检测且与夜视图像一起显示。 发明内容[0006] 根据本发明的一种实施方式，提供了操作夜视系统的方法，其包括通过夜视传感器提供车辆环境的视频图像，并考虑从导航设备检索的信息，处理该视频图像以便检测车辆在道路上行驶的路线。视频图像和检测的路线显示在显示设备上。附图说明 [0007] 图1是在道路上行驶的机动车辆的示意图，包括提供在机动车辆上的夜视传感器的检测范围。 [0008] 图2A和2B是视频图像的示意图，其包括机动车辆在道路上行驶的路线，该视频图像通过夜视传感器提供。 [0009] 图3是方框图，其示意地示出了根据本发明实施方式的夜视系统。 [0010] 图4是流程图，其示意地示出了操作根据本发明实施方式的夜视系统的方法。 具体实施方式[0011] 以下，将通过非限制性例子描述本发明实施方式。 [0012] 根据本发明的实施方式，提供了操作车辆中夜视系统的方法，其包括通过夜视传感器提供车辆环境，特别是车辆前面的环境，的视频图像，即，提供夜视图像，从导航设备检索车辆在道路上行驶的路线的信息，并考虑从导航设备检索的信息处理该视频图像以便检测道路的路线，并在显示设备上显示视频图像和检测的路线。例如，检测的路线可叠加到视频图像上，从而高亮(highlighting)视频图像中的道路路线。 [0013] 上述方法在显示的车辆环境的夜视图像方面提供了显著优势。具体地，促进了所显示夜视图像中驾驶员的定向。通过使用由导航设备提供的道路路线的补充信息，道路路线检测的可靠性被显著提高。具体地，甚至可以在仅依靠对比信息无法检测时显示道路路线。例如，可以是这样的情形，在道路路线的交叉点或节点，如果道路宽度突然改变，或如果道路路线通过山峰，这意味着山峰以外的道路路线在夜视图像中是不可见的。因此，从导航设备检索的道路路线信息优选包括道路路线中交叉点或节点的信息，道路宽度的信息，和/或道路路线高度信息。 [0014] 根据本发明的实施方式，从导航系统中检索的信息还包括车辆位置相对道路路线的信息。这样的信息可通过导航设备的卫星导航系统，如，根据全球定位系统(GPS)提供。在该情形中，优选既提供关于车辆纵向位置的信息，即，沿道路路线方向的位置，也提供关于横向位置的信息，即，相对于道路的边缘。使用这样的信息，可以预测哪个区域中将出现的夜视图像相关结构，如道路边缘，这提高了检测的可靠性。 [0015] 根据本发明的实施方式，夜视图像的处理也考虑了车辆的取向或姿势(orientation or attitude)。具体地，这样的信息可包括车辆在纵向和/或横向上的倾斜，这通常是由于车辆加速，车辆减速，或左转向和右转向运动引起的。车辆相对道路路线的倾斜和不同取向影响夜视图像中道路路线外观，在夜视图像的处理中考虑这些倾斜信息是有利的。 [0016] 根据本发明的实施方式，采用两级处理来处理视频图像。也就是说，初始通过评估对比信息检测视频图像中的道路路线。此外，根据从导航设备中检索的信息计算夜视图像中预期的道路路线。然后，将基于对比信息检测的道路路线与预期的道路路线匹配。以该方式，可减小检测的道路路线与实际道路路线之间的任何偏移或偏差。上面的匹配过程优选以合适的间隔重复，从而允许连续保持高度的精确度。 [0017] 根据实施方式，该方法还包括处理夜视图像以便自动检测靠近道路路线或在道路路线上的物体，并在道路路线附近或道路路线上检测到物体时向车辆用户提供警告。该警告可通过声学信号或通过显示设备上光学信号提供，如通过高亮显示的夜视图像中检测到的物体。以该方式，可进一步提高安全水平。 [0018] 根据实施方式，该方法涉及使用同一显示设备来显示夜视图像和所检测的道路路线，并用于显示导航设备的信息，如驾驶员指令，交通警告等。一方面，夜视系统和导航设备使用共同的显示设备的方法，在硬件成本和相关成本方面是有利的。也就是，可以避免必须提供多个显示设备，因此所要求的部件数量减少。另一方面，驾驶员的舒适度得到提高。也就是，驾驶员将不必注意多个显示设备，而是可以将注意力集中在一个显示设备上，该显示设备显示关于驾驶和导航设备所有的相关信息。显示设备可包括头上显示器，这允许在车辆的挡风玻璃上显示图像和其他信息。 [0019] 根据实施方式，本发明也提供夜视系统，优选该系统经配置来根据上述方法操作。具体地，夜视系统包括提供车辆环境的视频图像或夜视图像的夜视传感器，经配置来处理视频图像以便检测车辆在道路上行驶的路线的视频处理设备，处理图像时考虑了从导航设备中检测的道路路线信息，该系统还包括显示视频图像和检测的道路路线的显示设备。 [0020] 夜视系统也可包括数据处理设备，其被配置从导航设备检索关于道路路线的所述信息。使用数据处理装置，来自导航设备的数据可被调节以供视频处理。如果导航设备构成夜视系统的外部部件，这就特别有利，且数据格式的兼容是必须的。当然，导航设备也可以是夜视系统的集成部件。优选，导航设备包括卫星导航功能，如GPS功能，其允许车辆在存储在导航设备上的数字地图上精确定位。存储在导航设备中的数字地图数据优选包括关于道路路线的信息，该道路路线信息在夜视图像的处理中使用。 [0021] 根据实施方式，夜视传感器至少在电磁波谱的远红外或近红外中的一个范围内工作。当然，也可以考虑提供在两个范围内工作的传感器，或提供工作在电磁波谱中不同范围内的多个夜视传感器。每个范围在识别夜视图像中物体方面可提供特定的优点。例如，在远红外范围内，生命物体，如人或动物将引起高对比，这促进对他们的识别。另一方面，在近红外范围内，所提供的夜视图像更类似于电磁波谱中可见光范围内的图像。特别地，在使用工作于电磁波谱中近红外范围内的传感器的情形中，额外提供红外辐照源以便辐照要成像的车辆环境是有利的。 [0022] 此外，本发明的实施方式还涉及机动车辆，其包括上述夜视系统。如果机动车辆额外包括导航系统，则为夜视系统和导航系统提供公共显示设备是有利的，从而减小硬件和相关成本并增加驾驶员的舒适度。 [0023] 下面将参考附图进一步详细描述本发明实施方式。 [0024] 图1示意地显示了装配有夜视系统的机动车辆1，所述设备1在道路5上行驶。图1还示出了夜视系统的夜视传感器的检测范围2，所述检测范围2是以虚线示出的。对于典型的道路5的宽度，检测范围2覆盖道路左边缘5L和道路右边缘5R。检测范围2从车辆1向前延伸并因此覆盖车辆1的行驶方向上的车辆环境。当然，也考虑了提供覆盖车辆1后面区域的夜视传感器。 [0026] 图2A和2B示出车辆1的夜视系统提供的示例性的视频图像，即夜视图像。可以理解在下面说明的夜视系统中，实际上提供了一系列图像。也就是说，视频图像实际包括一系列图像，这些图像是实时评估和显示的。 [0027] 图2A的示例性夜视图像示出道路5，该道路5的边界为左边缘5L和右边缘5R。进一步，图像包括物体6，在所示例子中，物体6靠近右边缘5R。如从夜视系统的显示设备上观看，夜视系统通常具有灰度级(grayscale)表示等的形式，其中示意表示的结构以不同的灰色或其他颜色的阴影之间的对比。夜视图像中的对比非常弱，且可以与电磁波谱中可见光范围内检测的图像中的对比不同。因此，夜视系统的操作涉及检测，即，识别夜视图像中的道路5的路线并显示叠加到夜视图像上的所检测的道路5的路线，以便促进夜视图像中的定向。 [0028] 通常，道路5的路线是用道路左边缘5L和道路右边缘5R产生的对比识别的。至于检测的道路5的路线，可以表示道路左边缘5L和道路右边缘5R的线的形式来显示，或以表示道路左边缘5L和道路右边缘5R之间的区域的固体表面的形式来显示，如使用相对夜视图像的灰度级显示提供足够对比的颜色。然而，仅显示道路左边缘是有利的，因为其不“隐藏”任何包含在道路左边缘5L和道路右边缘5R之间区域中的图像信息，例如由于道路障碍物导致的信息“隐藏”。 [0029] 此外，夜视图像也可以被评估以便自动检测额外的物体，如图2A中所示的物体6。如果物体是在道路5的路线上或其附近被检测的，则物体可被高亮和/或向驾驶员发出警告，如通过声学信号。 [0030] 在任何情形中，在夜视图像中检测道路5的路线和通过叠加所检测的道路路线至夜视图像而高亮道路路线能够允许更好地区分相关物体和夜视图像的背景。而且，促进了夜视图像中的定向。在由远红外传感器检测的夜视图像的情形中这特别有利，该远红外传感器提供的对比与电磁波谱中可见光范围内检测的图像的对比显著不同。 [0031] 在操作这里所述的夜视系统的方法中，检测道路5的路线涉及基于对比信息对夜视图像的第一级处理。优选，这是用具有多个评估行8a，8b，8c的评估窗口8并适当过滤数据图像，如用Kalman滤波器而实现的。以该方式，由于道路左边缘5L和道路右边缘5R产生的对比可以被增强，且可以考虑由于车辆在道路5上的行驶导致的效果。通过使用设置在预期其中有道路边缘的夜视图像区域中的评估窗口8，可以简化评估并提供评估速度。 [0032] 如图2A所示，评估窗口8构成部分夜视图像，其中期望有用来检测道路5的路线的相关对比。由于评估窗口8的尺寸比夜视图像的总尺寸小，与整个夜视图像的评估相比，评估时间可以减小和/或分辨率可以增加而不会不利地影响性能。通常评估窗口8的合适位置是夜视图像的左下部分和右下部分。 [0033] 如图示，评估窗口通常为矩形。评估窗口优选被分成在夜视图像的水平方向延伸的评估行8a，8b，8c。使用这些水平延伸的评估行能提供特殊优势，以便检测基本垂直的结构，如道路边缘5L，5R。 [0034] 然而，仅使用夜视图像中的对比信息，在某些情形中，由于对比不充分所以提供的效果差，或者甚至不能提供，如在道路路线通过山峰时，这意味着道路左边缘5L或道路右边缘5R的部分位于山峰以下且不能评估。基于对比信息而不利地影响道路左边缘5L和道路右边缘5R的检测的其他情形是道路5的路线出现交叉或节点，或道路5的宽度突然改变。而且，干扰也可由于损坏或不同材质导致的道路表面的改变而引起。由于上述影响，仅基于夜视图像中对比信息检测的道路路线在显示时可能出现受干扰的和令人紧张(nervous)的外观。因此，这里所述的操作方法和夜视系统还涉及使用关于道路路线的信息，该信息如在夜视图像中检测道路路线时由车辆的导航设备或导航系统所提供的信息。例如，额外信息可用来调整尺寸和/或评估窗口8的位置。 [0035] 图2B示意地示出夜视图像的另一个例子，类似于图2A中所示的例子。然而，与图2A比较，在图2B中，道路5的路线包括节点。如看到的那样，夜视图像中结构的外观比图 2A的情形更复杂，图2A的道路5的路线中没有出现节点。具体地，道路边缘的数量有效地增加。如图2B所示，有道路左边缘的第一部分5L和道路左边缘的第二部分5L’。类似的，有道路右边缘的第一部分5R和道路右边缘的第二部分5R’。在这些部分之间，节点的位置处有中断。显然，评估夜视图像以便检测道路5的路线在图2B的情形中更复杂。因此，这里提出的方法包括对导航设备提供的道路5的路线的信息，具体地，如图2B所示的节点或交叉的出现的考虑。在这样的情形中，评估可适用于节点的出现，例如通过包括额外评估窗口8以便检测额外道路边缘。进一步，评估窗口8的大小和/或位置可根据如从导航设备接收的道路5的路线上的信息调整。 [0036] 根据实施方式，在评估夜视图像时也考虑了道路5的路线上的高度信息和/或道路5的宽度信息。一般地，道路5的路线的高度和道路宽度的变化将影响夜视图像中道路5的路线的外观。例如，可能有透视失真，或道路5的路线可在山峰外消失。使用导航设备提供的信息时，该信息在夜视图像的评估中被考虑。优选，这是通过使用如从导航设备接收的信息计算预期道路5的路线和将预期道路路线和夜视图像中检测的结构比较实现的。一方面，预期的道路5的路线可用作定位评估窗口8的基础。另一方面，如果道路边缘是在夜视图像中检测的，则可以将该检测的道路边缘与预期的道路5的路线匹配。也就是说，将预期的结构与夜视图像中检测的特征部分对准。这显著增加检测精度，因为预期的道路路线较少受到干扰。也避免了所显示的检测道路5的路线令人紧张的外观，且因此驾驶员能够可靠地识别道路5的路线附近或其上的物体，如图2A中所示的物体6。 [0037] 进一步，通常在道路5上行驶的车辆1的方向或姿势可能改变。也就是说，可能在纵向上或横向上倾斜，且车辆1相对道路路线可能不同取向，这会影响夜视图像的外观。因此，优选在评估夜视图像时考虑车辆的取向和/或姿势的信息。如上面的说明，这可通过将预期的道路路线和夜视图像的特征比较和匹配实现。 [0038] 根据实施方式，评估也可以考虑用户选择的导航路线。使用该信息，车辆未来导航移动可在评估中预见，如，在跟随所选导航路线时，通过对车辆预期进入其中行驶的夜视图像区域分配以较高的优先权。 [0039] 图3示出方框图，其示意地表示根据上述原理操作的夜视系统。如图所示，夜视系统10包括夜视传感器12，其优选在电磁波谱的远红外范围和/或近红外范围内工作，视频处理设备14，和显示设备20。夜视传感器12提供表示夜视图像的视频信号至视频处理设备14。进一步，表示夜视图像的视频信号提供给显示设备20。显示设备20也可以是所谓的头上显示器，其将图像投影到车辆挡风玻璃上。 [0040] 进一步，夜视系统10包括数据处理设备13，其连接到导航设备15以便接收信息信号。从导航设备15上接收的信息信号包括车辆相对其所行驶的道路路线的位置信息，道路路线高度信息，道路路线中有交叉或节点的信息，道路宽度的信息，车辆姿势的信息，用户选择的存储在导航设备15中的导航道路路线的信息。导航设备15可以是夜视系统10的部件或可以是外部部件，如车辆导航系统的部件或便携式导航系统。 [0041] 导航设备15优选包括卫星导航功能，如GPS功能，其允许在数字地图中精确判断车辆的位置。数字地图存储在导航设备15的合适存储设备中，如硬盘，CD-ROM设备，DVD设备或其他合适的存储设备。数字地图包括上述关于道路路线的信息，特别是交叉或节点的信息，道路高度信息和宽度信息。导航设备15也包括取向和姿势传感器，如陀螺仪设备，其提供关于车辆取向和姿势的信息。 [0042] 信息信号是通过数据处理设备13接收并处理的，以便合适地调节供夜视传感器12提供的夜视图像处理用。相应调节的信息信号从数据处理设备13提供给视频处理设备 14，该视频处理设备14也从夜视传感器12接收视频信号。视频处理设备14执行夜视图像的基本评估，并考虑导航设备15提供并由数据处理设备13调节的信息。作为输出，视频处理设备14提供检测的道路路线的信号表示并提供给显示设备20，以便与夜视图像一起显示。 [0043] 在显示设备中，由夜视传感器12提供的夜视图像和视频处理设备14提供的检测道路路线被叠加，以便生产单个图像，与单独的夜视图像比较，该图像提供显著改进的取向。 [0044] 在实施方式中，显示设备20经配置作为多用途显示器，该显示器被导航设备15和夜视系统10使用。也就是说，显示设备20也直接从导航设备15接收输入信号以便显示导航信息，如驾驶员指令或车辆信息。通过共用的显示设备，不需要在车辆中提供多个显示器，从而减小硬件要求并增加驾驶员的舒适度。 [0045] 根据实施方式，视频处理设备14也执行额外的图像分析功能。具体地，夜视图像可以被分析以便识别位于被检测道路路线附近或其上的物体。例如，这样的物体可以是动物，人或其他车辆。为了减小碰撞这些物体的风险，如果检测到这样的物体，则视频处理设备启动警告。在该实施方式中，警告可以是在显示的夜视图像中高亮被检测的物体和/或提供声学警告。为了后面的目的，夜视系统要连接到扬声器设备30，其输出声学警告。扬声器设备30可以是夜视系统10的部件，或可以是独立部件，如车辆娱乐系统的部件。扬声器设备30也可用于所述导航信息的声学输出。 [0046] 如图所示，夜视系统10的核心部件是数据处理设备13，视频处理设备14，夜视传感器12和显示设备20。然而，这些部件不必是夜视系统10专用的。而是可以是其他车辆系统公用的，如导航系统，娱乐系统，安全系统，多媒体系统。也就是说，夜视系统10可以集成到其他车辆系统上，从而减小硬件成本和相关成本。 [0047] 而且，可以理解，数据处理设备13和视频处理设备14实际上可以由单个微处理器执行。单个微处理器也可用来执行导航设备15的处理任务。 [0048] 图4示出流程图，其示意地示出操作根据上述原理的夜视系统的方法。如指出的那样，该方法通常涉及处理夜视图像以便检测车辆在其上行驶的道路路线，所述处理是在考虑导航设备15提供的道路路线信息后完成的。 [0049] 在步骤110中，提供了车辆环境的视频图像，即夜视图像。该图像优选覆盖车辆前面的区域，在车辆行驶的方向上，该区域对驾驶员特别重要。当然，也可以提供车辆后面或左侧或右侧区域的图像。优选，图像记录在远红外范围，近红外范围，或它们组合的范围内。可以理解视频图像实际包括一系列的图像，它们被实时记录并进一步处理。在步骤120中，从导航设备中检索信息，该信息涉及车辆行驶的道路路线。该信息包括车辆相对道路路线位置的信息，道路路线上有节点或交叉的信息，道路宽度的信息，道路路线高度的信息。进一步，该信息包括车辆姿势和取向的信息和/或用户选择的导航道路路线的信息。被检索的信息被调节供视频图像处理使用。 [0050] 在步骤130，执行视频图像的初始处理，该处理基本基于对比信息。在该阶段，从导航设备检索的信息是通过合适调整和定位评估窗口而考虑的，如结合图2A和2B的描述。 [0051] 在步骤140，预期的道路路线是基于从导航设备接收的信息计算的。该计算基于几何光学和夜视传感器视场的一般原理。预期的道路路线与在所述初始处理中识别的结构匹配并比较。具体地，在步骤130中识别的道路边缘可以与计算的预期道路边缘对齐。而且，评估窗口被调整和/或再定位，且基于对比信息执行视频图像的精细处理，以便验证和补充初始处理的结果。检测的道路路线是基于初始和精细处理的结果输出的。即使在初始处理和精细处理中没有识别到结构，也可以基于预期道路路线输出道路路线。 [0052] 在步骤150，视频图像和所检测的道路路线被显示给驾驶员。优选，所检测的道路路线被叠加到视频图像以便促进取向，如使用头上显示器。 [0053] 根据实施方式，在步骤120到140中，视频图像也被处理以便识别道路路线附近或其上的物体。在该情形中，显示的视频图像中，所检测物体被高亮，和/或提供声学警告。 [0054] 步骤150后，重复该方法以便连续评估和显示视频图像，及检测的道路路线。在这方面，第归地(recursively)使用前面评估循环的结果是有利的。 [0055] 可以理解，上述示例性实施方式是为了说明本发明，本发明不限于此。在本发明的范围内可以有多种修改和变化。例如，夜视传感器的类型和/或导航设备的类型可根据特定要求选择。进一步，可采用多种合适的图像处理技术，以便用在所述方法中。导航设备可以是夜视系统的集成部件或可以是独立的部件，例如传统导航系统或其中部件。导航设备可包括卫星导航功能。然而，也可以使用其他导航系统，这允许判断车辆相对数字地图的位置。根据车辆的类型和其他设计因素，可以使用不同类型的显示设备。进一步，夜视系统和导航设备可以集成到车辆的多媒体系统内。 [0056] 总之，已经描述了这样的方法和系统，通过该方法和系统，夜视系统的可靠性和精度显著增加。因而，夜间或暗光，或弱光条件下驾驶的安全性和驾驶员的舒适度被显著提高。 |
||||||
QQ群二维码
意见反馈
意见反馈