用于车辆的主动可视性支持设备和方法 |
|||||||
| 申请号 | CN201110053242.3 | 申请日 | 2011-03-03 | 公开(公告)号 | CN102194103B | 公开(公告)日 | 2016-03-23 |
| 申请人 | 日本电气株式会社; 丰田自动车株式会社; | 发明人 | 石勉; 吉川祐巳子; 船山龙士; 川真田进也; | ||||
| 摘要 | 本 发明 涉及用于车辆的主动可视性支持设备和方法。一种主动可视性支持设备包括：光线接收单元，配置为接收来自物体的反射光线以对于多个 波长 带的每个产生用于图像的 信号 ；波长选择单元，配置为在对于至少一个波长带的图像中把限定最大占据区域的、具有可比信号强度的 像素 集设为参照区域，并将不包括在参照区域中的像素设为识别目标像素；对于每个识别目标像素，对于每个波长带将图像中像素的值与参照区域的像素值相比，以选择对于检测物体而言有效的至少两个波长带；显示单元，配置为基于波长选择单元对于每个识别目标像素所选择的多个波长带的组合而对识别目标像素分组，并基于分组的结果显示以区别方式示出物体的图像。 | ||||||
| 权利要求 | 1.一种可视性支持设备，包括： |
||||||
| 说明书全文 | 用于车辆的主动可视性支持设备和方法技术领域[0002] 本发明涉及用于车辆的主动可视性(active visibility)支持设备和主动可视性支持方法，用于允许驾驶员在驾驶车辆的同时更恰当地识别所视的物体。 背景技术[0003] 在驾驶车辆的同时，车辆的驾驶员需要视觉地识别物体并根据对物体的识别结果来驾驶车辆，所述物体如其它车辆、路上的人、路面上的标记线、路侧建筑物。例如，在驾驶车辆的同时，当侦查到前方并沿前进方向略向左的细长的竖直站立物体时，驾驶员需要判断该物体是设施杆还是行人。如果该物体是行人等，驾驶员需要采取行动，例如减速行驶。然而，在例如阴雨天气或夜间的不利条件下，在视野中侦察车辆前方的物体很困难。对物体进行判断则更加困难。 [0004] 因此，已经考察了在车辆中安装主动可视性支持设备，以便于识别可能出现在驾驶员的视野里的物体。主动可视性支持设备用近红外光等照亮车辆前方以获得从车辆所视的沿前进方向的景象的图像，从而允许驾驶员容易地判断图像中的每个物体是什么。反射光谱应当根据物体的类型而改变。因此，为了允许物体被识别，已经提出通过利用多频带摄像机来获得不同波长带的多个图像以识别物体。 [0005] 如JP2005-115631A中所述，相比使用与三原色(即，三个波长带)对应的滤光器的普通彩色摄像机，多频带摄像机提供多个波长带，这些波长带各自是窄带。多频带摄像机还包括大量的这样的波长带，以允许对于相应的单独波长带获取图像。典型的多频带摄像机包括几个至几十个波长带。因为该大量波长带，尽管光谱再现性的精度低，多频带摄像机的使用也允许来自物体上的每个点的光线的光谱被再现。JP2005-115631A公开了一种图像显示设备，其使用多频带摄像机来获取图像，用户在这些图像之一上指定范围以允许该范围的光谱在绘图中显示，或者，该图像显示设备在波长被指定时计算并显示对于具体波长的图像。 [0006] JP2001-099710A示出了具有单个成像装置(例如CCD(电荷耦合器件)传感器)的多频带摄像机，使用例如可以控制传输波长带的液晶可调滤波器来切换传输波长，以取得对于多个波长带的图像。JP2001-099710A还示出用于补偿从可调滤波器的光谱传输特性的设定值的偏移并以更高的波长分辨率估计来自多个波长带的图像的物体的光谱的技术。 [0007] 类似于JP2001-099710A，JP11-096333A示出了以更高的波长分辨率估计来自多频带摄像机获得的多个波长带的图像的物体的光谱的技术。JP11-096333A还公开了当提供单个成像装置时使用旋转滤波器用于切换成像的频带。 [0008] 当物体被光线照亮并且取得来自物体的反射光线的图像时，可以通过使用多个发光二极管(LED)(每个具有窄频带发射光谱特性)作为光源来获得多个波长带的图像，以通过照明光线的波长改变来取得物体的图像。 [0009] 此外，作为对于多频带摄像机、具有更多频带的超光谱传感器等获得的大量波长带在大量图像中识别物体的示例，JP2008-152709A公开了一种基于大量超光谱图像来检查是什么东西覆盖了地面表面的方法。该方法检查地面的目标表面是否是例如路面或水面或由植物覆盖，并且如果地面表面由植物覆盖，则检查植物的分布。根据JP2008-152709A的方法预设适于根据道路、森林等的分类来划分区域的多个波长带的组合，以允许提取目标区域被自动选择。例如，用监督数据进行的学习被用于设定分类。然后，对应于被提取的分类的多个波长带的图像被预选，目标区域然后在被选择的图像中被识别。 发明内容[0010] 本身是包括利用多频带摄像机等取得对于多个波长带的图像并估计物体的反射光谱等的技术本身是已知的。然而，当对于多个波长带的图像被提供时，目前没有确保在任何情况下对象被准确识别的充分技术。上述JP2008-152709A中所述的技术需要根据检测的物体的类型预设表示使用波长带的哪种结合的种类。因此，当图像在例如车辆行进的瞬时变化的情况中被取得，不能获得表示物体本身是什么的信息，JP2008-152709A中所述的技术不足以有效地检测并识别物体。此外，该技术需要通过监督数据来学习以设定分类。因此，相关过程本身复杂。 [0011] 鉴于在车辆中安装主动可视性支持设备以支持驾驶员驱动和操作，设备需要可靠地检测路上或路边的物体并将该物体的再现实时呈现给驾驶员。此外，如果设备可以确定物体是什么，判断结果需要能实时呈现给驾驶员。 [0012] 本发明的一个目的是提供具有简单结构并适于安装在车辆中的可视性支持设备，设备允许路上或路边的物体被准确检测并支持驾驶员使驾驶员能容易地判断物体是什么。 [0013] 本发明的另一个目的是提供可视性支持方法，设备允许路上或路边的物体被准确检测并支持驾驶员使驾驶员能容易地判断物体是什么。 [0014] 根据本发明的示例方面，可视性支持设备包括：光源单元，配置为在波长带之间切换的同时以具有不同峰值波长的多个波长带中的光线照亮物体；光线接收单元，配置为接收来自所述物体的反射光线，以对于所述多个波长带的每个产生用于图像的信号；波长选择单元，配置为在至少一个图像中将像素的信号强度彼此相比，并且设定具有可比信号强度的那些像素的集合，将最大占据区域限定为参照区域，并且将不包括在所述参照区域中的像素设定为识别目标像素；对于每个所述识别目标像素，对于每个波长带将图像中像素的值与所述参照区域的像素值相比，以选择有效用于检测所述物体的至少两个波长带；以及显示单元，配置为基于所述波长选择单元对于每个识别目标像素所选择的多个波长带的组合对所述识别目标像素分组，并且基于分组的结果显示其中区别地示出所述物体的图像。 [0015] 根据本发明的另一示例方面，可视性支持方法包括：在波长带之间切换的同时以具有不同峰值波长的多个波长带中的光线照亮物体；接收来自所述物体的反射光线，以对于所述多个波长带的每个产生用于图像的信号；在至少一个图像中将像素的信号强度彼此相比，并且设定具有可比信号强度的那些像素的集合，将最大占据区域限定为参照区域；将不包括在所述参照区域中的像素设定为识别目标像素，对于每个所述识别目标像素，对于每个波长带将图像中像素的值与所述参照区域的像素值相比，以选择有效用于检测所述物体的至少两个波长带；以及基于对于每个识别目标像素选择的多个波长带的组合对所述识别目标像素分组；并且基于分组的结果显示其中区别地示出所述物体的图像。 [0016] 根据上述结构，基于被实时提取的参照区域，物体被实施提取。因此，即使在瞬时变化的情况下，在图像中可以可靠地将物体与另一个物体区分。此外，不需要进行详细的光谱计算，通过利用通过在多个光源中切换提供的有限数目波长带使物体与另一个物体区分，以对于每个识别目标像素确定表示识别目标像素的波长带的组合。因此，可以简化所需的计算过程，并且减小设备的尺寸。 附图说明[0018] 图1是示出根据本发明的示例实施例的用于车辆的主动可视性支持设备的结构的框图； [0019] 图2是示出波长选择单元执行的过程的流程图； [0020] 图3是示出波长选择单元执行的过程的流程图； [0021] 图4是示出根据本发明的示例实施例的用于车辆的主动可视性支持设备的结构的框图。 具体实施方式[0022] 图1所示的根据本发明的示例实施例的设备是主动可视性支持设备，其安装在车辆中，以检测可能出现在驾驶员的视野中的物体并通知驾驶员物体的存在，以支持驾驶员，使驾驶员可以识别物体。为了允许至少两个物体分别被检测，可视性支持设备用不同波长带中的至少两种光线照亮物体，并且从物体的反射光线获得的反射强度信号选择至少两种对于识别而言有效的波长带。然后，基于所选择的波长带，两个物体在图像上被显示并彼此区别开。 [0023] 可视性支持设备包括：光源单元11，具有至少两个光源S1至Sn以用不同波长带的光线(例如近红外线)照亮测量物体20(可能出现在车辆前方的物体)；调制单元12，配置为驱动光源单元11以调制从光源单元11照射到测量物体20的照明光线21的光强。光源S1至Sn的辐射或发射光谱是已知的并具有不同峰值波长。调制单元12可以单独地调制S1至Sn的辐射强度。这里所用的“调制”一词包括涉及仅打开、关闭每个光源的非调制。由光源S1、S2、...、Sn辐射的光线被假设为分别在B1、B2、...、Bn的波长带。此外，为了便于描述，波长带B1、B2、...、Bn假设为以该顺序峰值波长增大。 [0024] 此外，为了允许来自物体的反射光线22被接收并被显示，使得至少两个物体在图像上彼此区别，可视性支持设备还包括：光线接收单元13，由CCD传感器形成并构造为接收来自物体的反射光线22以基于反射光线的反射强度将光线转换为用于图像的电信号；计算单元14，配置为执行图像计算过程，例如对从光线接收单元13获得的信号进行减法和除法；波长选择单元15，配置为对于各个波长比较计算单元14以图像形式输出的反射强度信号，以选择对于将对象彼此区别开而言有效的至少两个波长带；显示单元16，配置为基于波长选择单元15所选择的波长带集合以区别方式显示至少两个对象。计算单元14可以配置为确定当物体被光线照射时获得的图像和当物体未被光线照射时获得的图像之间的差图像，从而减轻额外的背景光线成分的负面效果。此外，计算单元14可以配置为基于光源单元11中的每个光源的辐射强度分布和光线接收单元13中的光线接收元件的光谱灵敏度来校正反射强度信号，以计算更精确的反射率。 [0025] 现在将描述波长选择单元15。 [0026] 在根据本实施例的结构中，光源单元11中设置具有不同峰值波长的多个光源S1至Sn。调制单元12在这些光源之间切换的同时允许这些光源之一发射光线。测量目标20然后由来自光源的照明光线21照射，并且光线接收单元13接收来自测量目标20的反射光线22。由此，获得波长带不同的多个图像。例如，如果有具有不同峰值波长的六个光源，那么获得不同波长带的六个图像，即与波长带B1至B6对应的图像。每个图像应当显示出现在相同的视野内的多个物体。这里，假设每个图像包含物体A和B。那么，由于物体提供不同的反射光谱，物体A在一个图像中可能被示为比物体B亮，在另一个图像中比物体B暗，并且物体A和B在再一个图像中可能基本上彼此没有区别。这样的示例在图1中被示为图像41和42。图像41从光源S3的光线获得。图像42从光源S6的光线获得。在车辆的支持驱动中，并不优选将多个图像或图画呈现给驾驶员，而优选在一个图像或图画中清楚地以区别方式显示物体A和物体B。 [0027] 因此，例如基于用于不同波长带的六个图像，波长选择单元15对于每个像素选择适于以区别方式显示多个物体(例如物体A和B)的至少两个波长带。如果选择的波长带用于允许显示单元16如上所述清楚地区别显示物体。选择方法可以选择包括物体之间的反射强度信号等级的大小关系的反向的多个波长带的集合，或选择包括物体之间的反射强度信号等级的至少一个给定值的差的多个波长带的集合。 [0028] 图1所示的绘图31示出对波长带B1至B6中的波长带进行的选择。在该图中，来自与一个物体对应的像素的信号的信号强度对于每个波长带由点线表示，而来自与另一个物体对应的像素的信号的信号强度对于每个波长带由实线表示。 [0029] 选择波长带的集合需要从图像提取区域，该区域是物体的候选(candidate)。这里，由于设备安装在车辆中，所以假设每个图像的较大区域被柏油或混凝土铺设的路面部分占据，然而这也取决于光线接收单元13的视角。因此，波长选择单元15首先尝试检测铺设的路面部分作为参照区域，然后使用参照区域作为比较的参照物来比较不属于参照区域的像素的信号强度。基于比较结果，波长选择单元15选择一组波长带，这组波长带允许将物体与参照区域区别开。不包括在参照区域中的像素在下文中被称为识别目标像素。 [0030] 假设被选择的波长带集合包括两个波长带。根据已经设定的参照区域，可以例如基于以下(i)至(iii)来选择允许将物体与参照区域区别开的波长带集合作为识别目标像素。 [0031] (i)在第一情况下，对于所有波长带，每个识别目标像素的像素值等于或大于参照区域的像素值，在此情况下，选择分别包括最大差和最小差的波长带，所述的差是由识别目标像素的像素值减去参照区域的像素值获得的； [0032] (ii)在第二情况下，对于所有波长带，识别目标像素的像素值等于或小于参照区域的像素值，在此情况下，选择分别包括最大差和最小差的波长带，所述的差是由参照区域的像素值减去识别目标像素的像素值获得的； [0033] (iii)在第三情况下，识别目标像素的像素值在一些波长带中大于参照区域的像素值，而识别目标像素的像素值在一些波长带中小于参照区域的像素值，在此情况下，基于参照区域的像素值，选择下述波长带：这些波长带分别包括沿正方向和沿负方向的识别目标像素的最大值。 [0034] 图2是示出波长选择单元15的操作示例的流程图，图3是示出图像在操作期间如何被处理的视图。 [0035] 首先，在步骤101，在对于任何波长带的图像中，像素的信号强度彼此相比。然后，限定了最大占据区域的、具有可比信号强度的那些像素被设为参照区域。为允许参照区域被精确设定，上述过程可以对于多个波长带在图像上重复地进行。然而，该过程不一定要在所有波长带上进行。例如，在对于波长带B1的图像中，像素的信号强度彼此相比，限定最大占据区域的、具有可比信号强度的像素集合被设为参照区域。然后，该过程对于波长带B2、B3...以该顺序在图像上重复地进行。由此，最后在图3的图像51中，阴影线像素被设为参照区域。 [0036] 然后，在步骤102，在对于任何波长带的图像中，识别目标像素的信号强度与参照区域中的像素的信号强度相比。基于比较结果，在步骤103，适于识别的至少两个波长带的集合对于每个识别目标像素被选择。在图3在图像52中，识别目标像素被示为白像素。参照区域中的像素与路面对应并且都提供类似的反射光谱，图3中的实线B表示每个波长带B1至B6中参照区域的信号强度，即反射光谱。此外，所示的点线A表示来自图像52中识别目标像素的顶行左边起第二个像素的光谱。为该像素选择波长带B2和B6，因为波长带B2和B6之间反射水平的大小关系相反。类似地，虚线C表示来自图像52中倒数第二行左边起第三个像素的光谱。 [0037] 然后，在步骤104，设备确定是否已在所有的波长带上实施了识别目标像素和参照区域之间的比较。如果比较没有在所有的波长带上进行，过程返回到步骤102用于进行下一个波长带上的比较。如果已经在所有的波长带上进行，过程切换到步骤105。在步骤105，包含适于识别的波长带的相同集合的像素被分组。然后，由波长选择单元14执行的过程结束。包含适于识别的波长带的相同集合的像素以下被称为具有相同性质的像素。 [0038] 在这里所示的示例中，组合导致对于图3中图像53中所示的顶行和顶行下的下一行的所有像素选择波长带B2和B6。因此这些像素形成一组。被选择的像素具有包括波长带B2和B6的集合的性质。该组中像素提供如图3中图像52中点线A所示的光谱，并且对应于具有光谱A的物质。类似地，波长带B2和B5的集合对于倒数第二行从左边第二和第三个像素被选择。因此，这些像素形成另一组。被选择的像素具有包括波长带B2和B5的集合的性质。该组中像素提供如图3中图像52中虚线C所示的光谱，并且对应于具有光谱C的物质。 [0039] 显示单元16显示输出图像23。在输出图像23中，参照区域中的像素被显示，从而与具有另一性质的像素区别开。即，显示单元16在平视显示器等的屏幕上显示像素组，从而允许具有相同性质的像素组与具有另一性质的像素组容易地区别。这允许提醒驾驶员在前进方向出现在前方的另一车辆或行人。图3中图像54示出了显示示例。实际中，可以提供彩色显示等。然而，在图3中的图像54中，为了描述，属于参照区域的像素由中度阴影表示。具有与波长带B2和B6的集合对应的性质的像素，即提供光谱C的像素，由深色阴影表示。 [0040] 看到该输出图像23，驾驶员可以容易地知道行人、另一个车辆或障碍物出现在沿前进方向的车辆前方。驾驶员还能基于输出图像23中物体的形状评估出现什么物体。 [0041] 图4示出根据本发明的另一个实施例的主动可视性支持设备。图4所示的可视性支持设备由将数据库单元17加到图1所示的可视性支持设备构成。配置为保持每种类型的物体的光谱数据的数据库被存储在数据库单元17中。图4中的绘图32示出了存储在数据库单元17中的数据的示例。这里，物体间隙d的光谱数据和物体E的光谱数据存储在数据库单元17中。 [0042] 在该结构中，显示单元16在每组像素上基于每个像素组的性质搜索数据库以确定像素组对应什么物体，例如像素组是应于设施杆还是行人。然后，在被显示以呈现给驾驶员的输出图像23中，显示单元16区别地示出物体，并且还示出文字或进行高亮度以表示每个物体类似什么。 [0043] 因此，驾驶员可以容易地知道例如行人、另一个车辆或障碍物沿前进方向在车辆前方的出现，以及表示车辆前方的物体类似什么的识别结果。 |
||||||
QQ群二维码
意见反馈
意见反馈