用于可视化车辆的周围环境的方法和装置 |
|||||||
| 申请号 | CN201280067596.6 | 申请日 | 2012-11-28 | 公开(公告)号 | CN104204847A | 公开(公告)日 | 2014-12-10 |
| 申请人 | 罗伯特·博世有限公司; | 发明人 | J·黑克尔; C·马贝格尔; H·米伦茨; | ||||
| 摘要 | 本 发明 涉及一种用于 可视化 车辆(1)的周围环境的方法，包括以下步骤：借助至少一个 传感器 确定并且存储车辆(1)与在所述车辆的周围环境中存在的障碍物(6，60，61，62，63，64，65，66)之间的当前的间距；确定并且存储所述车辆的当前的 位置 ；由所存储的数据计算至少二维的周围环境模型；由所选择的虚拟的观察者位置(3)计算所述周围环境模型的虚拟视图(30)；借助至少一个视频摄像机(2)拍摄所述周围环境的至少一部分的视频显示并且将所述视频显示(20)集成到所述虚拟视图(30)中；并且将具有集成的视频显示的虚拟视图输出给所述车辆(1)的驾驶员。 | ||||||
| 权利要求 | 1.一种用于可视化车辆(1)的周围环境的方法，所述方法包括以下步骤： |
||||||
| 说明书全文 | 用于可视化车辆的周围环境的方法和装置背景技术[0001] 本发明涉及车辆的周围环境的扩展的显示。在扩增实境(Augmented-Reality)描述的所述方案中，将位置相关的附加信息插入到由观察者察觉的实境中在车辆中大多通过以下实现以上所述：摄像机产生车辆周围环境的通过相应的输出装置向驾驶员显示的实时视频图像。然后，在该图像中示出用于支持驾驶员的附加信息。所述附加信息例如可以是当前的转向偏转时的预计的行驶路径的可视化或者是障碍物的突出。尤其在狭窄部位时或者泊车过程中，这种系统非常有用。 [0002] 然而，由于摄像机的有限的张角(通常小于50°)存在仅仅能够可视化车辆的周围环境的有限的区域的问题。主要是，借助所述系统通常不能检测车辆的近区域。然而，车辆在近区域中的精确的周围环境模型是值得做的，以便在此也能将信息通知驾驶员。 [0003] 由现有技术已知DE 10 2008 036 009 A1，其描述了一种用于测量机动车的周围环境的方法。借助多个没有进一步详细描述的传感器检测车辆的近区域并且由所获取的数据生成周围环境地图，在所述周围环境地图中车辆虚拟地运动。将所生成的空间的例如以俯视视角的显示建议为可视化。此外，在其中可以可视化重要的信息、例如即将发生的碰撞或者行驶通道的显示。然而，没有实现车辆的周围环境的远区域的可视化。 [0004] 文献DE 10 2009 005 566 A1描述了一种将来自视频摄像机的信号与近区域传感器(例如超声传感器)的信号相结合的方法。对此，借助视频摄像机探测车辆的周围环境中的对象，所述对象可以借助近区域传感器测量到。因此，可以将对象记录到车辆的三维的周围环境地图中。所述地图随后可以用于不同的应用、例如泊车时的驾驶员的支持的应用。然而，在该文献中没有进一步描述可视化。 [0005] DE 10 2009 005 505 A1描述了一种用于产生由虚拟的摄像机位置的车辆的周围环境图像的方法，其中将摄像机视角的成像换算成虚拟的摄像机位置。对此，借助多个摄像机检测车辆的近区域，随后与3D模型组合，以便因此平滑摄像机的透视失真(perspektivische Verzerrungen)。同样借助所描述的摄像机通过运用立体运动原理(Stereo-from-Motion-Prinzip)得到3D模型。因此，可以向驾驶员显示例如由俯视视角的其车辆的整个近区域的视频图像。 [0006] 然而，所描述的现有技术具有以下不利：仅仅可视化车辆的近区域，而没有注意远区域。此外，如前两种情形中那样，没有向驾驶员示出周围环境的视频图像。然而，这是所期望的，因为所述视频图像包含许多信息并且对于驾驶员而言比合成的模型直观的更加易于理解。第三模型然而公开了多个摄像机的使用，这增加生产耗费和车辆的成本。所引用的文献也没有讨论有利地使用人为呈现的周围环境模型和光学的周围环境传感器的图像数据之间的透视连续的过渡的可能性。 发明内容[0007] 根据本发明的用于可视化车辆周围环境的方法通过独立权利要求1的特征的组合克服现有技术的不利。为了直接并且清晰地向车辆的驾驶员显示内容丰富的周围环境信息，生成由合成产生的周围环境模型和实时视频图像的分成两部分的显示。为了产生周围环境模型，首先检测车辆与周围环境中的障碍物之间的当前的间距。同时确定车辆的当前的位置，所述当前的位置与间距信息一同被缓存。现在可以由存储的多个位置数据和间距数据计算出车辆的周围环境的模型，这根据所使用的间距传感器的类型可以是二维模型或者三维模型。所述周围环境模型的优点是，可以从不同的虚拟位置观察所述周围环境模型。如果确定某个虚拟的观察者位置(例如由驾驶员)，则计算周围环境模型的由观察者位置的虚拟视图。通过这种方式例如能够实现产生周围环境的俯视图。除周围环境模型以外，借助至少一个视频摄像机、优选借助恰好一个视频摄像机检测周围环境的一部分。将如此产生的视频显示在适合的位置处集成到虚拟视图中，以便可以向驾驶员示出其车辆的周围环境的全面的图像：在视频摄像机的检测区域中驾驶员可见周围环境的实时视频图像，而在视频摄像机的检测区域的外部驾驶员可见合成产生的周围环境模型。借此，除周围环境的视频显示以外，关于恰好没有位于视频摄像机的检测区域中的障碍物的信息也可供驾驶员使用。 [0008] 总而言之，借助根据本发明的方法可以显示周围环境的比由视频摄像机检测的更大的区段(Ausschnitt)，因此可能的是，也使用具有小的张角的视频传感器。此外有利的是，将所创建的三维的周围环境模型用于平滑透视失真。 [0009] 虚拟视图尤其包括分成两部分的显示，因此人为的水平线位于发动机舱/乘客舱之间的过渡的高度上，所述人为的水平线能够实现划分成不同的视图。因此，人为的水平线例如可以将前视摄像机的图像与合成产生的俯视划分开。 [0011] 以有利的方式，借助光学传感器确定车辆与障碍物之间的间距。在此，所述传感器或者可以是无源的传感器(单目视频和立体视频)或者是有源的传感器系统(激光扫描仪、激光成像器、PMD(光子混合器件(Photonic Mixing Device)、根据飞行时间法的光学传感器、闪光激光雷达(Flush-Lidar))。 [0012] 此外，当从视频摄像机的信号获得与车辆的周围环境中的障碍物的间距数据时是有利的。这意味着，视频摄像机必须完成两个任务。其一方面用作间距传感器(例如根据从运动恢复结构法(Structure-from-Motion Verfahren)或者通过视频摄像机是立体摄像机的方式)，另一方面用作对于待显示的视频信号的提供方。因此，除视频摄像机以外，不需要其它的传感机构来确定周围环境模型。 [0013] 优选地，测量车辆的位置作为绝对位置或者作为与已存储的位置相对的位置。里程表适于确定相对位置，这使位置确定过程非常简单。如果要测量绝对位置，则要注意位置确定方法的足够的准确度。在此例如可以使用差分GPS。 [0014] 在另一种优选实施方式中，由车辆的驾驶员确定周围环境模型的虚拟的观察者位置。因此，所述驾驶员可以通过观察方式的变化和车辆的周围环境中的视角的变化单独构型障碍物的可视化。替代地，虚拟的观察者位置可以由计算单元自动确定并且在显示装置中显示。最后，根据所选择的虚拟的观察者位置计算周围环境模型的虚拟视图，以及相应匹配视频显示，以使所述视频显示无缝地插入到虚拟视图中。 [0015] 此外，当当前的行驶参数集成到虚拟视图中时是有利的。这例如可以是到停车场的路径或者面临的碰撞对象，其中当前是否由视频摄像机检测到所述对象或者所述路径是不重要的。合成的周围环境模型的可视化也能够实现对视频摄像机的检测区域以外的对象的警告。因为周围环境模型的可视化和视频显示具有共同的坐标系，所以所述附加信息也可以无缝地施加在两个区域上。通过这种方式，例如也可以在泊车过程期间“监视”识别到的支柱，即使当所述支柱已经离开摄像机的可视范围时。 [0016] 附加地，本发明涉及具有权利要求7的特征的用于可视化车辆周围环境的装置。所述装置包括至少一个用于确定车辆与障碍物的间距的传感器以及至少一个用于确定车辆的当前位置的传感器。还存在存储装置，在所述存储装置中存储位置数据和间距数据。此外使用视频摄像机，所述视频摄像机检测周围环境的至少一部分并且将这些数据转交给计算装置。计算装置基于所存储的车辆的位置数据和障碍物的间距数据以及视频摄像机的信号生成周围环境的可视化，在显示装置上向驾驶员示出所述可视化。为此，计算装置由所存储的位置数据和间距数据计算周围环境模型。如果选择一个虚拟的观察者位置，则计算装置继续由所选择的虚拟的观察者位置确定所述周围环境模型的虚拟视图。最后，计算装置将视频摄像机的信号集成到虚拟视图中。因此，可以借助根据本发明的装置理想地实施根据本发明的方法。 [0017] 以有利的方式，至少一个用于确定车辆与障碍物之间的间距的传感器或者涉及无源的光学传感器(单目视频和立体视频)或者涉及有源的光学传感器系统(激光扫描仪、激光成像器、PMD、闪光激光雷达)。 [0018] 用于确定车辆与障碍物的间距的传感器优选包括视频摄像机，因此所述视频摄像机必须完成两个任务。一方面，所述视频摄像提供与车辆的周围环境中的障碍物的间距信息(例如根据从运动恢复结构法或者立体视频法)，而另一方面，所述视频摄像机提供待显示的视频信号。因此，不需要分离的间距传感机构，这明显简化根据本发明的装置的结构。 [0019] 此外公开一种车辆，所述车辆包括根据本发明的装置，或者如此设置，使得实施根据本发明的方法。 [0020] 此外，当处理由摄像机拍摄的视频显示以进行显示器显示时是有利的。通过这种方式可以适配以下视角：显示器显示由所述视角示出虚拟的周围环境，从而不出现透视障碍(perspektivische )。附图说明 [0021] 以下参考附图详细描述本发明的实施例。附图示出： [0022] 图1：车辆的周围环境的根据现有技术的可视化的视图； [0023] 图2：车辆的周围环境的根据本发明的第一实施方式的第一可视化变型方案的示图； [0024] 图3：车辆的周围环境的根据本发明的第一实施方式的第二可视化变型方案的示图； [0025] 图4：驶过狭窄通道时的车辆周围环境在第一时刻时的根据本发明的第二实施方式的可视化；以及 [0026] 图5：驶过狭窄通道时的车辆周围环境在第二时刻时的根据本发明的第二实施方式的可视化。 具体实施方式[0027] 图1示出通过摄像机2检测的周围环境的具有有限的视角的通常的透视的视频显示20。 [0028] 图2和3说明本发明的第一实施方式。观察到装配有摄像机2的车辆1。根据本发明，摄像机完成两个功能：一方面仅仅可以示出周围环境的视频显示20，另一方面可以借助立体运动法(Stereo-from-Motion-Verfahren)确定与车辆的周围环境中的障碍物6的间距。因此，摄像机也用作间距传感器，以便可以计算车辆的三维的周围环境模型。所述周围环境模型又能够实现确定虚拟的观察者位置3(参考图2和3)，应当从所述观察者位置观察周围环境。因此例如能够实现产生显示器显示30，所述显示器显示示出从俯视视角(从上方垂直视图)到驾驶员视角的连续过渡(见图2)。另一种可能性是，近区域和远区域以俯视视角的中央视角显示(见图3)。在此，显示器显示的第一部分40基于周围环境模型的重建。这相应于周围环境的由摄像机2不可见的区域4。显示器显示的第二部分50基于视频摄像机的信号。这相应于周围环境的由摄像机可见的区域5。在所描述的两种视角中相应变换周围环境的视频显示20，以使所述视频显示可以无缝地并且没有透视失真地附加到由周围环境模型计算出的视图上。 [0029] 图4和5示出驶过狭窄的通道的车辆1。所述通道通过左侧的三个车辆60、62和64并且通过右侧的三个车辆61、63和65以及通过其他一些集装箱66构成。在车辆1的驶过期间，依照根据本发明的方法根据第二实施方式可视化周围环境。借助三个图像——第一图像21、第二图像22和第三图像23示例性阐述整个过程，所述三个图像由摄像机2在不同的时刻拍摄。在此，也将向驾驶员显示的显示器显示30分成两部分。在上方区域31中显示与驾驶员看到的透视图一样的透视图。在此，集成摄像机2的视频显示，所述视频显示为此不必进行进一步变换。下方区域32示出以俯视视角的周围环境。因此，上方区域31相应于车辆1的远区域的可视化，而下方区域32相应于车辆的近区域的可视化。 [0030] 在图4中，车辆位于摄像机2拍摄第二图像22的位置处。在此处不再可见通道的左后方的车辆60和右后方的车辆61。然而根据本发明，在充分利用立体运动原理的情况下摄像机2也可以用于确定周围环境模型，或者在使用立体视频摄像机的情况下运行摄像机2，以便已知两个车辆60和61相对于自身车辆1的位置。因此，能够没有问题地实现，两个车辆60和61相对于自身车辆的位置由周围环境模型求取并且在显示器显示30中在下方区域32中示出(俯视视角)。同样的情况类似适于位于车辆后方的集装箱66。尽管车辆 1已经从旁驶过相同的集装箱，但是总是示出所述集装箱。根据本发明还能够实现，警告驾驶员注意所述集装箱66，因为其相对于车辆的位置是已知的，尽管自较长的时间起不再由视频摄像机2检测到。 [0031] 摄像机2的视频显示在上方区域31(驾驶员视角)中集成到显示器显示30中。所述显示器显示无缝地插入到其余的显示中并且可以扩展来自周围环境模型的附加的周围环境信息。因此，车辆1例如已经如此近的靠近通道的左侧中间的车辆62，使得所述车辆不再能够完全由摄像机2检测到。然而，由周围环境模型不仅已知左侧中间的车辆62相对于自身车辆1的位置，而且也已知其尺寸。因此，可以扩展在显示器显示30的上方区域31中示出的视频图像，其方式是，左侧中间的车辆62的由周围环境模型重建的轮廓使视频显示完整。 [0032] 在图3中示出通道驶过的第二时间步骤，在所述时间步骤时摄像机2拍摄第三图像23。现在不再显示不再重要的目标、如以上所描述的集装箱66。此外，借助右侧中间的车辆63阐明能够如何将对象从显示器显示30的上方区域31变换到下方区域32中。所述变换相应于从远区域(驾驶员视角或者上方区域31)到近区域(俯视视角或者下方区域32)中的过渡并且在车辆1从相应对象旁驶过的时刻发生。显示中的连续过渡最终影响其车辆的周围环境的对于车辆的驾驶员而言直接可理解的可视化。 |
||||||
QQ群二维码
意见反馈
意见反馈