用于生成环绕视图的方法和系统

申请号 CN201280077896.2 申请日 2012-12-26 公开(公告)号 CN104937634A 公开(公告)日 2015-09-23
申请人 哈曼国际工业有限公司; 发明人 贺甲; 诺曼·韦里奇;
摘要 提供用于生成环绕视图的方法和系统。所述方法可以包括:建立环绕表面;获得多个环境图像;和基于所述环绕表面上的点与所述图像上的 像素 之间的投影关系将所述图像投影到所述环绕表面上以生成环绕视图,其中所述投影关系可以随着所述环绕表面上的所述点的高度而变化。可以获得改善的投影效果。
权利要求

1.一种用于生成环绕视图的方法,其包括:
建立环绕表面;
获得多个环境图像;和
基于所述环绕表面上的点与所述图像上的像素之间的投影关系将所述图像投影到所述环绕表面上以生成环绕视图,其中所述投影关系随着所述环绕表面上的所述点的高度而变化。
2.根据权利要求1所述的方法,其中基于以下方程式获得所述多个图像中的一个与所述环绕表面上的点之间的所述投影关系:
其中Xw、Yw和Zw为所述环绕表面上的点在世界坐标系中的世界坐标,Xc、Yc和Zc为所述点在对应于所述图像的相机坐标系中的相机坐标,R代表从所述世界坐标系到所述相机坐标系的旋转矩阵,T代表从所述世界坐标系到所述相机坐标系的平移矩阵,且W为随着所述环绕视图上的所述点的所述高度而变化的加权因子。
3.根据权利要求2所述的方法,其中当所述点的所述高度等于0时,所述加权因子W等于1。
4.根据权利要求2所述的方法,其中当所述点的所述高度大于所述世界坐标系的原点的高度时,所述加权因子W等于0。
5.根据权利要求2所述的方法,其中当所述点的所述高度不大于所述世界坐标系的原点的高度时,所述加权因子W大于0且小于1。
6.根据权利要求5所述的方法,其中当所述点的所述高度不大于所述世界坐标系的原点的高度时,所述加权因子W随着所述点的所述高度增加而减小。
7.根据权利要求6所述的方法,其中当所述点的所述高度不大于所述世界坐标系的原点的高度时,所述加权因子W基于以下方程式而变化:
其中H0代表所述世界坐标系的所述原点的所述高度且H1代表所述点的所述高度。
8.一种用于生成环绕视图的系统,其包括:
处理装置,其被配置来:
建立环绕表面,
获得多个环境图像,和
基于所述环绕表面上的点与所述图像上的像素之间的投影关系将所述图像投影到所述环绕表面上以生成环绕视图,其中所述投影关系随着所述环绕视图上的所述点的高度而变化;和
显示装置,其用于显示所述环绕视图。
9.根据权利要求8所述的系统,其中基于以下方程式获得所述多个图像中的一个与所述环绕表面之间的所述投影关系:
其中Xw、Yw和Zw为所述环绕表面上的点在世界坐标系中的世界坐标,Xc、Yc和Zc为所述点在对应于所述图像的相机坐标系中的相机坐标,R代表从所述世界坐标系到所述相机坐标系的旋转矩阵,T代表从所述世界坐标系到所述相机坐标系的平移矩阵,且W为随着所述环绕视图上的所述点的所述高度而变化的加权因子。
10.根据权利要求9所述的系统,其中当所述点的所述高度等于0时,所述加权因子W等于1。
11.根据权利要求9所述的系统,其中当所述点的所述高度大于所述世界坐标系的原点的高度时,所述加权因子W等于0。
12.根据权利要求9所述的系统,其中当所述点的所述高度不大于所述世界坐标系的原点的高度时,所述加权因子W大于0且小于1。
13.根据权利要求12所述的系统,其中当所述点的所述高度不大于所述世界坐标系的原点的高度时,所述加权因子W随着所述点的所述高度增加而减小。
14.根据权利要求13所述的系统,其中当所述点的所述高度不大于所述世界坐标系的原点的高度时,所述加权因子W基于以下方程式而变化:
其中H0代表所述世界坐标系的所述原点的所述高度且H1代表所述点的所述高度。

说明书全文

用于生成环绕视图的方法和系统

技术领域

[0001] 本公开大体上涉及一种用于生成环绕视图的方法和系统。

背景技术

[0002] 现今,在驾驶辅助系统中尤其是在停车辅助系统中,越来越广泛地使用3D环绕视图。当前,存在将显示车辆周围的景物的图像投影到模拟3D弯曲表面(环绕表面)上的解决方案。环绕表面可以被配置成具有预定形状。为了获得这些解决方案的信息,请参考美国专利公开第2012/0262580 A1号。然而,在这些解决方案中可能发生图像失真。因此,需要提供一种用于生成环绕视图的更稳健的方法和系统。发明内容
[0003] 根据本公开的一个实施方案,提供一种生成环绕视图的方法。所述方法可以包括:建立环绕表面;获得多个环境图像;和基于环绕表面上的点与图像上的像素之间的投影关系将图像投影到环绕表面上以生成环绕视图,其中投影关系可以随着环绕表面上的点的高度而变化。点的高度意指从点到环绕表面的底部表面或最低切平面的距离。
[0004] 在一些实施方案中,可以基于方程式(3)获得多个图像中的一个与环绕表面之间的投影关系:
[0005] 方程式(3)
[0006] 其中Xw、Yw和Zw为环绕表面上的点在世界坐标系中的世界坐标,Xc、Yc和Zc为点在对应于图像的相机坐标系中的相机坐标,R代表从世界坐标系到相机坐标系的旋转矩阵,T代表从世界坐标系到相机坐标系的平移矩阵,且W为可以随着环绕表面上的点的高度而变化的加权因子。对应于图像的相机坐标系意指在捕捉图像时建立的相机坐标系。基于方程式(3),可以将点的世界坐标变换成对应的相机坐标。然后,基于相机坐标和相机本征参数(诸如焦距),可以在图像上识别对应于该点的像素。此后,可以将像素投影到该点上。
[0007] 在一些实施方案中,当点的高度大于世界坐标系的原点的高度时加权因子W可以等于0,当点的高度不大于原点的高度时加权因子W可以大于0且小于1,且当点的高度为0时可以等于1。在一些实施方案中,当点的高度不大于世界坐标系的原点的高度时,加权因子W可以随着点的高度增加而减小。在一些实施方案中,可以基于方程式(4)计算加权因子W:
[0008] 方程式(4)
[0009] 其中H0代表世界坐标系的原点的高度且H1代表点的高度。因此,获得环绕视图中地平面和地平面附近的物体的显示效果可以得到改善。
[0010] 根据本公开的一个实施方案,提供一种用于生成环绕视图的系统。所述系统可以包括处理装置,其被配置来:建立环绕表面;获得多个环境图像;和基于环绕表面上的点与图像上的像素之间的投影关系将图像投影到环绕表面上以生成环绕视图,其中投影关系可以随着环绕表面上的点的高度而变化。且所述系统可以包括用于显示环绕视图的显示装置。
[0011] 在一些实施方案中,所述处理装置可以被配置来基于方程式(3)获得多个图像中的一个与环绕表面之间的投影关系:
[0012] 方程式(3)
[0013] 其中Xw、Yw和Zw为环绕表面上的点在世界坐标系中的世界坐标,Xc、Yc和Zc为点在对应于图像的相机坐标系中的相机坐标,R代表从世界坐标系到相机坐标系的旋转矩阵,T代表从世界坐标系到相机坐标系的平移矩阵,且W为可以随着环绕表面上的点的高度而变化的加权因子。
[0014] 在一些实施方案中,当点的高度大于世界坐标系的原点的高度时加权因子W可以等于0,当点的高度不大于原点的高度时加权因子W可以大于0且小于1,且当点的高度为0时可以等于1。在一些实施方案中,当点的高度不大于世界坐标系的原点的高度时,加权因子W可以随着点的高度增加而减小。在一些实施方案中,可以基于方程式(4)计算加权因子W:
[0015] 方程式(4)
[0016] 其中H0代表世界坐标系的原点的高度且H1代表点的高度。
[0017] 在一些实施方案中,所述系统可以包括用于捕捉环境图像的多个相机。
[0018] 通过采用本公开的方法或系统,失真可以被校正到某个程度,尤其是地平面的环绕视图的失真。
[0019] 附图简述
[0020] 从结合附图进行的下文描述和所附权利要求书,本公开的前述特征和其它特征将变得完全明显。应了解,这些图式仅描绘根据本公开的若干实施方案且因此,不应被视为限制其范围,将通过附图的使用描述本公开的额外细节和详情。
[0021] 图1示出根据本公开的一个实施方案的用于生成环绕视图的方法100的示意流程图
[0022] 图2示意地示出环绕表面的实例;
[0023] 图3示意地示出沿图2中所示的车辆和环绕表面的X-Y平面的横截面视图;
[0024] 图4A到图4D示出四个环境图像,分别显示车辆的前、左、后和右视场;
[0025] 图5示出通过基于现存解决方案将图4A到图4D投影到环绕表面上而生成的环绕视图;
[0026] 图6示意地示出沿车辆和环绕表面的X-Z平面的横截面视图;
[0027] 图7示出根据本公开的一个实施方案的通过基于投影关系投影图4A到图4D而生成的环绕视图;和
[0028] 图8示意地示出根据本公开的一个实施方案的基于投影关系的在图6中的点A的投影。
[0029] 详述
[0030] 在下文详述中,参考形成其部分的附图。在附图中,除非上下文另有规定,否则相似符号通常标识相似组件。在详述、附图和权利要求书中所述的说明性实施方案并非意在限制性。在不背离本文所提出的主题的精神或范围的情况下,可以利用其它实施方案,且可以作出其它变化。将容易了解,可按各种不同配置排列、替换、组合和设计如在本文中大体上所述且在图中所示的本公开的方面,所有这些被明确预期且构成本公开的部分。
[0031] 图1示出根据本公开的一个实施方案的用于生成环绕视图的方法100的示意流程图。
[0032] 在S101中,建立环绕表面。
[0033] 环绕表面意指具有特定形状的模拟3D表面,其至少可以包围物体。物体可以为车辆、检测器等。
[0034] 图2示意地示出包围车辆300的环绕表面200的实例。在一些实施方案中,环绕表面200可以建有碗状形状以模拟人的视场。此外,环绕表面200可以从其底部包围车辆300。因此,不仅车辆300周围的景物,而且车辆300附近的在地平面400上的障碍物也可以投影到环绕表面200上。
[0035] 应注意,可以基于实际需求设置环绕表面200的特定配置,例如,大小、位置、形状等。在一些实施方案中,环绕表面200可以具有底部平面201,其为与地平面400一致的环绕表面200的最低切平面。
[0036] 环绕表面200可以建立在世界坐标系中。因此,环绕表面200上的点可以具有世界坐标,其可以用于投影计算。在一些实施方案中,原点可以为车辆中心,或设置在车辆中的驾驶员位置处。可以平行于地平面设置世界坐标系的一个轴。图2示出世界坐标系的一个实例。世界坐标系被示出具有平行于地平面400的X轴、垂直于地平面400的Z轴以及垂直于X和Z轴的Y轴。世界坐标系的这种配置(不限于此)在本领域中是熟知的且本文将不作详细描述。
[0037] 在S103中,获得多个环境图像。
[0038] “环境图像”意指图像可以包括包围车辆300的景物。在一些实施方案中,可以由按不同方向定向的多个相机捕捉图像。在一些实施方案中,相机可以为具有约190°视场的鱼眼相机,因此,需要至少两个鱼眼相机,优选地但不限于,四个鱼眼相机。
[0039] 在S105中,基于环绕表面200上的点与图像上的像素之间的投影关系将图像投影到环绕表面200上,其中投影关系可以随着环绕表面200上的点的高度而变化。
[0040] 图3示意地示出沿图2中所示的车辆300和环绕表面200的X-Y平面的横截面视图。如图3中所示,在一些实施方案中,四个相机310、330、350和370可以安装在车辆300上的不同位置处,分别面向前、左、后和右方向。由四个相机捕捉的四个图像可以投影到环绕表面200上。应注意,四个图像可以分别投影到环绕表面的对应部分上。对应部分意指在相机视场内的环绕表面200上的部分。然而,视场可以重叠,从而生成“过渡区”。在两个相机的过渡区内的环绕表面200可以分类成任一个相机的对应部分,或根据某个比率来划分,其可以不在下文作描述。
[0041] 图4A到图4D示出四个环境图像,分别显示车辆300的前、左、后和右视场。
[0042] 在一些实施方案中,非本征变换和本征变换可以用于建立环绕表面200上的点与图像上的像素之间的投影关系。
[0043] 在现存解决方案中,可以基于方程式(1)执行非本征变换:
[0044] 方程式(1)
[0045] 其中Xw、Yw和Zw为环绕表面200上的点的世界坐标,Xc、Yc和Zc为点在对应相机坐标系中的相机坐标,R代表从世界坐标系到相机坐标系的旋转矩阵,且T代表从世界坐标系到相机坐标系的平移矩阵。
[0046] 可以基于相机的光学中心的位置和其光学轴的方向建立相机坐标系。相机坐标系的旋转矩阵、平移矩阵和配置在本领域中是熟知的,且下文将不作详细描述。
[0047] 因此,点的世界坐标可以变换成相机坐标。此后,在本征变换中,相机坐标可以变换成图像坐标,其可以与相机的本征参数(诸如焦距)相关。因此,对应于某点的像素可以在图像中得以识别且接着投影到该点上。
[0048] 然而,基于非本征变换和本征变换,可能发生失真。图5示出通过基于现存解决方案将图4A到图4D投影到环绕表面200上而生成的环绕视图。可见,一些区域投影效果理想,但一些区域扭曲。这是因为平移矩阵T在图像上的不同区域中影响不同,但图像上的像素基于相同投影关系投影到环绕表面200上。
[0049] 具体来说,将参考图6示出平移矩阵T的影响。图6示意地示出沿车辆300和环绕表面200的X-Z平面的横截面视图。参考图6,为了方便起见,前置相机310可以设置在X轴上的某个位置处,可以平行于X轴设置前置相机310的光学轴,且由前置相机310捕捉的图像可以仅包括地平面400。因此,旋转矩阵和平移矩阵可以为:
[0050] R=1
[0051] 方程式(2)
[0052] 其中N代表从世界坐标系的原点到前置相机310的光学中心(即,相机坐标系的原点)的距离。
[0053] 环绕视图被提议来模拟人的视场。理想地,地平面400上的点B应投影到环绕表面200上的点A上,点A和点B与世界坐标系的原点在相同的直线上。因此,前置相机310的图像311上的像素C应投影到点A上。然而,基于常规方程式(1),对应于地平面400上的点B’的在图像311上的像素C’可以投影到点A上,像素C’、点A和点B’与相机的光学中心在相同的直线上。
[0054] 对于环绕表面200的最低切平面上的点D,理想地,地平面400上的点E应示出在点D上。因为通常最低切平面可以被配置成与地平面400一致,所以点D和点E位于相同位置处。因此,对应于点E的在图像上的像素F可以基于方程式(1)投影到点D上。
[0055] 鉴于上述内容,在车辆300附近的实际区域中,与环绕表面200的最低切平面一致的地面区域可以正确地投影在环绕视图中。然而,较远的景物可能扭曲。
[0056] 因此,投影关系需要调整。在一些实施方案中,投影关系可以随着环绕表面200上的点的高度而变化。所述高度可以从环绕表面200的底部表面开始计算,或者,当所述环绕表面不具备底部表面时,从所述环绕表面的最低切平面开始计算。
[0057] 在一些实施方案中,可以基于方程式(3)计算投影关系:
[0058] 方程式(3)
[0059] 其中可以随着环绕表面200上的点的高度而变化的加权因子W引入到方程式(3)中以调整投影关系。
[0060] 通常,在环绕表面200上的较高区域上,可以示出远离车辆300的景物。且,平移矩阵T对较远景物具有较小影响。因此,在一些实施方案中,加权因子W可以随着环绕表面200上的点的高度增加而减小。
[0061] 具体来说,在一些实施方案中,当点的高度大于世界坐标系的原点的高度时,加权因子W可以等于0。通常,原点的高度可以被配置为与相机的安装高度相同。因此,这些点(高于世界坐标系的原点)可以代表高处的景物,例如,天空或远处建筑物。基本上,平移矩阵T对这些景物不具有影响。因此,可以确定加权因子W为零。
[0062] 在一些实施方案中,当点的高度为0时,加权因子W可以等于1。这些点(高度为0)通常代表车辆300附近的地面区域。平移矩阵T对所述点具有最大影响。因此,可以确定加权因子W为1。
[0063] 在一些实施方案中,当点的高度为不大于原点的高度时,加权因子W可以大于0且小于1。这些点可以代表车辆300周围的障碍物。在一些实施方案中,对于这些点,加权因子W可以为常数。在一些实施方案中,加权因子W可以随着点的高度增加而减小。在一些实施方案中,可以基于方程式(4)计算加权因子W:
[0064] 方程式(4)
[0065] 其中H0代表世界坐标系的原点的高度且H1代表环绕表面200上的点的高度。因此,对于高于环绕表面200的底部表面但低于世界坐标系的原点的这些点,可以基于方程式(5)获得投影关系:
[0066] 方程式(5)
[0067] 通过采用上述方法,可以减少失真,尤其是地平面400和车辆300附近的障碍物的失真。图7示出通过基于上述调整的投影关系投影图4A到图4D而生成的环绕视图。
[0068] 请参考图8,提供方程式(4)的推导过程
[0069] 图8示意地示出在图6中的点A基于调整过的投影关系的投影位置。参考图8,在基于方程式(3)从世界坐标变换到相机坐标之后,如果点A的对应相机坐标可以表示为虚拟点A’,且虚拟点A’位于相机的光学中心和地平面400上的点B所连接的直线上,那么在图像上的像素C(像素C对应于地平面400上的点B)就可以理想地投影到环绕表面200上的点A上。
[0070] 假设点A因为基于方程式(3)的变换结果而沿X轴平移距离M到虚拟点A’,那么将点A的世界坐标、点A’的相机坐标、旋转矩阵和平移矩阵代入方程式(3)中,从而获得方程式(6)。
[0071] 方程式(6)
[0072] 用基于图8中的线的几何关系获得的约束方程式(7)对方程式(6)求解,[0073] 方程式(7)
[0074] 可以计算方程式(4)。
[0075] 方程式(4)
[0076] 根据本公开的一个实施方案,提供一种用于生成环绕视图的系统。所述系统可以包括:多个相机,其被调适来捕捉环境图像;处理装置,其被配置来进行方法100的S101到S105以生成环绕视图;和显示装置,其被调适来显示环绕视图。所述系统可以安装在车辆300、检测器等上。
[0077] 系统方面的硬件实施方式与软件实施方式之间存在极小区别;硬件或软件的使用通常为表示成本相对效率权衡的设计选择。例如,如果实施者确定速度和精度最重要,那么实施者可以选择以硬件和/或固件为主的车辆300;如果灵活性最重要,那么实施者可以选择以软件为主的实施方式;或,又或者,实施者可以选择硬件、软件和/或固件的某个组合。
[0078] 虽然本文中已公开各种方面和实施方案,但其它方面和实施方案将对本领域的技术人员明显。本文中所公开的各种方面和实施方案用于说明目的且并非意在限制性,其中由下文权利要求书指示真实范围和精神。
QQ群二维码
意见反馈