车载图像生成装置 |
|||||||
| 申请号 | CN201380056245.X | 申请日 | 2013-09-02 | 公开(公告)号 | CN104756486A | 公开(公告)日 | 2015-07-01 |
| 申请人 | 株式会社电装; | 发明人 | 王丙辰; 柳川博彦; | ||||
| 摘要 | 公开的使用多个视点变换图像来合成出合成图像的车载图像生成装置，能够抑制图像中发生 变形 并且能够防止图像在图像彼此的边界部分变得不清晰。车载图像生成装置具备对车辆前方或后方进行拍摄的第1摄像机(11)及对车辆的左右侧方进行拍摄的第2、第3摄像机(12、13)，根据第2、第3摄像机的拍摄图像，生成从具有与各摄像机的视 线轴 不同且互相平行的视线轴的一对虚拟视点(V2、V3)观察的一组视点变换图像，根据第1摄像机的拍摄图像生成合成用的中心图像，在该中心图像的旁边配置一组视点变换图像，由此生成合成图像。 | ||||||
| 权利要求 | 1.一种车载图像生成装置，具备： |
||||||
| 说明书全文 | 车载图像生成装置[0001] 关联申请的相互参照 技术领域[0003] 本申请涉及根据搭载于车辆的多个摄像机的拍摄图像生成视点变换图像并合成从而生成车辆前方或后方的合成图像的车载图像生成装置。 背景技术[0004] 以往，作为生成这种合成图像的装置，提出了如下装置：根据搭载于车辆的多个摄像机的拍摄图像，生成以一个视点宽范围地瞭望观察车辆后方的广角的视点变换图像(例如，参照专利文献1)。 [0005] 另外，还提出了如下装置：根据搭载于车辆的多个摄像机的拍摄图像，生成视点不同的多个视点变换图像，并将这多个视点变换图像合成，从而生成全景图像(例如，参照专利文献2)。 [0006] 现有技术文献 [0007] 专利文献 [0008] 专利文献1：日本国专利出版公报3286306号 [0009] 专利文献2：日本国专利公开公报2005－242606号发明内容 [0010] 但是，如上述专利文献1那样的装置，利用多个摄像机的拍摄图像，生成从特定的视点观察的广角的视点变换图像，因而最终获得的合成图像，在周围(特别是左右两侧)变形变大，成为非常难看的图像。 [0011] 另一方面，如上述专利文献2那样的装置，合成的左右的图像是从左右不同的视点观察的视点变换图像，因而合成前的各图像变形较少，最终获得的合成图像也容易看。 [0012] 但是，如上述专利文献2那样的装置，将视点不同的多个视点变换图像原封不动地合成，所以在视点变换图像彼此重叠的边界部分，图像变得不清晰，无法从合成图像中识别出在其边界部分存在的目标。 [0013] 本申请是有鉴于上述情况而创出的，目的在于在使用多个视点变换图像来生成合成图像的装置中，抑制图像中发生变形，并且，防止图像在图像彼此的边界部分变得不清晰。 [0014] 在本申请的一例的车载图像生成装置中，具备：第1摄像机，拍摄出车辆的行进方向前方或后方的图像；及第2摄像机及第3摄像机，分别拍摄出车辆的左右侧方的图像。并且，第1视点变换部根据第2摄像机及第3摄像机的拍摄图像，生成对称的形状的一组视点变换图像，该对称的形状的一组视点变换图像是从具有与第2摄像机及第3摄像机的视线轴不同并且互相平行的视线轴的一对虚拟视点观察的图像。另外，中心图像生成部根据第1摄像机的拍摄图像，生成合成图像的生成所用的中心图像。 [0015] 并且，在如此生成中心图像及一组视点变换图像后，合成图像生成部将中心图像配置在中央，在中心图像的旁边配置一组视点变换图像，由此生成合成图像。 [0016] 因此，根据上述的车载图像生成装置，能够防止如将视点不同的视点变换图像原封不动地合成的现有装置那样、合成图像在视点变换图像彼此重叠的边界部分变得不清晰。 [0017] 另外，构成合成图像的图像由视点不同的左右的视点变换图像和根据第1摄像机的拍摄图像生成的中心图像构成，这些各图像不会如以广角摄像机拍摄到的图像那样在左右两侧图像大幅变形。 [0019] 有关本申请的上述及其他的目的、特征及优点由于参照了附图的下述的详细的说明而变得更明确。在附图中 [0021] 图2是对由图1的控制部执行的合成图像显示处理进行表示的流程图。 [0022] 图3A是对从上方观察车辆的状态进行表示并对车载摄像机的配置及拍摄图像的视点变换动作进行说明的说明图。 [0023] 图3B是对从右侧方观察车辆的后部的状态进行表示并对车载摄像机的配置及拍摄图像的视点变换动作进行说明的说明图。 [0024] 图4是对通过合成图像显示处理生成的合成图像的一例进行表示的说明图。 [0025] 图5是对图4所示的合成图像的变形例进行表示的说明图。 [0026] 图6是对用于生成图5所示的合成图像的合成图像显示处理进行表示的流程图。 具体实施方式[0027] 下面，参照附图，对本申请的实施方式进行说明。 [0028] 另外，本申请的实施方式不受下述的实施方式的任何限定。另外，只要能够解决课题，将下述的实施方式的结构的一部分省略的形态也是本申请的实施方式。另外，在不脱离仅通过下述实施方式所记载的语言所确定的技术内容的本质的限度内能够想到的全部形态都是本申请的实施方式。 [0030] 车载摄像机11～13是具有CCD或CMOS等摄像元件的摄像机。 [0031] 并且，如图3A、图3B所示，三个车载摄像机11～13内的一个摄像机(下面，称为第1摄像机11)使视线轴11A朝向车辆2的后方并配置在车辆2的宽度方向中心位置，以能够拍摄车辆2的后方的图像。 [0032] 另外，如图3A所示，三个车载摄像机11～13内的剩余二个摄像机(下面，称为第2摄像机12、第3摄像机13)使视线轴12A、12B朝向车辆2的外侧并配置在车辆2的左右两侧，以能够拍摄车辆2的左右侧方的图像。 [0034] 另外，图3A表示从上方观察车辆2的状态，图3B表示从右侧方观察车辆2的后部的状态，各车载摄像机(第1摄像机11、第2摄像机12、第3摄像机13)配置成图中以实线表示那样。 [0037] 另外，图像处理装置20具备与上述各车载摄像机(第1摄像机11、第2摄像机12、第3摄像机13)对应的图像输入部21～23、操作部24、控制数据存储部26及控制部28。 [0040] 控制数据存储部26由闪存器等非易失性的存储器件构成，是用于存储由控制部28执行的程序、各种图像处理所必需的数据的器件。 [0041] 控制部28通过由CPU、RAM、ROM及I/O等构成的微型计算机构成，从控制数据存储部26读入程序并执行各种处理。 [0042] 下面，对图像处理装置20的动作进行说明。 [0043] 另外，在下面的说明中，对通过图像处理装置20(详细而言控制部28)执行的各种图像处理内的、可能成为有关本申请的主要的处理的合成图像显示处理进行说明。 [0044] 合成图像显示处理，是在借助操作部24将图像处理装置20的动作模式设定为合成图像的显示模式时在控制部28中反复执行的处理。 [0045] 如图2所示，在合成图像显示处理开始后，首先，在S110(S表示步骤)，经由图像输入部21～23取入上述各车载摄像机(第1摄像机11、第2摄像机12、第3摄像机13)的拍摄图像。 [0046] 然后，在接下来的S120，使用第2摄像机12的拍摄图像，生成左侧方视点变换图像，该左侧方视点变换图像是在车辆2的左方向外侧从在与车辆2的前后方向的中心轴平行的视线轴12B上设定的虚拟视点V2(参照图3A)观察车辆后方的图像。 [0047] 另外，在S130，使用第3摄像机13的拍摄图像，生成右侧方视点变换图像，该右侧方视点变换图像在车辆2的右方向外侧从在与车辆2的前后方向的中心轴(进一步为视线轴12B)平行的视线轴13B上设定的虚拟视点V3(参照图3A)观察车辆后方的图像。 [0048] 即，在S120、S130，根据第2摄像机12及第3摄像机13的拍摄图像，生成对称的一组视点变换图像，该对称的一组视点变换图像是从一对虚拟视点V2、V3观察的图像，该一对虚拟视点V2、V3与各摄像机12、13的视线轴12A、13A不同且具有互相平行的视线轴12B、13B。 [0049] 另外，虚拟视点V2、V3作为车辆2的后方图像合成用而被预先设定。 [0050] 另外，关于在S120、S130执行的视点变换，如专利文献1、2所记载那样，是以往以来已知的，所以详细的说明省略。 [0051] 在这样生成左右一组视点变换图像后时，这次转移到S140，取入由车速传感器32检测出的车速，并根据该取入的车速，设定虚拟视点V1，该虚拟视点V1在根据第1摄像机11的拍摄图像生成视点变换图像时使用(参照图3B)。 [0052] 另外，在S140，以在车速低时视线轴11B朝向车辆附近的路面、在车速较高时视线轴11B朝向车辆远方的方式(换言之，以视线轴11B的上下方向的角度(俯角或仰俯角)相应于车速而变化的方式)，设定虚拟视点V1(图3B)。 [0053] 接着，在S150，将第1摄像机11的拍摄图像变换为从在S140设定的虚拟视点V1观察的车辆后方的视点变换图像，在接下来的S160中，从该变换后的视点变换图像，提取图像合成用的中心图像。 [0054] 在此，虚拟视点V1用于，通过将第1摄像机11的拍摄图像变换为使第1摄像机11朝向车辆附近或车辆远方时的图像，从而在视点变换后的图像的上下方向的任意的位置使图像与在S120、S130生成的一组视点变换图像一致。 [0055] 即，第1摄像机11的拍摄图像，是从如下视点位置摄像到的图像，该视点位置与在S120、S130生成的视点变换图像的虚拟视点V2、V3不仅在车辆2的左右方向上不同还在车辆2的前后方向上不同。 [0056] 为此，第1摄像机11的拍摄图像相对于在S120、S130生成的一组视点变换图像，不仅在车辆2的左右方向偏移还在车辆2的前后方向上偏移。 [0057] 因此，为了与在S120、S130生成的一组视点变换图像合成，仅仅剪切第1摄像机11的拍摄图像的话，该切出的拍摄图像相对于一组视点变换图像，在车辆2的前后方向(换言之图像的上下方向)上偏移。 [0058] 另外，该切出的拍摄图像在图像的上下方向的比例尺也与一组视点变换图像不同。 [0059] 因此，在本实施方式中，通过用虚拟视点V1使第1摄像机11的拍摄图像视点变换，从而，该视点变换图像与在S120、S130生成的一组视点变换图像，相应于虚拟视点V1的位置而在车辆2的前后方向(换言之图像的上下方向)的至少一处一致，合成后的图像变得容易看。 [0060] 另一方面，S160中的中心图像的提取，是通过从在S150的处理生成的视点变换图像将车辆后方的路面部分和路上部分切出为规定形状来进行的。 [0062] 另外，在该路面部分更上方的路上部分被切出为，从路面部分的上端缘朝向图像的上方而宽度扩大的梯形形状。 [0063] 为此，中心图像P1的外形成为竖长且上下方向的中央凹陷的形状，使用者仅通过该中心图像P1，就能够良好地掌握车辆2的正后方的状态。 [0064] 另外，从视点变换图像提取中心图像P1，是使用根据成为中心图像P1的源的视点变换图像的虚拟视点V1而预先设定的切出图案(形状图案)来进行的。 [0065] 接着，在S160，从虚拟视点V1的视点变换图像提取图像合成用的中心图像P1后，向S170转移，使用该中心图像P1和在S120、S130生成的左右侧方的视点变换图像，生成车辆后方的合成图像。 [0066] 另外，在S170，从在S120、S130生成的左右侧方的视点变换图像提取应该配置在中心图像P1左右的左右后方的图像，并将该提取到的图像P2、P3配置在中心图像P1的左右，从而生成合成图像(参照图4)。 [0067] 另外，在S170，在中心图像P1的左右配置图像P2、P3时，在中心图像P1的周围描绘表示与其他的图像P2、P3的边界的边界线L1，从而能够在合成图像上辨别出中心图像P1与左右的图像P2、P3。 [0068] 这是因为，构成合成图像的各图像P1～P3的视点(即，虚拟视点V1～V3)互不相同。 [0069] 即，例如，根据图4所示的合成图像中的道路的连接部分可知，在将上述各图像P1～P3合成后，在中心图像P1与左右的图像P2、P3的边界部分，在图像的上下方向上产生偏移。 [0070] 因此，在本实施方式中，通过在合成图像中加入边界线L1，明确了在合成图像内产生的图像的偏移是由于图像P1～P3的合成，防止观察合成图像的使用者混乱。 [0071] 然后，在接下来的S180，将在S170所生成的合成图像输出至显示装置30，使显示装置30显示合成图像，并使该合成图像显示处理暂时结束。 [0072] 如上所述，根据本实施方式的图像处理装置20，不仅根据第2摄像机12及第3摄像机13的拍摄图像来生成从车辆2的左右侧方的虚拟视点V2、V3观察的视点变换图像，还根据第1摄像机11的拍摄图像来生成车辆后方的中心图像P1。 [0073] 然后，在该生成的中心图像P1的左右配置从左右的视点变换图像中切出的左右后方的图像P2、P3，从而生成使显示装置30显示的合成图像。 [0074] 为此，能够防止如将左右的视点变换图像原封不动地合成的现有装置那样、合成图像在视点变换图像彼此重叠的边界部分变得不清晰。 [0075] 另外，构成合成图像的图像由从左右的视点变换图像提取到的左右的图像P2、P3和从第1摄像机11的拍摄图像生成的中心图像P1构成，这些各图像P1～P3不会如以广角摄像机摄像到的图像那样在左右两侧图像大幅变形。 [0076] 因此，根据本实施方式的图像处理装置20，能够生成没有图像的变形及不清晰的部分且对使用者而言容易看的图像。 [0077] 特别地，在本实施方式中，根据第1摄像机11的拍摄图像，生成与相应于车速而设定的虚拟视点V1对应的视点变换图像，并从该视点变换图像切出车辆2的正后方的路面部分及路上部分，从而生成中心图像P1。 [0078] 另外，虚拟视点V1被设定为：在车速较低的情况下，视线轴11B与原来的视线轴11A相比朝向车辆附近的路面，在车速较高的情况下，视线轴11B与原来的视线轴11A相比朝向车辆2的远方。 [0079] 为此，根据本实施方式，在合成图像中，关于各图像P1～P3在图像的上下方向上一致的点，在车速较低的情况下，该点被设定在车辆附近的路面位置，在车速较高的情况下，该点被设定在远离车辆2的路面位置。 [0080] 另外，图4表示车速较高的情况下生成的合成图像。并且，根据该合成图像中的道路的连接部分可知，在离车辆2近的道路的连接部分，中心图像P1与左右的图像P2、P3在上下方向上大幅地偏移。与此相对，在远离车辆2的后续车辆附近，中心图像P1与左右的图像P2、P3在上下方向上大致一致。 [0081] 因此，根据本实施方式，在车速较高的情况下，能够生成容易看到后续车辆的合成图像。另外，反之，在车速较低的情况下，在合成图像中使道路的连接部分一致，能够使车辆2的附近的图像容易看。 [0082] 为此，使用者通过观察在显示装置30上显示的合成图像内的中心图像P1，就能够掌握车辆2的正后方的道路状况，例如，在低速行驶时或后退行驶时容易掌握车辆附近的路面状况，能够提高车辆2的行驶安全性。 [0083] 另外，在车辆2高速行驶时，使用者容易掌握从远方向本车辆2接近的车辆，能够进行例如从超车车道向通常的行驶车道的车道变更等确保安全性确保的驾驶。 [0084] 另外，在合成图像的显示画面中，在中心图像P1与左右后方的图像P2、P3之间形成边界线L1，所以使用者能够在显示画面上简单地识别这些各图像P1～P3。 [0085] 为此，即使各图像P1～P3在上下方向偏移，使用者也能够识别该偏移，并且能够分别明确地掌握车辆2的正后方的路面状况及车辆2的左右后方的路面状况。 [0086] 以上，例示了本申请的实施方式，但本申请的实施方式除了上述例示以外还能够取得各种形态。 [0087] 例如，在上述实施方式中，在生成合成图像时，将第1摄像机11的拍摄图像变换为从相应于车速而设定的虚拟视点V1观察的视点变换图像，从而在图像合成后，构成合成图像的各图像P1～P3在合成图像的上下方向的一处一致。 [0088] 可是，例如也可以如图5所示那样，对第1摄像机11的拍摄图像进行变换，以在合成图像的上下方向的两处(即远方位置及附近位置)各图像P1～P3一致，且在中心图像中图像在这两处之间连续地变化。 [0089] 并且，如果这样，在合成图像的上方即远方位置及合成图像的下方即附近位置，各图像P1～P3一致，所以容易从合成图像确认车辆2的远方及附近这两方，能够进一步提高车辆2的行驶安全性。 [0090] 另外，为了生成图5所示的合成图像，例如，如图6所示那样，在S110～S180执行的图2的合成图像显示处理中，代替S140、S150、S160的处理而执行S145、S155、S165的处理即可。 [0091] 即，在S145，生成了合成图像时，将第1摄像机11的拍摄图像视点变换为从互不相同的二个虚拟视点观察的图像，以在相对于车辆的远方位置及附近位置这两处与左右的图像P2、P3一致。 [0092] 另外，在S155，将通过S145的视点变换获得的二个图像合成为，在图像和左右的图像P2、P3一致的两处之间图像顺畅地连续，在S165，通过与上述S160同样的工序，从在S155将二个视点变换图像合成后的合成图像提取中心图像P1。 [0093] 另外，为了生成图5所示的合成图像，无需一定以这样的工序对第1摄像机11的拍摄图像进行变换，也可以预先制作用于如上所述那样对拍摄图像进行变换的变换用映射，并使用该变换用映射，生成用于从第1摄像机11的拍摄图像提取中心图像P1的变换图像。 [0094] 并且，在上述实施方式中，设为应用于将第1摄像机11配置在车辆2的后方并拍摄出车辆后方的图像的情况进行了说明，但第1摄像机11也可以设置成拍摄出车辆2的前方的图像。 [0095] 另外，在此情况下，成为生成车辆2的前方的合成图像，所以只要在S120、S130中生成从虚拟视点V2、V3沿着互相平行的视线轴12B、13B观察车辆前方的视点变换图像即可。 [0096] 另外，在上述实施方式中，设为使用三个车载摄像机(第1摄像机11、第2摄像机12、第3摄像机13)生成合成图像的情况进行了说明，但第1摄像机11、第2摄像机12及第 3摄像机13的至少一个摄像机也可以是多个。 [0097] 并且，在此情况下，如果根据该多个摄像机的拍摄图像生成视点变换图像，则能够使合成图像的各部分(图像P1～P3)更清晰。 [0098] 另一方面，在上述实施方式中，设为在生成后的合成图像中描绘边界线L1以能够将中心图像P1与左右后方的图像P2、P3辨别出来的情况进行了说明，但为了能够辨别这些各图像P1～P3，无需一定描绘边界线L1。 [0099] 例如，也可以如图4的合成图像中的左右的图像P2、P3之间的边界部分(中图4阴影的部分)那样，隔开间隔而形成各图像P1～P3，从而将各图像P1～P3显示为能够辨别。 [0100] 另外，该辨别显示无需一定实施，也可以仅将中心图像P1和左右后方的图像P2、P3显示在同一画面上。 [0101] 另外，在上述实施方式中，设为中心图像P1是从成为其源的视点变换图像切出向下方扩大的梯形形状的路面部分和向上方扩大的梯形形状的路上部分的形状的情况进行了说明，但关于该切出形状，也可以适当设定。 [0102] 即，中心图像P1的形状例如设为从成为中心图像P1的源的视点变换图像以与车辆2的后端部分对应的宽度在图像的上方笔直地切出的长方形状等，能够适当变更。 [0103] 另外，在上述实施方式中，对成为中心图像P1的源的图像是将第1摄像机11的拍摄图像变换为从相应于车速而设定的虚拟视点V1观察的图像的视点变换图像的情况进行了说明，但该视点变换图像的虚拟视点V1也可以预先设定。 [0104] 即，例如，该视点变换图像的虚拟视点V1也可以固定于在车辆2的后退行驶时容易掌握路面状况的位置等。 [0105] 另外，该视点变换图像的虚拟视点V1也可以由使用者从预先设定的多个候选中选择。 [0106] 另外，成为中心图像P1的源的图像无需一定设为对第1摄像机11的拍摄图像进行了视点变换后的图像，也可以仅原封不动地使用第1摄像机11的拍摄图像。 [0107] 另外，在此情况下，中心图像P1只要以上述的规定的切出图案从拍摄图像之中提取(切出)即可。 [0108] 在上述实施方式中，执行S120、S130的控制部28相当于第1视点变换部或单元的一例。执行S160的控制部28相当于中心图像生成部或单元的一例。执行S170的控制部28相当于合成图像生成部或单元的一例。执行S150的控制部28相当于第2视点变换部或单元的一例。执行S140的控制部28相当于虚拟视点设定部或单元的一例。执行S145、S155的控制部28相当于图像变换部或单元的一例。 [0109] 根据本申请，能够提供各种结构的车载图像生成装置。 [0110] 例如，本申请的一例的车载图像生成装置，具备第1摄像机、第2摄像机、第3摄像机、第1视点变换部、中心图像生成部及合成图像生成部。第1摄像机拍摄出车辆的行进方向前方或后方的图像。第2摄像机及第3摄像机分别拍摄出车辆的左右侧方的图像。第1视点变换部根据根据第2摄像机及第3摄像机的拍摄图像，生成对称的形状的一组视点变换图像，该对称的形状的一组视点变换图像是从如下的一对虚拟视点观察车辆的行进方向前方或后方的图像，该一对虚拟视点具有与第2摄像机及第3摄像机的视线轴不同并且互相平行的视线轴。中心图像生成部根据第1摄像机拍摄图像，生成合成图像的生成所用的中心图像。合成图像生成部将由中心图像生成部生成的中心图像配置在中央，并在该中心图像的旁边配置由第1视点变换部生成的一组视点变换图像，由此生成合成图像。 [0111] 车载图像生成装置也可以具备第2视点变换部。第2视点变换部根据第1摄像机的拍摄图像，生成从如下虚拟视点观察的视点变换图像，该虚拟视点被设定为与该拍摄图像相比其视线朝向车辆附近或车辆远方。中心图像生成部根据由第2视点变换部生成的视点变换图像，生成中心图像。 [0112] 车载图像生成装置也可以具备虚拟视点设定部。虚拟视点设定部相应于车辆的行驶速度将第2视点变换部生成视点变换图像时的虚拟视点设定为，行驶速度越低则视线轴越朝向车辆的附近，行驶速度越高则视线轴越朝向车辆的远方。 [0113] 车载图像生成装置也可以具备图像变换部。图像变换部对第1摄像机的拍摄图像进行变换，以在由合成图像生成部生成的合成图像中，中心图像在该中心图像中的相对于车辆的远方位置及附近位置这两处，图像位置与由第1视点变换部生成的一组视点变换图像一致，并且，该在中心图像中的两处之间图像连续地变化。并且中心图像生成部根据由图像变换部变换后的拍摄图像，生成中心图像。 [0114] 中心图像生成部也可以生成由路面部分和路上部分构成的图像作为中心图像，该路面部分是从成为该中心图像的源的图像中、沿与本车辆的车身的左右侧壁平行的左右的轴以越是图像的上方则宽度越窄的方式切出的，该路上部分是从成为该中心图像的源的图像中、以宽度从路面部分的上端缘朝向图像的上方扩大的方式切出的。 [0115] 合成图像生成部也可以生成能够辨别中心图像与一组视点变换图像的边界的合成图像。 [0116] 以上，对本申请的实施方式及结构进行了例示，但本申请的实施方式及结构不限定于上述的各实施方式及各结构。关于对不同实施方式及结构分别适当组合所公开的技术要素而获得的实施方式及结构，也包含在本申请的实施方式及结构的范围内。 |
||||||
QQ群二维码
意见反馈
意见反馈