过去，作为这种图象显示装置所知道的是，根据“用于一条道路表面模型 的虚拟视点图象合成原理(The Principle of virtual viewpoint image synthesis using a road surface model)”(第7届ITS世界会议)将摄像 机的实摄图象作视点变换成恰如从虚拟视点拍摄的图象，在监视器上进行显示 的装置。另外，根据第2610146号专利，可知是将与车辆的转向角传感器检测 出的转向角对应的倒退预测轨迹重迭在车载摄象机图象上的装置。
但是，在以往的图象显示装置中存在如下的问题，即将倒退预测轨迹重迭 在变换成如在虚拟视点拍摄的图象上并在监视器上显示时，到周围的立体物体 的距离靠监视器上的图象易误解成比实际距离大。
以下，利用附图说明之。在图30，在监视器图象中，自己的车辆的插图 2401看上去和其它车辆的距离好象还相距甚远。但实际上如图31所示：自己 的车辆2401和其它车辆2402正相当接近，这是因根据变换成虚拟视点，如保 险杠(bump)那样不在地上的物体在变换后的图象上投影到此实际位置还要远 离摄象机的位置向引起的。

本发明为解决前述以往的技术问题，提供一种图象合成装置，将辅助图象 重叠在变换成如虚拟视点拍摄到的图象上，并在监视器上显示，能够提示从监 视器图象容易地推断向周围物体接近的图象。
本发明的图象合成装置，包括装在车上的摄像装置，对由前述摄像装置摄 得的图象作视点变换，并合成图象的视点变换图象合成装置，前述车辆的任意 高度的轨迹线或垂直线中至少生成一方的车辆轨迹线生成装置，以及在由前述 视点变换图象合成装置合成的图象上，描画由前述车辆轨迹线生成装置生成的 轨迹线的车辆轨迹描画装置。根据该构成，生成自己车辆的任意高度的轨迹线， 就能在由视点变换所得的合成图象上显示，所以能在前述合成图象上描画自己 车辆的立体轨迹。因此，通过使自己车辆的轨迹和在视点变换图象合成时产生 的周围立体物体的畸变一样地变形，就容易捕捉到周围与自己车的预想轨迹的 三维位置关系，提高目视识别能力，能容易地进行自己车辆和周围立体物体的 接触判定。
此外，本发明的图象合成装置还包括装在车上的摄像装置，对由前述摄像 装置摄得的图象作视点变换合成图象的视点变换图象合成装置，从前述车辆生 成任意位置的辅助线的辅助线生成装置，及在由前述视点变换图象合成装置合 成的图象上，描绘由前述辅助线生成装置生成的辅助线的辅助线描绘装置。根 据该构成，从自己车辆开始生成任意的辅助线，在由视点变换得到的合成图象 上显示，所以在合成图象上引一根成为距离的大致标准的辅助线，就能使驾驶 者在行驶时容易地掌握和后方驶近车辆的距离。
再有，本发明的图象合成装置为还包括装在车辆上的摄像装置，对由前述 摄像装置摄得的图象作视点变换合成图象的视点变换图象合成装置，存储预定 装置的存储装置，及在由前述视点变换图象合成装置合成的图象，根据从前述 存储装置读出的数据，将规定的辅助数据重迭上的描绘装置，前述摄像装置装 置成可将前述车辆的尾部收纳在其视野内，前述视点变换图象合成装置包括前 述车辆的图象在内作视点变换合成。根据该构成，能向驾驶者提示自己车辆尾 部图象的变换，合成结果，所以就能容易地作出自己车辆和车辆周围的立体物 的接触判定。
本发明的图象显示装置包括显示由前述图象合成装置合成的图象的显示 装置，以及将应显示的前述图象变换成适于前述显示装置的数据的显示数据变 换控制装置。
根据该构成，能在显示装置上显示由摄像装置摄得的图象或合成图象，能 供操作者易于掌握周围的状况，与汽车的位置关系等。
此外，本发明的图象取得警告装置包括探测连接车辆的连接对象物的接近 状况的探测装置，前述探测装置的探测信息或前述图象合成装置合成的图象信 息两者中至少根据具中之一的信息向操作者发出任意的警告信息的警告装置， 根据任意设定的前述连接对象物的接近状况发出前述警告信息。
根据该构成，在向车体后部连接对象物时，与连接对象物的靠近相对应， 通过与接近的状态相对应发出警告信息，从而能唤起操作者的注意。此外，在 连接结束时，也能确认结束状态。
另外，本发明的自己车位辨认判别装置为在前述图象合成装置上摄像装置 内至少有一个是设置在汽车后方的后方摄像装置，前述后方摄像装置具有从摄 得的图象或在前述图象合成装置合成的图象检测出任意对象物图象的图象检 测装置，辩认由前述图象检测装置检测出的检测图象和自己车的图象间位置关 系的辨认装置，及与任意设定的条件比较判断的比较判别装置。
根据该构成，能在显示装置上显示由摄像装置摄得的图象或合成图象，能 供操作者诸如掌握周围的状况，尤其是从任意设定的对象物的图象掌握对象物 (包括对象显示)的位置，容易掌握与汽车的位置关系。

图1表示本发明第1实施形态的图象合成装置构成的方框图。
图2为说明由图1的图象合成装置所得的自上垂直向下所见的合成图象和 轨迹线的图。
图3为说明图1中任意高度的轨迹线运算装置103B构成用的方框图。
图4为说明图1中任意高度的轨迹线运算装置103B处理流程图。
图5为详细说明图2轨迹线图。
图6为说明由图1的图象合成装置所得的后方全景合成图象和轨迹线用的 图。
图7为表示本发明的第2实施形态的图象合成装置构成的方框图。
图8为用于说明图7中任意高度的轨迹线运算装置502B构成的方框图。
图9为说明由图7的图象合成装置所得的自后方垂直向下看到的合成图象 和轨迹线的图。
图10为说明由图7的图象合成装置所得的自后方看到的合成图象和轨迹 线的图。
图11为说明由图7的图象合成装置所得的自上垂直向下看到的合成图象 和轨迹线随看时间移动立体显示自己车辆的图。
图12为表示本发明的第3实施形态的图象合成装置的构成方框图。
图13为说明由图12的图象合成装置所得后方全景合成图象和轨迹线相撞 处的重点显示的图。
图14为表示本发明的第4实施形态的图象合成装置的构成方框图。
图15为说明由图14的图象合成装置所得的多画面显示图象和轨迹线的 图。
图16为表示本发明的第5实施形态的图象合成装置的构成方框图。
图17为说明由图16的图象合成装置所得的多画面显示图象和辅助线的 图。
图18为表示本发明的第6实施形态的图象合成、显示装置的构成方框图。
图19为本发明的第6实施形态的图象合成、显示装置的摄象单元设置图
图20为本发明的第6实施形态的图象合成、显示装置的画面构成图。
图21为本发明的第7实施形态的图象合成、显示装置的画面构成图。
图22为本发明的第8实施形态的图象合成、显示装置的画面构成图。
图23为本发明的第9实施形态的图象合成、显示装置的画面构成图。
图24为本发明的第10实施形态的图象合成、显示装置的画面构成图。
图25为本发明的第11实施形态的图象合成、显示装置的画面构成图。
图26为本发明的第12实施形态的图象合成、显示装置的画面构成图。
图27为本发明的第13实施形态的图象合成、显示装置的画面构成图。
图28为本发明的第14实施形态的图象合成、显示装置的画面构成图。
图29为本发明的第15实施形态的图象合成、显示装置的画面构成图。
图30为以往的后方视场显示装置的画面构成图。
图31为说明以往的后方视场显示装置问题用的车辆置关系图。

下面，参照附图对本发明的实施形态进行说明。
(第1实施形态)
图1为表示第1实施形态的图象合成装置的构成方框图。该图象合成装置 由装在汽车上的摄像装置101、视点变换图象合成装置102、车辆直行轨迹线 生成装置103、车辆轨迹线描画装置104构成。
摄像装置101由装在车辆的后部或者侧部的1台以上的摄像机构成，朝着 车的后方。视点变换图象合成装置102通过输入一张以上由摄像装置101摄得 的图象，输出从虚拟视点见到的图象。车辆直行轨迹线生成装置103通过输入 自己车辆的大小及形状，视点变换时的摄象机参数，摄像装置101的摄象状况， 输出自己车辆笔直倒退时的轨迹线。车辆直行轨迹线生成装置103具备路面上 的轨迹线运算装置103A和经意高度的轨迹线运算装置103B，能输出自己车辆 的任意位置的轨迹线，具备同时输出例如：路面上的轨迹，车辆的保险杠端的 轨迹等功能。车辆轨迹线描画装置104将由车辆直行轨迹线生成装置103输出 的自己车辆轨迹线重迭在由视点变换图象合成装置102所得的合成图象上并描 画。再者，车辆轨迹线描画装置104的输出能给予图中未示出的显示装置而显 示。
图2为将由摄像装置101所得的图象靠视点变换图象合成装置102合成从 自己车辆的后方对看自己车辆的停放路面垂直向下看的图象，由车辆直行轨迹 线生成装置103在合成图象上描画由车辆轨迹线描画装置104得到的自己车辆 204的路面上的轨迹线201和距路面高度50cm位置的自己车辆的轨迹线202时 的图。在合成图象上因为很容易了解立体物体是如何投影的，以对路面垂直的 直线203连接路面上的轨迹线201和具有高度的轨迹线202。在此，自己车204 的后方有第1辆其它的车205存在，在侧面有第2辆其它的车206存在。
图3为说明图1中任意高度的轨迹线运算装置103B的构成用的方框图。 任意高度的轨迹运算装置103B由三维轨迹线合成装置103B-1三维轨迹线道路 路面投影装置103B-2，合成图象投影装置103B-3构成。三维轨迹线生成装置 103B-1具备生成在真实空间上的车辆任意高度的三维轨迹线的功能。三维轨迹 线道路路面投影装置103B-2具备从安装在车上的摄像装置将由三维轨迹线生 成装置103B-1生成的三维轨将由三维轨迹线生成装置103B-1生成的三维轨迹 线投影到道路路面上的功能。合成图象投影装置103B-3具备将由三维轨迹线 道路路面投影装置103B-2投影在道路路面上的轨迹线投影在合成图象上的功 能。
图4为说明前述任意高度的轨迹线运算装置103B处理流程用的图。首先， 由三维轨迹线生成装置103B-1，在三维空间上作为自己车辆的任意部分的轨迹 线生成线段105。接着线段105由三维轨迹线道路路面投影装置103B-2从安装 在车上的摄像装置投影在道路路面上的线段106上。然后，线段106由合成图 象投影装置103B-3投影在合成图象上的线段107上，这样所得的线段107为 在合成图象上的轨迹线。
图5为详细说明图2轨迹线用的图。如图5所示：设车辆的路面上的轨迹 上的各点为a至h，离路面高度50cm的轨迹上的各点为A至H。
直线ab为表示自己车辆204的后端在路面上的位置的直线，直线cd为自 己车辆204的后方1m的路面上的位置的直线，直线ef为表示自己车辆后方2m 的路面上的位置的直线，gh为表示自己车辆后方3m的路面上的位置的直线。 另外，直线AB为表示自己车辆204的后端高度50cm的直线，直线CD为表示 自己车辆204后方1m的高度50cm的直线，直线EF为表示自己车辆204后方 2m的高度50cm的直线，直线GH为表示自己车辆204后方3m的高度50cm的直 线。因此，能认为直线Aa、Bb、Cc、Dd、Ee、Ff、Gg、Hh表示在路面的各个 位置，长度50cm的棒对看路面垂直竖立时在合成图象上的象。
一旦如上述那样定下轨迹线，例如，在合成图象上长方形ABCD内的区域 只表示道路面时，则可以说至少在以自己车辆宽度到后方1m为止区域不存在 高度50cm以下的物体，反之，可以说：在长方形ABCD内表示路面以外的立体 物体时，在以自己车辆宽度到后方1m为止区域有存在高度50cm以下的物体的 可能性。
在此，图1的装置也能自由地改变描画轨迹线的颜色。例如：在离自己车 辆1m的范围内能用红色线段表示，在1m至2m的范围内能用黄色的线段表示， 2m至3m的范围内能用兰色的线段表示。此外，路面上的轨迹aceg及bdfh也 能选得既黑又粗，就以直感地，易于知道自己车辆轮胎的轨迹。
另外，图1装置也能描画自己车辆保险杠高度的轨迹。从而使其也能持有 如下的特征：当描画自己车辆保险杠高度的轨迹时，就会容易地判断合成图象 上自己车辆的保险杠和周围物体的接触。
再有，图2描绘的轨迹线为到车后3m，也能描绘到任意距离的轨迹线。
图6为从由摄像装置101所得的图象通过视点变换图象合成装置102合成 后方全景图象，在该合成图象上描有自己车辆的道路路面上的轨迹401，自己 车辆保险杠端的轨迹402，和自己车辆车高的轨迹403的图象。通过描绘自己 车辆的车高轨迹，从而具有易于领会与周围车辆距离感等的特点。
这样，采用本发明的第1实施形态，因能在视点变换合成图象上描画自己 车辆的立体轨迹，驾驶者就能容易地进行自己车辆和周围立体物体的接触判 定。
此外，通过用直线或曲线插入自己车辆路面上的轨迹线和任意高度的轨迹 之间，也能在合成图象上表示对于路面垂直的线，自己车辆的轨迹线上的断面 图。
例如想象用自己车上装的车厢连接器(挂钩)和货架车连接的情景，在货 架车离开自己车辆的初始状态即将自己的车靠近货架车之际，根据显示出的自 己车的预想轨迹，就很容易地找到如何靠近成为对象的货架车为好的方法，此 外，在就要和货架车连接之前，通过视点变换，提供宛如从正上方看到的图象 (平面投影)，就能正确地捕捉到彼此的挂钩间位置关系，靠以上的动作和使 用方法，货架车和自己车就能方便地连接。
另外，无用多言。同样的优点在以下的情形时也是存在的，要将车停到有 限的停车空间时，或要把握多条车道后方车辆的位置关系时，能够向驾驶者提 供容易理解的图象。
再有，如上述的例子，若是预先知道保险杠的高度，挂钩的高度等最极限 的部分的高度，就可根据驾驶者的指示描画其高度的轨迹线。
而且，通过描画保险杠的轨迹线能作出保险杠端的接触判定，通过在合成 图象上描车车高的轨迹线也能直感地描画出易理解的轨迹线。
另外，通过根据离自己车辆的距离改变轨迹线的颜色，粗细来描画，能取 得让驾驶者的注意力集中在自己车辆附近的效果。
本发明的第1实施形态的图象合成装置对于驾驶者能作为兼具明白地显示 后方死角的安全性及在上述停车，连接时的便利性，性能优良的驾驶支援装置 而被灵活利用。  
(第2实施形态)
图7为表示第2实施形态的图象合成装置的方框图。在该图中，对与图1 相同的构成要素或对应的构成要素注上与图1相同的的标号。
该图象合成装置的构成为取代图1的图象合成装置中车辆直行轨迹生成装 置103设置车辆转向角对应轨迹线生成装置502，再附加转向角信号输出装置 501，将其输出输入车辆转向角对应轨迹线生成装置502，其它的构成要素具有 和图1的装置相同的构成。
转向角信息输出装置501为输出自己车辆方向盘转向角的装置，车辆转向 角对庆轨际线生成装置502将方向盘转向角作为输入，输出与其方向盘转向角 对应的轨迹线的装置。车辆转向角对应轨迹线生成装置502具备路面上的轨迹 线的运算装置502A和任意高度的轨迹线的运算装置502B，通过输入方向盘转 向角、自己车辆的大小及形状、视点变换时摄象机参数、和摄像装置101的摄 像状况，具备输出与自己车辆倒退时自己车辆的任意位置的转向角对应的轨迹 线的功能。
图8为说明图7中任意高以轨迹线的运算装置508B构成用的方框图。任 意高度的轨迹线运算装置502B由三维形状存储装置502B-1、三维轨迹区域生 成装置502B-2、和道路路面投影装置502B-3、合成图象投影装置502B-4构成。 三维形状存储装置502B-1能存储自己车辆的形状、自己车辆内接的长方体、 自己车辆的一部分例如保险杠、车轮等形状。三维轨迹区域生成装置502B-2 由三维形状存储装置502B-1存储的自己车辆的形状生成在自己车辆移动时通 过的实际空间上的区域的功能，道路路面投影装置502B-3具有将由三维轨迹 区域生成装置502B-2生成的三维区域投影在道路路面上的功能，合成图象投 影装置502B-4具有将由道路路面投影装置502B-3生成的三维区域投影在合成 图象上的功能。而且，由三维形状存储装置502B-1存储的形状也可以是自己 车辆的某部分的一点，所以也可将由三维轨迹区域生成装置502B-2生成的区 域做成三维的线段。
图9为在由视点变换图象合成图象上，描出与转向角信息对应的轨迹线。 在此，车辆转向角对应轨迹线生成装置502中三维形状存储装置502B-1存储 位于自己车辆后方角部离道路路面50cm的一点的三维位置。如该图所示：表 示路面上的转向角对应轨迹线601和高度50cm的转向角对应轨迹线602。其特 征在于：靠这样的显示，能很容易判定车辆的方向盘转多少就会碰到周围的立 体物体，停车时能容易地避免与周围的立体物体相碰。
图10为将图7的装置应用在后方全景图象上。在此，显示在自己车辆的 后方有两辆其它车辆、路面上的转向角对应轨迹线701、保险杠高度的转向角 对应轨迹线702、以及车高的转向角对应轨迹线703。
图11为将自己车辆后嫁时的自己车辆的轮胎、保险杠等投影在路面上的 轨迹描画在合成图象上的样子。在此，三维形状存储装置502B-1存储自己车 辆的保险杠和车轮的形状，靠车辆转向角对应轨迹线生成装置502投影自己车 辆204的车轮的凤影图象801和保险杠端的投影图象802。该投影图象以某个 周期随着时间从自己车辆204的后端向后方移动。由此，在自己的车辆开动时， 能直感、方便地捕捉到与周围物体的位置关系。尤其是在使劲转动方向盘时， 轮胎的轨迹与保险杠的轨迹会因转弯半径的差而异，故如图8在合成图象上描 画自己车辆的立体模型是相当有效的。
这样，利用本发明的第2实施形态，通过描画转向角对应的自己车辆的立 体轨迹，就能容易地判定车辆的方向盘转多少将会碰到周围的立体物体，停车 时容易地避开与周围的立体物体相碰。
还有，通过在图象上沿着轨迹线描画随着时间移动的物体使得自己车辆的 断面、立体模远离自己车辆的后端，就能更容易判定与本物体的接触。
(第3实施形态)
图12为表示第3实施形态的图象合成装置构成的方框图。在该图中，和 图7相同的构成要素或对应的要素注上与图7相同的的标号。
该图象合成装置为在图7的装置上增加与障碍物相预测装置901和与障碍 物相撞物相撞重点显示装置902，其它的构成要素上人有和图7的装置同样的 构成。
与障碍物相撞预测装置901为检测在自己车辆的周围存在的车辆等障碍物 的装置。另外，车辆轨迹线描画装置104判定由与障碍物相撞预测装置901检 测出的障碍物的位置和自己车辆的轨迹线将要相撞时，具有不描画该处的轨迹 线的功能。与障碍物相撞重点显示装置902，在自己车辆的轨迹线将和障碍物 相撞时，具备在合成图象上重点显示相撞部位的功能。
由这样的构成，图12的装置在预想轨迹线上有障碍物时，不会有在障碍 物描画轨迹线这种不自然的感觉。在显示更易理解的预想轨迹线。
图13为由图12的装置得到的全景图象和轨迹线。在图13，存在于此障碍 物更靠前的轨迹线的虚线部分1001不能描车在图象上，此外，通过如1002那 样看重显示相撞部位，就能使驾驶者的注意力集中在相撞部位。
这样，采用本发明的第3实施形态，通过不在自己车辆周围的障碍物上描 画轨迹线，能防止在本来就不能前进的进路上描画轨迹这种不自然现象的发 生。能描画出对周围的状况更易理解的轨迹线。
此外，在预测出自己车辆将和障碍物相撞时，通过着重显示相撞部位，也 能引起驾驶者的注意。
(第4实施形态)
图14为表示第4实施形态的图象合成装置构成的方框图。在该图中，与 图7相同的构成要素或对应的构成要素注上与图1相同的的标号。
该图象合成装置为在图7的图象合成装置上加了多画面生成装置1101，其 它的构成要素具有和图7的装置同样的构成。但摄像装置101，为取得多画面 生成用的图象，装在车辆的后部及两侧。
图15为表示装在车辆后部的摄像机、以装在车辆两侧的摄像机摄得的图 象为基础由图14的图象合成装置所得的合成图象、及车辆轨迹线的附图。
用2/3左右的显示区域显示装在车辆后部的摄像机拍摄的图象，用余下的 1/3左右区域显示装车辆两侧摄像机拍摄到的图象。面对于各画面，描画自己 车辆的后方的轨迹线1201。另外，在朝看自己车辆侧面的摄像机的图象上也能 描画自己车辆的前方角部的轨迹1202。在此，通过以相同的颜色显示在不同的 画面间表示相同位置的轨迹线或自己车辆的边框，即使在不同的画面上，也能 方便地取得自己车辆在相同位置的轨迹的对应。
这样，采用本发明的第4实施形态，因为将自己车辆后方的轨迹描在从两 个以上的不同位置摄像机摄得的图象上，所以容易理解轨迹线的三维位置，并 容易判定与周围障碍物的接触。
此外，通过以相同的颜色显示在不同的画面间表示相同位置的轨迹线或自 己车辆的边框，即使不同的画面也能取得自己车辆在相同位置的轨迹的对应。
而且，也能使图14的装置具有让自己车辆的边框1203随着时间移动的功 能。
(第5实施形态)
图16为表示第5实施形态的图象合成装置构成的方框图。在该图中，与 图1相同的构成要素或对应的构成要素注上与图1相同的的标号。
该图象合成装置在图1的图象合成装置上增加多画面生成装置1101，再将 轨迹线生成装置103置换成辅助线生成装置1301、将车辆轨迹线描画装置104 置换成辅助线描画装置1302，其它的构成要素具有和图1的装置相同的构成。
辅助线生成装置1301为在合成图象上例如生成自己车后10m和20m的位 置导线的装置。而辅助线描画装置1302将由辅助线生成装置1301输出的辅助 线重迭描画在由多画面生成装置1101所得的合成图象上。
图17为由图16的图象合成装置所得的合成图象。在此，表示自己车后10m 的辅助线1401及辅助线1402就容易把握与从后方接近的车辆的距离。另外， 也能如垂直投影在路面上的辅助线1403那样描车自己车辆后端的线。其特征 在于：靠辅助线1403能很容易地判断想要超越自己车辆的其它车辆是在自己 车的车尾后行驶、还是在自己车的侧面行驶，在变道时能方便地确认侧面车辆。 再有，也能显示表示辅助线1401、1402、1403上的一般车辆车宽的辅助线1404。 由此，从后面接近的车辆靠近某一刻度线，若该车的宽度变得大致和辅助线 1403相同，就可知该车正在该辅助线附近行驶。
这样，根据本发明的第5实施形态，通过在合成车象上引距离的大致标准 的辅助线，诸如在行驶时驾驶者就会容易地把握与从的玟接近的车辆的距离。
另外，通过在自己车辆的侧面摄到的图象或前述图象的合成图象上生成表 示自己车辆后端位置的辅助线，就能容易了解侧面车辆的车头是在自己车尾的 后面还是前面，在变道等时候相当有效。
还有，在这些辅助线上，通过描画表示一般车辆的辅助线，也能使把握与 周围车辆的车距更加容易。
(第6实施形态)
图18为表示第6实施形态的图象合成。显示装置构成的方框图。该图象 合成，显示装置由装在汽车上的第1摄像单元1501及第2摄像单元1502、图 象变换、合成单元1503、描画单元1504、存储器1505及第2摄像单元1502 与图1的摄像装置101对应，图象变换合成单元1503与视点变换图象全成装 置102对应。
第1摄像单元1501及第2摄像单元1502拍摄车辆的后面。第1摄像单元 1501及第2摄像单元1502取得的图象在图象变换、合成单元1503变换成象是 从虚拟视点拍摄到的图象。描画单元1504根据存在存储器1505中的数据，描 画应重迭在输出图象上的插图、辅助线。该描画单元1504描画过的图象在显 示单元1506上显示。并且，在图18假设摄像单元为2台，只要图象变换、合 成单元1503能对应几台也无发妨。如图19所示：第1摄像单元1501及第2 摄像单元1502安装在自己车辆204的尾部使得自己车辆204的保险杠及车尾 的部份车体收缩在其视野内。
对于如上构成的图象合成、显示装置利用图20说明其画面构成。该图为 一作过变换图象的示例，恰似将摄像涪设置在车后离地2m的上方一样。
图中表示自己车辆204、位于后方的第1辆其它车辆205、位于后侧方的 第2辆其它车辆206、及道路路面1701。打斜杠的部分1702为摄像单元视野 外的路面。
另外，速显示自己车辆后部的车号牌204A、保险杠204B、及停止车灯204C。 再将辅助线1703重迭在保险杠的后端及车身的尾部位置上着重显示自己车辆 的尾部，这时向上实际的车尾更外的外侧引辅助线，并将辅助线加粗，也能减 少相碰的危险。
另外，在仅离保险杠204B的后端一定距离处引一根与保险杠204B水平的 反光镜确认线1704。该反光镜确认线1704为将显示图象分离成和自己车辆相 同区域的危险区域、和自己车辆不同区域的安全区域的辅助线，靠反光镜具有 促使驾驶者确认与周围物体相撞的功能。总之，在行驶中显示在车辆周围的物 体与已接触到该反光镜确认线1704时通过确认反光镜，驾驶者就能以最佳的 时机确认与周围物体相撞之可能性。并且，反光镜确认线1704与可为从图象 中映出的车身的尾部及保险杠的后端向仅离开一定距离的外侧引线、也可如要 围位车辆尾部那样的曲线。
这样，采用本发明的第6实施形态，设置摄像单元便利自己车辆的保险杠 及后面车体的一部分收缩在其视野内，通过包括自己车辆在内视点变换、合成， 就能容易地作出自己车辆的车辆周围立体物体的接触判定。
另外将辅助线重迭在保险杠的后端及自己车辆的尾部位置上，通过提供着 重显示这些位置的图象，能容易判别自己车辆的尾部，接触壑变得更加容易。
再有，通过提示显示在仅距自己车辆保险杠一定距离的后面和保险杠水平 的反光镜确认线的图象，从而能根据最佳的时机促使驾驶者依靠反光镜对周围 作安全确认。
(第7实施形态)
第7实施形态的图象合成、显示装置和图18相同。图21为第7实施形态 的画面构成图。
在图21显示自己车辆的三维插图1801。该图1801生成得宛如变换民从设 置在车后离地2m处上方的虚拟点见到的图象，重迭在显示图象中相当于自己 车辆的区域。
此外，辅助线1802表示保险杠区域。在该区域也可显示将摄像单元实际 摄到的图象作过变换的图象。由此，能给予驾驶者正在看实际的图象的放心感 觉。这时，通过将保险杠区域的插图画得此实际的车辆位置更大，也能降低接 触的危险性。
再有，辅助线1803为在自己车辆直线后退时，表示其车身一端通过的位 置投影在路面上的位置在路面上的通过轨迹。另外，辅助线1804为自己车辆 在直线后退时表示保险杠通过位置的保险杠通过轨迹。而辅助线1805A～C为 从自己的车辆有一定距离的路面上通过轨迹上的点及保险杠通过轨迹上的点 相连的立体辅助线。而且不仅是自己车辆的保险端，也可显示特有与自己车辆 不同高度的保险杠、与适当的其它车辆保险杠高度相当的自己车辆车身一端的 通过轨迹。
这样，采用本发明的第7实施形态，通过将自己车辆恰似由实际设置的摄 像单元拍摄并变换、合成后的三维图形重迭在显示图象上提供立体显示自己车 辆的图象，从而能立体地抓住自己的车辆，容易立体地掌握自己车辆和车辆周 围立体物体间位置关系，其结果，使接触判定变得容易。
另外，通过将实摄图象变换、合成的图象显示在与插图和保险杠相当的区 域上，能给予驾驶者看到实际图象的放心感觉。
再有，在自己车辆倒车时，通过提示表示车身一端通过的位置投影在路面 上位置的路面通过轨迹、及表示保险杠端通过位置的保险杠端通过轨迹、以及 它们相联显示产生立体感的立体辅助线的图象，能立体地方便地把握两根通过 轨迹的位置关系。
(第8实施形态)
第8实施形态的图象合成、显示装置的构成和图18相同。图22为第8实 施形态的画面构成图。
图22中，插图1901为以轮廓形式表现自己车辆同时也表现轮胎的三维插 图，能确认自己车辆的轮胎与路面接触的位置。该插图1901生成得恰似从设 置在车后离2m左右上方的虚拟视点见到的图象，重迭在显示图象上相当于自 己车辆的区域。还有，自己车辆也可用线条框形式表现。
此外，辅助线1902表示保险框区域，在该区域也可显示由摄像单元实际 摄到的图象经变换后的图象。而且，辅助线1903表示从插图1901内的轮胎引 出的路面通过轨迹，由此，能直感地容易领会路面上通过轨迹的意义。
这样，根据本发明的第8实施形态，以轮廓或线条框形式表现自己车辆的 插图，通过提示明白地显示出轮胎位置的图象，能更加强自己车辆立体感之同 时，因为能直感地理解路面上轮胎的位置，所以就能易于三维地掌握自己车辆 和车辆周围的立体物体间位置关系恰似变换成从设置在车后离地2m左右上方 的虚拟视点见到的图象一般，接触判定变得容易。
(第9实施形态)
第9实施形态的图象合成、显示装置的构成和图18相同。图23为第9实 施形态的画面构成图。
在图23，第1墙面2001为在自己车辆的后端位置、同路面垂直与停放的 车辆宽度相同的墙面的插图。该墙面2001生成得恰似变换成从设置在车后离 地2m左右的虚拟视点上见到的图象一般，重迭在与显示图象的自己车辆后端 位置相当的区域上。另外，第2的墙面2202为和置在比第1的墙面2001更靠 近自己车辆的内侧、与自己车辆宽度相同的墙面的插图。第2的墙面2002和 第1的墙面2001生成方法相同，重迭在显示图象内适当的位置上。在此，第2 的墙面2002可以描绘成能见到与路面接触之处。
还有，也能在第1的墙面2001上描绘车辆后部那样的插图、在第2的墙 面2002，与路面接触的部分上描绘轮胎的插图。
这样，采用本发明的第9实施形态，通过将自己车辆的后端位置，以及此 该位置更靠自己车辆的内侧，和路面垂直与停放的自己车辆宽度相同宽度的两 块墙面的插图重迭在显示图象上，提示以立体物体不劳而获芘哈表示自己车辆 的图象，由于能立体地抓住自己的车辆，所以就易于三维玫车辆周围的立体物 体间位置关系，接触判定变得容易。
(第10实施形态)
图24为表示第10实施形态图象合成、显示装置构成的方框图，在该图中， 和图18相同构成要素或对应的构成要素注上与图18相同的的标号。
在图24，轨迹运算单元2101根据外部输入的自己车辆方向盘的转向角信 号，算出保持现有转向角不变倒车时自己车辆通过的轨迹。描画单元1504根 据存在存储器1505的数据以及从轨迹运算单元2101输入的自己车辆的通过预 测轨迹，在输出图象上描画须重迭的插图、辅助线等。
第10实施形态画面的构成为如图9的辅助线601、602那样根据转向角将 图21画面中辅助线1803、1804、1805A～C弯曲面成。
这样，采用本发明的第10实施形态，通过提示自己车辆转向角表示自己 车辆车身的一端通过的位置投影在路面上的位置的路面上通过轨迹、表示自己 车辆的保险杠端通过位置的保险框端通过轨端、及显示将这此迹连接产生出立 体感的立体辅助线的图象，在例车时，根据自己车辆的转向角就能立体显示实 际的通过预测轨迹并易于掌握。驾驶者将显示画面作为参考，就能最佳地操纵 方向盘。
再者，将这些辅助线和在第6～9实施形态(图20～23)表示的自己车辆 的实际画面或插图同时显示，将路面上通过的轨迹显示成轮胎的痕迹，也可将 保险杠端通过轨迹与自己车辆的实际画面或插图的保险杠端相连而显示，在显 示适当的高度的车身一端的通过轨迹时，与相当于该高度的自己车辆位置相 连。
另外，也可以轮廓或线条框形式显示自己车辆。这时，使路面上通过轨迹 1903做成从插图内的轮胎上引出。由此，能直感地容易领会路面上通过轨迹的 意义。
再有，通过将这些辅助线与自己车辆的实际画面或插图同时显示、将路面 上通过轨迹显示成轮胎的痕迹、将保险杠端通过轨迹与自己车辆的实际画面或 插图连接而显示，能直感地容易掌握而两根通过轨迹和自己车辆间关系。
此外，通过同时也显示反光镜确认线，驾驶者能直感地掌握好在最佳的时 机并要确认哪一边。
(第11实施形态)
第11实施形态的图象合成、显示装置的构成和图18相同。图25为第11 实施形态的车面构成图。以下，假设自己车辆为轿车来说明之。
在图25，辅助线2201表示自己车辆笔直倒车时，自己车辆车身一端通过 的位置投影在路面上位置的路面上通过轨迹。辅助线2202表示自己车辆笔直 倒车时保险杠端通过位置的保杠端通过轨迹。辅助线2203表示自己车辆笔直 倒车时保险杠位置与此自己车辆保险杠位置还要高的SUV等的保险杠位置相当 的自己车辆车体一端通过位置的通过轨迹线。插图2204A～C为模仿自己车辆 后部的车体面的插图，在自己车辆的车体后部位于各个位置时将实际摄在图象 上的样子作为插图表示。还有，作为插图表示的高度假设和辅助线2203一样 高，也可不一定一样高，辅助线2203的高度亦可任意定。
这样，根据本发明第11实施形态，通过同时显示笔直倒车时自己车辆的 路面通过轨迹、自己车辆保险杠端通过轨迹、SUV等的保险杠端通过轨迹、同 时显示模仿自己车辆的车体的插图，能直感地掌握自己车辆行进方向和自己车 辆周围存在的物体间位置关系。
再者，如第7～第8实施形态，与自己车辆的插图组合，移动该插图或在 画面上组合变形将自己车辆后部车体面作为模仿的插图使用，通过将路面上通 过轨迹显示成轮胎痕迹，该构成能更直感地掌握自己车辆的行进方向和自己车 辆周围存在物体间位置关系。
另外，也能同时显示第6实施形态中反光镜确认线，也能如第10实施形 态那样根据自己车辆转向角，移动这些辅助线，显示实际倒车时通过的轨迹。 还有，只正确地显示辅助线位置，模仿自己车辆后部的插图也可以预定的几种 中选出重迭在适当位置上。
(第12实施形态)
第12实施形态的图象合成、显示装置的构成和图18相同。图26为第12 实施形态画面构成图。以下将自己车辆作为轿车说明之。
在图26，辅助线2301为表示自己车辆直线倒车时车身端通过的益投影在 路面上位置直线倒车时保险杠下面的一端通过位置的保险杠下面端通过轨迹。 辅助线2303为表示睦线倒车时保险杠上面的一端通过位置的保险杠上面端通 过轨迹。插图2304A～C为模仿保险杠的插图，在各个位置上只有保险杠时将 作为图象实际显示的样子当作插图来表示。
这样，采用本发明的第12实施形态，通过同时显示自己车辆直线倒车时 的呼面通过轨迹、保险杠上面端通过轨迹、保险杠下面端通过轨迹、及模仿自 己车辆保险杠的插图，能直感地掌握自己车辆的行进方向和自己车辆周围存在 的物体间位置关系。
还有，如第7～第8实施形态，通过与自己车辆的插图组合，移动该插图 或在车丰组合变形将自己车辆的的车体而作为模仿的插图使用，将路面上通过 轨迹显示成轮胎的痕迹，该构成能更直感地掌握自己车的行进方向和自己车周 围存在的物体间位置关系。
此外，同时也显示第6实施形态中的反光镜确认线，也能如实施形态10， 根据自己车辆的转向角，移动这些辅助线，显示实际例车时通过的轨迹。
(第13实施形态)
图27为本发明第13实施形态的图象合成、显示装置的方框图。该实施形 态包括在前述实施诉说明中图内未予示出的显示装置。即，如图27所7示， 设置接受车辆轨迹描画装置104的输出信号即显示数据并变换成规定形式信号 的显示数据变换控制装置80、及接受显示数据变换控制装置80所得的显示数 据在画面上显示的显示装置81。该显示装置81让车辆的后视镜等具有显示功 能，能成为带显示功能的反光镜。
依靠这种构成，通过将图象在带显示功能的反光镜上显示，就能使操纵者 容易地认识周围状况、自己车的位置。还有，作为带显示功能的反光镜的反光 镜构成可为在液晶或有机电致发光(EL：Electro-Luminescence)等显示装 置81的显示单元表面上重叠半透明反光镜的形式，该液晶或有机EL部份可以 由整体是一个显示单元，或是多个显示单元的集合体，至少是一个显示单元构 成。
再有，这种构成的反光镜能切换到作为通常的反光镜工作的状态和作为图 象显示画面工作的状态。该切换支作能根据车内的照度传感器一到晚上自动地 切换到图象显示状态。另外还可以做成与驾驶者打开车头灯动作一致来切换， 再有在雨水粘糊后窗时，或冬季积雪结冰看不清后方时，也可和接通后窗加热 线开关等同时切换到图象显示状态，还能让与传动装置联动，只有在传动装置 向后时切换成图象显示状态。
这样，因为能将反光镜整个面切换成通常的反光镜状态和图象显示状态， 操纵者能在宽大的显示面上容易掌握汽车后面的状况安全行驶。
也能用其它构成的反光镜取代上述构成的反光镜，有将通常的反光镜和液 晶或有机EL等显示单元一并设置的。这种其它的反光镜在通常的反光镜部分 能大致掌握后方的状况，而一并设置的显示单元能扩大显示通常显示单元上死 角的部分，能将需特别注意的对象部分扩大并显示。再者，这些显示装置81 并不限于反光镜，也可是设置在车辆挡泥板上的显示单元、联接导航系统的显 示器、携带式信息终端或抬头显示器。
(第14实施形态)
图28为本发明第14实施形态的图象取得、警告装置的方框图。该实施形 态上在前述第13实施形态的基础上增加设置了装在车辆后部的探测装置82， 和与探测装置82的输出信号响应的警告装置83。探测装置82探测向着作为被 连接车辆的连接对象部的野营车等车辆的异常接近，至于异常接近与否，在车 辆与连接对象部间的距离小于预先规定的距离时，能判断为异常接近。
根据这样的构成，作为探测装置82利用接近传感器探测连接对象物即野 营车的接近，在图象上不断确认接近状态，在汽车和野营车上互相配对的车箱 连接器(挂钩)间的距离接近第1规定的距离、例如1m以内时和进一步接近 第2规定的距离、例如50cm时，能以各自的报警装置83即扬声器发出警告操 纵者的警报声。警报声可以有不同的声音。这样在挂车箱连接器(挂钩)时， 能在图象上不断确认连接作业，根据其接近状态(根据连接作业在任意设定的 距离上)恰当地发出警告，能安全可靠地进行连接作业。
还有，警告装置83使用扬声器，但并不限于此，通过如图28的虚线所示 地连接、发送警告信号在图象的显示装置上显示警告用符号图象、闪烁图象等 为了引起注意还可再加上适当的色彩。再有，发出警告信息的条件利用警告信 号发生条件设定装置87能根据连接对象物的大小、重量、速度等任意设定。
也可为摄像装置安装在车箱连接器(挂钩)上，最后确认连接结束状态的 构成。
此外，探测装置82可为超声波、电磁、光学(包括红外线)等，也可为 从图象上算出直接距离发出警告的方式。
还有，将连接对象物当作野营车、当然也可以为装着游艇的拖车等其它的 东西。
(第15实施形态)
图29为本发明第15实施形态自己车位置辩认装置的方框图。该实施形态， 在前述第1～第12实施形态的基础上增加通过处理车辆后方的图象，检测出任 意对象物图象，辩认检测出的图象和车辆图象的位置关系，将辩认出的位置关 系和预先设定的位置关系作比较就能检测出两者之间的偏移量。即，第15实 施形态的自己车位置辩认装置具有图象检测装置84，检测由摄像装置101具有 的后方摄像装置摄得的图象或来自由第1～第12实施形态的图象合成装置全成 的图象的任意对象物图象、辩认装置85，辩认由图象检测装置84检测出的检 测图象和车辆图象的位置、比较装置86，由辩认装置辩认的位置关系和预先设 定的位置关系相比较，从这些位置关系检测出两者的偏移量。作为后方摄影装 置，能使用设置在车辆后方的摄像机，由此，拍摄表示车辆后方停车空间的路 面上的白线。图象检测装置84从由后方摄像装置摄得的图象、或投影在园筒 面和球面组合成的三维投影模型上的图象、或由图象合成的图象检测出表示停 车空间的白线。辩认装置85从图象数据运算检测出的白线和自己车的图象的 位置关系并加以辩认。比较装置86将由辩认装置85辩认出的实际位置关系和 自己车图象中心位于划定停车窨的左右白线中央的预先设定好的位置关系相 比较，从这些位置关系检测两者间的偏移量。还能做成这样的构成，该偏移量 异常尺时，若原样地向后倒车，车辆就无法停在左右白线内，于是发出警报。
利用该构成，驾驶者在图象上不断确认停车窨的白线向后倒车，能容易地 掌握好使自己车和停车窨的位置关系和后方周围的位置关系一致，能更安全地 行驶。
如上所述，本发明通过在来自虚拟视点的模拟图象上重迭适当的插图、辅 助线、轨迹线等，驾驶者能直感地掌握自己车辆和周围立体物间三维的位置关 系，其结果是能提供容易地作出恰当的接触判定、具有显著效果的图象合成装 置。