处理对象图像生成装置、处理对象图像生成方法及操作支援系统专利检索-三相边界电池与电池专利检索查询-专利查询网

处理对象图像生成装置、处理对象图像生成方法及操作支援系统

阅读：1015发布：2020-06-16

专利汇可以提供处理对象图像生成装置、处理对象图像生成方法及操作支援系统专利检索，专利查询，专利分析的服务。并且图像生成装置(100)基于多个输入图像生成处理对象图像。图像生成装置(100)具备：坐标对应建立部(11)，将各输入图像所处的各输入图像平面中的坐标、投影有各输入图像的空间模型(MD)中的坐标(PP1、PP2)、以及处理对象图像平面(R3)中的坐标(PT1、PT2)建立对应；以及图像调整部(12)，按照每个输入图像决定连结坐标(PP1、PP2)与坐标(PT1、PT2)的再投影线(RL1、RL2)的再投影角度(γ1、γ2)，来调整处理对象图像。图像调整部(12)以在处理对象图像平面上的与各输入图像对应的图像部分的边界线上，使得与各输入图像中的无穷远线对应的处理对象图像平面(R3)上的各坐标一致的方式，按照每个输入图像分别决定再投影线(RL1、RL2)的斜率。，下面是处理对象图像生成装置、处理对象图像生成方法及操作支援系统专利的具体信息内容。

权利要求

1.一种图像生成装置，基于由多个相机拍摄的多个输入图像，生成输出图像，上述图像生成装置具备控制装置，
该控制装置将各输入图像所处的各输入图像平面上的坐标、投影有各输入图像的空间模型中的坐标、以及投影到上述空间模型而得到的图像进行再投影的再投影平面上的坐标建立对应，并且，
按照每个输入图像分别决定对上述空间模型上的第一坐标和与该第一坐标对应的上述再投影平面上的第二坐标进行连结的直线即再投影线相对于上述空间模型的中心轴即再投影轴的斜率，来调整上述输出图像，
上述控制装置以使与1个输入图像相关的上述直线分别在从上述再投影轴朝向上述再投影平面延伸且与上述再投影平面垂直的平面上平行的方式，将上述空间模型上的坐标与上述再投影平面上的坐标建立对应，并且，
以在上述再投影平面上的与各输入图像对应的图像部分的边界线上，使得与表示各输入图像中的规定地物的图像对应的上述再投影平面上的各坐标一致的方式，按照每个输入图像分别决定上述直线的斜率。
2.一种图像生成装置，基于由多个相机拍摄的多个输入图像，生成输出图像，上述图像生成装置具备控制装置，
该控制装置将各输入图像所处的各输入图像平面上的坐标、投影有各输入图像的空间模型中的坐标、以及投影到上述空间模型而得到的图像进行再投影的再投影平面上的坐标建立对应，并且，
按照每个输入图像分别决定对上述空间模型上的第一坐标和与该第一坐标对应的上述再投影平面上的第二坐标进行连结的直线即再投影线相对于上述空间模型的中心轴即再投影轴的斜率，来调整上述输出图像，
上述控制装置以使与1个输入图像相关的上述直线分别通过单一的规定点的方式，将上述空间模型上的坐标与上述再投影平面上的坐标建立对应，并且，
以在上述再投影平面上的与各输入图像对应的图像部分的边界线上，使得与表示各输入图像中的规定地物的图像对应的上述再投影平面上的各坐标一致的方式，按照每个输入图像分别决定上述直线的斜率。
3.根据权利要求1或2所述的图像生成装置，其中，
各输入图像中的规定地物是从各相机观察的无穷远线。
4.根据权利要求1或2所述的图像生成装置，其中，
上述第一坐标的高度与所对应的相机的高度相当，或者根据该对应的相机的高度而决定，上述第二坐标根据经由输入装置而输入的值而决定。
5.根据权利要求1或2所述的图像生成装置，其中，
多个上述相机被安装在悬臂起重机的行走体上，
在上述输出图像中，将从上述行走体在水平方向上观察周围的图像显示在从上空俯视上述行走体附近的图像的周围，并且以圆弧状显示水平线。
6.根据权利要求1或2所述的图像生成装置，其中，
多个上述相机被安装在悬臂起重机的行走体上，包括对该行走体的一对腿部的外侧进行拍摄的第一相机、对该一对腿部之间的空间进行拍摄的第二相机、以及对上述行走体所行走的轨道的延伸方向进行拍摄的第三相机。

说明书全文

处理对象图像生成装置、处理对象图像生成方法及操作支援

系统

技术领域

[0001] 本发明涉及处理对象图像生成装置、处理对象图像生成方法及使用了该装置或者方法的操作支援系统，基于输入图像，生成成为用于获得输出图像的图像变换处理的对象的处理对象图像。

背景技术

[0002] 已知有一种图像生成装置：将来自相机的输入图像映射到三维空间上的规定的空间模型上，参照该映射后的空间数据生成并显示从该三维空间中的任意的虚拟视点观察的视点变换图像(例如，参照专利文献1)。

[0003] 该图像生成装置将在车辆上搭载的相机摄像到的图像投影到由包围该车辆的多个平面或者曲面构成的立体的空间模型上，使用投影到该空间模型上的图像来生成视点变换图像(是将虚拟地反映出从正上方观察路面的状态的路面图像以及虚拟地反映出水平方向的水平图像进行组合后的图像)，对驾驶员显示生成的视点变换图像。

[0004] 由此，该图像生成装置在驾驶车辆的驾驶员看到了该视点变换图像时，能够毫无不适感地将该视点变换图像中的物体与位于车外的实际的物体建立对应。

[0005] 另外，已知有与专利文献1记载的图像生成装置相比能够提高调整输出图像时的灵活性的图像生成装置(参照专利文献2)。

[0006] 现有技术文献

[0007] 专利文献

[0008] 专利文献1：日本专利第3286306号说明书

[0009] 专利文献2：日本专利第5135380号说明书

发明内容

[0010] 发明所要解决的问题

[0011] 鉴于上述内容，希望提供更容易地进行输出图像的调整的处理对象图像生成装置、处理对象图像生成方法以及使用了该装置或者方法的操作支援系统。

[0012] 用于解决问题的手段

[0013] 本发明的实施例的处理对象图像生成装置，基于由多个相机拍摄的多个输入图像，生成成为用于获得输出图像的图像变换处理的对象的处理对象图像，上述处理对象图像生成装置具备：坐标对应建立部，将各输入图像所处的各输入图像平面上的坐标、投影有各输入图像的空间模型中的坐标、以及处理对象图像平面上的坐标建立对应，该处理对象图像平面是上述处理对象图像所在的平面，并且是投影到上述空间模型而得到的图像进行再投影的平面；以及图像调整部，按照每个输入图像分别决定对上述空间模型上的坐标和与该空间模型上的坐标对应的上述处理对象图像平面上的坐标进行连结的直线的斜率，来调整上述处理对象图像，上述坐标对应建立部以使与1个输入图像相关的上述直线分别在与上述处理对象图像平面垂直的平面上平行的方式，将上述空间模型上的坐标与上述处理对象图像平面上的坐标建立对应，或者上述坐标对应建立部以使与1个输入图像相关的上述直线分别通过单一的规定点的方式，将上述空间模型上的坐标与上述处理对象图像平面上的坐标建立对应，上述图像调整部以在上述处理对象图像平面上的与各输入图像对应的图像部分的边界线上，使得与表示各输入图像中的规定地物的图像对应的上述处理对象图像平面上的各坐标一致的方式，按照每个输入图像分别决定上述直线的斜率。

[0014] 另外，本发明的实施例的处理对象图像生成方法，基于由多个相机拍摄的多个输入图像，生成成为用于获得输出图像的图像变换处理的对象的处理对象图像，上述处理对象图像生成方法包括：坐标对应建立步骤，将各输入图像所处的各输入图像平面上的坐标、投影有各输入图像的空间模型中的坐标、以及处理对象图像平面上的坐标建立对应，该处理对象图像平面是上述处理对象图像所在的平面，并且是投影到上述空间模型而得到的图像进行再投影的平面；以及图像调整步骤，按照每个输入图像分别决定对上述空间模型上的坐标和与该空间模型上的坐标对应的上述处理对象图像平面上的坐标进行连结的直线的斜率，来调整上述处理对象图像，在上述坐标对应建立步骤中，以使与1个输入图像相关的上述直线分别在与上述处理对象图像平面垂直的平面上平行的方式，上述处理对象图像平面上的坐标与上述空间模型上的坐标被建立对应，或者以使与1个输入图像相关的上述直线分别通过单一的规定点的方式，上述处理对象图像平面上的坐标与上述空间模型上的坐标被建立对应，在上述图像调整步骤中，以在上述处理对象图像平面上的与各输入图像对应的图像部分的边界线上，使得与表示各输入图像中的规定地物的图像对应的上述处理对象图像平面上的各坐标一致的方式，按照每个输入图像分别决定上述直线的斜率。

[0015] 另外，本发明的实施例的操作支援系统，对被操作体的移动或者操作进行支援，该操作支援系统具备：上述的处理对象图像生成装置；以及显示部，设置在用于使上述被操作体移动或对上述被操作体进行操作的操作室，显示基于上述处理对象图像生成装置生成的处理对象图像而生成的输出图像。

[0016] 发明效果

[0017] 根据上述的方案，能够提供更容易地进行输出图像的调整的处理对象图像生成装置、处理对象图像生成方法以及使用了该装置或者方法的操作支援系统。附图说明

[0018] 图1是示意地表示本发明的实施例的图像生成装置的构成例的框图。

[0019] 图2是表示搭载有图1的图像生成装置的悬臂起重机的构成例的图。

[0020] 图3是表示投影有输入图像的空间模型的一个例子的图。

[0021] 图4是表示空间模型与处理对象图像平面之间的关系的一个例子的图。

[0022] 图5是用于说明输入图像平面上的坐标与空间模型上的坐标的对应建立的图。

[0023] 图6是用于说明由坐标对应建立部进行的坐标间的对应建立的图。

[0024] 图7是用于说明平行线组的作用的图。

[0025] 图8是用于说明辅助线组的作用的图。

[0026] 图9是表示处理对象图像生成处理以及输出图像生成处理的流程的流程图。

[0027] 图10是在悬臂起重机的行走体上安装的8台相机的配置图。

[0028] 图11是图10的8台相机的摄像范围的示意图。

[0029] 图12是表示从图10的8台相机的输入图像经过局部图像生成输出图像的处理的流程的框图。

[0030] 图13是表示图12的处理中的输入图像、局部图像以及输出图像的例子的图。

[0031] 图14是说明行走体监视图像的特征的图。

[0032] 图15是说明输出图像与再投影角度的关系的一个例子的图。

[0033] 图16是表示输出图像调整处理的流程的流程图。

[0034] 图17是表示空间模型与再投影线的关系的模式图。

[0035] 图18是表示搭载有本发明的实施例的图像生成装置的挖土机的构成例的图。

[0036] 图19是表示投影有输入图像的空间模型的另一个例子的图。

[0037] 图20是表示在图18的挖土机上搭载的3台相机各自的输入图像、以及使用这些输入图像而生成的输出图像的图。

[0038] 图21是说明输出图像与再投影角度的关系的另一个例子的图。

具体实施方式

[0039] 下面，参照附图并进行用于实施本发明的最优方式的说明。

[0040] 图1是示意地表示本发明的实施例的在悬臂起重机上搭载的图像生成装置100的构成例的框图。

[0041] 图像生成装置100是监视悬臂起重机的周边的周边监视装置的一个例子，主要由控制装置1、相机2、存储装置4、无线通信装置5a、5b以及显示装置6构成。具体地讲，图像生成装置100基于在悬臂起重机上搭载的相机2摄像到的输入图像生成输出图像，并将该输出图像显示到显示装置6。

[0042] 图2是表示搭载有图像生成装置100的悬臂起重机60的构成例的图，图2左图是悬臂起重机60的侧视，图2右图是悬臂起重机60的前视。

[0043] 悬臂起重机60是在室外设置的移动式起重机，主要具有在轨道RA上行走的行走体61、在行走体61上设置的塔体62、在塔体62上设置的转动体63以及安装于转动体63的悬臂
64。

[0044] 行走体61具有由一对腿部61a、61b和连接这些一对腿部61a、61b的桁架部61c构成的门型形状的框架，该行走体61由驱动源61d驱动。在图2的状态下，转动体63在－X侧端部的+Y侧具备驾驶室63a，在－X侧端部的中央部安装有悬臂64。另外，在行走体61上设置有控制装置1、相机2以及无线通信装置5a，在转动体63上设置有无线通信装置5b，在驾驶室63a内的操作者容易观察到的位置设置有显示装置6。

[0045] 接着，关于图像生成装置100的各构成要素进行说明。

[0046] 控制装置1是具备CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)、NVRAM(Non-Volatile Random Access Memory)等的计算机。在本实施例中，控制装置1设置于行走体61或者塔体62，该控制装置1例如将与后述的坐标对应建立部10、图像生成部11以及图像调整部12各自的功能要素对应的程序存储到ROM、NVRAM，利用RAM作为临时存储区域来使CPU执行与各功能要素对应的处理。另外，控制装置1也可以设置于转动体63。

[0047] 相机2是用于取得反映出悬臂起重机60的周围的输入图像的装置，该相机2由CCD(Charge Coupled Device)、CMOS(Complementary Metal Oxide Semiconductor)等摄像元件构成。在本实施例中，相机2例如包括以能够对成为位于驾驶室63a内的操作者的死角的区域进行摄像的方式安装于行走体61的多个行走体用相机(后述)。另外，相机2还可以装配广角透镜或者鱼眼透镜，以便能够对宽广的范围进行摄像。

[0048] 另外，相机2根据来自控制装置1的控制信号取得输入图像，对控制装置1输出取得的输入图像。另外，在使用鱼眼透镜或者广角透镜取得了输入图像的情况下，相机2对控制装置1输出对通过使用这些透镜而产生的明显的扭曲、倾斜进行了修正的修正完毕的输入图像。另外，相机2也可以保持原样地对控制装置1输出没有对该明显的扭曲、倾斜进行修正的输入图像。在该情况下，控制装置1对该明显的扭曲、倾斜进行修正。

[0049] 存储装置4是用于存储各种信息的装置，例如是硬盘、光盘或者半导体存储器等。

[0050] 无线通信装置5a、5b是用于以无线的方式发送接收信息的装置。在本实施例中，无线通信装置5a设置于行走体61，并与控制装置1有线连接。另外，无线通信装置5b设置于转动体63，并与显示装置6有线连接。进而，无线通信装置5a以无线的方式对无线通信装置5b发送控制装置1基于相机2的输入图像而生成的输出图像。无线通信装置5b在以无线的方式接收到从无线通信装置5a发送的输出图像时，对显示装置6输出接收到的输出图像。另外，无线通信装置5a、5b也可以配置于控制装置1与相机2之间。在这种情况下，无线通信装置5a设置于行走体61或者塔体62，并与相机2有线连接。另外，无线通信装置5b设置于转动体63，并与设置于转动体63的控制装置1有线连接。根据该构成，图像生成装置100能够排除与在采用有线连接时产生的电缆的处理、电缆的保护等相关的问题。例如，在塔体62设置有驾驶员或是操作者的升降用的台阶、电梯等。另外，在塔体62设置有连结设置于行走体61的设备与设置于转动体63的设备的大量配线。因此，存在难以确保用于设置更多的电缆的空间的情况。即使在这样的情况下，图像生成装置100通过使用无线通信装置5a、5b，也能够在相机2与显示装置6之间发送接收图像。

[0051] 显示装置6是用于显示图像信息的装置，该显示装置6例如是在悬臂起重机60的驾驶室63a(参照图2)内设置的液晶显示器或者投影仪等，显示控制装置1输出的各种图像。

[0052] 另外，图像生成装置100还可以基于输入图像生成处理对象图像，通过对该处理对象图像实施图像变换处理，来生成使得能够直观地掌握与周围物体的位置关系、距离感的输出图像，并将该输出图像显示于显示装置6上。

[0053] “处理对象图像”是基于输入图像而生成的、成为图像变换处理(例如是标度变换处理、仿射变换处理、扭曲变换处理、视点变换处理等。)的对象的图像。具体地讲，“处理对象图像”例如是从输入图像生成的、适合于图像变换处理的图像，在此，该输入图像是由从上方对地表进行摄像的相机所摄像的输入图像，并且是利用其宽广的视场角而包括水平方向的图像(例如天空部分)的输入图像。更具体地讲，图像生成装置100以不会不自然地显示该水平方向的图像(例如，不会将天空部分处理成位于地表)的方式，将该输入图像投影到规定的空间模型。进而，图像生成装置100通过将投影到该空间模型的投影图像再投影到其他的二维平面来生成处理对象图像。另外，处理对象图像还可以不实施图像变换处理而直接用作输出图像。

[0054] “空间模型”是输入图像的投影对象。具体地讲，“空间模型”由至少包括处理对象图像所处的平面即处理对象图像平面以外的平面或者曲面的1个或者多个平面或是曲面构成。处理对象图像所处的平面即处理对象图像平面以外的平面或者曲面是例如，与处理对象图像平面平行的平面，或者在与处理对象图像平面之间形成角度的平面或是曲面。

[0055] 另外，图像生成装置100还可以不生成处理对象图像，而是通过对投影到该空间模型的投影图像实施图像变换处理来生成输出图像。另外，投影图像还可以不实施图像变换处理而直接用作输出图像。

[0056] 图3是表示投影有输入图像的空间模型MD的一个例子的图，图3左图表示从侧方观察行走体61时的行走体61与空间模型MD之间的关系，图3右图表示从上方观察行走体61时的行走体61与空间模型MD之间的关系。

[0057] 如图3所示，空间模型MD具有圆筒形状，并且具有其底面内侧的平面区域R1和其侧面内侧的曲面区域R2。

[0058] 另外，图4是表示空间模型MD与处理对象图像平面R3之间的关系的一个例子的图，处理对象图像平面R3是例如包括空间模型MD的平面区域R1在内的平面。另外，处理对象图像平面R3可以如上述那样，是包括空间模型MD的平面区域R1在内的圆形区域，还可以是不包括空间模型MD的平面区域R1在内的环状区域。

[0059] 接着，关于控制装置1具有的各种功能要素进行说明。

[0060] 坐标对应建立部10是用于将相机2摄像到的输入图像所处的输入图像平面上的坐标、空间模型MD上的坐标、以及处理对象图像平面R3上的坐标建立对应的单元。在本实施例中，坐标对应建立部10例如基于预先设定的、或动态输入的与相机2相关的各种参数、以及预先决定的、输入图像平面、空间模型MD及处理对象图像平面R3的相互的位置关系，将输入图像平面上的坐标、空间模型MD上的坐标、以及处理对象图像平面R3上的坐标建立对应。另外，与相机2相关的各种参数是例如相机2的光学中心、焦距、CCD尺寸、光轴方向向量、相机水平方向向量以及投影方式等。进而，坐标对应建立部10将这些对应关系存储到存储装置4的输入图像-空间模型对应映射40以及空间模型-处理对象图像对应映射41。

[0061] 另外，在不生成处理对象图像的情况下，坐标对应建立部10省略空间模型MD上的坐标与处理对象图像平面R3上的坐标的对应建立、以及该对应关系的向空间模型-处理对象图像对应映射41的存储。

[0062] 图像生成部11是用于生成输出图像的单元。在本实施例中，图像生成部11例如通过对处理对象图像实施标度变换、仿射变换或者扭曲变换，将处理对象图像平面R3上的坐标与输出图像所处的输出图像平面上的坐标建立对应。进而，图像生成部11将该对应关系存储到存储装置4的处理对象图像-输出图像对应映射42。进而，图像生成部11参照输入图像-空间模型对应映射40以及空间模型-处理对象图像对应映射41，将输出图像中的各像素的值与输入图像中的各像素的值建立关联来生成输出图像。各像素的值例如是亮度值、色调值、色度值等。

[0063] 例如，图像生成部11基于预先设定的或动态输入的与虚拟相机相关的各种参数，将处理对象图像平面R3上的坐标与输出图像所处的输出图像平面上的坐标建立对应。另外，与虚拟相机相关的各种参数是例如虚拟相机的光学中心、焦距、CCD尺寸、光轴方向向量、相机水平方向向量以及投影方式等。进而，图像生成部11将该对应关系存储到存储装置4的处理对象图像-输出图像对应映射42。进而，图像生成部11参照输入图像-空间模型对应映射40以及空间模型-处理对象图像对应映射41，将输出图像中的各像素的值与输入图像中的各像素的值建立关联来生成输出图像。

[0064] 另外，图像生成部11还可以不使用虚拟相机的概念而变更处理对象图像的标度来生成输出图像。

[0065] 另外，图像生成部11在不生成处理对象图像的情况下，根据所实施的图像变换处理，将空间模型MD上的坐标与输出图像平面上的坐标建立对应。进而，图像生成部11参照输入图像-空间模型对应映射40，将输出图像中的各像素的值与输入图像中的各像素的值建立关联来生成输出图像。在这种情况下，图像生成部11省略处理对象图像平面R3上的坐标与输出图像平面上的坐标的对应建立、以及该对应关系向处理对象图像-输出图像对应映射42的存储。

[0066] 图像调整部12是用于调整图像生成装置100生成的输出图像的单元。在本实施例中，图像调整部12按照每个输入图像导出将与表示输入图像中的规定地物的图像对应的空间模型MD上的坐标和与该空间模型MD上的坐标对应的处理对象图像平面R3上的坐标连结的再投影线(后述)。进而，图像调整部12按照每个输入图像决定该再投影线的斜率(例如，是相对于铅垂线的角度，下面作为“再投影角度”)来调整处理对象图像。另外，图像调整部12以使与表示各输入图像中的规定地物的图像对应的处理对象图像平面R3上的各坐标和空间模型MD的再投影轴(后述)之间的距离相等的方式，按照每个输入图像决定再投影角度。另外，“表示各输入图像中的规定地物的图像”是表示在各输入图像中可能存在的地物的图像，例如包括表示水平线、地平线等无穷远线的图像、表示在位于悬臂起重机60周边的壁面上水平地描绘的线的图像、表示在路面上描绘的线的图像等。另外，关于由图像调整部
12进行的处理对象图像的调整，在后详细叙述。

[0067] 接着，关于由坐标对应建立部10以及图像生成部11进行的具体的处理的一个例子进行说明。

[0068] 坐标对应建立部10例如能够使用汉密尔顿的四元数，将输入图像平面上的坐标与空间模型上的坐标建立对应。

[0069] 图5是用于说明输入图像平面上的坐标与空间模型上的坐标的对应建立的图。相机2的输入图像平面被表示为将相机2的光学中心C作为原点的UVW正交坐标系中的一平面。空间模型被表示为XYZ正交坐标系中的立体面。

[0070] 首先，坐标对应建立部10在使XYZ坐标系的原点平行移动到光学中心C(UVW坐标系的原点)之后，使XYZ坐标系旋转，以分别使X轴与U轴、Y轴与V轴、Z轴与－W轴一致。这是为了将空间模型上的坐标(XYZ坐标系上的坐标)变换成输入图像平面上的坐标(UVW坐标系上的坐标)。另外，“－W轴”的符号“－”意味着－W轴的方向与Z轴的方向相反。这是由于UVW坐标系将相机前方设为+W方向，XYZ坐标系将铅垂下方设为－Z方向。

[0071] 另外，在相机2存在多个的情况下，由于相机2的每个相机具有单独的UVW坐标系，所以坐标对应建立部10使XYZ坐标系相对于多个UVW坐标系的每个坐标系平行移动并且旋转。

[0072] 上述的变换通过在使XYZ坐标系平行移动以使相机2的光学中心C成为XYZ坐标系的原点后，使XYZ坐标系旋转以使Z轴与－W轴一致，进一步使XYZ坐标系旋转以使X轴与U轴一致来实现。因此，坐标对应建立部10通过以汉密尔顿的四元数记述该变换，从而能够将上述2次的旋转汇集成1次的旋转运算。

[0073] 可是，用于使某向量A与另一向量B一致的旋转相当于将向量A与向量B展开的面的法线作为轴并旋转向量A与向量B形成的角度的处理。进而，在将该角度设为θ时，根据向量A与向量B的内积，角度θ以数式1进行表示。

[0074] [数式1]

[0075]

[0076] 另外，向量A与向量B展开的面的法线的单位向量N根据向量A与向量B的外积，以数式2进行表示。

[0077] [数式2]

[0078]

[0079] 另外，四元数在将i、j、k分别设为虚数单位的情况下，是满足数式3的超复数，[0080] [数3]

[0081] ii＝jj＝kk＝ijk＝-1

[0082] 在本实施例中，四元数Q将实数成分设为t，将纯虚数成分设为a、b、c，以数式4进行表示，

[0083] [数式4]

[0084] Q＝(t；a，b，c)=t+ai+bj+ck

[0085] 四元数Q的共轭四元数以数式5进行表示。

[0086] [数式5]

[0087] Q*＝(t；-a，-b，-c)=t-ai-bj-ck

[0088] 四元数Q能够将实数成分t设为0(零)而用纯虚数成分a、b、c表现三维向量(a，b，c)，另外，还能够通过t、a、b、c的各成分，表现将任意的向量作为轴的旋转动作。

[0089] 进一步，四元数Q能够将连续的多次旋转动作进行统一而作为1次旋转动作进行表现。具体地讲，四元数Q例如能够如下面那样表现将任意的单位向量C(l，m，n)作为轴并且使任意的点S(sx，sy，sz)旋转了角度θ时的点D(ex，ey，ez)。

[0090] [数式6]

[0091] D＝(0；ex，ey，ez)＝QSQ*

[0092] 其中，

[0093]

[0094] 在此，在本实施例中，在将表示使Z轴与－W轴一致的旋转的四元数设为Qz时，XYZ坐标系中的X轴上的点X向点X’移动，所以点X’以数式7进行表示。

[0095] [数式7]

[0096] X′＝QzXQz*

[0097] 另外，在本实施例中，在将表示使连结位于X轴上的点X’和原点的线与U轴一致的旋转的四元数设为Qx时，表示“使Z轴与－W轴一致，进一步使X轴与U轴一致的旋转”的四元数R以数式8进行表示。

[0098] [数式8]

[0099] R＝QxQz

[0100] 根据以上内容，用输入图像平面(UVW坐标系)上的坐标来表现空间模型(XYZ坐标系)上的任意的坐标P时的坐标P’以数式9进行表示。

[0101] [数9]

[0102] P′＝RPR*

[0103] 另外，在相机2的各个相机中四元数R是不变的，所以坐标对应建立部10只要在之后执行该运算，就能够将空间模型(XYZ坐标系)上的坐标变换成输入图像平面(UVW坐标系)上的坐标。

[0104] 在将空间模型(XYZ坐标系)上的坐标变换成输入图像平面(UVW坐标系)上的坐标后，坐标对应建立部10计算线段CP’与相机2的光轴G形成的入射角α。另外，线段CP’是连结相机2的光学中心C(UVW坐标系上的坐标)与在UVW坐标系中表示空间模型上的任意的坐标P的坐标P’的线段。

[0105] 另外，坐标对应建立部10计算与相机2的输入图像平面R4(例如，CCD面)平行并且包括坐标P’的平面H上的偏角φ、以及线段EP’的长度。另外，线段EP’是连结平面H与光轴G的交点E和坐标P’的线段，偏角φ是平面H上的U’轴与线段EP’形成的角度。

[0106] 相机的光学系统中，一般地，像高h成为入射角α以及焦距f的函数。因此，坐标对应建立部10选择普通投影(h＝ftanα)、正投影(h＝fsinα)、立体投影(h＝2ftan(α/2))、等立体角投影(h＝2fsin(α/2))、等距离投影(h＝fα)等适当的投影方式来计算像高h。

[0107] 之后，坐标对应建立部10根据偏角φ将计算出的像高h分解成UV坐标系上的U成分以及V成分，并且除以与输入图像平面R4的一个像素的像素尺寸相当的数值。由此，坐标对应建立部10能够将空间模型MD上的坐标P(P’)与输入图像平面R4上的坐标建立对应。

[0108] 另外，在将输入图像平面R4的U轴方向上的一个像素的像素尺寸设为aU，将输入图像平面R4的V轴方向上的一个像素的像素尺寸设为aV时，与空间模型MD上的坐标P(P’)对应的输入图像平面R4上的坐标(u，v)以数式10以及数式11进行表示。

[0109] [数10]

[0110]

[0111] [数11]

[0112]

[0113] 通过这种方式，坐标对应建立部10将空间模型MD上的坐标与按各相机分别存在的1个或者多个输入图像平面R4上的坐标建立对应，将空间模型MD上的坐标、相机标识符以及输入图像平面R4上的坐标建立关联并存储到输入图像-空间模型对应映射40。

[0114] 另外，坐标对应建立部10使用四元数对坐标的变换进行运算，所以与使用欧拉角对坐标的变换进行运算的情况不同，具有不会产生万向节死锁的优点。然而，坐标对应建立部10不限定于使用四元数对坐标的变换进行运算，也可以使用欧拉角对坐标的变换进行运算。

[0115] 另外，在能够进行向多个输入图像平面R4上的坐标的对应建立的情况下，坐标对应建立部10还可以将空间模型MD上的坐标P(P’)与其入射角α最小的与相机相关的输入图像平面R4上的坐标建立对应，也可以与操作者选择的输入图像平面R4上的坐标建立对应。

[0116] 接着，关于空间模型MD上的坐标之中，将曲面区域R2上的坐标(具有Z轴方向的成分的坐标)再投影到位于XY平面上的处理对象图像平面R3的处理进行说明。

[0117] 图6是用于说明由坐标对应建立部10进行的坐标间的对应建立的图。F6A是作为一个例子表示采用普通投影(h＝ftanα)的相机2的输入图像平面R4上的坐标与空间模型MD上的坐标之间的对应关系的图。坐标对应建立部10使连结相机2的输入图像平面R4上的坐标和与该坐标对应的空间模型MD上的坐标的线段分别从相机2的光学中心C通过，来将两坐标建立对应。

[0118] 在F6A的例子中，坐标对应建立部10将相机2的输入图像平面R4上的坐标K1与空间模型MD的平面区域R1上的坐标L1建立对应，将相机2的输入图像平面R4上的坐标K2与空间模型MD的曲面区域R2上的坐标L2建立对应。此时，线段K1－L1以及线段K2－L2均从相机2的光学中心C通过。

[0119] 另外，在相机2采用普通投影以外的投影方式(例如，正投影、立体投影、等立体角投影、等距离投影等)的情况下，坐标对应建立部10分别根据各投影方式，将相机2的输入图像平面R4上的坐标K1、K2与空间模型MD上的坐标L1、L2建立对应。

[0120] 具体地讲，坐标对应建立部10基于规定的函数(例如，正投影(h＝fsinα)、立体投影(h＝2ftan(α/2))、等立体角投影(h＝2fsin(α/2))、等距离投影(h＝fα)等)，将输入图像平面上的坐标与空间模型MD上的坐标建立对应。在这种情况下，线段K1－L1以及线段K2－L2没有从相机2的光学中心C通过。

[0121] F6B是表示空间模型MD的曲面区域R2上的坐标与处理对象图像平面R3上的坐标之间的对应关系的图。坐标对应建立部10导入平行线组PL，该平行线组PL是作为位于XZ平面上的再投影线组的平行线组，并且在与Z轴之间形成角度γ。进而，坐标对应建立部10使空间模型MD的曲面区域R2上的坐标和与该坐标对应的处理对象图像平面R3上的坐标均在平行线组PL之中的1条平行线上，来将两坐标建立对应。

[0122] 在F6B的例子中，坐标对应建立部10使空间模型MD的曲面区域R2上的坐标L2与处理对象图像平面R3上的坐标M2在共同的平行线上，来将两坐标建立对应。

[0123] 另外，坐标对应建立部10也能够与曲面区域R2上的坐标同样地使用平行线组PL，来将空间模型MD的平面区域R1上的坐标与处理对象图像平面R3上的坐标建立对应。然而，在F6B的例子中，平面区域R1与处理对象图像平面R3成为共同的平面。因此，空间模型MD的平面区域R1上的坐标L1与处理对象图像平面R3上的坐标M1具有相同的坐标值。

[0124] 通过这种方式，坐标对应建立部10将空间模型MD上的坐标与处理对象图像平面R3上的坐标建立对应，将空间模型MD上的坐标以及处理对象图像平面R3上的坐标建立关联并存储到空间模型-处理对象图像对应映射41。

[0125] F6C是表示处理对象图像平面R3上的坐标与作为一个例子而采用普通投影(h＝ftanα)的虚拟相机2V的输出图像平面R5上的坐标之间的对应关系的图。图像生成部11使连结虚拟相机2V的输出图像平面R5上的坐标和与该坐标对应的处理对象图像平面R3上的坐标的线段分别从虚拟相机2V的光学中心CV通过，将两坐标建立对应。

[0126] 在F6C的例子中，图像生成部11将虚拟相机2V的输出图像平面R5上的坐标N1与处理对象图像平面R3(空间模型MD的平面区域R1)上的坐标M1建立对应，将虚拟相机2V的输出图像平面R5上的坐标N2与处理对象图像平面R3上的坐标M2建立对应。此时，线段M1－N1以及线段M2－N2均从虚拟相机2V的光学中心CV通过。

[0127] 另外，在虚拟相机2V采用普通投影以外的投影方式(例如，正投影、立体投影、等立体角投影、等距离投影等)的情况下，图像生成部11分别根据各投影方式，将虚拟相机2V的输出图像平面R5上的坐标N1、N2与处理对象图像平面R3上的坐标M1、M2建立对应。

[0128] 具体地讲，图像生成部11基于规定的函数(例如，正投影(h＝fsinα)、立体投影(h＝2ftan(α/2))、等立体角投影(h＝2fsin(α/2))、等距离投影(h＝fα)等)，将输出图像平面R5上的坐标与处理对象图像平面R3上的坐标建立对应。在这种情况下，线段M1－N1以及线段M2－N2没有从虚拟相机2V的光学中心CV通过。

[0129] 通过这种方式，图像生成部11将输出图像平面R5上的坐标与处理对象图像平面R3上的坐标建立对应，将输出图像平面R5上的坐标以及处理对象图像平面R3上的坐标建立关联并存储到处理对象图像-输出图像对应映射42。进而，图像生成部11参照输入图像-空间模型对应映射40以及空间模型-处理对象图像对应映射41，将输出图像中的各像素的值与输入图像中的各像素的值建立关联并生成输出图像。

[0130] 另外，F6D是组合了F6A～F6C的图，表示相机2、虚拟相机2V、空间模型MD的平面区域R1及曲面区域R2、以及处理对象图像平面R3的相互的位置关系。

[0131] 接着，参照图7说明为了将空间模型MD上的坐标与处理对象图像平面R3上的坐标建立对应而由坐标对应建立部10导入的平行线组PL的作用。

[0132] 图7左图是在位于XZ平面上的平行线组PL与Z轴之间形成角度γ的情况的图。另一方面，图7右图是在位于XZ平面上的平行线组PL与Z轴之间形成角度γ1(γ1＞γ)的情况的图。另外，图7左图以及图7右图中的空间模型MD的曲面区域R2上的坐标La～Ld的各个坐标分别与处理对象图像平面R3上的坐标Ma～Md的各个坐标对应。另外，图7左图中的坐标La～Ld的各个坐标的间隔与图7右图中的坐标La～Ld的各个坐标的间隔相等。另外，为了进行说明的目的，平行线组PL设为存在于XZ平面上，但在实际中，该平行线组PL以从Z轴上的所有的点朝向处理对象图像平面R3放射状地延伸的方式存在。另外，将该情况下的Z轴称为“再投影轴”。

[0133] 如图7左图以及图7右图所示，处理对象图像平面R3上的坐标Ma～Md的各个坐标的间隔随着平行线组PL与再投影轴之间的角度γ减少而线性地减少。即，与空间模型MD的曲面区域R2和坐标Ma～Md的各个坐标之间的距离无关地同样地减少。另一方面，在图7的例子中，空间模型MD的平面区域R1上的坐标组没有进行向处理对象图像平面R3上的坐标组的变换，所以坐标组的间隔不发生变化。

[0134] 这些坐标组的间隔的变化意味着，输出图像平面R5(图6参照)上的图像部分之中，只有与在空间模型MD的曲面区域R2上投影的图像对应的图像部分线性地放大或缩小。

[0135] 接着，参照图8说明为了将空间模型MD上的坐标与处理对象图像平面R3上的坐标建立对应而由坐标对应建立部10导入的平行线组PL的替代例。

[0136] 图8左图是位于XZ平面上的作为再投影线组的辅助线组AL的所有辅助线从Z轴上的始点T1朝向处理对象图像平面R3延伸的情况的图。另一方面，图8右图是辅助线组AL的所有辅助线从Z轴上的始点T2(T2＞T1)朝向处理对象图像平面R3延伸的情况的图。另外，图8左图以及图8右图中的空间模型MD的曲面区域R2上的坐标La～Ld的各个坐标分别与处理对象图像平面R3上的坐标Ma～Md的各个坐标对应。另外，在图8左图的例子中，坐标Mc、Md由于落在处理对象图像平面R3的区域外而没有被图示。另外，图8左图中的坐标La～Ld的各个坐标的间隔与图8右图中的坐标La～Ld的各个坐标的间隔相等。另外，为了进行说明的目的，辅助线组AL设为存在于XZ平面上，但在实际中，辅助线组AL以从Z轴上的任意的一点朝向处理对象图像平面R3放射状地延伸的方式存在。另外，与图7相同地，将该情况的Z轴称为“再投影轴”。

[0137] 如图8左图以及图8右图所示，处理对象图像平面R3上的坐标Ma～Md的各个坐标的间隔随着辅助线组AL的始点与原点O之间的距离(高度)增大而非线性地减少。即，空间模型MD的曲面区域R2与坐标Ma～Md的各个坐标之间的距离越大，各自的间隔的减少幅度变得越大。另一方面，在图8的例子中，空间模型MD的平面区域R1上的坐标组没有进行向处理对象图像平面R3上的坐标组的变换，所以坐标组的间隔不发生变化。

[0138] 这些坐标组的间隔的变化意味着，与平行线组PL时同样，输出图像平面R5(图6参照)上的图像部分之中，只有与在空间模型MD的曲面区域R2上投影的图像对应的图像部分非线性地放大或缩小。

[0139] 通过这种方式，图像生成装置100不会给与在空间模型MD的平面区域R1上投影的图像对应的输出图像的图像部分(例如，路面图像)带来影响，而能够线性地或非线性地放大或缩小与在空间模型MD的曲面区域R2上投影的图像对应的输出图像的图像部分(例如，水平图像)。因此，图像生成装置100不会给行走体61附近的路面图像(从正上方观察到行走体61时的虚拟图像)带来影响，能够迅速且灵活地放大或缩小位于行走体61周围的物体(从行走体61在水平方向上观察周围时的图像中的物体)，能够提高悬臂起重机60的死角区域的可视性。

[0140] 接着，参照图9说明图像生成装置100生成处理对象图像的处理(下面，设为“处理对象图像生成处理”)以及使用生成的处理对象图像来生成输出图像的处理(下面，设为“输出图像生成处理”)。另外，图9是表示处理对象图像生成处理(步骤S1～步骤S3)以及输出图像生成处理(步骤S4～步骤S6)的流程的流程图。另外，相机2(输入图像平面R4)、空间模型(平面区域R1以及曲面区域R2)、及处理对象图像平面R3的配置被预先决定。

[0141] 首先，控制装置1通过坐标对应建立部10将处理对象图像平面R3上的坐标与空间模型MD上的坐标建立对应(步骤S1)。

[0142] 具体地讲，坐标对应建立部10取得在平行线组PL与再投影轴之间形成的再投影角度。进而，坐标对应建立部10计算从处理对象图像平面R3上的一个坐标延伸的平行线组PL中的一个线与空间模型MD的曲面区域R2交叉的点。进而，坐标对应建立部10导出与计算出的点对应的曲面区域R2上的坐标来作为与处理对象图像平面R3上的该一个坐标对应的曲面区域R2上的一个坐标，将该对应关系存储于空间模型-处理对象图像对应映射41。另外，在本实施例中，在平行线组PL与再投影轴之间形成的再投影角度是通过图像调整部12按各相机(各输入图像)决定的值。另外，再投影角度还可以是预先存储于存储装置4等的值，还可以是操作者通过输入部3动态输入的值。

[0143] 另外，在处理对象图像平面R3上的一个坐标与空间模型MD的平面区域R1上的一个坐标一致的情况下，坐标对应建立部10导出平面区域R1上的该一个坐标来作为与处理对象图像平面R3上的该一个坐标对应的一个坐标，将该对应关系存储于空间模型-处理对象图像对应映射41。

[0144] 之后，控制装置1通过坐标对应建立部10，将通过上述的处理导出的空间模型MD上的一个坐标与输入图像平面R4上的坐标建立对应(步骤S2)。

[0145] 具体地讲，坐标对应建立部10取得采用普通投影(h＝ftanα)的相机2的光学中心C的坐标。进而，坐标对应建立部10计算从空间模型MD上的一个坐标延伸并且从光学中心C通过的线段与输入图像平面R4交叉的点。进而，坐标对应建立部10导出与计算出的点对应的输入图像平面R4上的坐标来作为与空间模型MD上的该一个坐标对应的输入图像平面R4上的一个坐标，将该对应关系存储于输入图像-空间模型对应映射40。

[0146] 之后，控制装置1判断是否将处理对象图像平面R3上的所有的坐标与空间模型MD上的坐标以及输入图像平面R4上的坐标建立了对应(步骤S3)。进而，在判断为还没有将所有的坐标建立对应的情况下(步骤S3的否)，控制装置1重复步骤S1以及步骤S2的处理。

[0147] 另一方面，在判断为将所有的坐标进行了对应的情况下(步骤S3的是)，控制装置1结束处理对象图像生成处理之后开始输出图像生成处理。进而，控制装置1通过图像生成部11将处理对象图像平面R3上的坐标与输出图像平面R5上的坐标建立对应(步骤S4)。

[0148] 具体地讲，图像生成部11通过对处理对象图像实施标度变换、仿射变换、或者扭曲变换，生成输出图像。进而，图像生成部11将根据标度变换、仿射变换或者扭曲变换的内容而定的、处理对象图像平面R3上的坐标与输出图像平面R5上的坐标之间的对应关系存储于处理对象图像-输出图像对应映射42。

[0149] 或者，在使用虚拟相机2V生成输出图像的情况下，图像生成部11还可以与所採用的投影方式相对应地，根据处理对象图像平面R3上的坐标计算输出图像平面R5上的坐标，将该对应关系存储于处理对象图像-输出图像对应映射42。

[0150] 或者，在使用采用普通投影(h＝ftanα)的虚拟相机2V来生成输出图像的情况下，图像生成部11取得该虚拟相机2V的光学中心CV的坐标。进而，图像生成部11计算从输出图像平面R5上的一个坐标延伸且从光学中心CV通过的线段与处理对象图像平面R3交叉的点。进而，图像生成部11导出与计算出的点对应的处理对象图像平面R3上的坐标来作为与输出图像平面R5上的该一个坐标对应的处理对象图像平面R3上的一个坐标。通过这种方式，图像生成部11还可以将该对应关系存储于处理对象图像-输出图像对应映射42。

[0151] 之后，控制装置1的图像生成部11参照输入图像-空间模型对应映射40、空间模型-处理对象图像对应映射41、以及处理对象图像-输出图像对应映射42。进而，图像生成部11遵循输入图像平面R4上的坐标与空间模型MD上的坐标的对应关系、空间模型MD上的坐标与处理对象图像平面R3上的坐标的对应关系、以及处理对象图像平面R3上的坐标与输出图像平面R5上的坐标的对应关系。进而，图像生成部11取得与输出图像平面R5上的各坐标对应的输入图像平面R4上的坐标所具有的值(例如，亮度值、色调值、色度值等)，并采用该取得的值来作为对应的输出图像平面R5上的各坐标的值(步骤S5)。另外，在多个输入图像平面R4上的多个坐标相对输出图像平面R5上的一个坐标对应的情况下，图像生成部11还可以导出基于这些多个输入图像平面R4上的多个坐标各自的值的统计值，作为输出图像平面R5上的该一个坐标的值，采用该统计值。统计值是例如平均值、最大值、最小值、中间值等。

[0152] 之后，控制装置1判断是否将输出图像平面R5上的所有的坐标的值与输入图像平面R4上的坐标的值建立了对应(步骤S6)。进而，在判断为还没有将所有的坐标的值建立对应的情况下(步骤S6的否)，控制装置1重复进行步骤S4以及步骤S5的处理。

[0153] 另一方面，在判断为将所有的坐标的值建立了对应的情况下(步骤S6的是)，控制装置1生成输出图像，结束该一系列的处理。

[0154] 另外，在不生成处理对象图像的情况下，图像生成装置100省略处理对象图像生成处理。在这种情况下，输出图像生成处理中的步骤S4的“处理对象图像平面上的坐标”被称为“空间模型上的坐标”。

[0155] 根据以上的构成，图像生成装置100能够生成能使操作者直观地掌握行走体61周围的物体与行走体61的位置关系的处理对象图像以及输出图像。

[0156] 另外，图像生成装置100执行坐标的对应建立，以便从处理对象图像平面R3经过空间模型MD追溯到输入图像平面R4。由此，图像生成装置100能够将处理对象图像平面R3上的各坐标与输入图像平面R4上的1个或者多个坐标可靠地对应。因此，与以从输入图像平面R4经过空间模型MD到处理对象图像平面R3的顺序执行坐标的对应建立的情况相比，图像生成装置100能够迅速地生成更优质的处理对象图像。

[0157] 另外，即使在以从输入图像平面R4经过空间模型MD到处理对象图像平面R3的顺序执行坐标的对应建立的情况下，也能够使输入图像平面R4上的各坐标与处理对象图像平面R3上的1个或者多个坐标可靠地对应。然而，存在处理对象图像平面R3上的坐标的一部分不能与输入图像平面R4上的任何坐标建立对应的情况，在该情况下，需要对这些处理对象图像平面R3上的坐标的一部分实施插补处理等。

[0158] 另外，在仅放大或缩小与空间模型MD的曲面区域R2对应的图像的情况下，图像生成装置100只要变更在平行线组PL与处理对象图像平面R3之间形成的再投影角度并重写空间模型-处理对象图像对应映射41中的与曲面区域R2关联的部分，就能够不重写输入图像-空间模型对应映射40的内容而实现所希望的放大或缩小。

[0159] 另外，在变更输出图像的观察方法的情况下，图像生成装置100只要变更与标度变换、仿射变换或者扭曲变换相关的各种参数的值并重写处理对象图像-输出图像对应映射42，就能够不重写输入图像-空间模型对应映射40以及空间模型-处理对象图像对应映射41的内容而生成所希望的输出图像(标度变换图像、仿射变换图像或者扭曲变换图像)。

[0160] 同样地，在变更输出图像的视点的情况下，图像生成装置100只要变更虚拟相机2V的各种参数的值并重写处理对象图像-输出图像对应映射42，就能够不重写输入图像-空间模型对应映射40以及空间模型-处理对象图像对应映射41的内容而生成从所希望的视点观察到的输出图像(视点变换图像)。

[0161] 接着，参照图10～图14说明应用安装于行走体61的8台相机的输入图像，由图像生成装置100生成作为输出图像的行走体监视图像的处理。另外，图10是使用了悬臂起重机60的行走体61的俯视、侧视、以及前视的8台相机的配置图。另外，图11是使用了行走体61的俯视、侧视、以及前视的8台相机的摄像范围的示意图。另外，图12是表示从8个输入图像经过4个局部图像生成1个输出图像的处理的流程的框图。另外，图13是表示图12的处理中的输入图像、局部图像以及输出图像的例子的图。另外，图14是说明行走体监视图像的特征的图。

[0162] 如图10所示，在悬臂起重机60的行走体61上安装有8台相机2－1～2－8。具体地讲，如行走体61的俯视F10A、侧视F10B、以及前视F10C所示，在行走体61上安装有对腿部61a的外侧(+Y侧)摄像的2个相机2－1、2－5、对轨道延伸方向的一侧(+X侧)摄像的相机2－2、对一对腿部61a、61b之间的空间摄像的2个相机2－3、2－7、对轨道延伸方向的另一侧(－X侧)摄像的相机2－6、以及对腿部61b的外侧(－Y侧)摄像的2个相机2－4、2－8。

[0163] 相机2－1安装于桁架部61c的+Y侧的上端部，并具有在图11的俯视F11A以及前视F11C中的以双点划线表示的光轴，该光轴在点CP1上与路面交叉。另外，在俯视F11A以及前视F11C中的以粗的光点图形表示的区域CR1表示相机2－1的摄像范围的一部分。另外，在图11中，为了使图清晰明了，省略相机的图示。另外，侧视F11B是从DB方向观察俯视F11A中的以点线表示的铅垂面的部分剖视图，前视F11C是从DC方向观察侧视F11B中的以点线表示的铅垂面的部分剖视图。另外，在侧视F11B中，为了使图清晰明了，省略腿部61a、61b的一部分的图示。

[0164] 相机2－2安装于桁架部61c的下表面，并具有在俯视F11A以及侧视F11B中的以虚线表示的光轴，该光轴在点CP2与路面交叉。另外，在俯视F11A以及侧视F11B中的以左下降斜线图形表示的区域CR2表示相机2－2的摄像范围的一部分。另外，在俯视F11A中的区域CR1－2表示相机2－1的摄像范围与相机2－2的摄像范围重复的区域。另外，相机2－2还可以安装于桁架部61c的上表面或者侧面。

[0165] 相机2－3安装于桁架部61c的下表面，并具有在侧视F11B中的以点划线表示的光轴，该光轴在点CP3与路面交叉。另外，在俯视F11A、侧视F11B、以及前视F11C中的以右下降斜线图形表示的区域CR3表示相机2－3的摄像范围的一部分。另外，在俯视F11A以及侧视F11B中的区域CR2－3表示相机2－2的摄像范围与相机2－3的摄像范围重复的区域。

[0166] 相机2－4安装于桁架部61c的－Y侧的上端部，并具有在俯视F11A以及前视F11C中的以双点划线表示的光轴，该光轴在点CP4与路面交叉。另外，在俯视F11A以及前视F11C中的以粗的光点图形表示的区域CR4表示相机2－4的摄像范围的一部分。另外，在俯视F11A中的区域CR2－4表示相机2－2的摄像范围与相机2－4的摄像范围重复的区域。

[0167] 相机2－5安装于桁架部61c的+Y侧的上端部，并具有在俯视F11A中的以双点划线表示的光轴，该光轴在点CP5与路面交叉。另外，在俯视F11A中的以细的光点图形表示的区域CR5表示相机2－5的摄像范围的一部分。另外，在俯视F11A中的区域CR1－5表示相机2－1的摄像范围与相机2－5的摄像范围重复的区域。

[0168] 相机2－6安装于桁架部61c的下表面，并具有在俯视F11A以及侧视F11B中的以虚线表示的光轴，该光轴在点CP6与路面交叉。另外，在俯视F11A以及侧视F11B中的以右下降斜线图形表示的区域CR6表示相机2－6的摄像范围的一部分。另外，在俯视F11A中的区域CR5－6表示相机2－5的摄像范围与相机2－6的摄像范围重复的区域。另外，相机2－6还可以安装于桁架部61c的上表面或者侧面。

[0169] 相机2－7安装于桁架部61c的下表面，并具有在侧视F11B中的以点划线表示的光轴，该光轴在点CP7与路面交叉。另外，在俯视F11A以及侧视F11B中的以左下降斜线图形表示的区域CR7表示相机2－7的摄像范围的一部分。另外，在俯视F11A以及侧视F11B中的区域CR6－7表示相机2－6的摄像范围与相机2－7的摄像范围重复的区域。

[0170] 相机2－8安装于桁架部61c的－Y侧的上端部，并具有在俯视F11A中的以双点划线表示的光轴，该光轴在点CP8与路面交叉。另外，在俯视F11A中的以细的光点图形表示的区域CR8表示相机2－8的摄像范围的一部分。另外，在俯视F11A中的区域CR6－8表示相机2－6的摄像范围与相机2－8的摄像范围重复的区域。另外，在俯视F11A中的区域CR4－8表示相机2－4的摄像范围与相机2－8的摄像范围重复的区域。

[0171] 如上述那样配置的8台相机2－1～2－8分别对控制装置1输出输入图像G1～G8。

[0172] 接着，参照图12以及图13说明从由8台相机2－1～2－8输出的8个输入图像G1～G8经过4个局部图像生成1个输出图像的处理的流程。

[0173] 在本实施例中，控制装置1具有：作为局部图像生成装置的三图像合成装置20－1～20－4，使用3个输入图像，生成构成最终的输出图像的一部分的局部图像之一；以及作为输出图像生成装置的四图像合成装置21－1，使用4个局部图像生成1个输出图像。

[0174] 另外，图13上层表示8台相机2－1～2－8的各个相机输出的8个输入图像G1～G8的例子。另外，图13中层表示4台三图像合成装置20－1～20－4的各个三图像合成装置输出的4个局部图像(中间图像)G11～G14的例子。另外，图13下层表示四图像合成装置21－1输出的输出图像G20的例子。

[0175] 三图像合成装置20－1基于来自相机2－1的输入图像G1、来自相机2－2的输入图像G2、以及来自相机2－3的输入图像G3生成中间图像G11。进而，三图像合成装置20－1对四图像合成装置21－1输出生成的中间图像G11。

[0176] 同样地，三图像合成装置20－2基于来自相机2－2的输入图像G2、来自相机2－3的输入图像G3、以及来自相机2－4的输入图像G4生成中间图像G12。另外，三图像合成装置20－3基于来自相机2－5的输入图像G5、来自相机2－6的输入图像G6、以及来自相机2－7的输入图像G7生成中间图像G13。另外，三图像合成装置20－4基于来自相机2－6的输入图像G6、来自相机2－7的输入图像G7、以及来自相机2－8的输入图像G8生成中间图像G14。进而，三图像合成装置20－2、20－3、20－4对四图像合成装置21－1输出生成的中间图像G12、G13、G14。

[0177] 四图像合成装置21－1基于来自三图像合成装置20－1～20－4的局部图像(中间图像)G11～G14生成输出图像G20。进而，四图像合成装置21－1经由无线通信装置5a、5b对显示装置6输出生成的输出图像G20。

[0178] 其结果，图13中层的中间图像G11包括将输入图像G1的一部分建立对应的图像部分G1P、将输入图像G2的一部分建立对应的图像部分G2P1、以及将输入图像G3的一部分建立对应的图像部分G3P1。

[0179] 另外，图13中层的中间图像G12包括将输入图像G2的另一部分建立对应的图像部分G2P2、将输入图像G3的另一部分建立对应的图像部分G3P2、以及将输入图像G4的一部分建立对应的图像部分G4P。

[0180] 另外，图13中层的中间图像G13包括将输入图像G5的一部分建立对应的图像部分G5P、将输入图像G6的一部分建立对应的图像部分G6P1、以及将输入图像G7的一部分建立对应的图像部分G7P1。

[0181] 另外，图13中层的中间图像G14包括将输入图像G6的另一部分建立对应的图像部分G6P2、将输入图像G7的另一部分建立对应的图像部分G7P2、以及将输入图像G8的一部分建立对应的图像部分G8P。

[0182] 另外，图13下层的输出图像G20包括将中间图像G11～G14的各个中间图像建立对应的图像部分G11P～G14P。

[0183] 在此，参照图13以及图14说明由图像生成装置100生成的输出图像G20的详细情况。另外，图14是输出图像G20的一个例子，与图13下层的输出图像G20对应。另外，图14中的以点线表示的圆表示空间模型MD的平面区域R1与处理对象图像平面R3之间的边界。另外，图14中的以点线表示的4条线段LS1～LS4表示将对行走体61的侧方摄像的侧方用相机(相机2－1、2－4、2－5、2－8)的输入图像的一部分建立对应的图像部分与将对沿着轨道RA的远方的行走路径摄像的远方用相机(相机2－2、2－6)的输入图像的一部分建立对应的图像部分之间的边界线。另外，图14中的白色圆圈表示空间模型MD的圆筒中心CTR。另外，图14中的点线以及白色圆圈在实际的输出图像G20中不显示。

[0184] 如图13以及图14所示，图像生成装置100将8台相机2－1～2－8的各个相机的输入图像投影到空间模型MD的平面区域R1以及曲面区域R2上，并将投影到曲面区域R2的图像再投影到处理对象图像平面R3。进而，图像生成装置100基于投影到平面区域R1的图像、以及再投影到处理对象图像平面R3的图像，生成输出图像G20。

[0185] 具体地讲，图像生成装置100将空间模型MD分割成底面成为四半圆的4个局部空间模型，并且，将处理对象图像平面R3分割成对应的4个局部处理对象图像平面。进而，图像生成装置100将3台相机的输入图像投影到1个局部空间模型的平面区域以及曲面区域，并将投影到曲面区域的图像再投影到对应的局部处理对象图像平面(参照图13中层)。进而，图像生成装置100基于投影到4个平面区域的图像、以及再投影到4个局部处理对象图像平面的图像，生成输出图像G20(参照图13下层参照)。通过这种方式，图像生成装置100生成行走体监视图像作为输出图像G20，该行走体监视图像同时显示从上空俯视行走体61附近的图像(平面区域R1中的图像)和从行走体61在水平方向上观察周围的图像(处理对象图像平面R3中的图像)。

[0186] 另外，在本实施例中，如图13以及图14所示，图像生成装置100使一对腿部61a、61b之间的空间的路面图像(图像部分G3P1、G3P2、G7P1、G7P2)与行走体61的侧方的空间的图像(图像部分G1P、G4P、G5P、G8P)直接地相邻。即，图像生成装置100以行走体61的腿部61a、61b宛如不存在的方式生成输出图像G20。

[0187] 另外，在本实施例中，如图14所示，图像生成装置100以行走体61的X轴方向长度与空间模型MD的圆筒的直径一致的方式生成输出图像G20。另外，图像生成装置100以该圆筒面从腿部61a、61b的两端部(俯视中的腿部61a的2个端部和腿部61b的2个端部的合计4个端部)通过的方式生成输出图像G20。

[0188] 进一步地，在本实施例中，如图14所示，图像生成装置100将线段LS1设定成图像部分G1P与图像部分G2P1的边界线(参照图13中层)，该线段LS1是从圆筒中心CTR和腿部61a的俯视中的+X侧的端部通过的直线的一部分。同样地，图像生成装置100将线段LS2设定成图像部分G4P与图像部分G2P2的边界线(参照图13中层)，该线段LS2是从圆筒中心CTR和腿部61b的俯视中的+X侧的端部通过的直线的一部分。另外，图像生成装置100将线段LS3设定成图像部分G5P与图像部分G6P1的边界线(参照图13中层)，该线段LS3是从圆筒中心CTR和腿部61a的俯视中的－X侧的端部通过的直线的一部分。另外，图像生成装置100将线段LS4设定成图像部分G8P与图像部分G6P2的边界线(参照图13中层)，该线段LS4是从圆筒中心CTR和腿部61b的俯视中的－X侧的端部通过的直线的一部分。另外，圆筒中心CTR是相机2－2、
2－3、2－6、2－7的安装位置。根据该图像配置，图像生成装置100在图像部分G2P1、G2P2、G6P1、G6P2(参照图13中层)中，能够显示从圆筒中心CTR观察腿部61a、61b的端部的水平图像，并能够向操作者提示腿部61a、61b的端部的延伸方向外侧。

[0189] 根据以上的构成，搭载图像生成装置100的悬臂起重机60通过向操作者提示行走体监视图像，能够促进悬臂起重机60的操作者的安全确认。其结果，悬臂起重机60能够防止操作者使行走体61行走时的周边障碍物(人、车辆等)与行走体61的碰撞。另外，悬臂起重机60通过向操作者提示一对腿部61a、61b之间的空间内的样子，能够防止操作者使行走体61行走时的、该空间内的周边障碍物(人、车辆等)与行走体61的碰撞。另外，悬臂起重机60通过向操作者提示一对腿部61a、61b的各个腿部的外侧的空间的样子，能够防止操作者使行走体61行走时的、该外侧的空间内的周边障碍物(人、车辆等)与行走体61的碰撞。

[0190] 另外，图像生成装置100分别准备对沿着轨道RA的远方的行走路径摄像的远方用相机、以及对位于行走体61的一对腿部61a、61b之间的附近的行走路径的路面摄像的附近用相机。具体地讲，图像生成装置100具备相机2－2以及2－6作为远方用相机，具备相机2－3以及2－7作为附近用相机。因此，即使在远方的行走路径的摄像环境(例如，周围的亮度)与附近的行走路径的摄像环境不同的情况下，图像生成装置100也能够有效地利用各个相机的自动增益控制功能、昼夜功能等。即，图像生成装置100能够防止为了向一方的摄像环境的适应而牺牲向另一方的摄像环境的适应。例如，在一对腿部61a、61b之间的空间的亮度与一对腿部61a、61b的外侧的空间的亮度不同的情况下，若用1个相机对这些亮度不同的2个空间摄像，则与某一方的空间对应的图像部分成为曝光过度或者曝光不足。然而，在分别用单独的相机对亮度不同的2个空间摄像时，能够以适当的曝光对与2个空间的各个空间对应的图像部分摄像。

[0191] 另外，在本实施例中，如图11的侧视F11B所示，以路面高度中的、交点CP2与交点CP3之间的距离D2－3、交点CP6与交点CP7之间的距离D6－7、以及交点CP3与交点CP7之间的距离D3－7将行走体61的X轴方向长度3等分的方式配置有4台相机2－2、2－3、2－6、以及2－7。这是因为在输入图像的像素数设为一定的情况下，若距离D2－3变大，则图像部分G2P1、G2P2的分辨率降低，若距离D3－7变大，则图像部分G3P1、G3P2、G7P1、G7P2的分辨率降低，另外，若距离D6－7变大，则图像部分G6P1、G6P2的分辨率降低。另外，交点CP2是相机2－
2的光轴与路面的交点，交点CP3是相机2－3的光轴与路面的交点，交点CP6是相机2－6的光轴与路面的交点，交点CP7是相机2－7的光轴与路面的交点。根据该相机配置，图像生成装置100能够提高图像部分G2P1、G2P2、G3P1、G3P2、G6P1、G6P2、G7P1、以及G7P2的分辨率，能够有效地利用各相机的输入图像。

[0192] 另外，在本实施例中，如图11的前视F11C所示，以右下降斜线图形表示的相机2－3的摄像范围CR3设定成包括一对腿部61a、61b的对置的2个内壁61a1、61b1的下部区域。具体地讲，相机2－3的摄像范围CR3设定成例如假设不存在腿部61a、61b时，在路面高度上与相机2－1的摄像范围CR1以及相机2－4的摄像范围CR4相接。在这种情况下，下部区域的高度H1是例如2米。根据该相机配置，图像生成装置100能够在输入图像内可靠地捕捉到沿着内壁61a1、61b1那样存在的人的头部，能够避免发生只捕捉到该人的足部的状况。其结果，图像生成装置100能够将沿着内壁61a1、61b1那样存在的物体(特别是人)的俯视图显示到输出图像，能够抑制或防止该物体从输出图像消失。

[0193] 另外，在上述的实施例中，图像生成装置100在使用4台三图像合成装置生成4个局部图像后，使用四图像合成装置合成这4个局部图像来生成输出图像。这样，图像生成装置100通过利用具有相同构成的多台图像合成装置，能够灵活地应对相机台数的变化。另外，图像生成装置100通过利用具有相同构成的多台图像合成装置，能够减少为了从多个输入图像生成1个输出图像所需要的图像合成装置整体的成本。另外，图像生成装置100通过使多个图像合成装置分担图像的合成，能够更容易地实现输出图像生成的高速化、实时化。然而，本发明并不限定于该构成。例如，图像生成装置100还可以不生成局部图像，而从8个输入图像直接生成1个输出图像。或者，图像生成装置100还可以使用利用2个输入图像或者4个以上的输入图像来生成1个局部图像的图像合成装置，还可以使用利用2个、3个或者5个以上的局部图像来生成1个输出图像的图像合成装置。另外，图像生成装置100还可以像三图像合成装置、四图像合成装置以及五图像合成装置的组合那样，在生成局部图像时并用所接收的输入图像的数量不同的2种以上的图像合成装置。

[0194] 另外，图像生成装置100从安装于行走体61的8台行走体用相机(相机2－1～2－8)的各个行走体用相机输出的8个输入图像G1～G8来生成行走体监视图像G20。然而，本发明并不限定于该构成。例如，图像生成装置100还可以省略8台相机2－1～2－8之中的1个或者多个相机。例如，图像生成装置100还可以省略远方用相机(相机2－2、2－6)，还可以省略附近用相机(相机2－3、2－7)，或者省略侧方用相机(相机2－1、2－4、2－5、2－8)。

[0195] 接着，参照图15说明控制装置1调整输出图像的处理。另外，图15是说明输出图像与再投影角度的关系的图，图15左图包括图像调整部12的调整前的输出图像G20B，图15右图包括图像调整部12的调整后的输出图像G20。另外，输出图像G20B、G20之下的图是表示空间模型MD和与相机2－1、2－2相关的再投影线RL1、RL2的关系的模式图。另外，为了使图清晰明了，省略与其他的相机相关的再投影线等的图示。

[0196] 在图15中，在图像部分G1P与图像部分G2P1的边界线即线段LS1上配置的坐标PT1表示与图像部分G1P中的无穷远线(地平线、水平线)相当的曲线HL1(点线)与线段LS1的交点。另外，在线段LS1上配置的坐标PT2表示与图像部分G2P1中的无穷远线相当的曲线HL2(点划线)与线段LS1的交点。另外，曲线HL1、HL2表示不管是否能实际上看见无穷远线，在假设遮蔽物不存在的情况下能看见的无穷远线的位置。另外，为了与使用具有圆筒形状的空间模型MD而生成的处理对象图像的图像部分G1P、G2P1中的无穷远线相当，曲线HL1、HL2成为圆弧状的曲线。然而，与无穷远线相当的线不限于必须是曲线。例如，在使用长方体形状的空间模型而生成处理对象图像的情况下，与无穷远线相当的线成为直线。另外，线段LS1、坐标PT1、PT2、曲线HL1、HL2、圆筒中心CTR、相机2－1、2－2是用于说明的线图，没有实际地显示于输出图像G20B、G20上。

[0197] 如图15左图所示，在图像调整部12的调整前即与相机2－1相关的再投影线RL1的再投影角度γ和与相机2－2相关的再投影线RL2的再投影角度γ相等的条件下，曲线HL1以及曲线HL2不连续。这是因为相机2－1的设置高度HT1与相机2－2的设置高度HT2不同。

[0198] 具体地讲，再投影线RL1、RL2构成相对圆筒中心(再投影轴)CTR形成角度γ的平行线组。进而，再投影线RL1、RL2在坐标PP1、PP2上与空间模型MD的曲面区域R2交叉，在坐标PT1、PT2上与处理对象图像平面R3交叉。另外，坐标PP1的高度与从相机2－1的坐标和从相机2－1观察到的无限远点通过的直线与空间模型MD的曲面区域R2交叉的点的高度对应。同样地，坐标PP2的高度与从相机2－2的坐标和从相机2－2观察到的无限远点通过的直线与空间模型MD的曲面区域R2交叉的点的高度对应。即，坐标PP1、PP2的高度与从相机2－1、2－2观察到的无穷远线的位置对应，与相机2－1、2－2的高度HT1、HT2相当。

[0199] 换言之，再投影线RL1是连结与相机2－1的输入图像平面中的无穷远线相当的线上的坐标所对应的空间模型MD的曲面区域R2上的坐标PP1和与该坐标PP1对应的处理对象图像平面上的坐标PT1的直线。另外，再投影线RL2是连结与相机2－2的输入图像平面中的无穷远线相当的线上的坐标所对应的空间模型MD的曲面区域R2上的坐标PP2和与该坐标PP2对应的处理对象图像平面上的坐标PT2的直线。

[0200] 进而，各相机(各输入图像)的再投影角度γ是共同的，因此坐标PT1与再投影轴CTR之间的距离比坐标PT2与再投影轴CTR之间的距离大。即，坐标PT1与坐标PT2不一致。其结果是，曲线HL1以及曲线HL2成为不连续。

[0201] 另一方面，如图15右图所示，在图像调整部12的调整后即分别单独地决定与相机2－1相关的再投影线RL1的再投影角度γ1和与相机2－2相关的再投影线RL2的再投影角度γ2的条件下，曲线HL1以及曲线HL2能成为连续。

[0202] 在本实施例中，图像调整部12分别单独地决定再投影角度γ1、γ2，以使坐标PT1与再投影轴CTR之间的距离和坐标PT2与再投影轴CTR之间的距离变得相等，即使坐标PT1和坐标PT2一致。

[0203] 具体地讲，图像调整部12取得操作者使用输入装置(没有图示)输入的所希望的无穷远线位置(例如，曲线HL1、HL2与再投影轴CTR之间的距离)。进而，图像调整部12基于取得的无穷远线位置决定坐标PT1、PT2。进而，图像调整部12导出从新决定的坐标PT1与坐标PP1通过的直线即再投影线RL1与再投影轴CTR之间所形成的角度作为再投影角度γ1。同样地，图像调整部12导出从新决定的坐标PT2与坐标PP2通过的直线即再投影线RL2与再投影轴CTR之间所形成的角度作为再投影角度γ2。

[0204] 通过这种方式，图像调整部12根据操作者的输入操作，按照每个相机(每个输入图像)决定再投影角度，并且在所希望的无穷远线位置使曲线HL1与曲线HL2成为连续。即，使得与多个图像部分的各个图像部分中的无穷远线相当的位置成为连续。

[0205] 接着，参照图16说明控制装置1调整输出图像的处理(下面，设为“输出图像调整处理”)的流程。另外，图16是表示输出图像调整处理的流程的流程图，控制装置1例如根据操作者的输入操作，执行该输出图像调整处理。

[0206] 首先，控制装置1的图像调整部12取得无穷远线位置(步骤S11)。在本实施例中，操作者一边观察输出图像G20B(参照图15)一边使用触摸面板来触摸输入想显示与无穷远线相当的部分的位置。图像调整部12根据触摸输入的坐标，决定与相机2－1的输入图像关联的处理对象图像中的图像部分中的坐标PT1，并且决定与相机2－2的输入图像关联的处理对象图像中的图像部分中的坐标PT2。

[0207] 具体地讲，图像调整部12决定坐标PT1、PT2，以使触摸输入的坐标与再投影轴CTR之间的距离变得和坐标PT1与再投影轴CTR之间的距离相等，并且和坐标PT2与再投影轴CTR之间的距离相等。

[0208] 之后，图像调整部12按照每个相机(每个输入图像)导出与无穷远线位置对应的再投影线(步骤S12)。在本实施例中，图像调整部12导出从坐标PT1和坐标PP1通过的直线作为与相机2－1相关的再投影线RL1。另外，图像调整部12导出从坐标PT2和坐标PP2通过的直线作为与相机2－2相关的再投影线RL2。另外，图像调整部12同样地导出与其他相机(至少包括输出构成输出图像G20中的水平图像部分的输入图像的相机)相关的再投影线。

[0209] 之后，图像调整部12按照每个相机(每个输入图像)导出再投影角度(步骤S13)。在本实施例中，图像调整部12导出在再投影线RL1与再投影轴CTR之间形成的角度作为再投影角度γ1。另外，图像调整部12导出在再投影线RL2与再投影轴CTR之间形成的角度作为再投影角度γ2。关于与其他相机相关的再投影线也是相同的。

[0210] 之后，控制装置1的坐标对应建立部10基于图像调整部12决定的与各相机(各输入图像)相关的再投影角度，更新存储装置4中的各种对应映射(步骤S14)。

[0211] 之后，控制装置1的图像生成部11基于坐标对应建立部10更新的各种对应映射，生成处理对象图像(步骤S15)。在本实施例中，图像生成部11执行图9的处理对象图像生成处理。

[0212] 接着，参照图17说明输出图像调整处理的另一个例子。另外，图17是表示空间模型MD和与相机2－1、2－2相关的再投影线RL1、RL2的关系的模式图，与图15的一部分对应。另外，图17的例子代替无穷远线位置而使用位于行走体61附近的规定的地物的位置，这点上与图15的例子不同。

[0213] 具体地讲，图17是以使多个图像部分的各个图像部分中的、表示在位于行走体61周围的壁面上水平地描绘的白线的图像部分成为连续的方式，决定各相机(各输入图像)的再投影角度的情况的模式图。另外，壁面与再投影轴CTR之间的距离是已知的，并且是固定的。

[0214] 在这种情况下，操作者一边观察输出图像一边使用触摸面板触摸输入想显示表示该白线的图像部分的位置。图像调整部12根据触摸输入的坐标，决定与相机2－1的输入图像关联的处理对象图像中的图像部分中的坐标PT1a，并且决定与相机2－2的输入图像关联的处理对象图像中的图像部分中的坐标PT2a。

[0215] 具体地讲，图像调整部12以使触摸输入的坐标与再投影轴CTR之间的距离变得和坐标PT1a与再投影轴CTR之间的距离相等，并且和坐标PT2a与再投影轴CTR之间的距离相等的方式，决定坐标PT1a、PT2a。

[0216] 之后，图像调整部12导出从坐标PT1a与坐标PP1a通过的直线作为与相机2－1相关的再投影线RL1a。另外，图像调整部12导出从坐标PT2a与坐标PP2a通过的直线作为与相机2－2相关的再投影线RL2a。另外，图像调整部12同样地导出与其他相机相关的再投影线。

[0217] 另外，坐标PP1a的高度与从相机2－1的坐标和白线的坐标TG1通过的直线与空间模型MD的曲面区域R2交叉的点的高度对应。另外，坐标PP2a的高度与从相机2－2的坐标和白线的坐标TG1通过的直线与空间模型MD的曲面区域R2交叉的点的高度对应。这样，图17的例子不同于坐标PP1、PP2的高度与相机2－1、2－2的高度HT1、HT2相当的图15的例子。

[0218] 之后，图像调整部12导出在再投影线RL1a与再投影轴CTR之间形成的角度作为再投影角度δ1。另外，图像调整部12导出在再投影线RL2a与再投影轴CTR之间形成的角度作为再投影角度δ2。关于与其他相机相关的再投影线也是同样的。

[0219] 之后，坐标对应建立部10基于图像调整部12决定的与各相机(各输入图像)相关的再投影角度，更新存储装置4中的各种对应映射。进而，图像生成部11基于坐标对应建立部10更新的各种对应映射，生成处理对象图像。

[0220] 根据以上的构成，图像生成装置100使得操作者能够按照每个相机(每个输入图像)直观地调整再投影角度。因此，图像生成装置100能够使与设置高度不同的多个相机(多个输入图像)的各个相机对应的输出图像中的多个图像部分中的无穷远线所相当的位置连续。其结果，图像生成装置100例如能够统一多个图像部分的空中外观，能够提高输出图像的美观。

[0221] 另外，图像生成装置100使得能够根据操作者的1次操作输入，统一调整多个相机的再投影角度。因此，即使在多个相机的设置高度共同的情况下，即与输出图像中的多个图像部分中的无穷远线相当的位置已经连续的情况下，图像生成装置100也能够一边维持与该无穷远线相当的位置的连续性，一边容易地移动与该无穷远线相当的位置。

[0222] 另外，图像生成装置100能够通过使操作者输入无穷远线位置，使与输出图像中的多个图像部分中的无穷远线相当的位置连续或移动。另外，通过使操作者输入无穷远线位置这一直接的值，而不是输入再投影角度这一间接的值，能够使与输出图像中的多个图像部分中的无穷远线相当的位置连续或移动。其结果，图像生成装置100能够提高与无穷远线相当的位置的调整相关的操作性。

[0223] 另外，图像生成装置100通过使操作者输入想显示位于行走体61附近的规定的地物的位置，能够使输出图像中的多个图像部分中的与该规定的地物相当的位置连续或移动。另外，通过使操作者输入想显示该规定的地物的位置这一直接的值，而不是输入再投影角度这一间接的值，能够使输出图像中的多个图像部分中的与该规定的地物相当的位置连续或移动。其结果，图像生成装置100能够提高与位于行走体61附近的规定的地物相当的位置的调整相关的操作性。

[0224] 另外，图像生成装置100允许操作者调整空间模型MD的大小(例如，圆筒半径)。在这种情况下，图像生成装置100例如在变更了空间模型MD的圆筒半径时，更新与各相机(各输入图像)相关的再投影角度，维持输出图像中的多个图像部分中的无穷远线或者位于行走体61附近的规定的地物的连续性。其结果，图像生成装置100能够一边维持输出图像中的多个图像部分中的无穷远线或者位于行走体61附近的规定的地物的连续性，一边变更水平图像区域以及路面图像区域的分配比率。

[0225] 接着，参照图18～图21说明将图像生成装置100A应用于挖土机70的情况。另外，搭载于挖土机70的图像生成装置100A的构成除了相机配置以外，与搭载于悬臂起重机60的图像生成装置100的构成共同。因此，省略共同部分的说明，说明作为区别点的相机配置。

[0226] 图18是表示搭载有图像生成装置100A的挖土机70的构成例的图，图18左图表示其侧视图，图18右图表示其俯视图。

[0227] 挖土机70在履带式的下部行走体71之上隔着转动机构72搭载上部转动体73。上部转动体73被搭载成能够绕转动轴PV转动自如。

[0228] 另外，上部转动体73在其前方左侧部具备驾驶室(cab)74，在其前方中央部具备挖掘附属装置E，在左侧面、右侧面以及后表面具备相机2(左侧方相机2L、右侧方相机2R、后方相机2B)。另外，图18右图的以点划线表示的区域CL、CR、CB分别表示左侧方相机2L、右侧方相机2R、后方相机2B的摄像空间。另外，在本实施例中，左侧方相机2L的设置高度与右侧方相机2R的设置高度相同，该左侧方相机2L的设置高度比后方相机2B的设置高度高。另外，在驾驶室74内的驾驶员容易看到的位置上配置有显示装置6。另外，在本实施例中，显示装置6不经由无线通信装置地与控制装置1连接。

[0229] 图19是表示投影有输入图像的空间模型MD的一个例子的图，图19左图表示从侧方观察挖土机70时的挖土机70与空间模型MD之间的关系，图19右图表示从上方观察挖土机70时的挖土机70与空间模型MD之间的关系。

[0230] 如图19所示，与悬臂起重机60的情况相同，空间模型MD具有圆筒形状，并具有其底面内侧的平面区域R1和其侧面内侧的曲面区域R2。另外，与图4所示的悬臂起重机60的情况的空间模型MD相同，处理对象图像平面R3(没有图示)也可以是包括空间模型MD的平面区域R1的圆形区域，也可以是不包括空间模型MD的平面区域R1的环状区域。

[0231] 图20是表示搭载于挖土机70的3台相机2(左侧方相机2L、右侧方相机2R、以及后方相机2B)的各个相机的输入图像、以及使用这些输入图像而生成的输出图像的图。

[0232] 图像生成装置100A将这3台相机2的各个相机的输入图像平面上的坐标投影到空间模型MD的平面区域R1以及曲面区域R2上的坐标之后，向处理对象图像平面R3再投影而生成处理对象图像。进而，图像生成装置100A通过对该生成的处理对象图像实施图像变换处理(例如，标度变换处理、仿射变换处理、扭曲变换处理、视点变换处理等)，生成输出图像。进而，图像生成装置100A显示从上空俯视挖土机70附近的图像(平面区域R1中的图像)、以及从挖土机70在水平方向上观察周边的图像(处理对象图像平面R3中的图像)。

[0233] 图21是说明输出图像与再投影角度的关系的图。具体地讲，图21上图表示图像调整部12的调整前的输出图像，与图15的输出图像G20B对应。另外，图21下图表示图像调整部12的调整后的输出图像，与图15的输出图像G20对应。

[0234] 在图21上图中，曲线HL10(点线)与输出图像的左侧方图像(基于左侧方相机2L的输入图像的图像部分)中的无穷远线相当。另外，曲线HL11(点划线)与输出图像的后方图像(基于后方相机2B的输入图像的图像部分)中的无穷远线相当。另外，曲线HL12(点线)与输出图像的右侧方图像(基于右侧方相机2R的输入图像的图像部分)中的无穷远线相当。另外，曲线HL10、HL11、HL12、再投影轴CTR是用于说明的线图，在输出图像上没有实际地显示。

[0235] 如图21上图所示，在图像调整部12的调整前，即与3台相机的各个相机相关的再投影线的再投影角度共同这一条件下，曲线HL10、HL12与曲线HL11不连续。这是因为后方相机2B的设置高度与左侧方相机2L、右侧方相机2R的设置高度不同。

[0236] 另一方面，如图21下图所示，在图像调整部12的调整后，即分别单独地决定与3台相机的各个相机相关的再投影线的再投影角度这一条件下，曲线HL10、HL11、以及HL12能成为连续。

[0237] 在本实施例中，图像调整部12取得操作者使用输入装置(没有图示)输入的所希望的无穷远线位置(例如，曲线HL10、HL11、HL12与再投影轴CTR之间的距离)。进而，图像调整部12基于取得的无穷远线位置，分别单独地决定与3台相机的各个相机相关的再投影线的再投影角度。

[0238] 通过这种方式，图像调整部12根据操作者的输入操作，按照每个相机(每个输入图像)决定再投影角度，在所希望的无穷远线位置，曲线HL10、HL11以及HL12成为连续。即，与左侧方图像、后方图像、以及右侧方图像的各个图像中的无穷远线相当的位置成为连续。

[0239] 根据以上的构成，搭载于挖土机70的图像生成装置100A能够实现与搭载于悬臂起重机60的图像生成装置100相同的效果。

[0240] 以上，关于本发明的优选实施例进行了详细的说明，但本发明并不限于上述的实施例，在不脱离本发明的范围内，能够对上述的实施例施加各种各样的变形以及置换。

[0241] 例如，在上述的实施例中，图像生成装置100采用圆筒状的空间模型MD作为空间模型，但还可以采用具有多棱柱等其他柱状的形状的空间模型，还可以采用由底面以及侧面这两面构成的空间模型，或者还可以采用只具有侧面的空间模型。

[0242] 另外，在上述的实施例中，图像生成装置100搭载于在轨道上行走的悬臂起重机60。进而，图像生成装置100构成一边向操作者提示行走体监视图像一边对行走体61的移动进行支援的操作支援系统。然而，图像生成装置100也可以搭载于在轨道上行走的其他室外用的移动式起重机，构成对移动式起重机的操作进行支援的操作支援系统。进一步地，图像生成装置100还可以搭载于使用斗式提升机或者抓斗的连续卸料机等在轨道上行走的卸料机，构成对卸料机的操作进行支援的操作支援系统。

[0243] 另外，图像生成装置100A搭载于具备铲斗、斗杆、动臂、转动机构等可动构件并自行的建设机械，构成一边向其驾驶员提示周围图像，一边对该建设机械的移动以及这些可动构件的操作进行支援的操作支援系统，但是也可以搭载于如工业用机械或固定式起重机等具有可动构件但不自行的其他被操作体，构成对这些其他被操作体的操作进行支援的操作支援系统。

[0244] 另外，本申请享受2013年4月24日申请的日本专利申请2013－091803号的优先权，本申请通过参照该日本专利申请的全部内容而援用到本申请中。

[0245] 符号说明

[0246] 1···控制装置

[0247] 2、2－1～2－8、2－11～2－16、2－21～2－28、2B、2L、2R···相机[0248] 4···存储装置

[0249] 5a、5b···无线通信装置

[0250] 6···显示装置

[0251] 10···坐标对应建立部

[0252] 11···图像生成部

[0253] 12···图像调整部

[0254] 20－1～20－4、20－11～20－14···三图像合成装置

[0255] 21－1、21－11···四图像合成装置

[0256] 40···输入图像-空间模型对应映射

[0257] 41···空间模型-处理对象图像对应映射

[0258] 42···处理对象图像-输出图像对应映射

[0259] 60···悬臂起重机

[0260] 61···行走体

[0261] 61a、61b···腿部

[0262] 61c···桁架部

[0263] 61d···驱动源

[0264] 62···塔体

[0265] 63···转动体

[0266] 63a···驾驶室

[0267] 64···悬臂

[0268] 70···挖土机

[0269] 71···下部行走体

[0270] 72···转动机构

[0271] 73···上部转动体

[0272] 74···驾驶室

[0273] 100、100A···图像生成装置

标题	发布/更新时间	阅读量
一种电网故障下并网变流器韧性评估方法	2020-05-12	934
基于最优分区的主动配电网分布式区间状态估计方法	2020-05-14	691
获取负荷电流不平衡度的方法、估算装置与系统	2020-05-15	403
一种基于区间状态估计的配电网数据安全检测方法	2020-05-16	357
一种褐煤微波干燥多物理场仿真模拟方法	2020-05-17	384
非接触式变电站氧化锌避雷器母线电压相位在线监测方法	2020-05-11	648
飞行器飞行信息系统和方法	2020-05-11	209
一种基于ADAL输配一体化并行状态估计方法	2020-05-14	557
永磁同步电机无电解电容驱动器电压边界优化过调制方法	2020-05-16	586
基于多边形随机骨料的混凝土三相细观模型构建及内氯离子侵蚀数值模拟方法	2020-05-18	874