影像生成装置以及影像生成方法
阅读：114发布：2020-05-08
专利汇可以提供影像生成装置以及影像生成方法专利检索，专利查询，专利分析的服务。并且本 发明 有效地生成视觉上的不协调感少的高品质的合成影像。合成影像生成部基于 水 上移动体的 位置 及 姿态 ，在三维虚拟空间中配置虚拟 照相机 ，并在该三维虚拟空间中配置附加显示信息的至少一部分作为三维的 虚拟现实 对象并且配置虚拟投影屏幕，制作分割上述投影屏幕且向与在水上移动体的拍摄影像中产生的镜头失真相反的方向失真的网格，基于所述虚拟照相机的位置和朝向，通过 顶点 着色器 将所述 虚拟现实对象 的顶点及所述网格的顶点变换到作为透视投影面的二维的虚拟屏幕上的位置，基于变换后的各顶点的位置，通过将分割了上述拍摄影像而得到的影像片通过 像素 着色器配置在对应的上述网格中，生成将描绘了上述虚拟现实对象的图形与上述拍摄影像合成而得到的合成影像。，下面是影像生成装置以及影像生成方法专利的具体信息内容。
1.一种影像生成装置，其特征在于，具备：
拍摄影像输入部，输入设置在水上移动体上的拍摄装置所拍摄的拍摄影像；
位置获取部，获取表示所述水上移动体的位置的位置信息；
姿态获取部，获取表示所述水上移动体的姿态的姿态信息；
附加显示信息获取部，获取包含表示一个或多个地点的位置的信息的附加显示信息；
以及
合成影像生成部，基于所述位置信息和所述姿态信息，在三维虚拟空间中配置虚拟照相机，并在该三维虚拟空间中配置所述附加显示信息的至少一部分作为三维的虚拟现实对象并且配置虚拟的投影屏幕，制作分割所述投影屏幕且向与所述拍摄影像中产生的镜头失真相反的方向失真的网格，基于所述虚拟照相机的位置和朝向，通过顶点着色器将所述虚拟现实对象的顶点和所述网格的顶点变换到作为透视投影面的二维的虚拟屏幕上的位置，基于所述虚拟屏幕中的各顶点的位置，将对所述拍摄影像进行分割而得到的影像片通过像素着色器配置于对应的所述网格，从而生成将描绘了所述虚拟现实对象的图形与所述拍摄影像合成而得到的合成影像。
2.根据权利要求1所述的影像生成装置，其特征在于，
所述合成影像生成部在所述姿态信息发生了变化的情况下，使所述三维虚拟空间中的所述投影屏幕和所述虚拟照相机的位置和朝向以与所述拍摄装置的位置和朝向的变化对应的方式移动。
3.根据权利要求1或2所述的影像生成装置，其特征在于，
构成为能够变更所制作的所述网格的失真方向和失真量中的至少一个。
4.根据权利要求1至3中任一项所述的影像生成装置，其特征在于，
所述网格在所述三维虚拟空间中配置为弯曲状。
5.根据权利要求1至4中任一项所述的影像生成装置，其特征在于，
所述附加显示信息中包含其他水上移动体、地标、预定航线、航路轨迹、航路点、停靠点、到达地、探测到鱼群的海域、危险海域、航海禁止区域、浮标和虚拟浮标中的至少一个。
6.根据权利要求1至5中任一项所述的影像生成装置，其特征在于，
根据所述附加显示信息所表示的地点与所述水上移动体之间的距离，使与该附加显示信息对应地显示的所述图形的颜色不同。
7.根据权利要求1至6中任一项所述的影像生成装置，其特征在于，
能够向设置于所述水上移动体的显示器、便携式计算机和头戴式显示器中的至少一个输出所述合成影像。
8.一种影像生成方法，其特征在于，
输入由设置在水上移动体上的拍摄装置拍摄到的拍摄影像，
获取表示所述水上移动体的位置的位置信息，
获取表示所述水上移动体的姿态的姿态信息，
获取包含表示一个或多个地点的位置的信息的附加显示信息，
基于所述位置信息和所述姿态信息，在三维虚拟空间中配置虚拟照相机，并在该三维虚拟空间中配置所述附加显示信息的至少一部分作为三维的虚拟现实对象并且配置虚拟的投影屏幕，制作分割所述投影屏幕且向与所述拍摄影像中产生的镜头失真相反的方向失真的网格，基于所述虚拟照相机的位置和朝向，通过顶点着色器将所述虚拟现实对象的顶点和所述网格的顶点变换到作为透视投影面的二维的虚拟屏幕上的位置，基于所述虚拟屏幕中的各顶点的位置，将对所述拍摄影像进行分割而得到的影像片通过像素着色器配置于对应的所述网格，从而生成将描绘了所述虚拟现实对象的图形与所述拍摄影像合成而得到的合成影像。
9.根据权利要求1至7中任一项所述的影像生成装置，其特征在于，
所述合成影像生成部还生成表示方位的刻度图像，
根据所述合成影像中的显示所述图形的位置，决定所述刻度图像的显示位置。
影像生成装置以及影像生成方法
技术领域
背景技术
[0002] 例如，在专利文献1中公开了这种影像生成装置。该专利文献1的影像生成装置构成为具备照相机、拍摄数据接收部、位置获取部、影像生成部、物标显示物生成部以及显示器，对来自照相机的图像流进行地理参照。
[0003] 在专利文献1中，拍摄数据接收部接收船舶的照相机拍摄的流图像数据。位置获取部获取该船舶周围的物标(其他船等)的位置。影像生成部基于流图像数据的图像，生成在显示器上显示的影像。该影像对应于照相机的位置和视野。物标显示物生成部在所述影像上的点处生成表示物标的物标显示物。而且，构成为在显示器上显示所述影像和配置于所述影像上的点的所述物标显示物。
[0004] 上述的影像生成部在各点与所述影像上的点对应地表示水上移动体的周围的环境的三维虚拟空间上投影所述影像，从而生成所述影像。另外，所述物标显示物生成部基于物标的位置信息和三维虚拟空间的各个点，生成所述物标显示物。
[0005] 现有技术文献
[0006] 专利文献
发明内容
[0008] 发明所要解决的课题
[0009] 然而，在由照相机拍摄的影像数据中通常会产生镜头失真。特别是在拍摄船舶周围的情况的情况下，为了得到宽视野的拍摄影像而考虑使用广角镜头，但在该情况下，影像的失真增强。因此，如果将上述影像和上述物标显示物简单地合成而得到的合成影像显示在显示器上，则成为不自然的影像，观察到该影像的用户有可能感到不协调。在上述的专利文献1的结构中，在这一点上依然存在改善的余地。
[0010] 本发明是鉴于以上的情况而完成的，其目的在于，高效地生成视觉上的不协调感少的高品质的合成影像，实现优异的增强现实的显示。
[0011] 解决课题的技术方案和效果
[0012] 本发明要解决的课题如上所述，下面对用于解决该课题的技术方案及其效果进行说明。
[0013] 根据本发明的第一观点，提供以下结构的影像生成装置。即，该影像生成装置具备拍摄影像输入部、位置获取部、姿态获取部、附加显示信息获取部、合成影像生成部。上述拍摄影像输入部输入设置于水上移动体的拍摄装置所拍摄的拍摄影像。上述位置获取部获取表示上述水上移动体的位置的位置信息。上述姿态获取部获取表示上述水上移动体的姿态的姿态信息。上述附加显示信息获取部获取包括指示一个或多个地点的位置的信息的附加显示信息。上述合成影像生成部根据上述位置信息和上述姿态信息，在三维虚拟空间中配置虚拟照相机，在该三维虚拟空间中配置上述附加显示信息的至少一部分作为三维的虚拟现实对象并且配置虚拟的投影屏幕。上述合成影像生成部制作分割上述投影屏幕并且向与上述拍摄影像中产生的镜头失真相反的方向失真的网格。上述合成影像生成部基于上述虚拟照相机的位置和朝向，通过顶点着色器将上述虚拟现实对象的顶点及上述网格的顶点变换到作为透视投影面的二维的虚拟屏幕上的位置。上述合成影像生成部基于上述虚拟屏幕中的各顶点的位置，通过像素着色器将分割了上述拍摄影像而得到的影像片配置于对应的上述网格。根据以上所述，上述合成影像生成部生成将描绘了上述虚拟现实对象的图形与上述拍摄影像合成而得到的合成影像。
[0014] 由此，基于水上移动体的位置和姿态，将三维地表现附加显示信息的位置等的图形重叠在拍摄影像上，由此能够得到虚拟现实的合成影像。另外，由于在校正了拍摄影像的镜头失真的状态下与三维计算机图形进行合成，所以能够减少合成时的不协调感。进而，通过在三维虚拟空间中配置向与镜头失真相反的方向失真的网格，将该网格的顶点变换为虚拟屏幕上的位置，将分割了拍摄装置的影像而得到的影像片配置在对应的网格中，能够适当地校正镜头失真。另外，考虑了镜头失真的校正的透视投影在顶点坐标数据的阶段通过顶点着色器来进行，然后通过用像素着色器配置拍摄影像的栅格数据来进行，因此仅进行一次栅格数据的变形处理即可。因此，与通过镜头失真的校正和透视投影单独地进行对拍摄影像的栅格数据进行变形的处理的情况相比，能够防止影像的画质劣化，并且能够实现处理的大幅高速化。
[0015] 在上述的影像生成装置中，优选的是，根据上述姿态信息的变化，使上述三维虚拟空间中的上述虚拟照相机的朝向变化的同时，使上述虚拟屏幕移动，以便被上述虚拟照相机拍到。
[0016] 由此，在水上移动体因波浪等而晃动、拍摄装置的位置等发生了变化的情况下，通过与之相应地使虚拟照相机和投影屏幕移动，能够以简单的处理使三维计算机图形的显示与拍摄影像的变化匹配地进行更新。另外，通过虚拟照相机与投影屏幕相互连动，例如也能够容易地进行在合成影像中始终出现拍摄影像的处理。
[0017] 在上述的影像生成装置中，优选构成为能够变更所制作的上述网格的失真的方向和失真量中的至少一个。
[0018] 由此，能够调整校正镜头失真的朝向和强度，因此能够应对宽幅的拍摄装置。
[0019] 在上述的影像生成装置中，优选的是，上述网格在上述三维虚拟空间中配置为弯曲状。
[0020] 由此，能够使合成影像中拍摄影像呈现为自然的外观。
[0021] 在上述的影像生成装置中，优选的是，在上述附加显示信息中包含其他的水上移动体、地标、预定航线、航路轨迹、航路点、停靠点、到达地、鱼群被探测到的海域、危险海域、航海禁止区域、浮标及虚拟浮标中的至少一个。
[0022] 由此，能够包含位置关系在内以易于直观地掌握的方式显示对用户有益的信息。
[0023] 在上述的影像生成装置中，优选的是，根据上述附加显示信息所表示的地点与上述水上移动体之间的距离，使与该附加显示信息对应地显示的上述图形的颜色不同。
[0024] 由此，例如在某水上移动体存在于附近的情况下，通过以比其他更显眼的颜色显示虚拟现实对象，用户能够适当地理解状况。
[0025] 优选的是，上述影像生成装置能够向设置于上述水上移动体的显示器、便携式计算机以及头戴式显示器中的至少一个输出上述合成影像。
[0026] 由此，能够有效地利用合成影像。
[0027] 根据本发明的第二观点，提供以下的影像生成方法。即，输入设置于水上移动体的拍摄装置所拍摄的拍摄影像。获取表示上述水上移动体的位置的位置信息。获取表示上述水上移动体的姿态的姿态信息。获取包含表示一个或多个地点的位置的信息的附加显示信息。基于上述位置信息和上述姿态信息，在三维虚拟空间中配置虚拟照相机，并在该三维虚拟空间中配置上述附加显示信息的至少一部分作为三维的虚拟现实对象并且配置虚拟的投影屏幕。制作分割上述投影屏幕且向与上述拍摄影像中产生的镜头失真相反的方向失真的网格。基于上述虚拟照相机的位置以及朝向，通过顶点着色器将上述虚拟现实对象的顶点以及上述网格的顶点变换到作为透视投影面的二维的虚拟屏幕上的位置。通过基于上述虚拟屏幕中的各顶点的位置，将分割了上述拍摄影像而得到的影像片通过像素着色器配置在对应的上述网格中，从而生成将描绘了上述虚拟现实对象的图形与上述拍摄影像合成而得到的合成影像。
[0028] 由此，基于水上移动体的位置和姿态，通过将三维地表现附加显示信息的位置等的图形重叠在拍摄影像上，能够得到虚拟现实的合成影像。另外，由于在校正了拍摄影像的镜头失真的状态下与三维计算机图形进行合成，所以能够减少合成时的不协调感。进而，将失真的网格配置在三维虚拟空间中，将该网格的顶点变换为虚拟屏幕上的位置，将分割了拍摄装置的影像的影像片配置在对应的网格中，由此能够适当地校正镜头失真。另外，考虑了镜头失真的校正的透视投影在顶点坐标数据的阶段通过顶点着色器进行，然后通过用像素着色器配置拍摄影像的栅格数据来进行，因此仅进行一次栅格数据的变形处理即可。因此，与通过镜头失真的校正和透视投影单独地进行对拍摄影像的栅格数据进行变形的处理的情况相比，能够防止影像的画质劣化，并且能够实现处理的大幅高速化。
[0030] 图1是表示本发明的一实施方式的影像生成装置的整体结构的框图。
[0031] 图2是表示船舶所具备的各种设备的侧视图。
[0032] 图3是说明在影像生成装置中成为显示对象的附加显示信息的例子的概念图。
[0033] 图4说明在三维虚拟空间中配置虚拟现实对象而构建的三维场景数据、和配置在该三维虚拟空间中的投影屏幕的概念图。
[0034] 图5是表示照相机拍摄的拍摄影像的例子的图。
[0035] 图6是表示数据合成部输出的合成影像的图。
[0036] 图7是表示船舶从图4的状态向俯仰方向及侧倾方向摆动的情况的概念图。
[0037] 图8是表示图7的情况下的合成影像的图。
[0038] 图9是说明作为校正拍摄影像的镜头失真的处理的一例的二维网格变形的图。
[0039] 图10表示为了进行拍摄影像的镜头失真的校正和该拍摄影像和三维场景的透视投影而由数据合成部进行的处理的流程图。
[0040] 图11是说明在图4的状态下将虚拟现实对象和网格的顶点投影到虚拟屏幕上的例子的概念图。
[0041] 图12是方位刻度的显示例1。
[0042] 图13是方位刻度的显示例2。
具体实施方式
[0043] 接着，参照附图对本发明的实施方式进行说明。图1是表示本发明的一个实施方式的影像生成装置1的整体结构的框图。图2是表示船舶4所具备的各种设备的侧视图。
[0044] 图1所示的影像生成装置1搭载在例如图2所示的船舶(水上移动体)4，是用于以由照相机(拍摄装置)3所拍摄的影像为基础，生成以虚拟现实方式表现该船舶4的周围的情况的影像的装置。影像生成装置1生成的影像显示于显示器2。
[0045] 显示器2例如能够构成为在该船舶4(本船)上进行驾船的操作者参照的驾船辅助装置的显示器。其中，显示器2不限于此，例如，也可以是从本船4对周围的状况进行监视的驾船辅助者所携带的便携式计算机的显示器、用于乘客在本船4的客房中观看的显示器、或者乘船者佩戴的可穿戴眼镜等头戴式显示器的显示部。
[0046] 影像生成装置1通过将由设置于本船4的照相机3所拍摄的本船4的周围的影像与以虚拟现实方式表现本船4的周围的附加显示信息(后面详述)的图形进行合成，来生成作为向显示器2输出的影像的合成影像。
[0047] 接着，主要参照图1，对与影像生成装置1电连接的照相机3以及各种船舶设备进行说明。
[0048] 照相机3构成为对本船4的周围进行拍摄的广角型的视频照相机。该照相机3具有实时输出功能，能够实时地生成作为拍摄结果的动态图像数据(影像数据)并输出到影像生成装置1。如图2所示，照相机3以拍摄方向相对于船体成为水平前方的方式设置于船舶4。
[0049] 照相机3经由省略图示的旋转机构安装于船舶4，通过从影像生成装置1输入指示平移/倾斜动作的信号，能够将其拍摄方向以船舶4的船体为基准在规定的角度范围内变更。另外，本船4的高度及姿态因波浪等而发生各种变化，因此照相机3的高度及姿态(拍摄方向)也随之发生三维变化。
[0050] 本实施方式的影像生成装置1除了上述的照相机3之外，还与作为船舶设备的GNSS罗盘(方位传感器、姿态传感器)5、角速度传感器6、GNSS接收器7、加速度传感器8、AIS接收器9、ECDIS10、标绘器11、雷达装置12、以及声纳13等电连接。
[0051] GNSS罗盘5具备固定于本船4的多个GNSS天线(定位用天线)。GNSS罗盘5基于从定位卫星接收到的电波来计算各个GNSS天线的位置关系。特别地，本实施方式的GNSS罗盘5构成为基于各GNSS天线接收到的电波的载波相位的相位差来求出GNSS天线的位置关系(该处理是已知的，因此省略详细的说明)。由此，能够高精度地获取本船4的船首方位。
[0052] GNSS罗盘5能够三维地获取船舶4的姿态。换言之，GNSS罗盘5不仅能够检测船首方位(即，船舶4的偏航角)，还能够检测船舶4的侧倾角以及俯仰角。由GNSS罗盘5获取的本船4的姿态信息被输出到影像生成装置1的姿态获取部16和使用该姿态信息的其他船舶设备。
[0053] 角速度传感器6例如由已知的振动陀螺仪传感器构成，能够以比GNSS罗盘5的姿态检测间隔(例如，1秒)短的周期来检测船舶4的偏航角速度、侧倾角速度以及俯仰角速度。通过将GNSS罗盘5检测到的角度和角速度传感器6检测到的角速度的积分值一起使用，能够以比仅使用GNSS罗盘5的情况短的时间间隔获取船舶4的姿态。另外，角速度传感器6在来自上述的定位卫星的电波被例如桥等障碍物遮挡而导致GNSS罗盘5无法检测姿态的情况下，作为用于获取姿态信息的备用单元而发挥功能。
[0054] GNSS接收器7基于上述GNSS天线从定位卫星接收到的电波，求出本船4的位置(详细而言，GNSS天线的纬度、经度以及高度)。GNSS接收器7将获得的位置信息输出到影像生成装置1的位置获取部15和使用该位置信息的其他船舶设备。
[0055] 加速度传感器8例如构成为已知的静电电容检测型的传感器，能够以比GNSS接收器7的位置检测间隔(例如，1秒)短的周期检测船舶4的偏航轴、侧倾轴和俯仰轴上的加速度。通过将GNSS接收器7检测到的位置和加速度传感器8检测到的加速度的二重积分值并用，能够以比仅使用GNSS接收器7的情况短的时间间隔获取本船4的位置。另外，加速度传感器8在来自上述的定位卫星的电波被遮挡而导致GNSS接收器7无法检测位置的情况下，作为用于获取位置信息的备用单元发挥功能。
[0056] 在本实施方式中，如图2所示，角速度传感器6、GNSS接收器7以及加速度传感器8被内置于GNSS罗盘5中。其中，角速度传感器6、GNSS接收器7以及加速度传感器8中的全部或者一部分也可以独立于GNSS罗盘5设置。
[0057] AIS接收器9接收从其他船或基地台等发送的AIS信息。AIS信息中包含在本船4的周围航行的其他船的位置(纬度、经度)、该其他船的长度及宽度、该其他船的种类及识别信息、该其他船的船速、航向及目的地、以及地标的位置及识别信息等各种信息。
[0058] ECDIS10从GNSS接收器7获取本船4的位置信息，并且基于预先存储的电子海图信息，将本船4的周围的信息输出到影像生成装置1。
[0059] 标绘器11通过从GNSS接收器7持续获取本船4的位置，能够生成本船4的航行轨迹的信息。另外，标绘器11通过使用户设定多个航路点(本船4通过的预定的地点)，能够以依次连接这些航路点的方式生成预定航线。
[0060] 雷达装置12能够探测存在于本船4的周围的其他船等的物标。另外，该雷达装置12具有能够捕捉以及跟踪物标的已知的目标跟踪功能(TargetTracking、TT)，能够求出该物标的位置以及速度矢量(TT信息)。
[0062] 影像生成装置1与用户操作的键盘31以及鼠标32连接。用户通过操作键盘31以及鼠标32，能够进行与影像的生成相关的各种指示。该指示包括照相机3的平移/倾斜动作、各种信息的显示的有无的设定、与镜头失真的校正相关的设定、合成影像的视点的设定等。
[0063] 接着，主要参照图1对影像生成装置1的结构进行详细说明。
[0064] 如图1所示，影像生成装置1具备拍摄影像输入部21、位置获取部15、姿态获取部16、附加显示信息获取部17、存储部18、拍摄位置设定部25、天线位置设定部26、视点设定部
27、显示设定部28、失真校正设定部29、合成影像生成部20。
27、显示设定部28、失真校正设定部29、合成影像生成部20。
[0065] 具体而言，影像生成装置1作为已知的计算机而构成，虽未图示，但具备CPU、ROM、RAM以及HDD等。进而，影像生成装置1具备用于高速地进行后述的三维图像处理的GPU。并且，例如在HDD中存储有用于执行本发明的影像生成方法的软件。通过该硬件与软件的协作，使影像生成装置1作为拍摄影像输入部21、位置获取部15、姿态获取部16、附加显示信息获取部17、存储部18、拍摄位置设定部25、天线位置设定部26、视点设定部27、显示设定部28、失真校正设定部29和合成影像生成部20等发挥功能。
[0067] 位置获取部15基于GNSS接收器7以及加速度传感器8的检测结果，实时地获取本船4的当前的位置。
[0068] 姿态获取部16基于GNSS罗盘5以及角速度传感器6的检测结果实时地获取本船4的当前的姿态。
[0069] 附加显示信息获取部17基于AIS接收器9、ECDIS10、标绘器11、雷达装置12以及声纳13等输出至影像生成装置1的信息，获取对由照相机3所拍摄的影像附加地显示的信息(附加显示信息)。作为该附加显示信息，可以考虑各种信息，例如作为本船4的预定航线为如图3那样设定的路径线42的信息。需要说明的是，以下将描述附加显示信息的详细情况。
[0070] 图1的存储部18构成为存储各种信息的存储器。该存储部18能够将表现各种附加显示信息的虚拟现实对象的三维形状存储为模板。存储部18所存储的三维形状的模板例如可以是小型船、大型船、浮标、灯塔等，但并不限定于此。
[0071] 拍摄位置设定部25能够设定本船4中的照相机3的位置(拍摄位置)，具体而言能够设定在船的长度方向以及宽度方向上的照相机3的位置和在上下方向上的照相机的位置(照相机3的高度)。照相机3的高度可以设为本船4中通常设想的距离吃水线的高度，但并不限定于此，例如也可以设为距离船底的高度。例如，用户可以操作键盘31和鼠标32等输入实际测量照相机3的位置的结果来设定该拍摄位置。
[0072] 天线位置设定部26能够设定本船4中的GNSS天线的位置(天线位置)。作为控制的基准，如图2所示，该天线位置例如可以是以设定于本船4的基准点4a为基准的船的长度方向、宽度方向、以及上下方向上的位置。该基准点4a可以以各种方式确定，但在本实施方式中，确定为在本船4的船体的中央且与通常设想的吃水线高度相同的位置。与上述的拍摄位置相同，例如能够通过输入实际的测量值来设定天线位置。
[0073] 图1的视点设定部27可以通过用户操作例如键盘31以及鼠标32来设定由后述的合成影像生成部20生成的影像的视点。
[0074] 显示设定部28能够设定由后述的合成影像生成部20生成的影像中的附加显示信息的显示的有无。这些设定能够通过用户操作例如键盘31以及鼠标32来进行。
[0075] 失真校正设定部29为了校正在由照相机3拍摄的影像中产生的镜头失真，能够设定通过软件处理使从拍摄影像输入部21输入的影像变形的方向、以及变形程度的强弱。由此，能够对应于在影像中产生的镜头失真根据照相机3(换言之，照相机3所使用的镜头)而各异的情况来适当地进行校正。与该失真校正相关的设定能够通过用户操作例如键盘31以及鼠标32来进行。
[0076] 位置获取部15、姿态获取部16、附加显示信息获取部17、存储部18、拍摄位置设定部25、天线位置设定部26、视点设定部27、显示设定部28和失真校正设定部29将获取、存储或设定的信息输出到合成影像生成部20。
[0077] 合成影像生成部20将三维计算机图形与输入到拍摄影像输入部21的照相机3的拍摄影像合成，由此生成表现增强现实的影像。该合成影像生成部20具备三维场景生成部22和数据合成部23。
[0078] 如图4所示，三维场景生成部22通过将与附加显示信息对应的虚拟现实对象41v、42v、…配置在三维虚拟空间40中，从而构建虚拟现实的三维场景。由此，生成作为三维场景的数据的三维场景数据(三维显示用数据)48。需要说明的是，后面将描述三维场景的详细情况。
[0079] 图1的数据合成部23通过描绘三维场景生成部22生成的三维场景数据48来生成三维地表现附加显示信息的图形，并且进行输出图6所示的合成影像、即将该图形41f、42f、…和照相机3的拍摄影像合成而得到的影像的处理。如图6所示，在该合成图像中，在由照相机3所拍摄的影像(图中为了便于说明而以虚线表示)的海面上，以载置表示附加显示信息的图形41f、42f、…的方式重叠。数据合成部23将所生成的合成影像输出到显示器2。需要说明的是，图形的生成处理以及数据合成处理的详细内容将在后面描述。
[0080] 接着，对由上述附加显示信息获取部17获取的附加显示信息进行详细说明。图3是说明在影像生成装置1中成为显示对象的附加显示信息的例子的概念图。
[0081] 附加显示信息是对由照相机3所拍摄的影像附加地显示的信息，可以根据与影像生成装置1连接的船舶设备的目的及功能想到各种信息。例如，关于AIS接收器9，可以将接收到的上述AIS信息(例如，其他船的位置和朝向、浮标的位置、虚拟浮标的位置等)作为附加显示信息。关于ECDIS10，可以将电子海图中包含的危险海域、航海禁止区域、灯台、浮标等的位置作为附加显示信息。关于标绘器11，可以将所记录的本船4的轨迹、所设定的预定航线、航路点、到达区域、停靠区域的位置等作为附加显示信息。关于雷达装置12，可以将探测到的物标的位置以及速度等作为附加显示信息。关于声纳13，可以将探测到的鱼群的位置作为附加显示信息。这些信息从船舶设备实时地输入到影像生成装置1。附加显示信息获取部17对输入的各个附加显示信息赋予用于唯一地确定并管理该附加显示信息的识别信息(例如，识别编号)。
[0082] 图3中示出了位于本船4的周围的附加显示信息的例子。在图3中，在海面上(水面上)确定表示目的地的航路点41、41、和表示到目的地为止的预定航线的折线状的路径线42。另外，在路径线42的附近确定多边形状(矩形状)的停靠区域43。航路点41、路径线42以及停靠区域43通过用户预先适当地操作标绘器11并指定各地点的位置来设定。
[0083] 另外，在图3的例子中，在稍稍远离本船4的前方的地点，其他船44正在向本船4的右方航行中，在本船4的左斜前方附近存在虚拟浮标45，这是通过AIS接收器9所获取的AIS信息检测到的。需要说明的是，虚拟浮标是指由于设置困难等情况而实际上未设置在海上，但在导航装置的画面上作为标识而显示的虚拟的(没有实体)浮标。
[0084] 各个附加显示信息中至少包含表示配置有该附加显示信息的海面(水面)上的一个或多个地点的位置(纬度以及经度)的信息。例如，在表示路径线42的附加显示信息中包含成为折线的弯曲部的两处地点的位置的信息(弯曲部的地点的位置与航路点41的位置一致)。在停靠区域43的附加显示信息中包含成为多边形的顶点的各个地点的位置的信息。另外，表示其他船44的附加显示信息中包含表示该其他船44的位置、船首方位、船的长度、宽度等的信息。
[0085] 接着，参照图4对三维场景生成部22的三维场景的构建以及基于数据合成部23的影像的合成进行详细说明。图4是说明在三维虚拟空间40中配置虚拟现实对象41v、42v、…而生成的三维场景数据48和配置于该三维虚拟空间40的投影屏幕51的概念图。
[0086] 如图4所示，由三维场景生成部22配置虚拟现实对象41v、42v、…的三维虚拟空间40由以本船4的适当的基准位置(例如，上述基准点4a)为原点的正交坐标系构成，作为水平的面的xz平面被设定为模拟海面(水面)。在图4的例子中，坐标轴设定为+z方向总是与船首方位一致，+x方向为右方向，+y方向为上方向。该三维虚拟空间40内的各地点(坐标)被设定为与本船4的周围的现实的位置对应。
[0087] 在图4中，为了表现图3所示的本船4的周围的状况，示出了将虚拟现实对象41v、42v、43v、44v、45v配置在三维虚拟空间40内的例子。各虚拟现实对象41v、42v、43v、44v、45v都表现为多边形的集合，被配置为以本船4的船首方位为基准，以反映该船首方位所表示的附加显示信息相对于本船4的相对位置的方式与xz平面相接。在确定配置这些虚拟现实对象41v、42v、…的位置时，进行使用由图1所示的天线位置设定部26设定的GNSS天线的位置的计算。
[0088] 表示其他船44的虚拟现实对象44v具有船舶的形状，利用预先存储于存储部18的大型船的模型的模板来表现。另外，该模型的朝向以表示由AIS信息获取的其他船44的朝向的方式配置。
[0089] 与其他船44的虚拟现实对象44v同样地，表示虚拟浮标45的虚拟现实对象45v也利用预先存储在存储部18中的浮标的模型的模板来表现。
[0090] 航路点41的虚拟现实对象41v由薄的圆板状的三维形状表现。路径线42的虚拟现实对象42v由使具有一定的厚度和宽度的细长的板弯曲成折线状的三维形状来表现。停靠区域43的虚拟现实对象43v由具有停靠区域43的轮廓的一定厚度的板那样的三维形状来表现。关于这些虚拟现实对象41v、42v、43v，不使用模型的模板而每次根据情况创建三维形状。
[0091] 如上所述，三维场景生成部22生成三维场景数据48。在图4的例子中，虚拟现实对象41v、42v、…以本船4的位置为原点的方位基准配置，因此，如果本船4的位置(东西方向和南北方向上的位置)从图3的状态变化，或者由于转头等而船首方位变化，则构建将该虚拟现实对象41v、42v、…重新配置的新的三维场景，并更新三维场景数据48。另外，如果例如其他船44从图3的状态发生移动等而变更了附加显示信息的内容，则更新三维场景数据48以反映最新的附加显示信息。
[0092] 然后，数据合成部23在三维虚拟空间40中配置确定投影照相机3的拍摄影像的位置及范围的投影屏幕51。另外，数据合成部23制作用于对在照相机3的拍摄影像中产生的镜头失真进行校正的、对投影屏幕51进行分割的网格52。该网格52沿着投影屏幕51配置。通过设定后述的视点照相机55的位置和朝向，使得该投影屏幕51和虚拟现实对象41v、42v、…两者都包含在视野中，从而能够实现影像的合成。
[0093] 数据合成部23在三维虚拟空间40中模拟搭载在本船4的照相机3的位置和朝向，并且将投影屏幕51配置成与该照相机3正对。关于照相机3的位置的模拟，以船体为基准的照相机3的位置可以基于图1所示的拍摄位置设定部25的设定值而得到。
[0094] 在模拟照相机3的位置和朝向时，考虑由上述的照相机3的平移/倾斜动作引起的朝向的变化。进而，基于位置获取部15以及姿态获取部16获取的位置信息以及姿态信息，进行该模拟，以反映本船4的姿态的变化以及高度的变化导致的照相机3的位置和朝向的变动。数据合成部23与照相机3的位置和朝向的变化连动，使配置在三维虚拟空间40中的投影屏幕51的位置和朝向变化。
[0095] 并且，数据合成部23对三维场景数据48和投影屏幕51执行已知的渲染处理，以生成二维图像。更具体而言，数据合成部23在三维虚拟空间40中配置作为虚拟照相机的视点照相机55，以该视点照相机55为顶点，其视线方向为中心轴的方式定义确定作为渲染处理对象的范围的视锥台56。接着，数据合成部23通过透视投影，将构成各对象(虚拟现实对象41v、42v、…以及投影屏幕51)的多边形中的、位于该视锥台56的内部的多边形的顶点坐标变换为相当于显示器2中的合成影像的显示区域(换言之，透视投影面)的二维的虚拟屏幕的坐标。然后，基于配置在该虚拟屏幕上的顶点，以规定的分辨率进行像素的生成·加工处理，由此生成二维的图像。
[0096] 在这样生成的二维图像中，包含通过进行三维场景数据48的描绘而得到的图形(换言之，作为虚拟现实对象41v、42v、…的渲染结果的图形)。另外，在二维图像的生成过程中，在相当于投影屏幕51的位置，以粘贴照相机3的拍摄影像的方式进行配置。由此，实现基于数据合成部23的影像的合成。
[0097] 投影屏幕51成为以沿着以照相机3为中心的球壳的方式弯曲的形状，因此在将视点照相机55的位置以及朝向配置为与照相机3一致的情况下，能够防止透视投影引起的拍摄影像的失真。另外，拍摄影像以仿佛在纵横方向上被细致分割的各个(影像片)按照投影到上述的虚拟屏幕上的网格52而变形的同时配置在投影屏幕51上的方式进行描绘。由此，通过适当地设定网格52的形状，能够适当地校正拍摄影像中产生的上述镜头失真。另外，该处理的详细内容将在后面叙述。
[0098] 视点照相机55确定合成影像的视点，其位置和朝向由上述的视点设定部27的设定而确定。但是，通过在视点设定部27中特别设定，数据合成部23作为生成合成影像时的模式，可以设置自动变化的模式(视点跟踪模式)，使得视点照相机55的位置和朝向始终与照相机3的位置和朝向一致。在该视点追踪模式中，视点照相机55的整个视野始终被投影屏幕51(即，照相机3的拍摄影像)覆盖，因此能够实现具有临场感的合成影像。
[0099] 另一方面，数据合成部23也能够设为视点照相机55的位置和朝向与照相机3的位置和朝向无关地通过适当的输入装置的操作而追随视点设定部27所设定的视点的模式(独立视点模式)。作为该输入装置，例如可以考虑设为键盘31、鼠标32、未图示的触摸面板、操纵杆等。在该独立视点模式中，用户能够自由地移动视点，确认位于偏离照相机3的拍摄视野的位置的附加显示信息。
[0100] 接着，参照例子对由照相机3所拍摄的影像与合成影像的关系进行说明。图5是表示照相机3的拍摄影像的例子的图。图6是表示数据合成部23输出的合成影像的图。
[0101] 在图5中示出了在图3所示的状况下，本船4的照相机3拍摄到的影像的例子。在该拍摄影像中拍摄有漂浮在海面上的其他船44r。另外，在影像的下部中央拍摄有本船4的船首部分。
[0102] 另外，在照相机3的拍摄影像中，由于广角型的镜头的影响，如图5中虚线所示，产生上下左右的边缘的中央部向外侧膨胀那样的失真(桶型镜头失真)。
[0103] 虚拟浮标45如上所述是虚拟的，因此如图5所示，不会被照相机3拍摄到。由于航路点41、路径线42以及停靠区域43也是通过由标绘器11进行的设定而制成的，因此不会出现在照相机3拍摄的拍摄影像中。
[0104] 并且，在图6中示出对于图5所示的拍摄影像按照上述的网格52进行镜头失真的校正，并且合成渲染图4的三维场景数据48的上述二维图像而得到的结果。其中，在图6中，为了便于与除此以外的部分相区别，用虚线表示照相机3的拍摄影像出现的部分(这在表示合成影像的其他图中也相同)。在图6的合成影像中，表现附加显示信息的图形41f、42f、43f、44f和45f以与该拍摄影像重叠的方式配置。表示其他船的图形44f以与拍摄影像中的其他船44r的位置大致重叠的方式配置。
[0105] 上述的图形41f、42f、…生成构成图4所示的三维场景数据48的虚拟现实对象41v、42v、…的三维形状，作为在与照相机3相同的位置和朝向的视点上描绘的结果。因此，即使在照相机3拍摄的写实影像与图形41f、42f、…重叠的情况下，也几乎不会产生视觉上的不协调感。
[0106] 如图6所示，以虚拟现实方式表现附加显示信息的图形41f、42f、…被配置在合成影像上，使得它们好像被放置在拍摄影像的海面上。这是通过以下方式实现的：将图4所示的虚拟现实对象41v、42v、…配置成与xz平面相接，并且考虑照相机3的位置以及朝向来正确地配置投影屏幕51的位置，其中，该xz平面相对于照相机3隔开距离位于下方，该距离是根据由拍摄位置设定部25(参照图1)设定的高度计算出的距离。
[0107] 接着，对伴随本船4的摇晃的合成影像的变化进行说明。图7是表示船舶4从图4的状态向俯仰方向及侧倾方向摇晃的情况的概念图。图8是表示图7的情况下的合成影像的图。
[0108] 如上所述，照相机3安装于本船4，因此其位置以及朝向随着本船4的姿态因波浪等而倾斜的情况或者本船4在波浪上的情况而变化。在本实施方式中，数据合成部23在本船4产生摇晃(俯仰、横摇以及颠簸)的情况下，变更三维虚拟空间40中的照相机3的位置和朝向，并随之变更投影屏幕51的位置，以模拟姿态获取部16获取的本船4的姿态的变化、以及位置获取部15获取的本船4的位置的上下方向的变化。
[0109] 在图7中示出了本船4的姿态从图4的状态向俯仰方向及侧倾方向变化时的情形。在图7的例子中，本船4以向前下降且向左下降的方式倾斜，照相机3的位置和朝向发生变化，以反映该倾斜。与此连动，投影屏幕51移动，以与这样的位置和朝向发生了变化的照相机3正对。
[0110] 在图7的示例中，通过上述的视点跟踪模式，视点照相机55的位置和朝向也变化，以跟踪如上所述改变了位置和朝向的照相机3。图8示出了与图7相对应的合成影像的示例，如该图所示，即使照相机3的位置和朝向随着本船4的摇晃而不同，投影屏幕51的位置和朝向也与之连动变化，并且渲染三维场景的视点照相机55的位置和朝向也改变，因此，能够持续地获得没有不协调感的合成影像。
[0111] 在视点跟踪模式中，每当俯仰角或侧倾角因本船4的摇晃而变化规定值以上时，更新数据合成部23的三维场景数据48的描绘，生成基于最新的视点的图形41f、42f、…。因此，对于出现海面的、朝向因本船4的摇晃而变化的照相机3的拍摄影像，能够使图形41f、42f、…的显示适当地变化，以维持放置在该海面上的状态。
[0112] 由此，能够获得虚拟的物体好像浮在海面上的自然且真实感强的增强现实的影像。另外，用户通过观看在显示器2上映出的海面，表示虚拟现实的图形41f、42f、…网罗性地进入视野，因此能够不遗漏地得到必要的信息。
[0113] 接着，具体说明用于上述的数据合成部23高效地进行拍摄影像的镜头失真的校正和对描绘了虚拟现实对象41v、42v、…的图形41f、42f、…的拍摄影像的合成的处理。图9是说明用于校正拍摄影像的镜头失真的平面状的网格52p的图。图10是表示为了进行拍摄影像的镜头失真的校正和该拍摄影像以及三维场景的透视投影而由数据合成部23进行的处理的流程图。图11是说明以将配置在三维空间中的虚拟现实对象41v、42v、…以及网格52的顶点投影到虚拟屏幕上的方式进行坐标转换的处理的概念图。
[0114] 在图5的例子中，如上所述，在照相机3所拍摄的影像中产生桶形的镜头失真。另一方面，与该拍摄影像合成的图形41f、42f、…是基于几何学的计算描绘三维的虚拟现实对象41v、42v、…而生成的，因此在原理上不产生失真等。因此，假设在单纯地合成两者的情况下，成为不自然的影像，用户有可能感到不协调。
[0115] 通常，拍摄影像的镜头失真通过使拍摄影像以沿着图9所示那样的二维平面上的网格52p拉伸或收缩的方式变形，能够进行校正(网格变形)。该网格52p能够通过使矩形矩阵状的网格向与拍摄影像中产生的镜头失真相反的方向失真来制作。如图5所示，在拍摄影像中产生桶形的镜头失真的情况下，对其进行校正的网格52p如图9所示成为线轴形。
[0116] 因此，原理上，预先通过上述的网格52p对拍摄影像的镜头失真进行二维校正，将校正后的拍摄影像配置在图4的三维虚拟空间40中，并将其按照视点照相机55透视投影到虚拟屏幕上，由此能够得到图6的合成影像。
[0117] 然而，照相机3的拍摄影像构成为将像素排列为二维矩阵而成的栅格数据。因此，假设为了校正镜头失真(通过图9的网格52p)使影像变形，进而为了透视投影而使影像变形，则由于反复进行变形，拍摄影像的画质有可能大幅降低，另外，需要较多的处理时间。
[0118] 为了解决该课题，本实施方式的数据合成部23通过如下处理来生成合成影像。以下，参照图10的流程图进行详细说明。
[0119] 在图10的步骤S101中，数据合成部23在通过三维场景生成部22如图4所示那样配置了虚拟现实对象41v、42v、…(换言之，构筑了三维场景数据48)的三维虚拟空间40中，基于照相机3的位置以及朝向的模拟结果，沿着球壳配置弯曲形状的投影屏幕51。此时，数据合成部23以沿着投影屏幕51的方式生成用于对拍摄影像的镜头失真进行校正的网格52。该网格52与虚拟现实对象41v、42v、…同样地表现为三维形状(多边形的集合)。
[0120] 在该步骤S101中，数据合成部23生成的图4的网格52与图9的平面网格52p不同，与投影屏幕51的形状对应地形成为球壳状。即，该网格52相当于使图9的平面网格52p以沿着球壳的方式弯曲而成的。三维线轴形的网格52的失真的强度能够通过前述的失真校正设定部29适当地设定。另外，在步骤S101的阶段，网格52只是作为拍摄影像的占位图发挥功能，在该阶段不会实际粘贴拍摄影像的栅格数据。
[0121] 接着，在图10的步骤S102中，数据合成部23在三维虚拟空间40中确定视点照相机55以及视锥台56的基础上，进行将三维虚拟空间40中的虚拟现实对象41v、42v、…的顶点的坐标、以及网格52的顶点的坐标通过透视投影转换为二维的虚拟屏幕中的坐标的射影变换。该坐标变换使用GPU进行三维图像处理的一系列的处理程序(已知的渲染管线)中的顶点着色器所具有的坐标变换功能来实现。在图11中，示出了将图4所示的三维场景数据48(虚拟现实对象41v、42v、…)以及网格52的顶点投影到以左上角为原点、由横轴为xs轴、纵轴为ys轴构成的二维的虚拟屏幕上的例子。
[0122] 接着，在图10的步骤S103中，数据合成部23基于转换为二维的虚拟屏幕上的坐标的顶点的位置，生成与虚拟现实对象41v、42v、…对应的像素数据和与网格52对应的像素数据。该功能是利用上述的渲染管线中的栅格化的功能来实现的。
[0123] 此时，描绘虚拟现实对象41v、42v、…的像素的颜色依照多边形的顶点分别具有的信息所包含的颜色的信息。因此，上述的三维场景生成部22针对配置于图4的三维场景数据48的虚拟现实对象41v、42v、…中的每一个，通过对多边形的顶点设定适当的颜色，能够将所显示的图形41f、42f、…的颜色进行各种改变。在本实施方式中，对于表示其他船44的图形44f，进行根据与配置本船4的地点的距离而使显示颜色不同的处理。具体而言，在其他船
44处于远离本船4的位置时，以绿色显示图形44f，在处于接近的位置时，以红色显示图形
44f。由此，能够根据状况适当地唤起用户的注意。
44处于远离本船4的位置时，以绿色显示图形44f，在处于接近的位置时，以红色显示图形
44f。由此，能够根据状况适当地唤起用户的注意。
[0124] 之后，在步骤S104中，数据合成部23将照相机3的拍摄影像分割成矩形矩阵状，并且将得到的影像片配置在二维的虚拟屏幕(图11)中的对应的网格52的像素中。在本实施方式中，该处理利用上述的渲染管线中的像素着色器的功能(具体而言，纹理的粘贴功能)来实现。由此，能够得到图6所示的合成影像。
[0125] 通过以上，在多边形的顶点的阶段(用像素表现前的阶段)对网格52进行用于镜头失真的校正的变形处理、以及基于透视投影的变形处理，之后按照网格52配置照相机3的拍摄影像。由此，仅通过栅格图像的一次变形，就能够得到校正了镜头失真且进行透视投影后的拍摄影像。其结果，能够有效地防止合成影像中的拍摄影像的部分画质降低。另外，由于能够大幅减轻像素着色器的负荷，因此即使在如本实施方式那样以高帧率(每秒30帧)输入拍摄影像的情况下，也能够容易地使处理及时响应。其结果是，能够防止掉帧，因此能够得到拍摄影像的部分运动平滑的高品质的合成影像。
[0126] 如以上说明的那样，本实施方式的影像生成装置1具备拍摄影像输入部21、位置获取部15、姿态获取部16、附加显示信息获取部17、合成影像生成部20。拍摄影像输入部21输入设置于船舶(本船)4的照相机3拍摄到的拍摄影像。位置获取部15获取表示本船4的位置的位置信息。姿态获取部16获取表示本船4的姿态的姿态信息。附加显示信息获取部17获取包含表示一个或多个地点的位置的信息的附加显示信息。合成影像生成部20基于上述位置信息和上述姿态信息，在三维虚拟空间40中配置视点照相机55，在该三维虚拟空间40中，配置上述附加显示信息的至少一部分作为三维的虚拟现实对象41v、42v、…，并且配置虚拟的投影屏幕51，制作分割投影屏幕51且向与照相机3的拍摄影像中产生的镜头失真相反的方向失真的网格52。合成影像生成部20基于视点照相机55的位置以及朝向，通过顶点着色器将虚拟现实对象41v、42v、…的顶点以及网格52的顶点变换到作为透视投影面的二维的虚拟屏幕上的位置。另外，合成影像生成部20基于所述虚拟屏幕上的各顶点的位置，将分割了照相机3的拍摄影像而得到的影像片通过像素着色器配置于对应的所述网格。由此，合成影像生成部20生成将描绘了虚拟现实对象41v、42v、…的图形41f、42f、…与上述拍摄影像合成而得到的合成影像。
[0127] 另外，在本实施方式中，通过以下所示的方法进行影像的生成。即，输入设置于船舶(本船)4的照相机3拍摄到的拍摄影像，获取表示本船4的位置的位置信息，获取表示本船4的姿态的姿态信息，获取包含表示1个或多个地点的位置的信息的附加显示信息。基于所述位置信息及所述姿态信息，在三维虚拟空间40中配置视点照相机55，在该三维虚拟空间
40中配置上述附加显示信息的至少一部分作为三维的虚拟现实对象41v、42v、…，并且配置虚拟的投影屏幕51，制作分割上述投影屏幕51并向与照相机3的拍摄影像中产生的镜头失真相反的方向失真的网格52，基于视点照相机55的位置和朝向，通过顶点着色器，将虚拟现实对象41v、42v、…的顶点以及网格52的顶点变换到作为透视投影面的二维的虚拟屏幕上的位置，基于该虚拟屏幕中的各顶点的位置，通过将分割了照相机3的拍摄影像而得到的影像片通过像素着色器配置在对应的网格52中，生成将描绘了虚拟现实对象41v、42v、…的图形41f、42f、…与上述拍摄影像合成而得到的合成影像。
40中配置上述附加显示信息的至少一部分作为三维的虚拟现实对象41v、42v、…，并且配置虚拟的投影屏幕51，制作分割上述投影屏幕51并向与照相机3的拍摄影像中产生的镜头失真相反的方向失真的网格52，基于视点照相机55的位置和朝向，通过顶点着色器，将虚拟现实对象41v、42v、…的顶点以及网格52的顶点变换到作为透视投影面的二维的虚拟屏幕上的位置，基于该虚拟屏幕中的各顶点的位置，通过将分割了照相机3的拍摄影像而得到的影像片通过像素着色器配置在对应的网格52中，生成将描绘了虚拟现实对象41v、42v、…的图形41f、42f、…与上述拍摄影像合成而得到的合成影像。
[0128] 由此，基于本船4的位置和姿态，通过将由三维计算机图形表现附加显示信息的位置等的图形41f、42f、…与照相机3的拍摄影像重叠，能够得到如图6以及图8那样的虚拟现实的合成影像。另外，由于在对拍摄影像校正了如图5所示产生的镜头失真的状态下与三维计算机图形进行合成，因此能够减少合成时的不协调感。进而，通过将用于校正镜头失真的网格52配置在三维虚拟空间40中，将该网格52的顶点变换到虚拟屏幕上的位置，将分割了照相机3的拍摄影像而得到的影像片配置在对应的网格52中，能够适当地校正镜头失真。另外，考虑了镜头失真的校正的透视投影在顶点坐标数据的阶段通过顶点着色器来进行，然后通过用像素着色器配置拍摄影像的栅格数据来进行，因此仅进行一次栅格数据的变形处理即可。因此，与通过镜头失真的校正和透视投影单独地进行对拍摄影像的栅格数据进行变形的处理的情况相比，能够防止影像的画质劣化，并且能够实现处理的大幅高速化。
[0129] 另外，本实施方式的影像生成装置1能够在上述的视点追随模式、即视点照相机55的位置和朝向始终与照相机3的位置和朝向一致的方式自动地变化的模式下进行动作。在该视点追踪模式中，合成影像生成部20在姿态获取部16所获取的姿态信息发生了变化的情况下，使三维虚拟空间40中的投影屏幕51及视点照相机55的位置和朝向以与模拟的照相机3的位置和朝向的变化对应的方式移动。
[0130] 由此，在本船4因波浪等而晃动、照相机3的位置等发生了变化的情况下，通过与之相应地使视点照相机55以及投影屏幕51移动，能够以简单的处理将三维计算机图形(图形41f、42f、…)的显示更新为与拍摄影像的变化相匹配。另外，通过视点照相机55与投影屏幕
51相互连动，例如也能够容易地进行在合成影像中始终出现拍摄影像的处理。
51相互连动，例如也能够容易地进行在合成影像中始终出现拍摄影像的处理。
[0131] 另外，本实施方式的影像生成装置1构成为能够变更所制作的网格52的失真的方向和失真量中的至少一个。
[0132] 由此，能够调整校正镜头失真的朝向和强度，因此能够对应宽幅的照相机3(例如，镜头的画角不同的照相机)。
[0133] 另外，在本实施方式的影像生成装置1中，如图4所示，网格52在三维虚拟空间40中配置为弯曲状。
[0134] 由此，能够使合成影像中拍摄影像呈现为自然的外观。
[0135] 另外，在本实施方式的影像生成装置1中，附加显示信息中可以设为其他船舶、地标、预定航线、航路轨迹、航路点、停靠点、目的地、鱼群被探测到的海域、危险海域、航海禁止区域、浮标和虚拟浮标中的至少一个。
[0136] 由此，能够包含位置关系在内以易于直观地掌握的方式显示对用户有益的信息。
[0137] 另外，本实施方式的影像生成装置1根据附加显示信息所表示的地点与本船4之间的距离，使与该附加显示信息对应地显示的图形41f、42f、…的颜色不同。
[0138] 由此，例如，在其他船44在附近的情况下，通过以比其他更显眼的颜色显示表示该其他船44的附加显示信息的图形44f，由此用户能够适当地理解状况。
[0139] 另外，本实施方式的影像生成装置1向设置于船舶4的显示器2输出合成影像，除此之外，也能够构成为还向便携式计算机、头戴式显示器等输出合成影像。
[0140] 由此，能够有效地利用合成影像。
[0141] 以上，对本发明的优选的实施方式进行了说明，但上述结构例如能够如以下那样进行变更。
[0142] 根据照相机3的不同，有时不是如图5所示的桶型的镜头失真，而是产生线轴形的镜头失真。在该情况下，通过使用桶形失真情况下的网格作为网格52，能够适当地校正镜头失真。
[0143] 由失真校正设定部29进行的网格52的失真的设定功能除了使用例如对话框来设定该失真的方向以及强度之外，例如还能够将网格52的网眼显示于显示器2，通过用鼠标32拖动网眼来直观地设定。
[0144] 在照相机3中，也可以构成为省略上述平移/倾斜功能，例如将拍摄方向固定为前方。另外，照相机3也可以配置为拍摄前方以外的方向(例如后方)。
[0145] 在用户进行了变更视点照相机55的朝向的操作时，也可以以追随该操作的方式自动进行照相机3的平移/倾斜动作。
[0146] 作为照相机3，也可以使用具备朝向互不相同的方向的多个镜头和与各个镜头对应的拍摄元件，并且将多个拍摄元件的拍摄结果连起来而进行实时输出的结构的照相机。在该情况下，通过将连接有与多个镜头各自对应的网格的物体配置在三维虚拟空间40中，能够校正镜头失真。
[0147] 作为照相机3，也可以使用能够在360度全方位上同时拍摄本船4的周围的结构的照相机。
[0148] 例如，表示其他船44的图形44f在合成影像中显示的颜色的变更也可以通过变更粘贴于虚拟现实对象44v的纹理图像的颜色来实现，来代替变更虚拟现实对象44v的多边形的顶点设定的颜色。
[0149] 在三维场景生成部22生成三维场景数据48时，在上述的实施方式中，如在图4中说明的那样，虚拟现实对象41v、42v、…以本船4的位置为原点的船首基准配置。但是，也可以不是以船首基准，而是以+z方向始终为正北的正北基准来配置虚拟现实对象41v、42v、…。在该情况下，当本船4的船首方位因转头等而变化时，代替重新配置虚拟现实对象41v、
42v、…，而使三维虚拟空间40中的本船4的方向变化为偏航方向。并且，通过在三维虚拟空间40中模拟此时的照相机3的位置和朝向的变化，并且与此连动地变更视点照相机55的位置和朝向来进行渲染，能够得到与上述的船首基准的情况完全相同的渲染结果。
42v、…，而使三维虚拟空间40中的本船4的方向变化为偏航方向。并且，通过在三维虚拟空间40中模拟此时的照相机3的位置和朝向的变化，并且与此连动地变更视点照相机55的位置和朝向来进行渲染，能够得到与上述的船首基准的情况完全相同的渲染结果。
[0150] 另外，三维虚拟空间40的坐标系也可以代替以本船4的位置为原点，而以在地球上适当确定的固定点为原点，例如确定为+z方向为正北、+x方向为正东。在该情况下，在固定于地球的坐标系的三维虚拟空间40中，根据位置信息以及姿态信息，改变本船4配置的位置以及朝向，并在三维虚拟空间40中模拟与此相伴的照相机3的位置以及朝向的变化。
[0151] 在影像生成装置1中，也可以进行减轻伴随本船4的摇晃的合成影像的摇晃的处理。例如，考虑在三维场景生成部22中，即使本船4摇晃也能够抑制视点照相机55的位置和朝向的变动。
[0152] 与影像生成装置1连接的船舶设备(附加显示信息的信息源)不限于图1中说明的，也可以包含其他船舶设备。
[0153] 本发明不限于在海上航行的船舶，例如可以适用于能够在海、湖、或者河川等航行的任意的水上移动体。
[0154] 如上所述，在拍摄装置拍摄的影像上重叠显示图形等时，如图12和图13所示，通过同时显示表示方位的刻度图像等那样的附加信息91a、91b，能够有效地利用有限的显示区域。此时，也可以构成为，附加信息的位置自动地变更或移动，以使该图形尽可能不被附加信息遮住。另外，也可以设为根据船体的倾斜而使附加信息91a、91b倾斜的显示。通过进行这样的显示，即使在船体倾斜的状况下也能够始终目视确认正确的附加信息。
[0155] 附图标记说明
[0156] 1 影像生成装置
[0157] 15 位置获取部
[0158] 16 姿态获取部
[0159] 17 附加显示信息获取部
[0160] 20 合成影像生成部
[0161] 41v、42v、…虚拟现实对象
[0162] 41f、42f、…图形
[0163] 51 投影屏幕
[0164] 52 网格。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种多目全景相机全景防抖方法及系统 | 2020-05-12 | 154 |
| 一种对象显示方法、装置、终端及存储介质 | 2020-05-13 | 521 |
| 感光设备及其驱动方法 | 2020-05-14 | 253 |
| 一种地图绘制方法及装置 | 2020-05-11 | 539 |
| 基于GPU的全液晶仪表虚拟指针样式绘制方法 | 2020-05-12 | 646 |
| 顾及线宽一致性的矢量地图线符号燕尾形箭头绘制方法 | 2020-05-08 | 414 |
| 一种自动输出网格资源三角形合适度的方法和系统 | 2020-05-13 | 930 |
| 用于分析图像的方法和装置 | 2020-05-12 | 120 |
| 一种移动Web实时视频帧分割方法及系统 | 2020-05-13 | 754 |
| 水波纹图像的生成方法、装置、设备及存储介质 | 2020-05-12 | 779 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
像素着色器热门专利
QQ群二维码
意见反馈
意见反馈