利用天花板移动式透明显示器的船舶用增强现实系统及其实
现方法
技术领域
背景技术
[0002] 增强现实(Augmented Reality)是指将使用者亲眼所见的现实世界和具有附加信息的虚拟世界
叠加产生的新环境。融合现实环境和
虚拟环境的增强现实系统是自从1990年后半期以美国、日本为中心展开了研究开发。将现实世界以虚拟世界补充概念的增强现实虽然是使用以计算机图形生成的虚拟环境，但主要的还是现实环境。计算机图形是起对现实环境附加提供必要信息的作用。
[0003] 另外，用于同时显示现实环境和虚拟环境的透明显示装置基于最新显示技术的发展也出现了利用透明
电子元件的透明显示装置。透明显示装置是在透明玻璃或透明塑胶上
层压透明
电极、透明
半导体及透明绝缘体等来实现。发光面是由
有机发光二极管(OLED : Organic Light Emitting Diode)、
发光二极管(LED :Light Emitting Diode)或
液晶(LCD :Liquid Crystal Display)等形成。
[0004] 关于船舶航行系统的
现有技术如韩国
专利申请第10-2007-0037443号“根据含有波浪信息的ECDIS安全运行船舶的方法”的掲示，通过雷达正确地测量波浪信息，将这种信息通过ECDIS显示并同时相互分享，提供通过波浪信息和ECDIS信息可以提高船舶运行安全性的根据含有波浪信息的ECDIS安全运行船舶的方法。
[0005] 然而，单靠这种用于提高船舶运行安全性的电子海图显示系统(ECDIS)总是有限制，所以同时显示关于现实环境的多种信息及船舶运行所需的虚拟信息，在急迫时刻帮助船长的判断
力，以确保船舶的安全性、扩大船舶运行的效率性和正确性，需要适用增强现实系统。
发明内容
[0006] 发明需要解决的技术课题
[0007] 本发明涉及用于解决这种现有技术问题的利用天花板移动式透明显示器的船舶用增强现实系统及增强现实的实现方法，其目的是通过使用者所看到的船舶外部背景和物体上用虚拟环境叠加相关这些的信息，使得能一眼看到航行所需的信息，凭直觉判断复杂多样的航海信息，以确保船舶运行的
稳定性，事先防止意外的航行事故。
[0008] 解决课题的技术方案
[0009] 为了完成如上所述的目的，根据本发明的利用天花板移动式透明显示器的船舶用增强现实系统，其特征在于，包含：在船舶操
舵室的天花板可移动地设置的天花板移动式透明显示器；识别所述船舶的
位置及航海者的头部和视线方向的识别部；根据所述船舶的位置及所述航海者的头部和视线方向，自从相关外部地形的外部地形
数据库接收外部图像数据信息的接收部；调整所述接收部接收的所述外部图像数据和通过玻璃窗的实际外部图像成一致的注册部；以及将所述注册部调整的所述外部图像数据的信息通过所述天花板移动式透明显示器输出于所述实际外部图像位置的输出部。
[0010] 另外，根据本发明，其特征在于，所述识别部包含GPS系统以识别所述船舶的移动速度和位置，并包含识别
传感器以识别所述航海者的头部和视线方向。
[0011] 另外，根据本发明，其特征在于，根据所述识别传感器识别的所述航海者的头部和视线方向，所述天花板移动式透明显示器沿着天花板移动。
[0012] 另外，根据本发明，其特征在于，所述天花板移动式透明显示器是沿着附着在天花板的轨道部移动。
[0013] 另外，根据本发明，其特征在于，所述外部图像数据是以3D数据构成。
[0014] 另外，根据本发明，其特征在于，所述接收部根据所述船舶的航海位置从海图数据库接收海图，所述注册部将所述海图调整成与实际外部图像一致，所述输出部通过所述天花板移动式透明显示器显示所述船舶的航路。
[0015] 另外，根据本发明，其特征在于，所述接收部从包含内河航道、海底地形、气象及海域特性相关信息的电子海图显示系统(ECDIS)接收所述内河航道、海底地形、气象及海域特性信息，所述注册部将所述内河航道、海底地形、气象及海域特性相关的信息调整成与实际外部图像一致，所述输出部将所述内河航道、海底地形、气象及海域特性相关信息输出于所述天花板移动式透明显示器。
[0016] 另外，根据本发明，其特征在于，所述接收部从AIS(船舶自动识别装置)接收在海上运行的周围船舶的信息，所述注册部将所述周围船舶的信息调整成与实际外部图像一致，通过所述输出部输出于所述天花板移动式透明显示器。
[0017] 另外，根据本发明，其特征在于，所述注册部根据预先设定的周围船舶不同尺寸的模板调整从所述AIS接收的周围船舶的尺寸，通过所述输出部输出于所述天花板移动式透明显示器。
[0018] 另外，根据本发明，其特征在于，所述接收部从雷达接收外部的移动物体，在所述注册部将所述移动物体的移动速度及位置调整成与实际外部图像一致，并通过所述输出部输出于所述天花板移动式透明显示器。
[0019] 另外，根据本发明，其特征在于，若所述移动物体不是从所述AIS接收的周围船舶时，在所述注册部调整成与实际外部图像一致，并通过所述输出部输出于所述天花板移动式透明显示器。
[0020] 另外，根据本发明，其特征在于，所述船舶的外部照度比预先设定值较低时，利用在所述实际外部图像的位置预先设定的模板来显示。
[0021] 根据本发明的另一
实施例，利用天花板移动式透明显示器的船舶用增强现实系统，其特征在于，包含：在船舶
操舵室的天花板可移动地设置的天花板移动式透明显示器；识别所述船舶的位置及航海者的头部和视线方向的识别部；根据所述船舶的位置及所述航海者的头部和视线方向，自从相关外部地形的外部地形数据库接收外部图像数据信息的接收部；调整所述接收部接收的所述外部图像数据和通过玻璃窗的实际外部图像成一致的注册部；以及将所述注册部调整的所述外部图像数据的信息通过所述天花板移动式透明显示器输出于所述实际外部图像位置的输出部，所述接收部包含接收内河航道、海底地形、气象及海域特性相关的信息，所述船舶的移动速度及航路，周围船舶的移动速度及航路，以及移动物体的移动速度及航路而计算的计算部，并根据事先设定的时间间隔预测所述船舶随时间的危险因素。
[0022] 另外，根据本发明，其特征在于，所述危险因素包含与所述海底地形冲突的危险、与所述周围船舶冲突的危险、根据所述气象遇难的危险、根据所述海域特性遇难的危险、与所述外部地形冲突的危险。
[0023] 另外，根据本发明，其特征在于，包含当发现所述危险因素时， 起警报功能的警报部。
[0024] 另外，根据本发明，其特征在于，包含在所述警报部启动警报功能时，向导航控制装置发送控制
信号以自动修正所述船舶航路的控制部。
[0025] 根据本发明的利用天花板移动式透明显示器的船舶用增强现实的实现方法，其特征在于，包含：在船舶操舵室的天花板可移动地设置的天花板移动式透明显示器；识别所述船舶的位置及航海者的头部和视线方向的识别步骤；根据所述船舶的位置及所述航海者的头部和视线方向，自从相关外部地形的外部地形数据库接收外部图像数据信息的接收步骤；调整所述接收部接收的所述外部图像数据和通过玻璃窗的实际外部图像成一致的注册步骤；以及将所述注册部调整的所述外部图像数据的信息通过所述天花板移动式透明显示器输出于所述实际外部图像位置的输出步骤。
[0026] 另外，根据本发明，其特征在于，所述接收步骤根据所述船舶的航海位置从海图数据库接收海图，所述注册步骤将所述海图调整成与实际外部图像一致，所述输出步骤通过所述天花板移动式透明显示器显示所述船舶的航路。
[0027] 另外，根据本发明，其特征在于，所述接收步骤从包含内河航道、海底地形、气象及海域特性相关信息的电子海图显示系统(ECDIS)接收所述内河航道、海底地形、气象及海域特性信息，在所述注册步骤将所述内河航道、海底地形、气象及海域特性相关的信息调整成与实际外部图像一致，所述输出步骤将所述内河航道、海底地形、气象及海域特性信息输出于所述天花板移动式透明显示器。
[0028] 另外，根据本发明，其特征在于，所述接收步骤从AIS(船舶自动识别装置)接收在海上运行的周围船舶的信息，所述注册步骤将所述周围船舶的信息调整成与实际外部图像一致，通过所述输出步骤输出于所述天花板移动式透明显示器。
[0029] 另外，根据本发明，其特征在于，所述接收步骤从雷达接收外部的移动物体，在所述注册步骤将所述移动物体的移动速度及位置调整成与实际外部图像一致，并通过所述输出步骤输出于所述天花板移动式透明显示器。
[0030] 另外，根据本发明，其特征在于，包含计算所述内河航道、海底地形、气象及海域特性相关的信息，所述船舶的移动速度及航路，所述周围船舶的移动速度及航路，以及所述移动物体的移动速度及航路的计算步骤，并根据事先设定的时间间隔预测所述船舶随时间的危险因素。
[0031] 另外，根据本发明，其特征在于，所述危险因素包含与所述海底地形冲突的危险、与所述周围船舶冲突的危险、根据所述气象遇难的危险、根据所述海域特性的遇难危险、与所述外部地形冲突的危险，并且包含当发现所述危险因素时，起警报功能的警报步骤。
[0032] 另外，根据本发明，其特征在于，包含在所述警报步骤启动警报功能时，向导航控制装置发送
控制信号以自动修正所述船舶航路的控制步骤。
[0033] 有益效果
[0034] 本发明的目的是提供在使用者所看到的背景及物体上叠加虚拟环境，相比于现有技术用于实现更现实的增强现实的装置及方法。
[0035] 另外，在各种船舶事故的原因中，已经确定疏忽造成的事故占大部分，这是因为航海者过度疲倦所引起的，根据本发明的利用天花板移动式透明显示器的船舶用增强现实系统能使航海者一目了然复杂多样的航海信息，由此提高凭直觉的判断能力，具有防止海洋事故的效果。
[0036] 另外，使用天花板移动式透明显示器时，天花板移动式透明显示器向使用者所看的地方移动，便提供相关实际外部图像的信息，因此不需在操舵室的所有玻璃窗设置高价的透明显示器装备，具有节省设置
费用的效果，并且按着航海者的嗜好将天花板式显示器放入天花板在off的状态下亦可航行。
附图说明
[0037] 图1是根据本发明的利用天花板移动式透明显示器的船舶用增强现实系统的方
块图。
[0038] 图2是根据本发明的天花板移动式透明显示器的示意图。
[0039] 图3是根据本发明另一实施例的利用天花板移动式透明显示器的船舶用增强现实系统的方块图。
[0040] 图4是根据本发明的利用天花板移动式透明显示器的船舶用增强现实系统的示意图。
[0041] 图5是根据本发明的利用天花板移动式透明显示器的船舶用增强现实的实现方法
流程图。
具体实施方式
[0042] 以下，结合附图对本发明进行详细的说明。首先，要注意在图中对相同的构成因素或部件尽可能用相同的参考符号来表示。在说明本发明时，为了不模糊本发明的要旨将省略有关公知功能或构成的具体说明。
[0043] 增强现实技术是重合实际图像和虚拟图像而显示的技术，在航海者展望的外部图像叠加航海支援信息而输出，由此可以提供更直觉的信息。
[0044] 基于增强现实技术的智能航海支援系统，结合CCTV摄像机及透明显示器用图像合成技术，三维注册技术，
传感器数据融合技术和智能导航技术，以航海者易于理解的形态提供航行信息，是可以提高航行安全及信息传达效率的新概念航海系统。
[0045] 使用增强现实(AR)技术的航海支援系统要注册(Registration)实际视觉信息和虚拟信息，由于视觉信息的位置根据使用者的位置及视线方向而不同，因此利用摄像机或多种传感器等必须正确的找出使用者的位置和视线方向。
[0046] 使用增强现实(AR)技术的航行信息提供系统利用实时海上信息提供系统，电子海图，AIS等可以应用在船舶回避冲突，海上交通流量管制，船舶监控等方面。
[0047] 图1是根据本发明的利用天花板移动式透明显示器的船舶用增强现实系统的方块图。
[0048] 如图1所示，根据本发明的利用天花板移动式透明显示器的船舶用增强现实系统(1)包含天花板移动式透明显示器100，识别部200, 接收部300, 注册部400, 输出部500，[0049] 在识别部200利用GPS系统识别目前船舶的移动速度和位置，由配置成能识别航海者的头部方向及视线方向的识别传感器检测识别航海者的视线方向。
[0050] 为了识别航海者的视线方向，识别传感器可由瞳孔识别摄像机和用于识别航海者头部方向的识别摄像机分别构成，或是能同时识别航海者视线和头部方向的一个传感器。
[0051] 识别传感器检测航海者的头部方向及瞳孔的动作，即向航海者所展望的视线方向设置在天花板上的天花板移动式透明显示器100沿着天花板移动。
[0052] 在操舵室的天花板沿着玻璃窗的周围设置轨道部900，以便安装天花板移动式透明显示器100与玻璃窗相隔一定间隔能自由地移动。
[0053] 经考虑识别航海者头部及视线方向的识别传感器所检测的航海者头部方向及视线方向，按着航海者的视线移动的方向天花板移动式透明显示器100沿着轨道部900移动，因此相比于操舵室的所有玻璃窗为透明显示器的情况，减小透明显示器的设置面积，具有降低设置费用的优点。另外，天花板移动式透明显示器100在off状态时，可紧贴或放入天花板，航海者可按照之前的方式使用雷达、AIS、GPS、电子海图显示系统(ECDIS)、海图数据库等的外部信息，航海者可以采取以肉眼航行的方式。
[0054] 接收部300是根据船舶的位置、航海者的头部及视线的方向自从相关外部地形的外部地形数据库(DB)接收外部图像数据。
[0055] 在注册部400执行将接收的外部图像数据和航海者所看到的实际外部图像之间的位置相互正确地成一致的注册过程，输出部500将在注册部400一致的外部图像数据的多种信息，即相关陆地的信息、相关浮标的信息等通过天花板移动式透明显示器100输出于实际外部图像的位置上。
[0056] 为了有效地适用于与实际外部图像的注册过程，并且使航海者易于找出实际航行信息，外部图像数据是以3D数据构成较好。即，相关外部地形的外部地形数据库(DB)的构建以3D数据构成较好。
[0057] 图2是根据本发明的天花板移动式透明显示器的示意图。
[0058] 如图2所示，通过天花板移动式透明显示器100可以显示多种航行信息，多种航行信息可以包含船舶的航路、内河航道、海底地形、气象及海域特性相关的信息、周围船舶的信息，目前航行位置信息等。
[0059] 多种航行信息中相关船舶航路计划的信息收集是根据本发明的接收部300根据船舶的航海位置从海图数据库(DB)接收海图，在注册部400将接收的海图调整成与实际外部图像一致。
[0060] 输出部500将经实际外部图像和接收的海图之间调整的海图正确位置通过天花板移动式透明显示器100显示船舶的航路。
[0061] 另外，内河航道、海底地形、气象及海域特性相关信息的收集是同样的由接收部300从电子海图显示系统(ECDIS)接收，
[0062] 在注册部400将接收的内河航道、海底地形、气象及海域特性相关的信息调整成与实际外部图像的位置一致。
[0063] 输出部500经实际外部图像和接收的内河航道、海底地形、气象及海域特性之间的调整通过天花板移动式透明显示器100显示内河航道、海底地形、气象及海域特性。
[0064] 另外，在海上运行的周围船舶相关信息的收集也由接收部300从AIS(船舶自动识别装置)接收，
[0065] 在注册部400将接收的周围船舶相关信息调整成与实际外部图像的位置一致。
[0066] 输出部500经实际外部图像和接收的周围船舶相关信息之间的调整通过天花板移动式透明显示器100显示周围船舶相关信息。
[0067] 在此，根据收集的周围船舶尺寸注册部400调整选择预先设定的周围船舶不同尺寸的模板通过输出部500显示在天花板移动式透明显示器100上。
[0068] 因为不能制作对所有船舶的三维模型，模板是指根据大小和种类将船舶分类的模型。在外部照度较低的情况下，同时输出这种船舶模板和三维虚拟地形信息时，此图像起可以替代实际外部图像的
虚拟现实功能。
[0069] 这样事先构建周围船舶不同尺寸的模板，在夜间航行时，实际从AIS收集的信息中显示周围船舶在近处航行，但以航海者的肉眼无法识别而很难直觉有多大的周围船舶在相距多小，此时用模板在天花板移动式透明显示器100显示，将有助于航海者的航行信息的收集和判断。
[0070] 船舶的航行时间在如夜间或阴天模糊不清时，航海者预先设定外部照度低的基准，通过照度传感器实时检测外部照度，当检测的外部照度低于预先设定值时，表示实际外部图像不能以航海者的肉眼判断，为了补强这点利用预先设定的模板显示实际外部图像。
[0071] 作为参考，根据海上人命救助公约(Solars)，客船、100m以上的船舶、危险船舶等必须义务性的向外部发送船舶相关信息，这些周围船舶的船舶航行信息通过AIS收集。AIS是指船舶自动识别装置(Automatic Identification System)，是实时提供船舶的位置、航线、速率等航海信息的尖端装置。这是在海上用于防止船舶冲突的装置，根据国际海事组织(IMO)是义务设置项目，采用船舶自动识别装置(AIS)，就在不能识别周围船舶的情况下，亦能判断他船的存在和进行状态。
[0072] 通过AIS能收集的周围船舶以外的小型船舶，或船舶以外在海上漂流的移动物体相关信息的收集是接收部300从雷达接收，移动物体的移动速度及位置在注册部400调整成与实际外部图像一致后，通过输出部500输出于天花板移动式透明显示器100上。
[0073] 图3是根据本发明另一实施例的利用天花板移动式透明显示器的船舶用增强现实系统的方块图。
[0074] 如图3所示，根据本发明的利用天花板移动式透明显示器的船舶用增强现实系统除了天花板移动式透明显示器100、识别部200、接收部300、注册部400、输出部500以外，还可以包含计算部600。
[0075] 总合接收部300从电子海图显示系统(ECDIS)接收收集的内河航道、海底地形、气象及海域特性相关信息，识别部200通过GPS识别的目前船舶的移动速度及航路信息，接收部300根据船舶的航海位置从海图数据库(DB)接收收集的海图相关信息，接收部300通过AIS接收收集的在海上航行的周围船舶相关信息，由计算部600根据船舶的航路计划计算基于周围船舶、移动物体、内河航道、暗礁海底地形的冲突危险性。
[0076] 航海者可以预先设定时间间隔使计算部600以一定时间间隔执行对冲突危险性的计算，以根据船舶的进行时间设定的时间间隔可以预测危险因素。
[0077] 在此，危险因素是指与海底地形冲突的危险，与周围船舶冲突的危险，根据气象恶化遇难的危险，根据如漩涡、
水流的速度等的海域特性遇难的危险、与如陆地、岛等的外部地形冲突的危险。
[0078] 还可以包含当发现危险因素时，向航海者警告起警报功能的警报部700。
[0079] 警报使用如天花板移动式透明显示器100屏幕闪烁的图像报警，或使用声音报警。两者都可以使用，或是航海者可以选择这种报警的种类。
[0080] 另外，还可以包含当发现危险因素而在警报部700启动警报功能时，向导航控制装置发送控制信号以自动修正船舶航路的控制部800。
[0081] 借此，根据本发明的利用天花板移动式透明显示器的船舶用增强现实系统向航海者提供一目了然的实际图像和航海所需的综合信息而提高直觉的判断，并通过航路自动调整功能亦可事先防止航海者的疏忽，由此防止海上冲突。
[0082] 图4是根据本发明的利用天花板移动式透明显示器的船舶用增强现实系统的示意图。
[0083] 如图4所示，航海者可以一眼看出在船舶操舵室的天花板可移动地设置的天花板移动式透明显示器100显示的多种信息和实际外部图像。
[0084] 图5是根据本发明的利用天花板移动式透明显示器的船舶用增强现实的实现方法流程图。
[0085] 如图5所示，利用天花板移动式透明显示器的船舶用增强现实的实现方法包含：识别船舶的位置及航海者的头部和视线方向的识别步骤S100；根据船舶的位置及航海者的头部和视线方向，自从相关外部地形的外部地形数据库接收外部图像数据信息的接收步骤S200；调整接收部接收的所述外部图像数据和实际外部图像成一致的注册步骤S300；以及通过注册步骤S300调整的外部图像数据的信息通过所述天花板移动式透明显示器输出于实际外部图像位置的输出步骤S400。
[0086] 接收步骤S200根据船舶的航海位置从海图数据库接收海图，从包含内河航道、海底地形、气象及海域特性相关信息的电子海图显示系统(ECDIS)接收所述内河航道、海底地形、气象及海域特性信息，从AIS(船舶自动识别装置)接收在海上运行的周围船舶的信息，从雷达接收外部的移动物体，在注册步骤S300调整这些信息和实际外部图像成一致，在输出步骤S400通过天花板移动式透明显示器显示各种信息。
[0087] 还可以包含总合计算这些多种外部信息，例如，内河航道、海底地形、气象及海域特性相关的信息，船舶的移动速度及航路，周围船舶的移动速度及航路，以及移动物体的移动速度及航路，并计算依航路计划航行时，是否有危险因素的计算步骤S500。
[0088] 还可以包含根据航海者事先设定的时间间隔，预测随船舶航海时间的危险因素，当发现危险因素时，向航海者发送警报信号的警报步骤S600。
[0089] 在此，危险因素可以列举与海底地形冲突的危险、与周围船舶冲突的危险、根据气象遇难的危险、根据海域特性遇难的危险、与外部地形冲突的危险等，但并不限定于此。
[0090] 还可以包含在警报步骤S600启动警报功能时，向导航控制装置发送控制信号以修正船舶航路计划的控制步骤S700。
[0091] 以上，对本发明的特定实施例进行了说明，但凡是本技术领域中具有通常知识的技术人员应该了解不脱离记载的
权利要求书所表示的发明思想及范围之下，可以实施多种变更，改造及变化。
[0092] 产业上的利用可能性
[0093] 本发明可以应用于增强现实装置及系统领域，以及船舶航行系统领域。
