一种基于自适应多传感器管理的海上态势感知方法

申请号 CN201710142887.1 申请日 2017-03-10 公开(公告)号 CN106952503A 公开(公告)日 2017-07-14
申请人 深圳市唯特视科技有限公司; 发明人 夏春秋;
摘要 本 发明 中提出的一种基于自适应多 传感器 管理的海上态势 感知 方法,其主要内容包括:导入来自传感器的信息、自适应多传感器管理、光电(EO)传感器处理和组合EO的解释、智能计算、态势感知和显示,其过程为,先将传感器信息、自动识别系统(AIS)数据和天气数据导入自适应多传感器管理中,再利用可见光EO传感器和红外范围 光电传感器 组合EO解释 块 本地存储特征知识和训练的分类器,使用智能计算和数据分析组合数据,进行势态感知并显示出来。本发明提出的模糊条件下自适应多传感器管理,集成现有传感器的系统,能对组合数据进行智能分析,尽可能产生丰富的势态感知,从而确定合适的行动计划;对模糊条件反应灵敏,迅速,具有较高的实用性。
权利要求

1.一种基于自适应多传感器管理的海上态势感知方法,其特征在于,主要包括导入来自传感器的信息(一);自适应多传感器管理(二);光电(EO)传感器处理和组合EO的解释(三);智能计算(四);态势感知和显示(五)。
2.基于权利要求书1所述的多传感器结构,其特征在于,多传感器结构具有自适应多传感器管理系统,适用于在模糊和可见度不佳的条件下自主控制和导航船舶;它利用来自其他船舶上的传感器、岸上船舶交通监测系统的自动识别系统(AIS)数据和天气数据增强来自船载成像传感器和天气传感器的数据;使用智能计算和数据分析来分析组合数据,确定合适的行程,同时利用已学习的信息和根据当前情况进行实况学习。
3.基于权利要求书1所述的系统控制传感器,其特征在于,系统控制传感器使用基于数据分析的智能计算,根据天气条件适当地、自适应地组合传感器的数据解释;自适应多传感器管理控制传感器,并向计算块提供相关信息;它需要来自各种本地和远程传感器决策和计划模块的输入;红外线块选择性地使用和定位,补充视觉范围EO传感器;组合EO解释不仅提供来自两个EO传感器的组合图形信息,还能确定在给定天气条件和端口要求的情况下从两个传感器导出的多少以及是否可靠;智能计算块执行从传感器生成的活动数据的智能组合,感知当前情境,并且数据分析块建立系统长期智能学习,用于鲁棒操作。
4.基于权利要求书1所述的导入来自传感器的信息(一),其特征在于,包括船载传感器信息和从其他船舶和船舶交通管理系统(VTS)的传感器信息;通常在任何中型或大尺寸海运船上至少有一个雷达;大多数商业船舶也配备了声纳;每一个传感器提供它覆盖的自主海运船舶场景的部分图像;
AIS能通知其他船舶和陆上设施的存在和当前路径;它包括船舶的标识符、地理位置和当前导航路径、速度等;信息可以由其他船舶通过甚高频(VHF)无线电波或通过卫星通信接收;为了在自主海运船舶中使用,AIS数据可以用在其他船舶位置处的天气传感器的数据获得天气条件的粗略空间图;此外,如果自主海运船舶与陆上船舶交通监视系统通信,则可以接收关于导航交通和条件的更多信息。
5.基于权利要求书4所述的船舶健康传感器,其特征在于,它生成关于船舶的功能和待机模块的诊断信息,例如速度、发动机温度等;虽然这些传感器在情境意识(外部)中不起关键作用,但是否偏离其规范值是导航规划中考虑的重要因素。
6.基于权利要求书1所述的自适应多传感器管理(二),其特征在于,自适应多传感器管理块是架构的主要智能块,其分析所有非成像传感器数据,并生成对天气状况的评估;接着使用评估来自适应地管理成像传感器,确定每个传感器的监测频率;它接收来自除了成像传感器之外的所有本地和远程传感器的输入;接收来自数据分析块的输入,提供先前学习用于天气条件的参考;生成所有本地传感器、EO解释块和智能计算块的功能信息;使用数据分析块的天气字典,包含用于每个可辨别的天气状况的检测和跟踪数据;具有为每个传感器分配的特定存储器,以存储传感器数据的最新情况。
7.基于权利要求书6所述的天气状况检测,其特征在于,传感器需要存储器来存储最近的天气状况,如果最近的天气状况没有指示天气状况的变化,则使用先前记录的天气状况的天气检测模板,使用传感器的天气状况和当前数据计算该模板中的统计特征,并检查与先前记录的天气的偏差天气条件;如果检测到偏差,则根据偏差的性质,加载来自数据分析块中天气字典的更多模板,并确定实际的天气状况;如果没有与天气词典中天气模板的适当匹配,则使用最接近的天气状况的线性组合,并且智能计算块模拟最新记录的天气状况;
检测到天气状况后,首先确定从非成像传感器记录测量的频率;接着,确定成像传感器的控制和组合来自成像传感器的成像数据;在任一天气条件下,来自其他船舶的AIS数据和要并入情况认知的VTS必须传递到具有最高权重的智能计算块;自适应多传感器管理块直接确定和控制传感器的设置;它将AIS数据和不同传感器的组合的权重传递到计算分析块;
它还将权重信息传递到组合的EO解释块,其预组合EO可见和EO-IR数据,并使用计算机视觉技术分割和映射前景船舶。
8.基于权利要求书1所述的EO传感器处理和组合EO的解释(三),其特征在于,EO传感器处理跨越几个块,包括每个EO可见传感器有一个EO可视范围视频处理器,每个EO-IR传感器有一个EO红外范围视频处理器,用于所有EO传感器的单个EO传感器配准块和用于所有EO传感器的单个组合EO解释块;所有用于EO传感器处理的块使用图像处理、计算机视觉和机器学习的技术;组合EO解释块可以本地存储特征知识和训练的分类器,或者可以在数据分析中存储和改变。
9.基于权利要求书1所述的智能计算(四),其特征在于,智能计算块接收来自所有功能块的处理结果,即自适应多传感器管理块,组合EO解释块,雷达和声纳后处理结果,AIS数据和其他相关传感器;它产生至少三种类型的意识,即导航情景意识、天气状况意识和需要学习意识;它首先强加了AIS数据、雷达和声纳结果以及EO输出,并识别它们之间的一一对应关系;然后叠加各种对象的运动模式和预期路径,包括自主海运船舶的路径,接着识别高险对象和情况;执行时间投影来确定事件的序列,从而产生导航态势感知。
10.基于权利要求书1所述的态势感知和显示(五),其特征在于,已经执行了态势感知(包括导航和天气)的计算分析块需要向决策块、通信块和信息跟踪块报告情况;这些块可以是导航计划和更新块,岸上船舶交通监视系统由监控系统向其他特定传播传达避免碰撞的信息以及所有船载或远程人员的显示。

说明书全文

一种基于自适应多传感器管理的海上态势感知方法

技术领域

[0001] 本发明涉及态势感知领域,尤其是涉及了一种基于自适应多传感器管理的海上态势感知方法。

背景技术

[0002] 关于自主海运船舶(AMV)的相关工业和学术研究正在全面展开,包括海上决策支持、路径规划、海事图像处理计算机视觉、控制和规章等。由于海上可见度差,如有雾霾的情况下,将对繁忙的港口和海上交通管理产生较大的影响。如今相关的传感器发展快速,然而在当前先进的海事系统中仍然依赖于人类经验,因此海上天气情况称为了在海上作业的巨大挑战。
[0003] 本发明提出了一种基于自适应多传感器管理的海上态势感知方法,先将船载传感器信息和从其他船舶、船舶交通管理系统(VTS)的传感器信息、自动识别系统(AIS)数据和天气数据导入自适应多传感器管理中,再利用可见光光电(EO)传感器和红外范围光电传感器组合EO解释本地存储特征知识和训练的分类器,使用智能计算和数据分析来分析组合数据,进行势态感知并显示出来。本发明提出的模糊条件下自适应多传感器管理,集成现有传感器的系统,能对组合数据进行智能分析,尽可能产生丰富的势态感知,从而确定合适的行动计划;对模糊条件反应灵敏,迅速,具有较高的实用性。

发明内容

[0004] 针对在模糊条件下反应不够灵敏等问题,本发明的目的在于提供一种基于自适应多传感器管理的海上态势感知方法,先将船载传感器信息和从其他船舶、船舶交通管理系统(VTS)的传感器信息、自动识别系统(AIS)数据和天气数据导入自适应多传感器管理中,再利用可见光光电(EO)传感器和红外范围光电传感器组合EO解释块本地存储特征知识和训练的分类器,使用智能计算和数据分析来分析组合数据,进行势态感知并显示出来。
[0005] 为解决上述问题,本发明提供一种基于自适应多传感器管理的海上态势感知方法,其主要内容包括:
[0006] (一)导入来自传感器的信息;
[0007] (二)自适应多传感器管理;
[0008] (三)光电(EO)传感器处理和组合EO的解释;
[0009] (四)智能计算;
[0010] (五)态势感知和显示。
[0011] 其中,所述的多传感器结构,多传感器结构具有自适应多传感器管理系统,适用于在模糊和可见度不佳的条件下自主控制和导航船舶;它利用来自其他船舶上的传感器、岸上船舶交通监测系统的自动识别系统(AIS)数据和天气数据增强来自船载成像传感器和天气传感器的数据;使用智能计算和数据分析来分析组合数据,确定合适的行程,同时利用已学习的信息和根据当前情况进行实况学习。
[0012] 其中,所述的系统控制传感器,系统控制传感器使用基于数据分析的智能计算,根据天气条件适当地、自适应地组合传感器的数据解释;自适应多传感器管理块控制传感器,并向计算块提供相关信息;它需要来自各种本地和远程传感器决策和计划模块的输入;红外线块选择性地使用和定位,补充视觉范围EO传感器;组合EO解释不仅提供来自两个EO传感器的组合图形信息,还能确定在给定天气条件和端口要求的情况下从两个传感器导出的多少以及是否可靠;智能计算块执行从传感器生成的活动数据的智能组合,感知当前情境,并且数据分析块建立系统长期智能学习,用于鲁棒操作。
[0013] 其中,所述的导入来自传感器的信息,包括船载传感器信息和从其他船舶和船舶交通管理系统(VTS)的传感器信息;通常在任何中型或大尺寸海运船上至少有一个雷达;大多数商业船舶也配备了声纳;每一个传感器提供它覆盖的自主海运船舶场景的部分图像;
[0014] AIS能通知其他船舶和陆上设施的存在和当前路径;它包括船舶的标识符、地理位置和当前导航路径、速度等;信息可以由其他船舶通过甚高频(VHF)无线电波或通过卫星通信接收;为了在自主海运船舶中使用,AIS数据可以用在其他船舶位置处的天气传感器的数据获得天气条件的粗略空间图;此外,如果自主海运船舶与陆上船舶交通监视系统通信,则可以接收关于导航交通和条件的更多信息。
[0015] 进一步地,所述的船舶健康传感器,它生成关于船舶的功能和待机模块的诊断信息,例如速度、发动机温度等;虽然这些传感器在情境意识(外部)中不起关键作用,但是否偏离其规范值是导航规划中考虑的重要因素。
[0016] 其中,所述的自适应多传感器管理,自适应多传感器管理块是架构的主要智能块,其分析所有非成像传感器数据,并生成对天气状况的评估;接着使用评估来自适应地管理成像传感器,确定每个传感器的监测频率;它接收来自除了成像传感器之外的所有本地和远程传感器的输入;接收来自数据分析块的输入,提供先前学习用于天气条件的参考;生成所有本地传感器、EO解释块和智能计算块的功能信息;使用数据分析块的天气字典,包含用于每个可辨别的天气状况的检测和跟踪数据;具有为每个传感器分配的特定存储器,以存储传感器数据的最新情况。
[0017] 进一步地,所述的天气状况检测,传感器需要存储器来存储最近的天气状况,如果最近的天气状况没有指示天气状况的变化,则使用先前记录的天气状况的天气检测模板,使用传感器的天气状况和当前数据计算该模板中的统计特征,并检查与先前记录的天气的偏差天气条件;如果检测到偏差,则根据偏差的性质,加载来自数据分析块中天气字典的更多模板,并确定实际的天气状况;如果没有与天气词典中天气模板的适当匹配,则使用最接近的天气状况的线性组合,并且智能计算块模拟最新记录的天气状况;
[0018] 检测到天气状况后,首先确定从非成像传感器记录测量的频率;接着,确定成像传感器的控制和组合来自成像传感器的成像数据;在任一天气条件下,来自其他船舶的AIS数据和要并入情况认知的VTS必须传递到具有最高权重的智能计算块;自适应多传感器管理块直接确定和控制传感器的设置;它将AIS数据和不同传感器的组合的权重传递到计算分析块;它还将权重信息传递到组合的EO解释块,其预组合EO可见和EO-IR数据,并使用计算机视觉技术分割和映射前景船舶。
[0019] 其中,所述的EO传感器处理和组合EO的解释,EO传感器处理跨越几个块,包括每个EO可见传感器有一个EO可视范围视频处理器,每个EO-IR传感器有一个EO红外范围视频处理器,用于所有EO传感器的单个EO传感器配准块和用于所有EO传感器的单个组合EO解释块;所有用于EO传感器处理的块使用图像处理、计算机视觉和机器学习的技术;组合EO解释块可以本地存储特征知识和训练的分类器,或者可以在数据分析中存储和改变。
[0020] 其中,所述的智能计算,智能计算块接收来自所有功能块的处理结果,即自适应多传感器管理块,组合EO解释块,雷达和声纳后处理结果,AIS数据和其他相关传感器;它产生至少三种类型的意识,即导航情景意识、天气状况意识和需要学习意识;它首先强加了AIS数据、雷达和声纳结果以及EO输出,并识别它们之间的一一对应关系;然后叠加各种对象的运动模式和预期路径,包括自主海运船舶的路径,接着识别高险对象和情况;执行时间投影来确定事件的序列,从而产生导航态势感知。
[0021] 其中,所述的态势感知和显示,已经执行了态势感知(包括导航和天气)的计算分析块需要向决策块、通信块和信息跟踪块报告情况;这些块可以是导航计划和更新块,岸上船舶交通监视系统由监控系统向其他特定传播传达避免碰撞的信息以及所有船载或远程人员的显示。附图说明
[0022] 图1是本发明一种基于自适应多传感器管理的海上态势感知方法的系统流程图
[0023] 图2是本发明一种基于自适应多传感器管理的海上态势感知方法的近红外成像和可见光范围成像的对比。

具体实施方式

[0024] 需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互结合,下面结合附图和具体实施例对本发明作进一步详细说明。
[0025] 图1是本发明一种基于自适应多传感器管理的海上态势感知方法的系统流程图。主要包括导入来自传感器的信息、自适应多传感器管理、光电(EO)传感器处理和组合EO的解释、智能计算、态势感知和显示。
[0026] 多传感器结构具有自适应多传感器管理系统,适用于在模糊和可见度不佳的条件下自主控制和导航船舶;它利用来自其他船舶上的传感器、岸上船舶交通监测系统的自动识别系统(AIS)数据和天气数据增强来自船载成像传感器和天气传感器的数据;使用智能计算和数据分析来分析组合数据,确定合适的行程,同时利用已学习的信息和根据当前情况进行实况学习。
[0027] 导入来自传感器的信息包括船载传感器信息和从其他船舶和船舶交通管理系统(VTS)的传感器信息;通常在任何中型或大尺寸海运船上至少有一个雷达;大多数商业船舶也配备了声纳;每一个传感器提供它覆盖的自主海运船舶场景的部分图像;
[0028] AIS能通知其他船舶和陆上设施的存在和当前路径;它包括船舶的标识符、地理位置和当前导航路径、速度等;信息可以由其他船舶通过甚高频(VHF)无线电波或通过卫星通信接收;为了在自主海运船舶中使用,AIS数据可以用在其他船舶位置处的天气传感器的数据获得天气条件的粗略空间图;此外,如果自主海运船舶与陆上船舶交通监视系统通信,则可以接收关于导航交通和条件的更多信息。
[0029] 船舶健康传感器生成关于船舶的功能和待机模块的诊断信息,例如舵速度、发动机温度等;虽然这些传感器在情境意识(外部)中不起关键作用,但是否偏离其规范值是导航规划中考虑的重要因素。
[0030] 自适应多传感器管理块是架构的主要智能块,其分析所有非成像传感器数据,并生成对天气状况的评估;接着使用评估来自适应地管理成像传感器,确定每个传感器的监测频率;它接收来自除了成像传感器之外的所有本地和远程传感器的输入;接收来自数据分析块的输入,提供先前学习用于天气条件的参考;生成所有本地传感器、EO解释块和智能计算块的功能信息;使用数据分析块的天气字典,包含用于每个可辨别的天气状况的检测和跟踪数据;具有为每个传感器分配的特定存储器,以存储传感器数据的最新情况。
[0031] 传感器需要存储器来存储最近的天气状况,如果最近的天气状况没有指示天气状况的变化,则使用先前记录的天气状况的天气检测模板,使用传感器的天气状况和当前数据计算该模板中的统计特征,并检查与先前记录的天气的偏差天气条件;如果检测到偏差,则根据偏差的性质,加载来自数据分析块中天气字典的更多模板,并确定实际的天气状况;如果没有与天气词典中天气模板的适当匹配,则使用最接近的天气状况的线性组合,并且智能计算块模拟最新记录的天气状况;
[0032] 检测到天气状况后,首先确定从非成像传感器记录测量的频率;接着,确定成像传感器的控制和组合来自成像传感器的成像数据;在任一天气条件下,来自其他船舶的AIS数据和要并入情况认知的VTS必须传递到具有最高权重的智能计算块;自适应多传感器管理块直接确定和控制传感器的设置;它将AIS数据和不同传感器的组合的权重传递到计算分析块;它还将权重信息传递到组合的EO解释块,其预组合EO可见和EO-IR数据,并使用计算机视觉技术分割和映射前景船舶。
[0033] 智能计算块接收来自所有功能块的处理结果,即自适应多传感器管理块,组合EO解释块,雷达和声纳后处理结果,AIS数据和其他相关传感器;它产生至少三种类型的意识,即导航情景意识、天气状况意识和需要学习意识;它首先强加了AIS数据、雷达和声纳结果以及EO输出,并识别它们之间的一一对应关系;然后叠加各种对象的运动模式和预期路径,包括自主海运船舶的路径,接着识别高风险对象和情况;执行时间投影来确定事件的序列,从而产生导航态势感知。
[0034] 已经执行了态势感知(包括导航和天气)的计算分析块需要向决策块、通信块和信息跟踪块报告情况;这些块可以是导航计划和更新块,岸上船舶交通监视系统由监控系统向其他特定传播传达避免碰撞的信息以及所有船载或远程人员的显示。
[0035] 图2是本发明一种基于自适应多传感器管理的海上态势感知方法的近红外成像和可见光范围成像的对比。系统控制传感器使用基于数据分析的智能计算,根据天气条件适当地、自适应地组合传感器的数据解释;自适应多传感器管理块控制传感器,并向计算块提供相关信息;它需要来自各种本地和远程传感器决策和计划模块的输入;红外线块选择性地使用和定位,补充视觉范围EO传感器;组合EO解释不仅提供来自两个EO传感器的组合图形信息,还能确定在给定天气条件和端口要求的情况下从两个传感器导出的多少以及是否可靠;智能计算块执行从传感器生成的活动数据的智能组合,感知当前情境,并且数据分析块建立系统长期智能学习,用于鲁棒操作。
[0036] EO传感器处理跨越几个块,包括每个EO可见传感器有一个EO可视范围视频处理器,每个EO-IR传感器有一个EO红外范围视频处理器,用于所有EO传感器的单个EO传感器配准块和用于所有EO传感器的单个组合EO解释块;所有用于EO传感器处理的块使用图像处理、计算机视觉和机器学习的技术;组合EO解释块可以本地存储特征知识和训练的分类器,或者可以在数据分析中存储和改变。
[0037] 对于本领域技术人员,本发明不限制于上述实施例的细节,在不背离本发明的精神和范围的情况下,能够以其他具体形式实现本发明。此外,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围,这些改进和变型也应视为本发明的保护范围。因此,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改
QQ群二维码
意见反馈