首页 / 专利库 / 信号处理 / 限幅 / 一种应用于无人艇的智能目标搜索方法

一种应用于无人艇的智能目标搜索方法

阅读:0发布:2020-12-05

专利汇可以提供一种应用于无人艇的智能目标搜索方法专利检索,专利查询,专利分析的服务。并且本 发明 提出了一种应用于无人艇的智能目标搜索方法,属于无人装置智能检测技术领域,解决了由于海洋环境的特殊性和复杂性,图像 分辨率 低且目标背景 对比度 低,常常出现错检,误检的问题,实现步骤包括:初始化智能目标搜索系统;岸基计算机对其搭载的目标检测网络yolov3进行训练;岸基计算机规划 水 面无人艇的全局路径并发送;艇载 全景相机 设备及艇载雷达设备获取水面无人艇沿全局路径巡航过程中的海面环境信息;艇载计算机获取海面环境高清视频;艇载计算机对海面环境信息进行目标检测;艇载计算机判断水面无人艇是否靠近疑似目标点;艇载计算机对水面无人艇已靠近的疑似目标点进行判定;艇载计算机获取待搜索目标的 位置 信息。,下面是一种应用于无人艇的智能目标搜索方法专利的具体信息内容。

1.一种应用于无人艇的智能目标搜索方法,其特征在于,包括如下步骤:
(1)初始化智能目标搜索系统:
(1a)建立包括岸基计算机、面无人艇、艇载计算机、艇载激光测距设备、艇载雷达设备、艇载全景相机设备与艇载可见光相机的智能目标搜索系统,所述艇载全景相机设备,包括位于同一平面且等间距周向分布的8个广摄像机;
(1b)设置yolov3为岸基计算机和艇载计算机的目标检测网络;设置艇载计算机的目标检测概率下限阈值为M,设置艇载计算机的目标检测最大误差距离为D和目标检测规定时间为T;
(1c)获取海面上拍摄的K幅存在待检测目标的海面环境图像,并对每幅图像进行标注,然后将K幅海面环境图像以及每幅图像对应的标签作为训练样本集,K≥500;
(2)岸基计算机对其搭载的目标检测网络yolov3进行训练:
岸基计算机将训练样本集作为该岸基计算机搭载的目标检测网络yolov3的输入,对其进行n次迭代训练,得到目标检测网络yolov3模型,并将其发送至艇载计算机,n≥5000;
(3)岸基计算机规划水面无人艇的全局路径并发送:
岸基计算机根据人工输入的包括待搜索区域中心坐标及搜索区域半径的目标搜索区域信息,规划水面无人艇到中心坐标的直线路径,以及可以覆盖目标搜索区域且以中心坐标为基点的扩展螺旋线路径,得到全局路径,然后将全局路径信息发送至艇载计算机;
(4)艇载全景相机设备及艇载雷达设备获取水面无人艇沿全局路径巡航过程中的海面环境信息:
在水面无人艇沿全局路径巡航过程中,艇载全景相机设备中的8个广角摄像机同时以每秒不低于30频率对海面环境进行N次拍摄,并按拍摄时间的先后顺序将拍摄的多幅单帧图像连续发送至艇载计算机,同时艇载雷达设备对海面所有的物体进行探测,并将水面无人艇的当前位置、探测到的所有物体的位置信息实时发送至艇载计算机,N≥2000;
(5)艇载计算机获取海面环境高清视频:
艇载计算机对8个广角摄像机同一时刻拍摄的单帧图像进行拼接,得到N幅0-360°方位的图像,并将N幅图像按拍摄时间的先后顺序合成为高清视频;
(6)艇载计算机对海面环境信息进行目标检测:
艇载计算机将目标检测网络yolov3模型加载至该艇载计算机上搭载的目标检测网络yolov3上,对海面环境高清视频进行目标检测,得到疑似目标点的全景检测概率P及疑似目标点与水面无人艇的相对角度信息,并判断P≥M是否成立,若是,执行步骤(7),否则,将未发现目标的信息反馈至岸基计算机,目标搜索任务结束;
(7)艇载计算机判断水面无人艇是否靠近疑似目标点:
(7a)艇载计算机将艇载雷达探测到的所有物体的位置信息,与艇载计算机检测到的疑似目标点与水面无人艇的相对角度信息进行方位匹配,得到疑似目标点的方位信息以及水面无人艇与疑似目标点之间距离d;
(7b)艇载计算机根据疑似目标点的方位信息,在水面无人艇和疑似目标点之间连线中点处规划一条直线路径,当水面无人艇沿直线路径航行到达该规划点后,以疑似目标点为基点,进行收缩螺旋形路径规划,得到局部路径;
(7c)艇载计算机在水面无人艇按照局部路径巡航的过程中,判断在目标检测规定时间T内,d≤D是否成立,若是,则认为水面无人艇靠近疑似目标点,并执行步骤(8);否则,认为水面无人艇无法靠近疑似目标点,并将水面无人艇无法靠近疑似目标点的信息反馈至岸基计算机,搜索任务结束;
(8)艇载计算机对水面无人艇已靠近的疑似目标点进行判定:
艇载计算机利用目标检测到的疑似目标点与水面无人艇的相对角度信息,控制艇载可见光相机的拍摄方向对准疑似目标点并对其进行视频拍摄,再艇载可见光相机拍摄的视频进行目标检测,得到疑似目标点的可见光检测概率L,然后判断L≥M是否成立,若是,则疑似目标点为待搜索目标,执行步骤(9),否则,将未发现目标的信息反馈至岸基计算机,目标搜索任务结束;
(9)艇载计算机获取待搜索目标的位置信息:
艇载计算机启动艇载激光测距设备测量水面无人艇和待搜索目标之间的距离,再结合水面无人艇的当前位置及疑似目标点与水面无人艇的相对角度信息,确定待搜索目标的位置信息,并将其回传给岸基计算机。
2.根据权利要求1所述的应用于无人艇的智能目标搜索方法,其特征在于,步骤(3)中所述的扩展螺旋线路径,规划方法为,建立极角为θ极径为r的极坐标系,并以极坐标系的原点为基点,规划扩展螺旋线路径,其中极坐标公式为:
r=aθ,0<θ<∞
其中,a表示螺旋线每增加单位螺旋角θ时,r随之对应增加的数值。

说明书全文

一种应用于无人艇的智能目标搜索方法

技术领域

[0001] 本发明属于无人装置智能检测技术领域,涉及一种应用于无人艇的智能目标搜索方法,可用于在无人艇上智能分析实时状态并做出相应的智能处理,以实现自主目标搜索的功能。

背景技术

[0002] 面无人艇因其优异的性能在军事和民用领域发挥着越来越大的作用,比如目标搜索、环境感知、情报收集、反潜等方面,尤其是目标搜索领域,近年来有越来越多的算法可以使无人艇自主的进行任务规划、路径规划,结合目标检测算法实现目标搜索。无人艇海上目标搜索是无人艇的最主要的功能,目前的目标搜索方法主要是采用海上红外图像进行处理,但由于海洋环境的特殊性和复杂性,图像分辨率低且目标背景对比度低,常常出现错检,误检的问题,因此高效精确的海上目标搜索成为无人艇应用中亟待解决的问题。现有的无人艇目标搜索方法,仅考虑了在不同的天气及水文情况下如何更精确地进行目标的搜索与定位,例如,申请公开号为CN109188421A,名称为“一种用于无人搜救艇的海上搜救系统及方法”的专利申请,提出了一种用于无人搜救艇的海上搜救方法,根据不同的天气状况,对可见光相机拍摄的视频进行目标检测或红外热成像仪的成像位置进行跟踪,并使用雷达测距获得待搜救目标的位置,并将待搜救目标的位置信息输出给计算机,搜救人员根据回传的信息实施搜救。该方法在一定程度上提高无人艇在不同的天气类型和环境条件下目标搜索的准确性,减少了搜索过程所付出的代价,但由于未对无人艇搜索时的路径进行实时的规划纳入考虑,并且在目标搜索的过程没有融合多种图像信息,使无人装置整个检测过程的算法流程缺少准确性和高效性。

发明内容

[0003] 本发明的目的在于克服上述现有技术存在的缺陷,提出了一种应用于无人艇的智能目标搜索方法,融合了多种图像信息,能够实时地分析目标状态进行路径规划,进而实现复杂的目标搜索任务,解决了现有技术中存在的高效性欠缺、准确性不够高的技术问题。
[0004] 为实现上述目的,本发明采取的技术方案包括如下步骤:
[0005] (1)初始化智能目标搜索系统:
[0006] (1a)建立包括岸基计算机、水面无人艇、艇载计算机、艇载激光测距设备、艇载雷达设备、艇载全景相机设备与艇载可见光相机的智能目标搜索系统,所述艇载全景相机设备,包括位于同一平面且等间距周向分布的8个广摄像机;
[0007] (1b)设置yolov3为岸基计算机和艇载计算机的目标检测网络;设置艇载计算机的目标检测概率下限阈值为M,设置艇载计算机的目标检测最大误差距离为D和目标检测规定时间为T;
[0008] (1c)获取海面上拍摄的K幅存在待检测目标的海面环境图像,并对每幅图像进行标注,然后将K幅海面环境图像以及每幅图像对应的标签作为训练样本集,K≥500;
[0009] (2)岸基计算机对其搭载的目标检测网络yolov3进行训练:
[0010] 岸基计算机将训练样本集作为该岸基计算机搭载的目标检测网络yolov3的输入,对其进行n次迭代训练,得到目标检测网络yolov3模型,并将其发送至艇载计算机,n≥5000;
[0011] (3)岸基计算机规划水面无人艇的全局路径并发送:
[0012] 岸基计算机根据人工输入的包括待搜索区域中心坐标及搜索区域半径的目标搜索区域信息,规划水面无人艇到中心坐标的直线路径,以及可以覆盖目标搜索区域且以中心坐标为基点的扩展螺旋线路径,得到全局路径,然后将全局路径信息发送至艇载计算机;
[0013] (4)艇载全景相机设备及艇载雷达设备获取水面无人艇沿全局路径巡航过程中的海面环境信息:
[0014] 在水面无人艇沿全局路径巡航过程中,艇载全景相机设备中的8个广角摄像机同时以每秒不低于30频率对海面环境进行N次拍摄,并按拍摄时间的先后顺序将拍摄的多幅单帧图像连续发送至艇载计算机,同时艇载雷达设备对海面所有的物体进行探测,并将水面无人艇的当前位置、探测到的所有物体的位置信息实时发送至艇载计算机,N≥2000;
[0015] (5)艇载计算机获取海面环境高清视频:
[0016] 艇载计算机对8个广角摄像机同一时刻拍摄的单帧图像进行拼接,得到N幅0-360°方位的图像,并将N幅图像按拍摄时间的先后顺序合成为高清视频;
[0017] (6)艇载计算机对海面环境信息进行目标检测:
[0018] 艇载计算机将目标检测网络yolov3模型加载至该艇载计算机上搭载的目标检测网络yolov3上,对海面环境高清视频进行目标检测,得到疑似目标点的全景检测概率P及疑似目标点与水面无人艇的相对角度信息,并判断P≥M是否成立,若是,执行步骤(7),否则,将未发现目标的信息反馈至岸基计算机,目标搜索任务结束;
[0019] (7)艇载计算机判断水面无人艇是否靠近疑似目标点:
[0020] (7a)艇载计算机将艇载雷达探测到的所有物体的位置信息,与艇载计算机检测到的疑似目标点与水面无人艇的相对角度信息进行方位匹配,得到疑似目标点的方位信息以及水面无人艇与疑似目标点之间距离d;
[0021] (7b)艇载计算机根据疑似目标点的方位信息,在水面无人艇和疑似目标点之间连线中点处规划一条直线路径,当水面无人艇沿直线路径航行到达该规划点后,以疑似目标点为基点,进行收缩螺旋形路径规划,得到局部路径;
[0022] (7c)艇载计算机在水面无人艇按照局部路径巡航的过程中,判断在目标检测规定时间T内,d≤D是否成立,若是,则认为水面无人艇靠近疑似目标点,并执行步骤(8);否则,认为水面无人艇无法靠近疑似目标点,并将水面无人艇无法靠近疑似目标点的信息反馈至岸基计算机,搜索任务结束;
[0023] (8)艇载计算机对水面无人艇已靠近的疑似目标点进行判定:
[0024] 艇载计算机利用目标检测到的疑似目标点与水面无人艇的相对角度信息,控制艇载可见光相机的拍摄方向对准疑似目标点并对其进行视频拍摄,再艇载可见光相机拍摄的视频进行目标检测,得到疑似目标点的可见光检测概率L,然后判断L≥M是否成立,若是,则疑似目标点为待搜索目标,执行步骤(9),否则,将未发现目标的信息反馈至岸基计算机,目标搜索任务结束;
[0025] (9)艇载计算机获取待搜索目标的位置信息:
[0026] 艇载计算机启动艇载激光测距设备测量水面无人艇和待搜索目标之间的距离,再结合水面无人艇的当前位置及疑似目标点与水面无人艇的相对角度信息,确定待搜索目标的位置信息,并将其回传给岸基计算机。
[0027] 本发明与现有技术相比,具有以下优点:
[0028] 1.本发明首先对全景相机拍摄的图像进行目标检测,结合雷达信息对待搜索目标进行定位,又通过可见光相机拍摄的图片进行目标检测,同时融合了雷达、全景相机和可见光相机的图像信息,综合多种信息则可以更准确地识别待搜索目标,解决了因海洋环境图像分辨率低且目标背景对比度低导致的目标搜索任务精确度不高的问题,提高了目标搜索的准确性,完成复杂情况下的目标搜索任务。
[0029] 2.本发明在路径规划时初始进行全局路径规划,在全景图像目标检测发现疑似目标点时切换至局部路径规划,全局路径和局部路径都包括直线路径和螺旋线路径,在行驶等同距离时,只有螺旋形路径覆盖的区域面积最大,选取螺旋形路径能够最大程度的增大对地图的覆盖率,提高搜索效率,并且直线路径和螺旋线路径组合可以使无人艇以快速的方式接近目标,从而解决了无人艇的目标搜索效率不够高的问题,提高了目标搜索的高效性。附图说明
[0030] 图1是本发明的实现流程图
[0031] 图2是本发明的全局路径示意图。
[0032] 图3是本发明中收缩螺旋形路径示意图。

具体实施方式

[0033] 下面结合附图和具体实施例,对本发明作进一步详细描述。
[0034] 实施例一
[0035] 参照图1,本发明采取的技术方案包括如下步骤:
[0036] 步骤1)初始化智能目标搜索系统:
[0037] (1a)建立包括岸基计算机、水面无人艇、艇载计算机、艇载激光测距设备、艇载雷达设备、艇载全景相机设备与艇载可见光相机的智能目标搜索系统,所述艇载全景相机设备,包括位于同一平面且等间距周向分布的8个广角摄像机;
[0038] (1b)设置yolov3为岸基计算机和艇载计算机的目标检测网络;yolov3网络通用性强,对非自然图像物体的检测率也远远高于DPM和RCNN系列检测方法,并且背景误检率低。设置艇载计算机的目标检测概率下限阈值为M,设置艇载计算机的目标检测最大误差距离为D和目标检测规定时间为T;目标检测概率下限阈值M,根据水面无人艇的类型、搜索目标的类型,以及实际的检测环境和所使用的目标检测算法进行设定。本实施例中目标检测概率下限阈值M=50%,目标检测最大误差距离D=100m,目标检测规定时间T=60s。
[0039] (1c)获取海面上拍摄的K幅存在待检测目标的海面环境图像,并对每幅图像进行标注,然后将K幅海面环境图像以及每幅图像对应的标签作为训练样本集,K≥500;K设置过大时,会导致网络参数过多训练时不易收敛,K过小则会导致无法提取到足够的特征,因此本实施例中该参数设置为K=800。
[0040] 步骤2)岸基计算机对其搭载的目标检测网络yolov3进行训练:
[0041] 岸基计算机将训练样本集作为该岸基计算机搭载的目标检测网络yolov3的输入,对其进行n次迭代训练,得到目标检测网络yolov3模型,并将其发送至艇载计算机,n≥5000;n设置过大时,会导致网络已经收敛但仍占用资源,n过小则会导致网络没有收敛,目标检测准确率过低,因此本实施例中该参数设置为n=6000。
[0042] 步骤3)岸基计算机规划水面无人艇的全局路径并发送:
[0043] 岸基计算机根据人工输入的包括待搜索区域中心坐标及搜索区域半径的目标搜索区域信息,规划水面无人艇到中心坐标的直线路径,以及可以覆盖目标搜索区域且以中心坐标为基点的扩展螺旋线路径,得到全局路径,然后将全局路径信息发送至艇载计算机;直线路径可以使水面无人艇以最快的方式到达目标搜索区域附近,扩展螺旋路径可以使水面无人艇搜索范围覆盖整个目标搜索区域,既提高了目标搜索的搜索效率,又保证获取到足够的海面环境信息进行目标检测,提高了目标检测的准确性。所述的扩展螺旋线路径,规划方法为,建立极角为θ极径为r的极坐标系,并以极坐标系的原点为基点,规划扩展螺旋线路径,其中极坐标公式为:
[0044] r=aθ,0<θ<∞
[0045] 其中,a表示螺旋线每增加单位螺旋角θ时,r随之对应增加的数值。
[0046] 步骤4)艇载全景相机设备及艇载雷达设备获取水面无人艇沿全局路径巡航过程中的海面环境信息:
[0047] 在水面无人艇沿全局路径巡航过程中,艇载全景相机设备中的8个广角摄像机同时以每秒不低于30帧的频率对海面环境进行N次拍摄,并按拍摄时间的先后顺序将拍摄的多幅单帧图像连续发送至艇载计算机,同时艇载雷达设备对海面所有的物体进行探测,并将水面无人艇的当前位置、探测到的所有物体的位置信息实时发送至艇载计算机,N>2000。本实施例中采取N=2500。
[0048] 步骤5)艇载计算机获取海面环境高清视频:
[0049] 艇载计算机对8个广角摄像机每一时刻拍摄的单帧图像进行拼接,得到N幅0-360°方位的图像,并将N幅图像合成为高清视频;
[0050] 步骤6)艇载计算机对海面环境信息进行目标检测:
[0051] 艇载计算机将目标检测网络模型加载至该艇载计算机上搭载的目标检测网络上,对海面环境进行目标检测,本实施例在对海面环境进行目标检测的时候,对视频预先做去噪处理,去噪采用的算法为中值滤波,该方法就是把3X 3范围内的灰度值按顺序排列,然后中值取代函数框中心的灰度值。中值滤波在一定的条件下可以克服常见线性滤波器如方框滤波器、均值滤波等带来的图像细节模糊,也可以更好的保护边缘信息。目标检测得到疑似目标点的全景检测概率P及疑似目标点和水面无人艇的相对角度信息,并判断P>M是否成立,若是,得到疑似目标点,并执行步骤(7),否则,将未发现目标的信息反馈至岸基计算机,目标搜索任务结束;
[0052] 步骤7)艇载计算机判断水面无人艇是否靠近疑似目标点:
[0053] (7a)艇载计算机将艇载雷达探测到的所有物体的位置信息,与艇载计算机检测到的疑似目标点与水面无人艇的相对角度信息进行方位匹配,得到疑似目标点的方位信息以及水面无人艇与疑似目标点之间距离d;
[0054] (7b)艇载计算机根据疑似目标点的方位信息,在水面无人艇和疑似目标点之间连线中点处规划一条直线路径,当水面无人艇沿直线路径航行到达该规划点后,以疑似目标点为基点,进行收缩螺旋形路径规划,得到局部路径;在靠近疑似目标点时进行直线路径规划,可以更快速的靠近疑似目标点附近,在确认疑似目标点时,进行螺旋线路径规划,在按照螺旋线路径对疑似目标点进行确认时,可以达到检测覆盖范围广,检测包含角度多的效果。
[0055] 所述的以疑似目标点为基点,进行收缩螺旋形路径规划,包括有如下步骤:
[0056] (1)计算疑似目标点与水面无人艇的距离,记为m;
[0057] (2)以疑似目标点为中心、m为半径的外接圆为边界规划一条螺旋形收缩路径。
[0058] (7c)艇载计算机在水面无人艇按照局部路径巡航的过程中,判断在目标检测规定时间T内,d≤D是否成立,若是,则认为水面无人艇靠近疑似目标点,并执行步骤(8);否则,认为水面无人艇无法靠近疑似目标点,并将水面无人艇无法靠近疑似目标点的信息反馈至岸基计算机,搜索任务结束;由于实际的搜索环境往往比较复杂和无人设备的本身的设备精度存在限制,在实际检测过程中,要设定最大误差距离D和规定时间T,来判断无人装置是否到达疑似目标周围。
[0059] 本发明,在判断是否靠近疑似目标时,针对可以到达疑似目标附近、无法到达疑似目标附近两种情况,分别跳转至步骤(8)和任务结束,进行判定疑似目标或反馈无法到达目标位置信息,使得在复杂的检测情况下,即使无人装置无法按照路径规划到达疑似目标附近,也不会造成检测流程死,保证了检测流程在复杂情况下的正常运行。
[0060] 步骤8)艇载计算机对水面无人艇已靠近的疑似目标点进行判定:
[0061] 艇载计算机利用目标检测到的疑似目标点与水面无人艇的相对角度信息,控制艇载可见光相机的拍摄方向对准疑似目标点并对其进行视频拍摄,再艇载可见光相机拍摄的视频进行目标检测,得到疑似目标点的可见光检测概率L,然后判断L≥M是否成立,若是,则疑似目标点为待搜索目标,执行步骤(9),否则,将未发现目标的信息反馈至岸基计算机,目标搜索任务结束。水面无人艇在对待搜索目标的搜索时,水面无人艇可智能分析状态,融合了全景相机、雷达、可见光相机的多种信息,实现对目标的多次检测和确认,达到准确率的大大提升,完成复杂情况下的目标搜索任务,实现高效准确搜索目标的目的。
[0062] 步骤9)艇载计算机获取待搜索目标的位置信息:
[0063] 艇载计算机启动艇载激光测距设备测量水面无人艇和待搜索目标之间的距离,再结合水面无人艇的当前位置及疑似目标点与水面无人艇的相对角度信息,确定待搜索目标的位置信息,并将其回传给岸基计算机。
[0064] 实施例二:
[0065] 一种应用于无人艇的智能目标搜索方法方法同实施例1,步骤(1b)中的构建岸基计算机和艇载计算机的yolov3目标检测网络,具体为:
[0066] 针对608*608的图像,由于ReLu函数实现效果好,使用ReLu函数作为隐层激活函数;考虑到Adam优化算法收敛速度比较快,使用Adam优化算法进行优化该算法可以达到的帧率为20fps。
[0067] 综上所述,本发明公开的一种应用于无人艇的智能目标搜索方法,主要解决现有技术可融合信息少、目标搜索过程中规划的路径不够高效等问题,通过巡航检测疑似目标、判断无人设备是否靠近疑似目标、对已靠近的疑似目标再做判定、以及最终确认疑似目标是否为待搜索目标,来保证水面无人艇可以完成在复杂情况下的目标检测。本发明检测结果更精确,目标信息更丰富,可以应对多种检测情况,提高了整个检测系统在复杂检测情况下的准确性和高效性。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈