首页 / 专利库 / 数学与统计 / 滤波反投影 / 一种基于DS证据理论的轨迹预测装置及方法

一种基于DS证据理论的轨迹预测装置及方法

阅读:466发布:2022-02-13

专利汇可以提供一种基于DS证据理论的轨迹预测装置及方法专利检索,专利查询,专利分析的服务。并且本 发明 提供一种基于DS证据理论的目标轨迹预测装置及方法,根据 传感器 探测的目标,进行 时空 配准,利用改进的 卷积神经网络 提取目标特征并分类,将图像目标特征与三维点 云 特征基于相同 帧 进行特征配准、融合,特征包括共有特征和非共有特征,判断非共有特征是否需要保留;对于同一目标,基于连续前后帧对多个目标进行关联,得到连续帧的同一目标,建立样本矩阵用于表示被预测的轨迹,包括:单个传感器的目标轨迹预测、多个传感器之间目标匹配的轨迹预测、单个传感器获取各自目标的轨迹融合后的轨迹预测;利用DS证据理论基于空间特征、图像特征和目标轨迹信息对预测的轨迹进行正确性判断,输出最优轨迹。本发明能够提高轨迹预测的准确性。,下面是一种基于DS证据理论的轨迹预测装置及方法专利的具体信息内容。

1.一种基于DS证据理论的轨迹预测方法,其特征在于,包括:
步骤1,利用多传感器采集目标信息,获取目标所在区域的视频图像信息和三维点信息;
步骤2,时间配准和空间配准;
步骤3,利用卷积神经网络检测目标提取视频图像特征,通过在卷积层后连接上采样层、以及在池化层后增加残差结构,弥补原始输入图像经过过各个卷积层得到的新图像的分辨率的损失;同时还提取目标三维点云特征;
步骤4,配准与融合相同时刻的目标视频图像特征和三维点云特征,得到同一目标的完整特征;特征配准和融合时还会包括共有特征以及非共有特征;
步骤5,基于前后帧时刻,关联前帧出现的目标与后帧出现的目标;
步骤6,建立样本矩阵用于表示被预测的轨迹,包括:单个传感器的目标轨迹预测、多个传感器之间目标匹配的轨迹预测、单个传感器获取各自目标的轨迹融合后的轨迹预测;
步骤7,利用DS证据理论对预测的轨迹进行正确性判断,输出最优轨迹。
2.基于权利要求1所述的基于DS证据理论的轨迹预测方法,其特征在于,所述单个传感器的目标轨迹预测,至少由激光雷达传感器、红外传感器和可见光传感器分别对同一目标检测,获取目标的位置,根据目标连续前后帧所在位置进行轨迹预测;
所述单个传感器获取各自目标的轨迹融合后的轨迹预测,由单个传感器检测目标,至少包括激光雷达传感器、红外传感器和可见光传感器,得到同一目标位置和各自轨迹,对各自轨迹进行融合,利用基于卡尔曼滤波预测所述目标的轨迹;
所述多个传感器之间目标匹配的轨迹预测,由多个传感器获取目标,基于相同帧检测目标特征,对特征进行融合,得到同一目标的全部特征,然后分析该目标的位置,基于前后帧位置,利用卡尔曼滤波预测所述目标的轨迹。
3.基于权利要求1所述的基于DS证据理论的轨迹预测方法,其特征在于,所述步骤3,利用卷积神经网络检测目标提取视频图像特征,具体包括:首先利用非下采样变换对红外和可见光视频图像进行逐帧融合,得到融合后的图像;
然后利用卷积神经网络检测视频图像中所有目标,进而检测目标图像特征;所述检测目标图像特征与所述检测视频图像中所有目标共用卷积神经网络的卷积层;
按照陆空领域划分训练数据集,采集种类至少包括飞行物集合、船舰集合、车辆集合;每个种类包含若干个数据,训练集以场景为批次输入卷积神经网络进行训练,场景中至少包含一个目标,每200帧迭代保存一次数据;利用Adam优化算法完成训练,并对模型进行更新;将更新后的模型作为检测模型,输出结果为目标所述类别、目标个数以及特征;
所述卷积神经网络,由卷积层、激励层、池化层和上采样层组成;
第1层为卷积输入层,输入原始大小图像,设置16个卷积核,大小为5×5,填充值为2,步长为1,激活函数设置为ReLU函数;
第2层为卷积运算层和平均池化层,输入图像,卷积层设有32个卷积核,大小为5×5,填充值为2,步长为1,ReLU函数线性激活函数;下采样层使用2×2的核,步长为2,进行平均池化下采样输出;
第3层为卷积运算层、平均池化层和上采样层,输入来自第2层的图像,卷积层大小为3×3的64个卷积核,填充值为1,步长为1,ReLU函数线性激活函数;下采样层使用2×2的核,步长为2,进行平均池化下采样输出,然后进行正则化处理;上采样层使用2×2的核,步长为
2;
第4层为卷积运算层、最大池化层和上采样层,输入来自第3层的图像,卷积层大小为3×3的32个卷积核,填充值为1,使用ReLU激活函数;下采样层使用2×2的核进行最大池化;
上采样层使用2×2的核,步长为2;输出图像;
第5层为卷积运算层和最大池化层,输入来自第4层的图像,卷积层大小为3×3的16个卷积核,填充值为1,使用ReLU激活函数;下采样层使用2×2的核进行最大池化,下采样输出图像;
第6层为两个全连接层,用2048个神经元连接一个残差结构以及经过第5层的特征图输出,再由Dropout随机丢掉节点信息,得到新的神经元;DropOut层仅产生50%的输出;
第7层为输出层,通过分类器输出;
为弥补通过各个卷积层而生成的图像的分辨率与原始图像分辨率之间的差值,(1)利用叠加残差结构进行补偿,残差结构用于将第2层平均池化下采样层的输出特征与第5层最大池化采样层输出特征进行线性相加,(2)第3层卷积运算层与第4层卷积运算层输出端接一个对应原图分辨率的上采样层;
通过上述卷积神经网络检测目标,提取目标视频图像特征。
4.基于权利要求1所述的基于DS证据理论的轨迹预测方法,其特征在于,所述步骤3,提取目标三维点云特征,具体包括:由激光雷达传感器扫描目标得到目标三维点云,选择当前帧与前t帧的目标三维点云;对点云数据进行预处理,得到点云轮廓数据;
计算第t帧相对于第t-1帧的相对位移和度,以角度角度垂直方向作为点云投影方向,获取点云深度信息;
根据视频帧图像得到与点云对应的目标信息,以所述对应的目标进行作为参考进行比对,在点云深度图像中选择候选区域,得到深度图像候选区域集合;
在所述深度图像候选区域集合中,找到每帧与点云信息对应的像素点的三维空间点,获取该三维空间点的法向量,根据所述法向量确定目标形状特征;
根据在所述深度图像候选区域中找到与视频帧图像最接近的像素点,计算RGB特征向量,得到深度图像候选区域集合对应的RGB特征向量矩阵;
根据所述RGB特征向量矩阵与所述形状特征矩以及所述深度图像阵确定由激光雷达传感器获取的检测目标的特征。
5.基于权利要求1所述的基于DS证据理论的轨迹预测方法,其特征在于,所述步骤4,对目标视频图像特征和三维点云特征进行配准与融合,具体包括:由上述步骤1~步骤3,分别得到时间同步的三维点云数据中的目标与视频图像中的目标,因此基于相同帧时刻对目标配准和融合,以丰富目标特征,从而实现多个目标的区分;
从视频帧图像与深度图像中提取目标的特征,包括共有特征和非共有特征;
对于共有特征部分,根据坐标变换关系,在坐标系中完成所述目标物体的各个特征部分的配准,并保留目标的坐标位置信息,包括:目标位置的经度坐标值、纬度坐标值和高度坐标值,以获取所述实时坐标值;分别使用所述坐标系中的经度坐标值、纬度坐标值和高度坐标值,对每个目标位置的实时坐标值中的经度坐标值、纬度坐标值和高度坐标值进行调整;
非共有特征部分,按照非共有特征在所述特征区域的权重大小,判断重要性,预设权重阈值,若权重大于预设权重阈值,则保留非共有特征,公式如下:
其中,N表示目标类,i表示1~N之间的第i目标类;M表示特征类,j表示1~M之间的第j特征集合;ij表示i目标的j特征集合, 表示在第i目标的j特征集合中1~kb的特征,Rijk表示在第i目标的j特征集合中1~k的特征;W(A)表示A目标在所属目标类、特征类、特征集合中的权重;
其中,Fijkmax(A)表示特征A在1~k个特征中的占比最大值,即在第i目标类、第j特征集合中查找由1~k中的最大值;Fijkmin(A)表示特征A在1~k个特征中的占比最小值;
预设权重值:
当满足W(A)大于W0(A)时,保留非共有特征A;则经过配准与融合后的目标特征包含共有特征和满足条件的非共有特征。
6.基于权利要求1所述的基于DS证据理论的轨迹预测方法,其特征在于,所述步骤5,目标关联,是以当前帧为基准,判断当前帧与前一帧的目标是否为相同目标,以此类推,判断前后帧目标是否为同一目标;
由于目标会出现被遮挡的情况,因此将目标分成多个小,为每个小块赋予不同的权重,在计算表观相似度时,除了计算整体的表观相似度以外,同时计算对应小块的相似度,然后综合判定两个目标是否为同一个目标,
假设A目标与B目标是连续的前后帧中的目标,关联两个目标判断是否为同一个目标;
由于目标会出现被遮挡的情况,因此将目标分成多个小块,为每个小块赋予不同的权重,在计算表观相似度时,除了计算整体的表观相似度以外,同时计算对应小块的相似度,然后综合判定两个目标是否为同一个目标,
判断方法:
(1)目标所在图像区域的相关性;
其中,I1,I2分别表示A和B两个目标对应的图像区域,sim(I1,I2)表示两图像的相似性,表示点乘运算;
(2)目标划分小块,各小块之间对应的相似性;
将目标A和B划分成s小块,计算各小块之间的相似性:
其中,Ak表示目标A中的第k个小块,Bk表示目标B中的第k个小块;
wk表示k小块在在目标中的权值, 表示在目标A和B在第k个小块(x,y)位置的颜色的欧式距离;
综合目标所在图像区域的相关性以及各小块之间对应的相似性,匹配相似度获得综合匹配相似度,判断该综合匹配相似度是否大于预设目标匹配相似度值,是则认为该目标在前后帧关联成功,A与B表示同一目标;遍历前后帧全部目标,若综合匹配相似度未大于预设目标匹配相似度阀值,表示目标关联失败。
7.基于权利要求6所述的基于DS证据理论的轨迹预测方法,其特征在于,所述目标关联失败,包括:(1)目标消失:如果前一时刻目标轨迹与当前时刻中各个目标之间不存在关联关系的目标,则将该目标作为消失目标;(2)出现新目标:如果存在当前时刻目标中与前一时刻目标轨迹中的各个目标之间不存在关联关系的目标,则将该目标作为当前时刻的新目标,保留目标的坐标信息,包括中心坐标、宽和高。
8.基于权利要求1所述的基于DS证据理论的轨迹预测方法,其特征在于,所述利用DS证据理论对预测的轨迹进行正确性判断,输出最优轨迹,其步骤如下:
(1)对目标实时数据进行记录;
(2)建立预测轨迹的样本空间矩阵,D={C,S,T},C表示单个传感器的目标轨迹预测、S表示多个传感器之间目标匹配的轨迹预测、T表示单个传感器获取各自目标的轨迹融合后的轨迹预测;
(3)基于样本空间矩阵,对实时目标数据进行分类,按照聚类将特征分为空间特征信息、图像特征信息,目标轨迹信息;输出转换成概率得到证据m1、m2、m3,表示为mi,基本概率赋值表示为mi(Ai);
所述空间特征信息,包括:形状、位置、点云等;所述目标轨迹信息,包括径距、高度、速度、加速度、航向等;所述图像特征信息,包括:形状、纹理、颜色、波段等;
(4)运用DS证据理论对m1、m2、m3进行合成,将满足合成决策规则的类作为最终结果输出。
9.基于权利要求8所述的基于DS证据理论的轨迹预测方法,其特征在于,所述运用DS证据理论对m1、m2、m3进行合成,将满足合成决策规则的类作为最终结果输出,如下:
将目标预测轨迹情况作为基本命题A,将目标空间信息、图像信息以及目标轨迹信息作为基本证据,
(1)首先计算基本概率:
其中,(1-∑Bel)表示可分配基本概率赋值;α表示置信度函数Bel与似然函数Pl对基本概率赋值分配的影响程度:
Δmxyz(n)表示多个证据之间关于第n个特征指标的差, 表示三级
最小差, 表示三级最大差,S(mi)表示证据支持度;
其中,证据支持度:
证据支持度反映该证据被其他证据的支持程度,S(mi)值越大,表明证据之间的距离越小,该证据的支持度就越大,D(mi)是证据之间距离;
其中,Smax(mi)表示证据的最大支持度,Smin(mi)表示证据的最小支持度;
(2)计算基本概率赋值:
mi(Ai)=S(mi)‘’*P(mi)         (10)
(3)合成:
输出合成概率结果,将值最大的作为最终预测轨迹。
10.一种基于DS证据理论的轨迹预测装置,包括:(1)电源;(2)多传感器模块;(3)目标处理模块;(4)轨迹处理模块;(5)智能控制模块;(6)无线通信模块;(7)显示终端;
由(2)多传感器模块采集目标及周围环境信息数据,经过(3)目标处理模块将多传感器采集后的目标信息进行视频图像融合、检测目标、获取图像特征,目标匹配融合、目标前后帧关联,得到连续出现的多个目标,输入到(4)轨迹处理模块,进行轨迹分析、预测,将目标信息、轨迹信息输出到(5)智能控制模块,由(6)无线通信模块,为整个装置提供网络连接,将目标信息、轨迹信息输出到(7)显示终端;
所述(1)电源,为整个装置供电,使装置独立带电工作;
所述(2)多传感器模块,至少包括激光雷达传感器、红外传感器、可见光传感器,以得到图像数据、点云数据、位置、速度、运动趋势信息;传感器装置与北斗定位系统配合,实现准确定位;事先确定一坐标系,确定目标的运行方向,根据方向预测目标移动位置;
所述(3)目标处理模块:包括:视频图像处理单元、目标匹配融合单元、目标关联单元,所述视频图像处理单元,对获取包含目标以及周围环境的视频进行图像帧提取,检测图像中有效目标,所述有效目标,可能包含一个或多个目标,利用非下采样变换对红外图像和可见光图像进行融合,提取目标颜色特征、纹理特征;
所述目标匹配融合单元,在时间配准的情况下,对目标点云信息和图像信息的特征进行配准和融合,将目标点云信息转换成图像信息,提取图像特征,将图像信息与经过融合的红外与可见光图像的特征进行匹配,融合共有特征,对于非共有特征,计算权重,权重值大于预设权重时,保留非共有特征;
所述目标关联单元,连接目标匹配单元,经过匹配融合后的特征输入到目标关联单元,将当前帧图像和前t帧图像进行关联,根据关联结果判断目标的状态;
所述(4)轨迹处理模块,包括:轨迹生成单元,轨迹更新单元,轨迹判断单元,轨迹删除单元,轨迹处理单元,
所述轨迹生成单元,用于生成轨迹,如关联失败的目标新生成轨迹;
所述轨迹更新单元,用于更新轨迹;
所述轨迹判断单元,用来判断轨迹为有效轨迹还是异常轨迹;若单个目标出现多次超过设定阈值次数的至多只有连续n帧存在的轨迹,则将该轨迹视为异常轨迹;单个目标出现多次超过设定阈值次数的超过n帧的轨迹,则将该轨迹视为有效轨迹;
所述轨迹删除单元,用于删除异常轨迹;
所述轨迹处理单元,对有效轨迹进行处理,包括轨迹融合,轨迹预测;轨迹预测借助卡尔曼滤波器对有效轨迹进行轨迹预测;
所述(5)智能控制模块,根据目标信息及轨迹预测信息作出判断。

说明书全文

一种基于DS证据理论的轨迹预测装置及方法

技术领域

[0001] 本发明涉及目标探测与识别领域,尤其是涉及了一种基于DS证据理论的轨迹预测装置及方法。

背景技术

[0002] 目标预测轨迹是提前掌握目标运动的动态,计划预测轨迹的准确程度将很大程度影响制定决策的可行性和有效性。计划预测轨迹的产生现行领域中是通过构建目标性能模型去推算的,但预测结果和实际运行结果仍存在一定的差异。
[0003] 现有的轨迹预测方法,是根据轨迹规划,建立轨迹微分方程组解算模型,通过数值解算方法如欧拉法、龙格库塔法等,利用给定的初始值和解算步长,对轨迹微分方程组进行解算,在满足解算结束条件时,完成对轨迹微分方程组的解算,从而可以获得在解算结束时刻对应的轨迹的状态,也就是从当前给定的初始状态,预测结束时刻的状态。
[0004] 传统的轨迹预测方法,有两种实现方式,如在线实时预测,通过编写计算机程序实现数值解算算法,在实时系统时钟下,实时在线解算目标的运动方程组来实现预测。实时在线预测,可以提取系统的当前状态作为预测的初始状态,动态调整预测初始值和结束条件,使得预测结果更加准确,但预测时间较长,在系统存在超实时要求情况下不能满足使用要求;
[0005] 另一种方式是离线预测,在非实时系统时钟下解算目标的运动方程组,事先进行轨迹预测,将预测结果作为系统的输入,再启动系统的后续工作流程。离线预测的好处是可以超实时实现预测,预测速度快,但不足的是预测结果准确性较差,系统稍有扰动,则预测结果就存在误差。
[0006] 因此,在轨迹预测过程中,如何有效的提高预测效率且提高预测准确率是一项亟待解决的问题。
[0007] 本发明提供一种基于DS证据理论的轨迹预测装置及方法,根据多个传感器探测的目标,进行时空配准,利用改进的卷积神经网络提取目标特征并分类,将图像目标特征与三维点特征基于相同进行特征配准、融合,特征包括共有特征和非共有特征,判断非共有特征是否需要保留;对于同一目标,基于连续前后帧对多个目标进行关联,得到连续帧的同一目标,建立样本矩阵用于表示被预测的轨迹,包括:单个传感器的目标轨迹预测、多个传感器之间目标匹配的轨迹预测、单个传感器获取各自目标的轨迹融合后的轨迹预测;利用DS证据理论基于空间特征、图像特征和目标轨迹信息对预测的轨迹进行正确性判断,输出最优轨迹。本发明能够提高轨迹预测的准确性。

发明内容

[0008] 为了解决上述问题,本发明的目的在于提供一种基于DS证据理论的轨迹预测装置及方法,根据传感器探测的目标,进行时空配准,利用改进的卷积神经网络提取目标特征并分类,将图像目标特征与三维点云特征基于相同帧进行特征配准、融合,特征包括共有特征和非共有特征,判断非共有特征是否需要保留;对于同一目标,基于连续前后帧对多个目标进行关联,得到连续帧的同一目标,建立样本矩阵用于表示被预测的轨迹,包括:单个传感器的目标轨迹预测、多个传感器之间目标匹配的轨迹预测、单个传感器获取各自目标的轨迹融合后的轨迹预测;利用DS证据理论基于空间特征、图像特征和目标轨迹信息对预测的轨迹进行正确性判断,输出最优轨迹。本发明能够提高轨迹预测的效率和准确性。
[0009] 为实现上述目的,本发明提供一种基于DS证据理论的轨迹预测方法,其特征在于,包括:
[0010] 步骤1,利用多传感器采集目标信息,获取目标所在区域的视频图像信息和三维点云信息;
[0011] 步骤2,对采集到的信息进行时间配准和空间配准;
[0012] 步骤3,利用卷积神经网络检测目标提取视频图像特征,通过在卷积层后连接上采样层、以及在池化层后增加残差结构,弥补原始输入图像经过过各个卷积层得到的新图像的分辨率的损失;同时还提取目标三维点云特征;
[0013] 步骤4,配准与融合相同帧时刻的目标视频图像特征和三维点云特征,得到目标的完整特征;
[0014] 步骤5,基于前后帧时刻,关联前帧出现的目标与后帧出现的目标;
[0015] 步骤6,建立样本矩阵用于表示被预测的轨迹,包括:单个传感器的目标轨迹预测、多个传感器之间目标匹配的轨迹预测、单个传感器获取各自目标的轨迹融合后的轨迹预测;
[0016] 步骤7,利用DS证据理论对预测的轨迹进行正确性判断,输出最优轨迹。
[0017] 进一步的,所述单个传感器的目标轨迹预测,是由单个传感器检测目标,至少包括激光雷达传感器、红外传感器和可见光传感器,得到同一目标位置和各自轨迹,对各自轨迹进行融合,利用基于卡尔曼滤波预测所述目标的轨迹;
[0018] 所述单个传感器获取各自目标的轨迹融合后的轨迹预测,由单个传感器检测目标,至少包括激光雷达传感器、红外传感器和可见光传感器,得到同一目标位置和各自轨迹,对各自轨迹进行融合,利用基于卡尔曼滤波预测所述目标的轨迹;
[0019] 所述多个传感器之间目标匹配的轨迹预测,由多个传感器获取目标,基于相同帧检测目标特征,对特征进行融合,得到同一目标的全部特征,然后分析该目标的位置,基于前后帧位置,利用卡尔曼滤波预测所述目标的轨迹。
[0020] 其中,所述利用卷积神经网络检测目标提取视频图像特征,首先利用非下采样变换对红外和可见光视频图像进行逐帧融合,得到融合后的图像;然后利用卷积神经网络检测视频中所有目标,进而检测目标图像特征;所述检测目标图像特征与所述检测视频中所有目标共用卷积神经网络的卷积层;
[0021] 所述卷积神经网络,由卷积层、激励层、池化层和上采样层组成;
[0022] 第1层为卷积输入层,输入原始大小图像,设置16个卷积核,大小为5×5,填充值为2,步长为1,激活函数设置为ReLU函数;
[0023] 第2层为卷积运算层和平均池化层,输入图像,卷积层设有32个卷积核,大小为5×5,填充值为2,步长为1,ReLU函数线性激活函数;下采样层使用2×2的核,步长为2,进行平均池化下采样输出;
[0024] 第3层为卷积运算层、平均池化层和上采样层,输入来自第2层的图像,卷积层大小为3×3的64个卷积核,填充值为1,步长为1,ReLU函数线性激活函数;下采样层使用2×2的核,步长为2,进行平均池化下采样输出,然后进行正则化处理;上采样层使用2×2的核,步长为2;
[0025] 第4层为卷积运算层、最大池化层和上采样层,输入来自第3层的图像,卷积层大小为3×3的32个卷积核,填充值为1,使用ReLU激活函数;下采样层使用2×2的核进行最大池化;上采样层使用2×2的核,步长为2;输出图像;
[0026] 第5层为卷积运算层和最大池化层,输入来自第4层的图像,卷积层大小为3×3的16个卷积核,填充值为1,使用ReLU激活函数;下采样层使用2×2的核进行最大池化,下采样输出图像;
[0027] 第6层为两个全连接层,用2048个神经元连接一个残差结构以及经过第5层的特征图输出,再由Dropout随机丢掉节点信息,得到新的神经元;DropOut层仅产生50%的输出;
[0028] 第7层为输出层,通过分类器输出;
[0029] 为弥补通过各个卷积层而生成的图像的分辨率与原始图像分辨率之间的差值,(1)利用叠加残差结构进行补偿,残差结构用于将第2层平均池化下采样层的输出特征与第5层最大池化采样层输出特征进行线性相加,(2)第3层卷积运算层与第4层卷积运算层输出端接一个对应原图分辨率的上采样层;
[0030] 通过上述卷积神经网络检测目标,提取目标视频图像特征。
[0031] 进一步的,为加强卷积神经网络的应用,按照陆空领域划分训练数据集,采集种类至少包括飞行物集合、船舰集合、车辆集合;每个种类包含若干个数据,训练集以场景为批次输入卷积神经网络进行训练,场景中至少包含一个目标,每200帧迭代保存一次数据;利用Adam优化算法完成训练,并对模型进行更新;将更新后的模型作为检测模型,输出结果为目标所述类别、目标个数以及特征。
[0032] 其中,所述提取目标三维点云特征,具体包括:由激光雷达传感器扫描目标得到目标三维点云,
[0033] 选择当前帧与前t帧的目标三维点云;对点云数据进行预处理,得到点云轮廓数据;
[0034] 计算第t帧相对于第t-1帧的相对位移和度,以角度角度垂直方向作为点云投影方向,获取点云深度信息;
[0035] 根据视频帧图像得到与点云对应的目标信息,以所述对应的目标进行作为参考进行比对,在点云深度图像中选择候选区域,得到深度图像候选区域集合;
[0036] 在所述深度图像候选区域集合中,找到每帧与点云信息对应的像素点的三维空间点,获取该三维空间点的法向量,根据所述法向量确定目标形状特征;
[0037] 根据在所述深度图像候选区域中找到与视频帧图像最接近的像素点,计算RGB特征向量,得到深度图像候选区域集合对应的RGB特征向量矩阵;
[0038] 根据所述RGB特征向量矩阵与所述形状特征矩以及所述深度图像阵确定由激光雷达传感器获取的检测目标的特征。
[0039] 其中,所述对目标视频图像特征和三维点云特征进行配准与融合,经过对目标特征检测,得到时间同步的三维点云数据中的目标与视频图像中的目标,因此基于相同帧时刻对目标配准和融合,以丰富目标特征,从而实现多个目标的区分;
[0040] 从视频帧图像与深度图像中提取目标的特征,包括共有特征和非共有特征;
[0041] 对于共有特征部分,根据坐标变换关系,在坐标系中完成所述目标物体的各个特征部分的配准,并保留目标的坐标位置信息,包括:目标位置的经度坐标值、纬度坐标值和高度坐标值,以获取所述实时坐标值;分别使用所述坐标系中的经度坐标值、纬度坐标值和高度坐标值,对每个目标位置的实时坐标值中的经度坐标值、纬度坐标值和高度坐标值进行调整;
[0042] 对于非共有特征部分,按照非共有特征在所述特征区域的权重大小,判断重要性,预设权重阈值,若权重大于预设权重阈值,则保留非共有特征,公式如下:
[0043]
[0044] 其中,N表示目标类,i表示1~N之间的第i目标类;M表示特征类,j表示1~M之间的第j特征集合;ij表示i目标的j特征集合, 表示在第i目标的j特征集合中1~kb的特征,Rijk表示在第i目标的j特征集合中1~k的特征;W(A)表示A目标在所属目标类、特征类、特征集合中的权重;
[0045]
[0046] 其中,Fijkmax(A)表示特征A在1~k个特征中的占比最大值,即在第i目标类、第j特征集合中查找由1~k中的最大值;Fijkmin(A)表示特征A在1~k个特征中的占比最小值;
[0047] 预设权重值:
[0048]
[0049] 当满足W(A)大于W0(A)时,保留非共有特征A;则经过配准与融合后的目标特征包含共有特征和满足条件的非共有特征。
[0050] 其中,所述目标关联,是以当前帧为基础,判断当前帧与前一帧的目标是否为相同目标,以此类推,判断前后帧目标是否为同一目标;
[0051] 由于目标会出现被遮挡的情况,因此将目标分成多个小,为每个小块赋予不同的权重,在计算表观相似度时,除了计算整体的表观相似度以外,同时计算对应小块的相似度,然后综合判定两个目标是否为同一个目标,
[0052] 假设A目标与B目标是连续的前后帧中的目标,关联两个目标判断是否为同一个目标;由于目标会出现被遮挡的情况,因此将目标分成多个小块,为每个小块赋予不同的权重,在计算表观相似度时,除了计算整体的表观相似度以外,同时计算对应小块的相似度,然后综合判定两个目标是否为同一个目标,判断方法(1))目标所在图像区域的相关性;
[0053]
[0054] 其中,I1,I2分别表示A和B两个目标对应的图像区域,sim(I1,I2)表示两图像的相似性,°表示点乘运算;
[0055] (2)目标划分小块,各小块之间对应的相似性;
[0056] 将目标A和B划分成s小块,计算各小块之间的相似性:
[0057]
[0058] 其中,Ak表示目标A中的第k个小块,Bk表示目标B中的第k个小块;
[0059] wk表示k小块在在目标中的权值, 表示在目标A和B在第k个小块(x,y)位置的颜色的欧式距离;
[0060] 综合目标所在图像区域的相关性以及各小块之间对应的相似性,匹配相似度获得综合匹配相似度,判断该综合匹配相似度是否大于预设目标匹配相似度值,是则认为该目标在前后帧关联成功,A与B表示同一目标;遍历前后帧全部目标,若综合匹配相似度未大于预设目标匹配相似度阀值,表示目标关联失败。
[0061] 进一步的,所述目标关联失败,包括如下情况:(1)目标消失:如果前一时刻目标轨迹与当前时刻中各个目标之间不存在关联关系的目标,则将该目标作为消失目标;(2)出现新目标:如果存在当前时刻目标中与前一时刻目标轨迹中的各个目标之间不存在关联关系的目标,则将该目标作为当前时刻的新目标,保留目标的坐标信息,包括中心坐标、宽和高。
[0062] 其中,所述利用DS证据理论对预测的轨迹进行正确性判断,输出最优轨迹,其步骤如下:
[0063] (1)对目标实时数据进行记录;
[0064] (2)建立预测轨迹的样本空间矩阵,D={C,S,T},C表示单个传感器的目标轨迹预测、S表示多个传感器之间目标匹配的轨迹预测、T表示单个传感器获取各自目标的轨迹融合后的轨迹预测;
[0065] (3)基于样本空间矩阵,对实时目标数据进行分类,按照聚类将特征分为空间特征信息、图像特征信息,目标轨迹信息;输出转换成概率得到证据m1、m2、m3,表示为mi,基本概率赋值表示为mi(Ai);
[0066] 所述空间特征信息,包括:形状、位置、点云等;所述目标轨迹信息,包括径距、高度、速度、加速度、航向等;所述图像特征信息,包括:形状、纹理、颜色、波段等;
[0067] (4)运用DS证据理论对m1、m2、m3进行合成,将满足合成决策规则的类作为最终结果输出。
[0068] 进一步的,运用DS证据理论对m1、m2、m3进行合成,将满足合成决策规则的类作为最终结果输出,如下:
[0069] 将目标预测轨迹情况作为基本命题A,将目标空间信息、图像信息以及目标轨迹信息作为基本证据,
[0070] (1)首先计算基本概率:
[0071]
[0072] 其中,(1-∑Bel)表示可分配基本概率赋值;α表示置信度函数Bel与似然函数Pl对基本概率赋值分配的影响程度:
[0073]
[0074] Δmxyz(n)表示多个证据之间关于第n个特征指标的差, 表示三级最小差, 表示三级最大差,S(mi)表示证据支持度;
[0075] 其中,证据支持度:
[0076]
[0077] 证据支持度反映该证据被其他证据的支持程度,S(mi)值越大,表明证据之间的距离越小,该证据的支持度就越大,D(mi)是证据之间距离;
[0078]
[0079] 其中,Smax(mi)表示证据的最大支持度,Smin(mi)表示证据的最小支持度;
[0080] (2)计算基本概率赋值:
[0081] mi(Ai)=S(mi)′*P(mi)  (10)
[0082] (3)合成:
[0083]
[0084] 输出合成概率结果,将值最大的作为最终预测轨迹。
[0085] 本发明还提供一种基于DS证据理论的轨迹预测装置,包括:(1)电源,(2)多传感器模块;(3)目标处理模块;(4)轨迹处理模块;(5)智能控制模块;(6)无线通信模块;(7)显示终端;
[0086] 由(2)多传感器模块采集目标及周围环境信息数据,经过(3)目标处理模块将多传感器采集后的目标信息进行视频图像融合、检测目标、获取图像特征,目标匹配融合、目标前后帧关联,得到连续出现的多个目标,输入到(4)轨迹处理模块,进行轨迹分析、预测,将目标信息、轨迹信息输出到(5)智能控制模块,由(6)无线通信模块,为整个装置提供网络连接,将目标信息、轨迹信息输出到(7)显示终端;
[0087] 所述(1)电源,为整个装置供电,使装置独立带电工作;
[0088] 所述(2)多传感器模块,至少包括激光雷达传感器、红外传感器、可见光传感器,以得到图像数据、点云数据、位置、速度、运动趋势信息;传感器装置与北斗定位系统配合,实现准确定位;事先确定一坐标系,确定目标的运行方向,根据方向预测目标移动位置;
[0089] 所述(3)目标处理模块:包括:视频图像处理单元、目标匹配融合单元、目标关联单元,所述视频图像处理单元,对获取包含目标以及周围环境的视频进行图像帧提取,检测图像中有效目标,所述有效目标,可能包含一个或多个目标,利用非下采样变换对红外图像和可见光图像进行融合,提取目标颜色特征、纹理特征;
[0090] 所述目标匹配融合单元,在时间配准的情况下,对目标点云信息和图像信息的特征进行配准和融合,将目标点云信息转换成图像信息,提取图像特征,将图像信息与经过融合的红外与可见光图像的特征进行匹配,融合共有特征,对于非共有特征,计算权重,权重值大于预设权重时,保留非共有特征;
[0091] 所述目标关联单元,连接目标匹配单元,经过匹配融合后的特征输入到目标关联单元,将当前帧图像和前t帧图像进行关联,根据关联结果判断目标的状态;
[0092] 所述(4)轨迹处理模块,包括:轨迹生成单元,轨迹更新单元,轨迹判断单元,轨迹删除单元,轨迹处理单元,
[0093] 所述轨迹生成单元,用于生成轨迹,如关联失败的目标新生成轨迹;
[0094] 所述轨迹更新单元,用于更新轨迹;
[0095] 所述轨迹判断单元,用来判断轨迹为有效轨迹还是异常轨迹;若单个目标出现多次超过设定阈值次数的至多只有连续n帧存在的轨迹,则将该轨迹视为异常轨迹;单个目标出现多次超过设定阈值次数的超过n帧的轨迹,则将该轨迹视为有效轨迹;
[0096] 所述轨迹删除单元,用于删除异常轨迹;
[0097] 所述轨迹处理单元,对有效轨迹进行处理,包括轨迹融合,轨迹预测;轨迹预测借助卡尔曼滤波器对有效轨迹进行轨迹预测;
[0098] 所述(5)智能控制模块,根据目标信息及轨迹预测信息作出判断。
[0099] 本发明构建高效的轨迹预测评估方法,方法简单、易实现,利用特征精确定目标,在北斗定位系统的基础上利用目标特征,精确锁定目标,提供目标存在性的有证据,能够解决目标位置不准确而导致目标轨迹频繁中断的问题;充分利用DS证据理论在处理不确定信息方面的特点和优势,提高目标轨迹预测的准确性。附图说明
[0100] 图1是本发明一种基于DS证据理论的轨迹预测装置及方法的实现流程图
[0101] 图2是本发明一种基于DS证据理论的轨迹预测装置及方法的装置框架图。
[0102] 图3是本发明一种基于DS证据理论的轨迹预测装置及方法的卷积神经网络结构图。

具体实施方式

[0103] 需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互结合,下面结合附图和具体实施例对本发明作进一步详细说明。
[0104] 图1是本发明一种基于DS证据理论的轨迹预测装置及方法的实现流程图。主要显示了:首先利用传感器探测得到的目标,进行时间配准和空间配准,提取目标及目标特征,包括图像特征和点云特征,将图像目标特征与三维点云特征基于相同帧进行特征配准、融合,特征包括共有特征和非共有特征,判断非共有特征是否需要保留;对于同一目标,基于连续前后帧对多个目标进行关联,得到连续帧的同一目标,建立样本矩阵用于表示被预测的轨迹,包括:单个传感器的目标轨迹预测、多个传感器之间目标匹配的轨迹预测、单个传感器获取各自目标的轨迹融合后的轨迹预测;利用DS证据理论基于空间特征、图像特征和目标轨迹信息对预测的轨迹进行正确性判断,输出最优轨迹。
[0105] 步骤1,利用多传感器采集目标信息,获取目标所在区域的视频图像信息和三维点云信息;
[0106] 步骤2,时间配准和空间配准;
[0107] 步骤3,利用卷积神经网检测目标,提取目标视频图像特征,通过在卷积层后连接上采样层,在池化层后增加残差结构,弥补原始输入图像经过卷积层得到新图像分辨率的损失;同时提取目标三维点云特征;
[0108] 图3是本发明一种基于DS证据理论的轨迹预测装置及方法的卷积神经网络结构图,主要显示了卷积神经网络结构包括卷积层、激励层、池化和上采样层;在卷积层后连接上采样,在池化层后增加残差结构;
[0109] 第1层为卷积输入层,输入原始大小图像,设置16个卷积核,大小为5×5,填充值为2,步长为1,激活函数设置为ReLU函数;
[0110] 第2层为卷积运算层和平均池化层,输入图像,卷积层设有32个卷积核,大小为5×5,填充值为2,步长为1,ReLU函数线性激活函数;下采样层使用2×2的核,步长为2,进行平均池化下采样输出;
[0111] 第3层为卷积运算层、平均池化层和上采样层,输入来自第2层的图像,卷积层大小为3×3的64个卷积核,填充值为1,步长为1,ReLU函数线性激活函数;下采样层使用2×2的核,步长为2,进行平均池化下采样输出,然后进行正则化处理;上采样层使用2×2的核,步长为2;
[0112] 第4层为卷积运算层、最大池化层和上采样层,输入来自第3层的图像,卷积层大小为3×3的32个卷积核,填充值为1,使用ReLU激活函数;下采样层使用2×2的核进行最大池化;上采样层使用2×2的核,步长为2;输出图像;
[0113] 第5层为卷积运算层和最大池化层,输入来自第4层的图像,卷积层大小为3×3的16个卷积核,填充值为1,使用ReLU激活函数;下采样层使用2×2的核进行最大池化,下采样输出图像;
[0114] 第6层为两个全连接层,用2048个神经元连接一个残差结构以及经过第5层的特征图输出,再由Dropout随机丢掉节点信息,得到新的神经元;DropOut层仅产生50%的输出;
[0115] 第7层为输出层,通过分类器输出;
[0116] 为弥补通过各个卷积层而生成的图像的分辨率与原始图像分辨率之间的差值,(1)利用叠加残差结构进行补偿,残差结构用于将第2层平均池化下采样层的输出特征与第5层最大池化采样层输出特征进行线性相加,(2)第3层卷积运算层与第4层卷积运算层输出端接一个对应原图分辨率的上采样层。
[0117] 进一步的,为更好得到目标图像特征,利用非下采样变换对红外和可见光视频图像进行逐帧融合,得到融合后的图像;
[0118] 利用卷积神经网络检测视频图像中所有目标,进而检测目标图像特征;所述检测目标图像特征与所述检测视频特征中所有目标共用卷积神经网络的卷积层;
[0119] 对卷积神经网络训练,按照水陆空领域划分训练数据集,采集种类至少包括飞行物集合、船舰集合、车辆集合;每个种类包含若干个数据,训练集以场景为批次输入卷积神经网络进行训练,场景中至少包含一个目标,每200帧迭代保存一次数据;利用Adam优化算法完成训练,并对模型进行更新;将更新后的模型作为检测模型,输出结果为目标所述类别、目标个数以及特征。
[0120] 通过上述卷积神经网络检测目标,提取目标视频图像特征。
[0121] 其中,激光雷达传感器获取目标三维点云特征,选择当前帧与前t帧的目标三维点云;对点云数据进行预处理,得到点云轮廓数据;
[0122] 计算第t帧相对于第t-1帧的相对位移和角度,以角度角度垂直方向作为点云投影方向,获取点云深度信息;
[0123] 根据视频帧图像得到与点云对应的目标信息,以所述对应的目标进行作为参考进行比对,在点云深度图像中选择候选区域,得到深度图像候选区域集合;
[0124] 在所述深度图像候选区域集合中,找到每帧与点云信息对应的像素点的三维空间点,获取该三维空间点的法向量,根据所述法向量确定目标形状特征;
[0125] 根据在所述深度图像候选区域中找到与视频帧图像最接近的像素点,计算RGB特征向量,得到深度图像候选区域集合对应的RGB特征向量矩阵;
[0126] 根据所述RGB特征向量矩阵与所述形状特征矩以及所述深度图像阵确定由激光雷达传感器获取的检测目标的特征。
[0127] 步骤4,配准与融合相同帧时刻的目标视频图像特征与三维点云特征,得到同一目标完整的特征;特征配准和融合时,由于特征会包含共有特征和非共有特征,因此对共有特征和非共有特征分别处理;
[0128] 进一步的,对于共有特征部分,根据坐标变换关系,在坐标系中完成所述目标物体的各个特征部分的配准,并保留目标的坐标位置信息,包括:目标位置的经度坐标值、纬度坐标值和高度坐标值,以获取所述实时坐标值;分别使用所述坐标系中的经度坐标值、纬度坐标值和高度坐标值,对每个目标位置的实时坐标值中的经度坐标值、纬度坐标值和高度坐标值进行调整;
[0129] 进一步的,对于非共有特征部分,根据坐标变换关系,在坐标系中完成所述目标物体的各个特征部分的配准,并保留目标的坐标位置信息,包括:目标位置的经度坐标值、纬度坐标值和高度坐标值,以获取所述实时坐标值;分别使用所述坐标系中的经度坐标值、纬度坐标值和高度坐标值,对每个目标位置的实时坐标值中的经度坐标值、纬度坐标值和高度坐标值进行调整;
[0130] 非共有特征部分,按照非共有特征在所述特征区域的权重大小,判断重要性,预设权重阈值,若权重大于预设权重阈值,则保留非共有特征,公式如下:
[0131]
[0132] 其中,N表示目标类,i表示1~N之间的第i目标类;M表示特征类,j表示1~M之间的第j特征集合;ij表示i目标的j特征集合, 表示在第i目标的j特征集合中1~kb的特征,Rijk表示在第i目标的j特征集合中1~k的特征;W(A)表示A目标在所属目标类、特征类、特征集合中的权重;
[0133]
[0134] 其中,Fijkmax(A)表示特征A在1~k个特征中的占比最大值,即在第i目标类、第j特征集合中查找由1~k中的最大值;Fijkmin(A)表示特征A在1~k个特征中的占比最小值;
[0135] 预设权重值:
[0136]
[0137] 当满足W(A)大于W0(A)时,保留非共有特征A;则经过配准与融合后的目标特征包含共有特征和满足条件的非共有特征。
[0138] 步骤5,基于前后帧时刻,关联前帧出现的目标与后帧出现的目标,判断是否为同一目标;
[0139] 进一步的,目标关联,是以当前帧为基准,判断当前帧与前一帧的目标是否为相同目标,以此类推,判断前后帧目标是否为同一目标;
[0140] 由于目标会出现被遮挡的情况,因此将目标分成多个小块,为每个小块赋予不同的权重,在计算表观相似度时,除了计算整体的表观相似度以外,同时计算对应小块的相似度,然后综合判定两个目标是否为同一个目标,
[0141] 假设A目标与B目标是连续的前后帧中的目标,关联两个目标判断是否为同一个目标;由于目标会出现被遮挡的情况,因此将目标分成多个小块,为每个小块赋予不同的权重,在计算表观相似度时,除了计算整体的表观相似度以外,同时计算对应小块的相似度,然后综合判定两个目标是否为同一个目标,
[0142] 判断方法:
[0143] (1)目标所在图像区域的相关性;
[0144]
[0145] 其中,I1,I2分别表示A和B两个目标对应的图像区域,sim(I1,I2)表示两图像的相似性,°表示点乘运算;
[0146] (2)目标划分小块,各小块之间对应的相似性;
[0147] 将目标A和B划分成s小块,计算各小块之间的相似性:
[0148]
[0149] 其中,Ak表示目标A中的第k个小块,Bk表示目标B中的第k个小块;
[0150] wk表示k小块在在目标中的权值, 表示在目标A和B在第k个小块(x,y)位置的颜色的欧式距离;
[0151] 综合目标所在图像区域的相关性以及各小块之间对应的相似性,匹配相似度获得综合匹配相似度,判断该综合匹配相似度是否大于预设目标匹配相似度阀值,是则认为该目标在前后帧关联成功,A与B表示同一目标;遍历前后帧全部目标,若综合匹配相似度未大于预设目标匹配相似度阀值,表示目标关联失败。
[0152] 进一步的,目标关联失败,可能出现:(1)目标消失:如果前一时刻目标轨迹与当前时刻中各个目标之间不存在关联关系的目标,则将该目标作为消失目标;(2)出现新目标:如果存在当前时刻目标中与前一时刻目标轨迹中的各个目标之间不存在关联关系的目标,则将该目标作为当前时刻的新目标,保留目标的坐标信息,包括中心坐标、宽和高。
[0153] 步骤6,建立样本矩阵,用于表示被预测的轨迹,包括:单个传感器的目标轨迹预测、多个传感器之间目标匹配的轨迹预测、单个传感器获取各自目标的轨迹融合后的轨迹预测;
[0154] 进一步的,单个传感器的目标轨迹预测,至少由激光雷达传感器、红外传感器和可见光传感器分别对同一目标检测,获取目标的位置,根据目标连续前后帧所在位置进行轨迹预测;
[0155] 进一步的,单个传感器获取各自目标的轨迹融合后的轨迹预测,由单个传感器检测目标,至少包括激光雷达传感器、红外传感器和可见光传感器,得到同一目标位置和各自轨迹,对各自轨迹进行融合,利用基于卡尔曼滤波预测所述目标的轨迹;
[0156] 进一步的,多个传感器之间目标匹配的轨迹预测,由多个传感器获取目标,基于相同帧检测目标特征,对特征进行融合,得到同一目标的全部特征,然后分析该目标的位置,基于前后帧位置,利用卡尔曼滤波预测所述目标的轨迹。
[0157] 步骤7,利用DS证据理论对预测的轨迹进行正确性判断,输出最优轨迹。
[0158] 对目标实时数据进行记录;
[0159] 建立预测轨迹的样本空间矩阵,D={C,S,T},C表示单个传感器的目标轨迹预测、S表示多个传感器之间目标匹配的轨迹预测、T表示单个传感器获取各自目标的轨迹融合后的轨迹预测;
[0160] 基于样本空间矩阵,对实时目标数据进行分类,按照聚类将特征分为空间特征信息、图像特征信息,目标轨迹信息;输出转换成概率得到证据m1、m2、m3,表示为mi,基本概率赋值表示为mi(Ai);
[0161] 进一步的,目标空间特征信息,包括:形状、位置、点云等;所述目标轨迹信息,包括径距、高度、速度、加速度、航向等;所述目标图像特征信息,包括:形状、纹理、颜色、波段等;
[0162] 运用DS证据理论对m1、m2、m3进行合成,将满足合成决策规则的类作为最终结果输出,如下:
[0163] 将目标预测轨迹情况作为基本命题A,将目标空间信息、图像信息以及目标轨迹信息作为基本证据,
[0164] (1)首先计算基本概率:
[0165]
[0166] 其中,(1-∑Bel)表示可分配基本概率赋值;α表示置信度函数Bel与似然函数Pl对基本概率赋值分配的影响程度:
[0167]
[0168] Δmxyz(n)表示多个证据之间关于第n个特征指标的差, 表示三级最小差, 表示三级最大差,S(mi)表示证据支持度;
[0169] 其中,证据支持度:
[0170]
[0171] 证据支持度反映该证据被其他证据的支持程度,S(mi)值越大,表明证据之间的距离越小,该证据的支持度就越大,D(mi)是证据之间距离;
[0172]
[0173] 其中,Smax(mi)表示证据的最大支持度,Smin(mi)表示证据的最小支持度;
[0174] (2)计算基本概率赋值:
[0175] mi(Ai)=S(mi)′*P(mi)  (10)
[0176] (3)合成:
[0177]
[0178] 输出合成概率结果,将值最大的作为最终预测轨迹。
[0179] 图2是本发明一种基于DS证据理论的轨迹预测装置及方法的装置框架图。主要显示了本发明的装置,包括:(1)电源;(2)多传感器模块;(3)目标处理模块;(4)轨迹处理模块;(5)智能控制模块;(6)无线通信模块;(7)显示终端;
[0180] 由(2)多传感器模块采集目标及周围环境信息数据,经过(3)目标处理模块将多传感器采集后的目标信息进行视频图像融合、检测目标、获取图像特征,目标匹配融合、目标前后帧关联,得到连续出现的多个目标,输入到(4)轨迹处理模块,进行轨迹分析、预测,将目标信息、轨迹信息输出到(5)智能控制模块,由(6)无线通信模块,为整个装置提供网络连接,将目标信息、轨迹信息输出到(7)显示终端;
[0181] 所述(1)电源,为整个装置供电,使装置独立带电工作;
[0182] 所述(2)多传感器模块,至少包括激光雷达传感器、红外传感器、可见光传感器,以得到图像数据、点云数据、位置、速度、运动趋势信息;传感器装置与北斗定位系统配合,实现准确定位;事先确定一坐标系,确定目标的运行方向,根据方向预测目标移动位置;
[0183] 所述(3)目标处理模块:包括:视频图像处理单元、目标匹配融合单元、目标关联单元,所述301视频图像处理单元,对获取包含目标以及周围环境的视频进行图像帧提取,检测图像中有效目标,所述有效目标,可能包含一个或多个目标,利用非下采样变换对红外图像和可见光图像进行融合,提取目标颜色特征、纹理特征;
[0184] 所述302目标匹配融合单元,在时间配准的情况下,对目标点云信息和图像信息的特征进行配准和融合,将目标点云信息转换成图像信息,提取图像特征,将图像信息与经过融合的红外与可见光图像的特征进行匹配,融合共有特征,对于非共有特征,计算权重,权重值大于预设权重时,保留非共有特征;
[0185] 所述303目标关联单元,连接目标匹配单元,经过匹配融合后的特征输入到目标关联单元,将当前帧图像和前t帧图像进行关联,根据关联结果判断目标的状态;
[0186] 所述(4)轨迹处理模块,包括:轨迹生成单元,轨迹更新单元,轨迹判断单元,轨迹删除单元,轨迹处理单元,
[0187] 所述401轨迹生成单元,用于生成轨迹,如关联失败的目标新生成轨迹;
[0188] 所述404轨迹更新单元,用于更新轨迹;
[0189] 所述403轨迹判断单元,用来判断轨迹为有效轨迹还是异常轨迹;若单个目标出现多次超过设定阈值次数的至多只有连续n帧存在的轨迹,则将该轨迹视为异常轨迹;单个目标出现多次超过设定阈值次数的超过n帧的轨迹,则将该轨迹视为有效轨迹;
[0190] 所述405轨迹删除单元,用于删除异常轨迹;
[0191] 所述402轨迹处理单元,对有效轨迹进行处理,包括轨迹融合,轨迹预测;轨迹预测借助卡尔曼滤波器对有效轨迹进行轨迹预测;
[0192] 所述(5)智能控制模块,根据目标信息及轨迹预测信息作出判断。
[0193] 对于本领域技术人员,本发明不限制于上述实施例的细节,在不背离本发明的精神和范围的情况下,能够以其他具体形式实现本发明。此外,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围,这些改进和变型也应视为本发明的保护范围。因此,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈