一种复杂场景下行人的多模态轨迹预测方法
专利汇可以提供一种复杂场景下行人的多模态轨迹预测方法专利检索，专利查询，专利分析的服务。并且本 发明 公开了一种复杂场景下行人的多模态轨迹预测方法，包括以下步骤：使用视觉几何组16层 卷积神经网络 进行图片特征提取；使用全连接层对轨迹数据进行特征处理；输入轨迹数据 特征向量 VS进入生成对抗网络完成编码解码网络功能；输入图片特征数据及轨迹特征数据至物理、社会注意 力 模 块 考虑地形限制及行人交互；通过更新完的生成器部分得到更好的轨迹生成预测结果；得到的稳定轨迹 预测模型 SPM。本发明可以有效的提高预测的 精度 ，并且可以生成多条合理的预测轨迹，不仅能根据原始图片的特征信息提取到相关地形限制信息，而且能够考虑到同一复杂场景下不同行人之间的社交交互情况。本发明能够更加快速和准确地预测行人未来轨迹。，下面是一种复杂场景下行人的多模态轨迹预测方法专利的具体信息内容。
1.一种复杂场景下行人的多模态轨迹预测方法，其特征在于：包括以下步骤：
A、使用视觉几何组16层卷积神经网络进行图片特征提取
视觉几何组16层卷积神经网络把数据集对应的原始背景图片帧作为输入放入端到端的神经网络中进行学习、并把图片数据进行抽象和压缩；具体步骤如下：
A1、输入的不同数据集的原始图片具有不同的分辨率大小，采用函数
transforms.Resize(X,224,224)调整到同一尺寸224*224分辨率，其中transforms代表深度学习pytorch框架中图像预处理包模块；
A2、将调整后的同一尺寸的原始图片输入到已经预训练过的视觉几何组16层卷积神经网络中，并对视觉几何组16层卷积神经网络最后一层进行维度微调，编码成特征向量V，使之前的224*224高维度变成512*14*14维度，具体如下式所示：
V＝nn.Sequential(vggmodel()) (1)
其中，nn代表神经网络函数基类名称，Sequential为有序的容器函数，对视觉几何组16层卷积神经网络进行最后一层的维度微调；
A3、对上述特征向量V在时间维度上进行维度合并操作，进行连结操作，得到T*N*196*
512的物理地形特征向量Vp，其中T代表时间帧数，N代表当前场景行人数目，具体公式如下：
Vp＝nn.Conv2d(V) (2)
其中，nn代表神经网络函数基类名称，Conv2d为深度学习pytorch框架中的二维卷积神经网络函数；
B、使用全连接层对轨迹数据进行特征处理
对数据集中具有时序依赖关系的连续轨迹数据进行处理，得到目标行人与场景内其他行人的相对位移，将此相对位移数据放入端到端的全连接神经网络层中进行学习，进行对应的特征提取，得到用于行人交互分析的轨迹数据特征向量VS，具体公式如下：
其中， 是通过将行人j关于行人i的相对位移输入到全连接层而获得的固定长度的特征向量， 分别代表行人i在时刻t时的x、y坐标，Wfe是全连接层的权重，FC代表全连接神经网络，VS是针对所有时刻t及所有行人的 集合的轨迹数据特征向量；
C、输入轨迹数据特征向量VS进入生成对抗网络完成编码解码网络功能
C1、在进入生成器部分的编码网络结构之后，编码后的轨迹数据特征向量进入引入的社会注意力机制单元，编码后的轨迹帧向量特征提取在动态循环单元流程中完成，考虑不同行人之间交互信息，再将之前得到的Vp物理地形特征向量输入到物理注意力机制单元，考虑到地形限制因素，具体公式如下：
其中， 表示在t-1时刻行人i对应的生成器中编码器LSTM的隐藏状态；它包含了用于计算每个 的物理地形限制信息和社会行人交互信息； 和 函数分别代表引入的物理注意力机制模块和社会注意力机制模块， 和 分别代表物理注意力机制模块及社会注意力模块输出的物理特征向量和社会特征向量；
C2、结合上一步骤得到的物理特征向量 和社会特征向量 加入高斯噪声z向量，输入至生成器模块的解码器部分，进行解码处理，将解码后的结果通过全连接层生成预测轨迹，具体公式如下：
其中，z是从标准高斯正态分布里取样的噪声向量，LSTM是标准的简单长短期记忆网络，MLP是使用线性整流激活函数的多层感知器；Wdecoder和Wmlp分别对应LSTM层和MLP层的权重与偏差； 对应LSTM层生成的预测轨迹隐藏向量， 对应生成的预测的x、y坐标数据；
D、将上一步骤生成的预测轨迹数据 输入鉴别器，与真实未来轨迹进行对比验证，并据此按照交叉熵损失函数的大小变化，利用反向传播算法，对生成器部分进行生成器损失参数的更新，使其经过鉴别器得到的误差损失越来越小，之后再通过更新完的生成器部分得到更好的轨迹生成预测结果，重新进行生成、鉴别过程，具体公式如下：
YDi＝MLP(hDi；Wmlp)
其中， 和Yit是t时刻生成预测轨迹和真实未来轨迹的行人坐标，hDi连接所有时刻的YDi是分类真/假的结果；Wfc、Wdis和Wmlp分别是FC、LSTM以及MLP三种不同网络的权重；
E、根据最大最小博弈原理，不断依照真实未来轨迹与预测未来轨迹的偏差，更新生成模型的损失参数，直到鉴别器区分不出生成的轨迹与真实未来轨迹的区别时，停止模型训练，将此时得到的最后轨迹预测模型保存为.pt文件，这就是得到的稳定轨迹预测模型SPM；
E1、将用于测试的数据集数据输入上面得到的稳定模型SPM中观察结果，自定义参数K，设置生成器部分生成多少条多模态的轨迹，预测未来最可能的K个时序轨迹序列坐标；
E2、将得到的预测结果根据单应性矩阵将真实世界坐标转换为图片上的像素点坐标，将预测轨迹标注在原始图像上进行可视化，得到多条可行的预测轨迹路线，对行人未来轨迹规划及整体场景的调控起到最大化辅助的作用；
结束。
一种复杂场景下行人的多模态轨迹预测方法
技术领域
背景技术
发明内容
具体实施方式
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种行人导航定位中的自适应零速修正方法 | 2020-05-08 | 121 |
| 输电线路绝缘子红外智能匹配识别与测距定位方法及系统 | 2020-05-13 | 62 |
| 胃行为的仿真方法和系统 | 2020-05-14 | 114 |
| 基于可穿戴单目视觉和惯性传感器融合的行人导航方法及系统 | 2020-05-14 | 429 |
| 一种目标跟踪模板自适应更新方法 | 2020-05-16 | 741 |
| 一种基于显著性检测和鲁棒性尺度估计的相关滤波跟踪方法 | 2020-05-17 | 968 |
| 一种基于深度学习的无人机航拍视频轨迹高精度提取方法 | 2020-05-15 | 190 |
| 一种复杂场景下行人的多模态轨迹预测方法 | 2020-05-14 | 411 |
| 一种基于北斗、GPS和SINS的组合导航方法 | 2020-05-15 | 592 |
| 一种基于DS证据理论的目标轨迹优化方法 | 2020-05-17 | 597 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
