基于深度学习的道路障碍物轨迹预测方法和系统
阅读：793发布：2020-05-12
专利汇可以提供基于深度学习的道路障碍物轨迹预测方法和系统专利检索，专利查询，专利分析的服务。并且本 发明 提供一种基于 深度学习 的道路障碍物的轨迹预测方法，该方法包括以下步骤：采集车辆信息、车辆周围的障碍物信息及道路信息；将车辆信息、车辆周围的障碍物信息及道路信息转换至Frenet 坐标系 中，在该Frenet坐标系中设置记录缓存；将所述车辆信息、道路信息以及缓存处理后的车辆周围的障碍物信息添加至 数据库 中获得图像 训练数据 集；将所述图像训练数据集中的样本输入 深度神经网络 模型中，生成障碍物轨迹 预测模型 ；利用该预测模型预测车辆周围的障碍物的运动轨迹。本发明采集到的训练样本更为真实，可基于道路状况不断变化的障碍物信息预测出车辆周围障碍物的运动轨迹更为准确；另外，本发明获得的障碍物轨迹预测模型不再单一。，下面是基于深度学习的道路障碍物轨迹预测方法和系统专利的具体信息内容。
1.一种基于深度学习的道路障碍物的轨迹预测方法，其特征在于，该方法包括以下步骤：
采集车辆信息、车辆周围的障碍物信息及道路信息；
将车辆信息、车辆周围的障碍物信息及道路信息转换至Frenet坐标系中，在该Frenet坐标系中设置记录缓存，所述记录缓存用于对车辆周围的障碍物的位置信息进行缓存处理以使车辆周围的障碍物在不同时刻的标识序号一致；
将所述车辆信息、道路信息以及缓存处理后的车辆周围的障碍物信息添加至数据库中获得图像训练数据集；
将所述图像训练数据集中的样本输入深度神经网络模型中，生成障碍物轨迹预测模型；
利用所述障碍物轨迹预测模型预测车辆周围的障碍物的运动轨迹。
2.根据权利要求1所述的轨迹预测方法，其特征在于，根据所述车辆周围的障碍物的运动轨迹对车辆的行驶路径进行规划以生成规划信息。
3.根据权利要求2所述的轨迹预测方法，其特征在于，对车辆的行驶路径进行规划后，利用所述规划信息对车辆的行进方向进行控制。
4.根据权利要求1所述的轨迹预测方法，其特征在于，所述图像训练数据集是通过以下子步骤获得的：
采集车辆的第一信息、车辆周围的障碍物的第一信息及第一道路信息；
将车辆的第一信息、车辆周围的障碍物的第一信息及第一道路信息转换至车辆的IMU坐标系中获得车辆的第二信息、车辆周围的障碍物的第二信息及第二道路信息；
在预设的时间范围内，分别对车辆的第二信息、车辆周围的障碍物的第二信息进行采样获得采样信息；
将所述采样信息及第二道路信息转换至Frenet坐标系中，在该Frenet坐标系中设置所述记录缓存，所述记录缓存对车辆周围的障碍物的位置信息进行缓存处理得到所述缓存处理后的车辆周围的障碍物信息；
将Frenet坐标系中的车辆信息、道路信息及缓存处理后的车辆周围的障碍物信息添加至数据库中获得所述图像训练数据集。
5.根据权利要求1所述的轨迹预测方法，其特征在于，所述生成障碍物轨迹预测模型包括以下子步骤：
将所述图像训练数据集中的样本输入深度神经网络模型中，利用该深度神经网络模型提取图像训练数据集中的样本的图像特征；
对所述图像训练数据集中的样本的图像特征进行压缩，获得图像特征阵列；
对所述图像特征阵列进行解码以获得障碍物轨迹预测图像信息，基于所述障碍物轨迹预测图像信息生成障碍物轨迹预测模型。
6.根据权利要求5所述的轨迹预测方法，其特征在于，所述深度神经网络模型包括卷积层、残差网络层和反卷积网络层；
将所述图像训练数据集中的样本输入卷积层获得所述图像训练数据集中的样本的图像特征；
将所述图像特征输入该残差网络层进行压缩获得图像特征阵列；
将所述图像特征阵列输入反卷积网络层获得所述障碍物轨迹预测模型。
7.根据权利要求6所述的轨迹预测方法，其特征在于，所述卷积层包括三层卷积神经网络层，相邻的卷积神经网络层之间包括随机失活层；其中，每一个卷积神经网络层使用渗漏线性整流函数；
所述残差网络层包括五层残差网络层，每个残差网络层依次设置为卷积神经网络层-随机失活层-卷积神经网络层-随机失活层；其中，残差网络层中的每一个卷积神经网络层使用渗漏线性整流函数；
所述反卷积网络层包括三层反卷积；其中，每一个反卷积网络层使用线性整流函数。
8.根据权利要求5所述的轨迹预测方法，其特征在于，所述生成障碍物轨迹预测模型还包括以下子步骤：
对所述障碍物轨迹预测图像信息进行梯度优化，以生成优化后的障碍物轨迹预测模型。
9.根据权利要求1-8任一项所述的轨迹预测方法，其特征在于，在获得所述障碍物轨迹预测模型后，清除深度神经网络模型的输出数据中的道路信息和车辆信息。
10.一种基于深度学习的道路障碍物的轨迹预测系统，其特征在于，该系统包括采集模块、转换模块、添加模块、生成模块和预测模块；
所述采集模块用于采集车辆信息、车辆周围的障碍物信息及道路信息；
所述转换模块用于执行以下操作：
将车辆信息、车辆周围的障碍物信息及道路信息转换至Frenet坐标系中，在该Frenet坐标系中设置记录缓存，所述记录缓存用于对车辆周围的障碍物的位置信息进行缓存处理以使车辆周围的障碍物在不同时刻的标识序号一致；
所述添加模块用于将所述车辆信息、道路信息以及缓存处理后的车辆周围的障碍物信息添加至数据库中获得图像训练数据集；
所述生成模块将所述图像训练数据集中的样本输入深度神经网络模型中，生成障碍物轨迹预测模型；
所述预测模块利用所述障碍物轨迹预测模型预测车辆周围的障碍物的运动轨迹。
基于深度学习的道路障碍物轨迹预测方法和系统
技术领域
[0001] 本发明属于车辆技术领域,具体涉及一种基于深度学习的道路障碍物轨迹预测方法和系统。
背景技术
[0002] 近一个多世纪来，汽车的出现取代了传统交通运输方式，使得人们的生活更为便捷。近些年来，随着科技的发展，尤其是智能计算的飞速发展，自动驾驶汽车技术研究成为各行业聚焦的热点。麦肯锡发布的“决定未来经济的12项前沿技术”报告探讨了12项前沿技术对未来经济、社会的影响程度，分析估测了2025年12项技术各自的经济与社会影响力，其中自动驾驶汽车技术排在第6位，其2025年影响力估测为：经济效益每年约0.2-1.9万亿美元，社会效益每年可挽回3-15万个生命。
[0003] 通常，自动驾驶车辆的系统一般分为感知、定位、预测、规划、执行五个模块。其中，感知是对车辆周围环境进行识别、认知；定位是对车辆自身位置的判断；预测是对车辆自身运动或其他障碍物运动轨迹的推算；规划是测量对车辆行驶路径进行决策；执行是实现对车辆横、纵向的控制。
[0004] 在现有的障碍物行驶轨迹的预测方案中，一般是依照各个障碍物的位置、速度、姿态进行障碍物的轨迹预测，首先，预测出障碍物的意图倾向(如：车辆是否会进行变道、是否会继续在此车道直行)；然后，利用障碍物在高精地图中的位置进行对车辆轨迹进行预测；再次，利用不同的多项式方程拟和预测出障碍物轨迹，最终获得障碍物行驶轨迹；但此方式中在对每个障碍物的运动意图进行预测时，尚未有效地将其他车辆的意图或位置考虑进去，甚至在利用高精地图时，会让车辆按照固定的规则在车道中心行驶。
[0005] 除此之外，也有些技术方案会使用强化学习方式，首先，利用同一个车辆模型对所有仿真训练系统中的车辆进行模拟；然后，规定不同的奖励和惩罚方程，并利用车辆模型学习获得一个能在多个个体仿真系统中进行行驶的车辆模型；然而，该方法的缺点是：难以设定出上述的奖励和惩罚方程且训练耗时；另外，训练后获得的模型也不是一个多元行为的模型，从而使得仿真系统中的各个车辆模型过度单一化。
[0006] 综上，上述两种障碍物轨迹预测方法都无法更好地预测障碍物的轨迹，从而使自动驾驶车辆的仿真系统无法模拟出真实路况。
发明内容
[0007] 本发明提供一种基于深度学习的道路障碍物轨迹预测方法和系统，以解决现有技术中的至少一个技术问题。
[0008] 第一方面，本发明实施例提供一种基于深度学习的道路障碍物轨迹预测方法，该方法包括以下步骤：
[0009] 采集车辆信息、车辆周围的障碍物信息及道路信息；
[0010] 将车辆信息、车辆周围的障碍物信息及道路信息转换至Frenet坐标系中，在该Frenet坐标系中设置记录缓存，所述记录缓存用于对车辆周围的障碍物的位置信息进行缓存处理以使车辆周围的障碍物在不同时刻的标识序号一致；
[0013] 利用所述障碍物轨迹预测模型预测车辆周围的障碍物的运动轨迹。
[0014] 进一步的，根据所述车辆周围的障碍物的运动轨迹对车辆的行驶路径进行规划以生成规划信息。
[0015] 进一步的，所述对车辆的行驶路径进行规划后，利用规划信息对车辆的行进方向进行控制。
[0016] 进一步的，所述图像训练数据集是通过以下子步骤获得的：
[0017] 采集车辆的第一信息、车辆周围的障碍物的第一信息及第一道路信息；
[0018] 将车辆的第一信息、车辆周围的障碍物的第一信息及第一道路信息转换至车辆的IMU坐标系中获得车辆的第二信息、车辆周围的障碍物的第二信息及第二道路信息；
[0019] 在预设的时间范围内，分别对车辆的第二信息、车辆周围的障碍物的第二信息进行采样获得采样信息；
[0020] 将所述采样信息及第二道路信息转换至Frenet坐标系中，在该Frenet坐标系中设置所述记录缓存，所述记录缓存对车辆周围的障碍物的位置信息进行缓存处理得到所述缓存处理后的车辆周围的障碍物信息；
[0021] 将Frenet坐标系中的车辆信息、道路信息及缓存处理后的车辆周围的障碍物信息添加至数据库中获得所述图像训练数据集。
[0022] 进一步的，所述生成障碍物轨迹预测模型包括以下子步骤：
[0023] 将所述图像训练数据集中的样本输入深度神经网络模型中，利用该深度神经网络模型提取图像训练数据集中的样本的图像特征；
[0024] 对所述图像训练数据集中的样本的图像特征进行压缩，获得图像特征阵列；
[0025] 对所述图像特征阵列进行解码以获得障碍物轨迹预测图像信息，基于所述障碍物轨迹预测图像信息生成障碍物轨迹预测模型。
[0026] 进一步的，所述深度神经网络模型包括卷积层、残差网络层和反卷积网络层；
[0027] 将所述图像训练数据集中的样本输入卷积层获得所述图像训练数据集中的样本的图像特征；
[0028] 将所述图像特征输入该残差网络层进行压缩获得图像特征阵列；
[0029] 将所述图像特征阵列输入反卷积网络层获得所述障碍物轨迹预测模型。
[0031] 所述残差网络层包括五层残差网络层，每个残差网络层依次设置为卷积神经网络层-随机失活层-卷积神经网络层-随机失活层；其中，残差网络层中的每一个卷积神经网络层使用渗漏线性整流函数；
[0032] 所述反卷积网络层包括三层反卷积；其中，每一个反卷积网络层使用线性整流函数。
[0033] 进一步的，所述生成障碍物轨迹预测模型还包括以下子步骤：
[0034] 对所述障碍物轨迹预测图像信息进行梯度优化，以生成优化后的障碍物轨迹预测模型。
[0035] 进一步的，在获得所述障碍物轨迹预测模型后，清除深度神经网络模型的输出数据中的道路信息和车辆信息。
[0036] 第二方面，本发明实施例提供一种基于深度学习的道路障碍物轨迹预测系统，该系统包括采集模块、转换模块、添加模块、生成模块和预测模块；
[0037] 所述采集模块用于采集车辆信息、车辆周围的障碍物信息及道路信息；
[0038] 所述转换模块用于执行以下操作：
[0039] 将车辆信息、车辆周围的障碍物信息及道路信息转换至Frenet坐标系中，在该Frenet坐标系中设置记录缓存，所述记录缓存用于对车辆周围的障碍物的位置信息进行缓存处理以使车辆周围的障碍物在不同时刻的标识序号一致；
[0040] 所述添加模块用于将所述车辆信息、道路信息以及缓存处理后的车辆周围的障碍物信息添加至数据库中获得图像训练数据集；
[0041] 所述生成模块将所述图像训练数据集中的样本输入深度神经网络模型中，生成障碍物轨迹预测模型；
[0042] 所述预测模块利用所述障碍物轨迹预测模型预测车辆周围的障碍物的运动轨迹。
[0043] 本发明中的基于深度学习的道路障碍物轨迹预测方法和系统，由于考虑了车辆周围的障碍物信息和道路信息，比起现有技术中人为地选取障碍物特征，本发明采集到的训练样本更为真实；
[0044] 并且将采集到的训练样本输入深度神经网络模型可以基于道路状况不断变化的障碍物信息而学习得到该障碍物轨迹预测模型，从而预测出车辆周围障碍物在未来N秒内的运动轨迹，并且仿真系统使车辆周围的障碍物沿着该预测轨迹进行行驶，并逐渐迭代测试最终获得障碍物轨迹预测模型，因此本发明的训练学习方法获得的障碍物轨迹预测模型不再单一。附图说明
[0045] 图1为本发明的实施例提供的一种基于深度学习道路障碍物轨迹预测方法的流程示意图；
[0046] 图2为Frenet坐标系的示意图；
[0047] 图3A为本发明的实施例提供的深度神经网络模型的输入数据的场景示意图；
[0048] 图3B为本发明的实施例提供的深度神经网络模型的输出数据的预测图像示意图；
[0049] 图4为本发明的实施例提供的深度神经网络模型的结构示意图；
[0050] 图5为本发明的实施例提供的残差网络层的结构示意图；
[0051] 图6为本发明的实施例提供的一种基于深度学习的道路障碍物轨迹预测系统的结构示意图；
[0052] 图7为本发明的实施例提供的一种自动驾驶车辆系统的结构示意图；
[0053] 图8为本发明的实施例提供的一种电子设备的结构示意图。
具体实施方式
[0054] 下面结合附图所示的各实施方式对本发明进行详细说明，但应当说明的是，这些实施方式并非对本发明的限制，本领域普通技术人员根据这些实施方式所作的功能、方法、或者结构上的等效变换或替代，均属于本发明的保护范围之内。
[0055] 实施例一
[0056] 图1为本发明的实施例提供的一种基于深度学习的道路障碍物轨迹的预测方法的流程示意图；参见图1，该方法包括以下步骤：
[0057] S100:采集车辆信息、车辆周围的障碍物信息及道路信息；该车辆周围的障碍物与车辆的距离在预设的距离范围内；
[0058] S200:将车辆信息、车辆周围的障碍物信息及道路信息转换至Frenet坐标系中，在该Frenet坐标系中设置记录缓存，所述记录缓存用于对车辆周围的障碍物的位置信息进行缓存处理以使车辆周围的障碍物在不同时刻的标识序号一致；
[0059] S300:将所述车辆信息、道路信息以及缓存处理后的车辆周围的障碍物信息添加至数据库中获得图像训练数据集；
[0060] S400:将所述图像训练数据集中的样本输入深度神经网络模型中，生成障碍物轨迹预测模型；
[0061] S500:利用所述障碍物轨迹预测模型预测车辆周围的障碍物的运动轨迹。
[0062] 进一步的，根据所述车辆周围的障碍物的运动轨迹对车辆的行驶路径进行规划以生成规划信息。
[0063] 进一步的，所述对车辆的行驶路径进行规划后，利用规划信息对车辆的行进方向(例如车辆的横、纵向)进行控制。
[0064] 下面将具体说明本发明的基于深度学习的道路障碍物轨迹预测方法的具体实施过程。
[0065] S100:采集车辆信息、车辆周围的障碍物信息及道路信息；该车辆周围的障碍物与车辆的距离在预设的距离范围内；
[0066] 所述车辆周围的障碍物包括车辆周围的其他车辆、交通标识牌等，本实施例中，主要以车辆周围的其他车辆为障碍物实例来预测障碍物的运动轨迹；其中，步骤S100包括以下子步骤S110-S130；
[0067] S110:采集车辆的第一信息、车辆周围的障碍物的第一信息及第一道路信息；
[0068] 其中，所述车辆的第一信息包括车辆的影像信息、位置信息、速度和姿态信息；
[0069] 所述车辆周围的障碍物的第一信息包括障碍物的影像信息、速度、姿态和位置信息；例如，可以先设置车辆周围的障碍物的初始位置和姿态，再利用障碍物侦测及追踪模块获得障碍物的影像信息、速度、姿态和位置信息。
[0070] 所述第一道路信息包括车道线信息。
[0071] 具体的，图像采集设备(例如双目相机等图像采集装置)采集车辆的影像信息、车辆的速度，车辆周围的障碍物的影像信息和速度；
[0072] 激光雷达采集车辆及车辆周围的障碍物的位置信息；
[0073] IMU(inertial measurement unit,惯性测量单元)测量车辆的姿态信息及车辆周围的障碍物的姿态信息；
[0075] GPS定位器采集车辆的位置信息和车辆周围的障碍物的位置信息。
[0076] 需要说明的是，上述车辆的位置信息、车辆周围的障碍物的位置信息以及第一道路信息都是以大地为坐标系的。
[0077] S120:将车辆的第一信息、车辆周围的障碍物的第一信息及第一道路信息转换至车辆的IMU坐标系中获得车辆的第二信息、车辆周围的障碍物的第二信息及第二道路信息；
[0078] 具体的，将车辆的第一位置信息、第一姿态信息和第一速度，车辆周围的障碍物的第一位置信息、第一姿态信息以及第一道路信息转换至车辆的IMU坐标系中，以获得车辆的第二位置信息、第二姿态信息和第二速度，车辆周围的障碍物的第二位置信息、第二姿态信息和第二速度以及第二道路信息；
[0079] S130:在预设的时间范围内，分别对车辆的第二信息、车辆周围的障碍物的第二信息进行采样获得采样信息；
[0080] 具体的，基于所述车辆的第二信息、车辆周围的障碍物的第二信息，在前M秒内采样M个车辆信息和M个车辆周围障碍物的信息；将采样信息输入M个影像信道中，利用车辆和车辆周围的障碍物的影像信息中的姿态信息和车辆的大小信息，将影像上的像素值设置为P。
[0081] S200:将车辆信息、车辆周围的障碍物信息及道路信息转换至Frenet坐标系中，在该Frenet坐标系中，在该Frenet坐标系中设置记录缓存，所述记录缓存用于对车辆周围的障碍物的位置信息进行缓存处理以使车辆周围的障碍物在不同时刻的标识序号一致，即若障碍物与车辆的距离在预设的距离范围内，利用该缓存可以使同一障碍物继续延续上一个障碍物的标识序号；
[0082] 由于图像采集设备(例如双目相机等)所采集到的车辆周围的障碍物的位置信息和第二道路信息不够准确，因此，在追踪障碍物时就无法准确地识别出各个障碍物的标记序号，从而无法获取到同一障碍物在地图中的不同位置信息。
[0083] 参见图2，图2为Frenet坐标系的示意图；在车辆的自动驾驶环境中，轨迹规划是基于道路的，且是在Frenet坐标系下进行的，相比于笛卡尔坐标系明显地简化了问题。在Frenet坐标系中，使用道路的中心线作为参考线，即命名为道路中心参考线，如图2的右图所示。它以车辆自身为原点，坐标轴的s方向为沿着道路中心参考线的方向，称为纵向(Longitudinal)，坐标轴的1方向为道路中心参考线上过当前点的法向，称为横向(Lateral)，s方向与l方向相互垂直。
[0084] 其中，该Frenet坐标系使用道路的中心线作为参考线，使用参考线的切线向量和法线向量建立坐标系。
[0085] 具体的，将所述采样信息及第二道路信息转换至Frenet坐标系中，在该Frenet坐标系中设置记录缓存，所述记录缓存对车辆周围的障碍物的位置信息进行缓存处理得到所述缓存处理后的车辆周围的障碍物信息，以使该障碍物在不同时刻的标识序号一致。
[0086] S300:将所述车辆信息、道路信息以及缓存处理后的车辆周围的障碍物信息添加至数据库中获得图像训练数据集；
[0087] 具体的，将Frenet坐标系中的车辆信息、道路信息及缓存处理后的车辆周围的障碍物信息添加至数据库中获得所述图像训练数据集。
[0088] 优选的，将图像训练数据集中的所有样本进行缩小，即将图像训练数据集中的所有样本缩小至x乘y的一个或多个图像中，由于图像的尺寸或像素减小，因此节省了训练该图像训练数据集的样本的时间。
[0089] S400:将所述图像训练数据集中的样本输入深度神经网络模型中，生成障碍物轨迹预测模型；
[0090] 具体的，上述步骤S400包括以下步骤S410-S430；
[0091] S410：将所述图像训练数据集中的样本输入深度神经网络模型中，即将采样信息及第二道路信息作为度神经网络模型的输入数据，利用该深度神经网络模型提取图像训练数据集中的样本的图像特征；
[0092] S420：对所述图像训练数据集中的样本的图像特征进行压缩，获得图像特征阵列；其中，该图像特征阵列的维度低于所述图像训练数据集中的样本的图像特征的维度；
[0093] S430：对所述图像特征阵列进行解码以获得障碍物轨迹预测图像信息，基于所述障碍物轨迹预测图像信息生成车辆轨迹预测模型；其中，所述障碍物轨迹预测图像信息为预测的车辆周围的障碍物的位置信息。
[0094] 其中，参见图4，所述深度神经网络模型包括卷积层、残差网络层(residual block)和反卷积网络层；
[0095] 具体的，将所述图像训练数据集中的样本输入卷积层获得所述图像训练数据集中的样本的图像特征；
[0096] 将所述图像特征输入该残差网络层进行压缩获得图像特征阵列；
[0097] 将所述图像特征阵列输入反卷积网络层获得所述车辆轨迹预测模型。
[0098] 优选的，在一个实施例中，参见图4和5，所述卷积层共有三层卷积神经网络层，分别是卷积神经网络层1、2和3，相邻的卷积层之间包括随机失活层(dropout)，卷积神经网络层1、2之间包括随机失活层1，卷积神经网络层2、3之间包括随机失活层2；其中，每一个卷积神经网络层使用渗漏线性整流函数(leaky-relu)；
[0099] 所述残差网络层共有五层，分别是残差网络层1、2、3、4和5；残差网络层1与卷积神经网络层3之间包括随机失活层3；图5中x表示该残差网络层的输入数据，y表示表示该残差网络层的输出数据，每一个残差网络层包括两层卷积及两层随机失活层，例如每个残差网络层的结构具体可设置为卷积神经网络层4-随机失活层4-卷积神经网络层5-随机失活层5；其中，残差网络层中的每一个卷积神经网络层使用渗漏线性整流函数(leaky-relu)；
[0100] 所述反卷积网络层也有三层反卷积网络层，分别是反卷积网络层1、2和3；其中，反卷积网络层1和2之间包括随机失活层6，其中，每一个反卷积网络层使用线性整流函数(relu)。
[0101] 由于输入数据(即图像训练数据集中的样本)和反卷积网络层的输出数据较为相似，因此将反卷积网络层的最后一层的反卷积的输出数据与图像训练数据集中的样本的数据相加，可以获得车辆轨迹预测图像的大小，通过这种方式可以减轻障碍物轨迹预测模型在训练时的负担。
[0102] 进一步的，在生成障碍物轨迹预测模型后，步骤400还包括以下子步骤S440；
[0103] S440：对所述障碍物轨迹预测图像信息进行优化，以生成优化后的障碍物轨迹预测模型；
[0104] 例如，采用归一化函数(如softmax函数)对障碍物轨迹预测图像信息中的图像的每个像素分别进行优化，并对障碍物轨迹预测模型的各卷积层、残差网络层(residual block)和反卷积网络层的权重进行正则化计算，生成所述优化后的车辆轨迹预测模型。
[0105] 优选的，本实施例采用分布式学习方法对障碍物轨迹预测模型进一步优化，该优化步骤包括以下子步骤S441-S443:
[0106] S441:将障碍物轨迹预测模型的卷积层、残差网络层和反卷积网络层中的各层的每个神经元的权重参数分散在多个图形显示卡GPU上，获得一个主障碍物轨迹预测模型和多个从障碍物轨迹预测模型；
[0107] S442:将所述多个从障碍物轨迹预测模型同步梯度至所述主模型上以进行优化，因为每个GPU上都有一个障碍物轨迹预测模型模型，每个GPU都会读取不同的输入数据(即图像训练数据集中的样本)以计算出梯度，并将各个GPU计算出的梯度在主障碍物轨迹预测模型上进行优化，由于主障碍物轨迹预测模型将要优化的梯度是由较多的输入数据(即图像训练数据集中的样本)所计算获得的，因此将所述多个从障碍物轨迹预测模型同步梯度至所述主模型上以进行优化能增加各个从障碍物轨迹预测模型到全局优化点的概率。
[0108] S443:主模型的参数同步至多个从障碍物轨迹预测模型上。
[0109] 由于采用这种梯度优化方式能对图像训练数据集中的样本进行优化，因此，通过上述分布式学习方法可以在训练障碍物轨迹预测模型时，可以针对性地对图像训练数据集中的样本进行概括性地学习。
[0110] 在深度神经网络模型的输入数据中，采样的车辆信息和车辆周围的障碍物信息是为了帮助模型可以更准确地预测障碍物未来的运行轨迹；输入的道路信息(即车道线信息)则可以使障碍物轨迹预测模型更加有效地识别障碍物在道路(即车道)中的位置。
[0111] 优选的，在获得障碍物轨迹预测模型后，将深度神经网络模型的输出数据中的道路信息和车辆信息清除，原因在于：道路信息和车辆信息不是本实施例所需要预测的而且还可以减小障碍物轨迹预测模型在预测车辆周围的障碍物的运动轨迹时的运算量。
[0112] 需要说明的是，上述图像训练数据集中的所有样本均为鸟瞰图并以车辆为坐标原点；其中，图3A为本发明的实施例提供的深度神经网络模型的输入数据的场景示意图；图3B为本发明的实施例提供的深度神经网络模型的输出数据的预测图像示意图；其中，A车为车辆，B车为车辆周围的障碍物(例如车辆周围的其他车辆)，A1、A2分别表示车辆在t1、t2采样时刻的位置；B1、B2分别表示障碍物在t1、t2采样时刻的位置。
[0113] S500:利用所述障碍物轨迹预测模型预测车辆周围的障碍物的运动轨迹。
[0115] 进一步的，根据所述车辆周围的障碍物的运动轨迹对车辆的行驶路径进行规划生成规划信息；并且利用该规划信息对车辆的行进方向(例如车辆的横、纵向)进行控制。
[0116] 实施例二
[0117] 图6为本发明的实施例提供的一种基于深度学习的道路障碍物轨迹预测系统的结构示意图；参见图6，该系统包括一种基于深度学习的道路障碍物的轨迹预测系统，[0118] 该系统包括采集模块、转换模块、添加模块、生成模块和预测模块；
[0119] 所述采集模块用于采集车辆信息、车辆周围的障碍物信息及道路信息；
[0120] 所述转换模块用于执行以下操作：
[0121] 将车辆信息、车辆周围的障碍物信息及道路信息转换至Frenet坐标系中，在该Frenet坐标系中设置记录缓存，所述记录缓存用于对车辆周围的障碍物的位置信息进行缓存处理以使车辆周围的障碍物在不同时刻的标识序号一致；
[0122] 所述添加模块用于将所述车辆信息、道路信息以及缓存处理后的车辆周围的障碍物信息添加至数据库中获得图像训练数据集；
[0123] 所述生成模块将所述图像训练数据集中的样本输入深度神经网络模型中，生成障碍物轨迹预测模型；
[0124] 所述预测模块利用所述障碍物轨迹预测模型预测车辆周围的障碍物的运动轨迹。
[0125] 上述各个模块的具体实施方式与实施例一的各个方法步骤的具体实施方式一致，在此不再赘述。
[0126] 实施例三
[0127] 图7为本发明的实施例提供的一种自动驾驶车辆系统的结构示意图，参见图6，该自动驾驶车辆系统包括定位系统、感知系统、道路障碍物轨迹预测系统、运动规划系统和车辆控制系统，其中，所述定位系统用于对车辆的位置进行定位，获得的定位信息输入至障碍物轨迹预测系统；
[0128] 所述感知系统用于对车辆周围的障碍物的信息进行感知，获得的感知信息输入至障碍物轨迹预测系统；该车辆周围的障碍物的信息包括障碍物的影像信息、速度、姿态和位置信息；
[0129] 道路障碍物轨迹预测系统将预测出的车辆周围的障碍物的运动轨迹输入至车辆的运动规划模块中；
[0130] 所述运动规划系统根据所述障碍物的运动轨迹对车辆的行驶路径进行规划，生成规划信息；
[0131] 所述执行系统接收所述规划信息以对车辆的行进方向进行控制；
[0132] 其中，该道路障碍物轨迹预测系统为上述实施例二所述的基于深度学习的道路障碍物的轨迹预测系统，在此不再赘述。
[0133] 实施例四
[0134] 图8为本发明的一种电子设备的一个实施例的结构示意图，参见图8，在本实施例中，提供一种电子设备，包括但不限于智能手机、固定电话、平板电脑、笔记本电脑、穿戴式设备等电子设备，所述电子设备包括：处理器和存储器，所述存储器存储有计算机可读指令，所述计算机可读指令在被所述处理器执行时实现上述本发明的方法。
[0135] 实施例五
[0136] 在本实施例中，提供一种计算机可读存储介质，可以为ROM(例如只读存储器、FLASH存储器、转移装置等)、光学存储介质(例如，CD-ROM、DVD-ROM、纸卡等)、磁存储介质(例如，磁带、磁盘驱动器等)或其他类型的程序存储器；所述计算机可读存储介质上存储有计算机程序，所述计算机程序在被处理器或计算机运行时执行上述本发明的方法。
[0137] 本发明具有以下优点：
[0138] 本发明中的基于深度学习的道路障碍物轨迹预测方法，由于考虑了车辆周围的障碍物信息和道路信息，比起现有技术中人为地选取障碍物特征，本发明采集到的训练样本更为真实；
[0139] 并且基于采集到的训练样本并输入深度神经网络模型可以基于道路状况不断变化的障碍物信息而学习得到该障碍物轨迹训练模型，从而预测出车辆周围障碍物在未来N秒内的运动轨迹，并且仿真系统使车辆周围的障碍物沿着该预测轨迹进行行驶，并逐渐迭代测试最终获得障碍物轨迹预测模型，因此本发明的训练学习方法获得的障碍物轨迹预测模型不再单一。
[0140] 由于本发明的车辆需要根据其周围的障碍物的运动轨迹而做出相应的运动，因此这种预测方法可以更加智能化地对车辆进行更为准确的运动规划。
[0141] 本领域普通技术人员可以意识到，结合本发明实施例中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0142] 在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0143] 所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0144] 另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
[0145] 所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
[0146] 以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种基于路面学习的障碍物检测方法与装置 | 2020-05-11 | 270 |
| 一种中药组合物在制备治疗学习记忆障碍的药物中的应用 | 2020-05-13 | 229 |
| 一种改善学习记忆能力障碍的保健制剂的制备方法及用途 | 2020-05-13 | 261 |
| 一种基于在线学习的铁路障碍物检测方法 | 2020-05-11 | 497 |
| 染料木素衍生物在制备治疗学习记忆障碍疾病药中的应用 | 2020-05-13 | 206 |
| 用于治疗认知障碍及其他障碍的方法 | 2020-05-14 | 634 |
| 道路障碍物识别方法和装置 | 2020-05-15 | 812 |
| 用作血清素再摄取抑制剂的吲哚衍生物 | 2020-05-15 | 782 |
| 含有水芹菜提取物作为有效成分的学习能力或记忆力障碍预防或治疗用组合物及其制造方法 | 2020-05-14 | 163 |
| 一种基于深度学习的无人驾驶汽车障碍物识别检测方法 | 2020-05-12 | 447 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈