技术领域
[0001] 本
发明涉及一种基于雷达和图像数据融合的深度
学习障碍物检测方法，属于
传感器融合、
人工智能和自动驾驶技术领域。
背景技术
[0002] 自驾驶车辆通过装配在
车身周围的多种传感器
感知车辆自身运行状况和道路环境，以及周边障碍物等信息；通过目标识别、车道检测、交通
信号识别、可行区域检测等
算法进行环境认知，从而产生驾驶控制指令，既驱动改装后的转向、
加速和
制动执行机构以完成自驾驶过程，整个过程包括：“感知-认知-决策”的动态环境交互闭环。
[0003] 自驾驶车辆常见的
激光雷达(Lidar)包括iBeo和velodyne的正向雷达(4线和8线)和360度环绕雷达(16线，32线和64线)，激光雷达通过发射
激光束和接收障碍物反射回来的激光计算障碍物目标，并通过短时间间隙内的多条激光束对周边环境进行点
云建模，得到周边环境的3D点云模型。但由于激光色散和机械结构的动态特性限制，激光雷达获得束感知距离受环境因素影响较大，一般有效感知距离在200m范围内；且激光雷达的点云数据束十分稀疏，且随距离增大而更加稀疏；最后，激光雷达无法获得类人眼的环境语义信息，包括物体和环境的色彩感知，使得激光雷达的单一数据在自动驾驶车辆的感知能
力较弱。
[0004] 光学摄像头能够对周边环境成像得到彩色图片，且感知距离和感知范围较远，以类人眼的光学感知方式成像获得束数据不仅
像素密集，且包含丰富的语义信息，感知
精度和感知距离与光学成像原件(如镜头，COS芯片大小等)相关，一般可达数百至上千米。但光学摄像头成像不具备距离信息，一般需要根据算法对
帧间信息进行复杂计算获取，且精度随实际目标距离的增加而快速衰减。缺乏距离信息使得摄像头数据对自动驾驶场景的应用受到限制，相关的数据信息也只有较低的
置信度。同时，光学摄像头受环境光影响较大，在天气、光照和环境变化时，成像效果不稳定，难以适应车载场景下的高速运动和颠簸成像需求。
[0005] 在自动驾驶领域，基于单一类型传感器(特别是摄像头)进行环境感知，摄像头和车载激光雷达均存在一定的劣势，通过数据融合的方式分别利用不同车载传感器的感知特性，利用设计的算法消解
传感器数据间的冲突，能够充分利用不同传感器的优势，达到辅助自动驾驶对环境的精准、快速感知的目标。
发明内容
[0006] 本发明的目的是为了解决上述问题，提出一种基于雷达和图像数据融合的深度学习车载障碍物检测方法，对装备在自动驾驶车辆上的激光雷达和光学摄像头捕获的雷达点云数据和光学图像信息进行数据融合，并训练检测道路路面主要障碍物的目标，属于自动驾驶的感知和认知算法层面，能够为决策提供精准的路面障碍物，包括
汽车、
卡车、行人和
自行车等目标的检测信息。
[0007] 本发明提供了基于雷达和图像数据融合的深度学习车载障碍物检测方法，包括：
[0008] 基于已有的雷达点云和摄像头的
数据采集模
块，利用标定好的车载激光雷达和摄像头传感器对车辆行驶过程中的道路场景进行数据获取；
[0009] 设计原始雷达点云上
采样模块，所设计的算法分别对原始点云数据进行处理，得到对应的能够反馈道路场景深度信息和高度信息的
深度图和高度图；
[0010] 基于雷达点云深度图、高度图数据和摄像头图片的数据融合策略；
[0011] 基于Yolo深度学习模型的目标检测模型训练，和实时的车载模型部署及道路障碍物检测。
[0012] 相应地，本发明提供了基于雷达和图像数据融合的深度学习车载障碍物检测方法，包括以下步骤：
[0013] 步骤1，利用车载激光雷达和摄像头传感器采集车辆行驶过程中的道路场景，获取同步时间戳的雷达点云数据和彩色图；
[0014] 步骤2，对雷达点云数据进行上采样，获取对应的高度图和深度图数据；
[0015] 步骤3，将雷达点云深度图、高度图和相同时间戳的彩色图RGB三通道作为五通道融合
训练数据，利用该数据形成的训练数据集对Yolo网络模型进行训练，输出一个训练好的Yolo深度卷积网络模型，并筛选不同组合融合数据条件下的目标检测准确度，剔除冗余数据作为最终的数据融合配置。
[0016] 步骤4，在实时运行时，自动驾驶车辆通过雷达和摄像头实时捕获道路场景信息，通过预处理得到的深度图和高度图，搭配彩色图像RGB三通道数据进行融合，输入给训练好的Yolo模型，即可实时获取当前时间帧内的环境目标障碍物
位置和距离。
[0017] 本发明的优点在于：
[0018] (1)通过激光雷达点云数据获取的深度图和高度图丰富了道路环境感知信息，也补充了车载环境下传统摄像头受环境光照影响带来的成像不确定性和不
稳定性，提高了检测精度的；
[0019] (2)通过优选的雷达深度图和高度图，以及彩色图像RGB数据的五通道数据融合策略，消除冗余数据，能够进一步降低模型训练和运行过程的计算复杂度，加速自驾驶车载环境的
硬件功耗，提高车辆续航能力；
[0020] (3)利用Yolo模型的目标检测模型对融合数据进行学习，比传统基于RGB数据的模型更为复杂，但是能从丰富的传感器融合数据学习更强的障碍物特性，能够加速网络参数调整趋向更优结果；
[0021] (4)保留了原始的雷达点云数据对道路场景及相关障碍物目标的实际距离信息，Yolo模型实时目标检测结果，为自驾驶提供了精准的道路目标障碍物信息以及障碍物距离信息。
附图说明
[0022] 图1为本发明使用的车载激光雷达原始点云数据示意图；
[0023] 图2为本发明使用的同一场景下摄像头的彩色RGB图像(灰度图)；
[0024] 图3为本发明方法进行雷达和摄像头数据融合训练Yolo模型流程示意图；
[0025] 图4为本发明中提取的雷达高度图示意；
[0026] 图5为本发明中提取的雷达深度图示意；
[0027] 图6为本发明中使用的车辆相对
坐标系；
[0028] 图7为本发明中使用的Yolo深度卷积网络模型架构；
[0029] 图8为本发明中使用RGB标定目标障碍物示意图；
[0030] 图9为本发明中通过不同通道数据融合对比结果；
[0031] 图10为本发明中三种不同检测标准下模型检测准确度对比；
[0032] 图11为本发明中采用的最终融合三通道数据。
具体实施方式
[0033] 下面将结合附图和
实施例对本发明作进一步的详细说明。
[0034] 本发明是一种基于雷达和图像数据融合的深度学习车载障碍物检测方法，主要用于自动驾驶领域的车载传感器数据融合和目标感知检测，通过标定后的雷达数据进行预处理，获得对应的深度图和高度图数据，与摄像头捕获的RGB彩图进行融合，用于训练Yolo卷积网络模型。在实时检测时，雷达和摄像头的融合数据直接输入训练好的模型，模型给出图中的目标位置和相关距离信息。
[0035] 本发明的基于雷达和图像数据融合的深度学习车载障碍物检测方法，主要步骤如图3所示，下面结合一个实施例具体说明。
[0036] 步骤(1)车载道路场景数据采集：通过固定在车辆顶部的激光雷达和车辆内部的摄像头进行数据采集，同步时间戳后调节采样
频率为10Hz。
[0037] 步骤(2)雷达点云数据进行预处理：对步骤(1)获取的如图1雷达原始点云数据通过高度图和深度图生成算法，得到对应高度图和深度图；并与RGB彩图如图2进行标定；
[0038] 本发明深度图生成算法：利用公式(1)和公式(2)对原始雷达点云数据进行处理，由于雷达点云的每个点包含4维信息(三维坐标信息和点云强度)。按如图6所示的相对坐标系，深度图主要考虑每个点云数据的三维信息中的Y轴数据据进行稠密化处理。算法首先将所有点云投射到X-Z平面，然后从上向下，从左向右，依次遍历每个点云，将点云的在原雷达数据Y轴的值和周围点云间的坐标值输入公式(1)和(2)。每个单元内利用公式(1)和(2)计算，得到稠密化的像素矩阵，然后映射到0-255范围形成灰度图结果，得到如图4的深度图。
[0039] 本发明高度图生成算法，与深度图类似：按如图6所示的相对坐标系，高度图主要考虑每个点云数据的三维信息中的Z轴数据进行稠密化处理。算法首先将所有点云投射到X-Z平面，然后从上向下，从左向右，依次遍历每个点云，将点云的在原雷达数据Z轴的值和周围点云间的坐标值输入公式(1)和(2)。每个单元内利用公式(1)和(2)计算，得到稠密化的像素矩阵，然后映射到0-255范围形成灰度图结果，得到如图5的高度图。
[0040]
[0041]
[0042] 其中，v为当前遍历计算的点云坐标，1/W为归一化项，计算如公式(2)，m为当前计算的以v为中心mask大小。V和C分别是考虑窗口内点云平均输入值和平均坐标距离的核函数。Dmap(v)表示图像v的处理得到的深度图或高度图，W表示当前遍历的mask内所有点信息的归一化项，Vi表示当前第i个位置的点云坐标，I(vi)表示i位置点的雷达点云强度信息，由雷达直接获得，C(vi)表示i位置映射后的二维平面坐标，||.||表示计算欧式距离。
[0043] 步骤(3)传感器数据融合和标定：由步骤(2)构建的高度图和深度图，与摄像头获取的RGB三通道彩图进行数据融合，对齐时间戳后，将高度图的1维特征集，深度图的1维特征集与RGB的3维特征集进行线性
叠加，形成5维特征集，构建5通道的融合数据，并通过人工标定的方式对道路场景的障碍物目标进行标注，包括车辆、行人和自行车等，构成训练所需的数据，标注样例如图8所示。
[0044] 步骤(4)Yolo模型训练：由步骤(3)得到的5通道融合数据集和障碍物标定数据对Yolo模型进行训练。并通过不同的通道组合进行多次训练和对比，选出检测准确率最高、所需通道数量最小的融合数据组合作为最终输入通道配置。
[0045] 步骤(5)实时检测，将由步骤(4)得到的模型进行部署。同时，自驾驶车辆在实时行驶过程中雷达和摄像头捕获的数据经过预处理得到的融合后的5通道数据，选择最终输入通道配置输入模型，模型利用训练好的参数给出障碍物位置和雷达获得的距离信息。
[0046] 本发明提供的基于雷达和图像数据融合的深度学习车载障碍物检测方法，包括基于雷达点云和摄像头的数据采集模块、雷达数据
抽取高度图和深度图算法、基于Yolo深度卷积网络模型训练模块和基于Yolo深度卷积网络模型的实时障碍物检测模块。
[0047] 基于雷达点云和摄像头的数据采集模块，利用车载激光雷达和摄像头传感器对车辆行驶过程中的道路场景进行数据获取。然后通过预处理算法从原始雷达数据抽取深度图和高度图构成2通道数据，结合图像的RGB彩图3通道数据，进行传感器数据融合得到5通道数据。然后，利用彩图中的目标障碍物对融合数据进行标定。用标定得到的数据对Yolo模型进行调优，对比不同融合通道组合下的模型检测准确率，得到最优模型。
[0048] 由于车载激光雷达和摄像头的数据量不同，通常情况下激光雷达采样最高工作频率20Hz，摄像头为30Hz。统一为自动驾驶车载环境需求的10Hz进行数据采集。
[0049] 原始雷达点云的高度图和深度图获取算法模块，首先通过图像标定的对应点云数据进行截取，再通过对应算法对截取的点云数据进行遍历处理，通过当前遍历点和公式(1)和(2)计算预设窗口内的点云数值；最后将所有计算结果映射到0-255范围，保存为单通道的高度图和深度图。
[0050] 基于Yolo深度卷积网络模型的模型训练模块，其网络模型架构如图7所示，采用不同组合条件下的数据和标定数据输入Yolo模型，对比不同通道组合下的模型性能，选择性能最佳，通道数量最小的配置，对比结果如图9所示。综合考量，在简单，中等，困难三种不同检测标准下，其结果如图10所示。本发明实施例在linux16.06+tensorflow1.1环境进行，硬件为NVIDIA TITAN X+Intel i7-4700。以网络的衰减函数和目标识别准确度为模型训练依据，同时以IOU>0.25为输出依据。IOU由模型所检测到的目标障碍物位置R和人工标定的真实数据G按公式(3)计算得到。
[0051]
[0052] 基于Yolo深度卷积网络模型的实时障碍物检测模块，将上一步得到的最佳配置Yolo模型，和所采用的通道配置(RDH，R来自图像RGB，D为雷达深度图，H为雷达高度图)，如图11，进行部署。实时检测时，车载传感器捕获的雷达进行预处理获得深度图和高度图，融合图像的R通道组成三通道数据输入Yolo模型，模型给出检测目标结果。
[0053] 本发明中提出的基于智能设备传感器数据融合和深度学习的目标检测算法，通过融合的雷达点云数据和摄像头数据，丰富了检测模型所能够感知的数据特征类型。并通过在不同配置的数据通道融合进行模型训练，选择最佳的通道配置，提高检测准确度的同时降低计算功耗。通过在真实数据上进行测试确定了适合真实情况的通道配置，达到利用Yolo深度
卷积神经网络模型处理融合数据，进行道路场景的目标障碍物检测目标。
