技术领域
[0001] 本
发明涉及一种面向自动驾驶系统的激光雷达标定方法，特别是关于一种基于深度卷积神经网络的激光雷达在线标定方法。
背景技术
[0002] 尽管如今
汽车主、被动安全技术已经发展得较为完善，但由于汽车保有量基数巨大，每年因交通事故造成的伤亡人数依然居高不下。研究表明，90％以上的交通事故因驾驶员分心引起。
[0003] 近年来自动驾驶技术的兴起有望解决上述问题。自动驾驶系统通过
传感器，如相机、激光雷达、毫米波雷达和
超声波雷达，
感知车外环境和车内环境，一方面识别车外的障碍物和交通标识，分析可通行区域，一方面识别车内乘客状态，与乘客进行实时交互。自动驾驶系统可以根据乘客设定的目的地自动规划有效路径，并根据环境感知结果生成安全轨迹，然后通过车辆动
力学解算得出车辆底层控制增益，如期望
油门开度和期望
方向盘转
角等，并通过线控底盘执行车辆底层控制增益，自动地驱动车辆向目的地行驶。由于能自动分析环境状态，自动控制车辆移动，具有自动驾驶系统的车辆不再需要驾驶员干预，从而避免了因驾驶员分心和误判而导致的交通事故。
[0004] 目前自动驾驶系统中常用的障碍物检测传感器包括激光雷达、毫米波雷达和相机，其中激光雷达因感知
视野大、测距精准而备受青睐，成为自动驾驶系统不可或缺的设备。许多已经配备驾驶辅助系统的量产车型上也配备了激光雷达，如奥迪A6L等。
[0005] 但激光雷达检测到目标后，返回给自动驾驶系统的是障碍物在雷达
坐标系中的相对
位置，即以激光雷达为坐标原点的位置，而自动驾驶系统在决策过程中需要用到的是车辆坐标系中的位置，二者之间存在一个固定的转换关系，即雷达的外参。通常在自动驾驶系统工作前，工作人员会对激光雷达的安装位置进行静态标定，测量出从雷达坐标系到车辆坐标系的转换关系，并将该转换关系写入配置文件，以供自动驾驶系统调用。
[0006] 不幸的是，在长期使用过程中，设备的安装
支架会产生形变，影响雷达坐标系到车辆坐标系的转换关系。同时，车辆还会因胎压不稳、乘客数量不同、
载荷不均等问题造成悬架形变，从而对雷达坐标系到车辆坐标系的转换关系产生临时影响。这些影响都会导致自动驾驶系统对障碍物的位置判断不准，进而导致系统决策失误，最终威胁自动驾驶系统的安全。
[0007] 近年来兴起的深度卷积神经网络技术具有强非线性拟合能力和学习能力，易于从
大数据中自动分离出关键特征，从而实现端到端的
模式识别。将深度卷积神经网络技术与激光雷达的标定场景相结合，有望实现数据驱动的激光雷达在线标定，根据激光雷达的点
云数据来在线实时估计激光雷达
位姿的偏差，并对激光雷达的标定参数进行实时修正。但相关工作目前仍为空白。
发明内容
[0008] 针对
现有技术存在的不足，本发明的目的在于提供一种基于深度卷积神经网络的激光雷达外参在线标定方法，利用深度卷积神经网络的数据分析能力处理激光雷达的点云数据和车辆GNSS数据，在线实时估计出激光雷达的外参误差，从而实现对激光雷达外参的实时修正，保证自动驾驶系统的正常工作。
[0009] 为实现上述目的，本发明提供了如下技术方案：一种基于深度卷积神经网络的激光雷达在线标定方法，包括如下步骤：
[0010] 步骤一，构建大数据引擎；
[0011] 步骤二，利用C++编程搭建初始深度卷积神经网络模型，并利用步骤一获得的大数据引擎所生成的数据对初始深度卷积神经网络模型进行训练，并保存训练好的深度卷积神经网络模型；
[0012] 步骤三，将训练好的深度卷积神经网络模型搭载到自动驾驶系统中，在
软件中连接好激光雷达数据、GNSS数据和深度卷积神经网络模型；正常运行自动驾驶系统，深度卷积神经网络模型将会实时收取激光雷达数据和GNSS数据，并实时比对二者的偏差，在线给出激光雷达的外参误差值。
[0013] 作为本发明的进一步改进，所述步骤一中构建大数据引擎的具体步骤如下：
[0014] 步骤一一，针对目标自动驾驶系统，安装好激光雷达和GNSS设备，并利用精密仪器完成对激光雷达和GNSS设备的静态标定，获得激光雷达的外参和GNSS设备的外参；
[0015] 步骤一二，驾驶搭载已标定自动驾驶系统的车辆在目标工作区域、场景中行驶，行驶车速保持在30km/h以下，保证车辆不发生剧烈颠簸，采集激光点云和GNSS数据，并通过软件记录下来；
[0016] 步骤一三，对已采集数据施加人为干扰，模拟车辆剧烈运动下的激光雷达点云数据和GNSS数据，并通过软件记录下来。
[0017] 作为本发明的进一步改进，所述步骤一一中获得激光雷达的外参和GNSS设备的外参之后，进行预处理步骤；之后再进行同步步骤，具体的预处理步骤如下：
[0018] 1)激光雷达的点云数据解析，即将激光雷达的原始数据转换为
算法所需要的常用格式，以激光点的空间三维坐标为表征；
[0019] 2)GNSS的数据解析，将GNSS的原始数据转换为算法所需要的常用格式，即车辆的空间三维6
自由度位姿；
[0020] 具体的同步步骤如下：
[0021] 3)为激光点云数据标记系统时间；
[0022] 4)根据激光点云的系统时间，在GNSS数据流中插值，获得激光点云所在时刻的GNSS近似数据。
[0023] 作为本发明的进一步改进，所述步骤一三中的人为干扰的内容具体为：
[0024] 模拟车速增高，利用现有数据进行数值模拟，生成高速行驶工况的数据；
[0025] 模拟车辆颠簸，利用现有数据，对点云和GNSS轨迹共同施加预定好的短时间大
俯仰和侧倾角度变换，模拟车辆的震动工况；
[0026] 模拟遮挡工况，人为滤除多个角度的激光点云数据，使得深度卷积神经网络能应对点云稀少的工况；
[0027] 模拟不同外参偏差值，通过人为加入预定好的外参偏差，获得带外参偏差的数据。
[0028] 作为本发明的进一步改进，所述步骤二中的深度卷积神经网络模型具体结构包括数据流输入、全卷积层、
池化层、金字塔池化层和全连接层。
[0029] 作为本发明的进一步改进，所述步骤三中模型动作的具体步骤如下：
[0031] 2，将GNSS数据转换为深度图；
[0032] 3，拼接激光深度图与GNSS深度图，形成混合深度图；
[0033] 4，缓存9
帧历史混合深度图，并与当前帧混合深度图共同拼接为大深度图；
[0034] 5，将大深度图输入给深度卷积神经网络，得到估计的激光雷达外参；
[0035] 6，将所估计的外参与原始静态标定外参值做差得到外参误差。
[0036] 本发明的有益效果，1)不需要人为推导激光雷达的外参偏差变化数学模型，易于工程实用；2)进行外参误差估计所需的第三方设备为GNSS，该设备在自动驾驶系统中是必备的，所以本发明未增加额外设备，易于应用在现有自动驾驶系统中；3)本发明实现了激光雷达外参的实时在线标定，能为自动驾驶系统提供实时的外参修正，从而提升了自动驾驶系统的环境感知
精度和可靠性，进而提升了自动驾驶系统的安全性。
附图说明
[0038] 图2是本发明的大数据引擎架构示意图；
[0039] 图3是本发明的模型训练架构示意图；
[0040] 图4是本发明的深度卷积神经网络模型示意图；
[0041] 图5是本发明的模型部署应用架构示意图。
具体实施方式
[0042] 下面将结合附图所给出的
实施例对本发明做进一步的详述。
[0043] 如图1所示，本发明所涉及的自动驾驶相关硬件包括激光雷达、GNSS(Global Navigation Satellite System，全球导航卫
星系统)和计算单元。其中激光雷达在自动驾驶系统中用于障碍物检测，他会实时向自动驾驶系统反馈所检测到的点云信息，自动驾驶的障碍物检测算法基于点云信息分析障碍物的类别和位置。GNSS设备用于获取车辆的全球
定位信息，是自动驾驶系统的主要定位手段之一。计算单元中运行着自动驾驶系统的核心算法，进行障碍物检测、可通行区域识别、决策规划，以及车辆动力学控制。激光雷达是本发明的研究对象，本发明所计算的外参误差即为激光雷达的位姿标定偏差。GNSS为本发明的算法提供辅助信息，本发明通过神经网络计算激光雷达外参误差的本质是：连续多帧激光点云变化所对应的车辆轨迹应与GNSS位置变化对应的轨迹一致。激光点云变化所对应的车辆轨迹具有强非线性，不易通过数据建模获得解析解，本发明通过深度卷积神经网络的学习能力，学习这种强非线性关系，从而避免复杂的数学建模，获得可靠的激光雷达外参误差。计算单元在本发明中有2个主要作用：1)在搭建大数据引擎时，采集和记录数据；2)在模型部署应用时，运行深度网络模型，实时估计激光雷达外参误差，供自动驾驶算法实用。注意，在实际实用过程中，自动驾驶算法也运行在计算单元中。
[0044] 如图2所示，本发明的大数据引擎主要包含：车载部分和
服务器部分。深度卷积神经网络中每个神经元的参数需要经过大数据的训练才能收敛到有效值，故而需要搭建大数据引擎，用于采集、处理和保存必要
训练数据，以供深度卷积神经网络的训练使用。
[0045] 大数据引擎的车载部分包括：传感器、预处理、数据同步和数据存储。其中，传感器主要包括：1)激光雷达，即为本发明的研究对象，提供自动驾驶车辆周围的环境点云数据；2)GNSS，提供车辆绝对定位信息。预处理部分主要进行：1)激光雷达的点云数据解析，即将激光雷达的原始数据转换为算法所需要的常用格式，以激光点的空间三维坐标为表征；2)GNSS的数据解析，将GNSS的原始数据转换为算法所需要的常用格式，即车辆的空间三维6自由度位姿。同步部分主要是将激光点云数据与GNSS数据对齐到同一个时间戳，包括：1)为激光点云数据标记系统时间；2)根据激光点云的系统时间，在GNSS数据流中插值，获得激光点云所在时刻的GNSS近似数据。存储部分即，将对齐后的激光点云数据与GNSS数据按时间顺序存储在计算单元的
硬盘中。
[0046] 大数据引擎的服务器部分主要包括：人为加偏部分和存储部分。人为加偏的目的是，利用现有数据生成更多有效数据，并通过特定的数据加偏内容，增强深度卷积神经网络的鲁棒性。加偏的内容主要包括：1)模拟车速增高，利用现有数据进行数值模拟，生成高速行驶工况的数据；2)模拟车辆颠簸，利用现有数据，对点云和GNSS轨迹共同施加预定好的短时间大俯仰和侧倾角度变换，模拟车辆的震动工况；3)模拟遮挡工况，人为滤除多个角度的激光点云数据，使得深度卷积神经网络能应对点云稀少的工况；4)模拟不同外参偏差值，通过人为加入预定好的外参偏差，获得带外参偏差的数据。存储部分，即将前述新生成的数据按时间顺序进行存储，以备后续训练使用。
[0047] 大数据引擎的车载部分在自动驾驶车辆中运行，采集自动驾驶系统的目标工作环境数据。每次
数据采集前，先通过高精度设备对激光雷达和GNSS的外参进行静态标定，获得准确外参值，作为模型训练时的参考。采集过程中，控制车速在30km/h以下，尽量保持车辆平稳行驶，这样做是为了避免设备的外参因
车身的剧烈运动而发生改变。采集完成后，将车载部分的数据拷贝到服务器中，以进行后续处理。
[0048] 大数据引擎的服务器部分运行在后台服务器中，根据车载采集的数据，经过人为加偏后生成更多有效数据，以支持深度卷积神经网络的大数据训练。其中，人为加偏的步骤可以：1)增加数据的工况种类，数据在实车采集时，只有低速、平稳行驶工况，通过人为加偏可以获得高速、剧烈驾驶工况下的数据；2)增加数据量，深度卷积神经网络容易过拟合，只有数据量足够大时，深度卷积神经网络才能在保证精度的
基础上提升泛化能力，避免过拟合。
[0049] 注意，在数据采集和存储过程中，也会记录好前述利用高精度设备所测量的外参标定值，作为模型训练时的参考值。
[0050] 如图3所示，本发明的模型训练利用了深度卷积神经网络的反向修正机制。首先从
存储器中读取大数据，将其解析为算法常用的格式，即激光点的空间三维坐标形式和车辆的空间三维6自由度位姿形式。然后将激光点云和GNSS数据输入给深度卷积神经网络模型，深度卷积神经网络模型会计算出外参的偏差值。将深度卷积神经网络计算的外参偏差值与存储器中存储的外参标准值进行比较，即可得到深度卷积神经网络的预测残差。利用预测残差向深度卷积神经网络模型的神经元参数求导，即可得到神经元参数的反向修正值。最后利用所获得的反向修正值对深度卷积神经网络的神经元参数进行修正，修正后即可进入下一轮
迭代，如此往复，即可不断优化神经元参数，使得深度卷积神经网络具备对激光雷达外参误差的预测能力。
[0051] 图4中所示为本实施例的深度卷积神经网络模型具体结构，主要包括：数据流输入、全卷积层、池化层、金字塔池化层和全连接层。图4中以16线Velodyne激光雷达的
数据处理为例，每帧激光点云包含16线数据，每线数据包含上千个数据点。本发明中首先将每帧点云数据转换为深度图，
像素为1800×16×1，即，宽度×高度×灰度。同时，为将GNSS数据也作为神经网络的输入，把GNSS信息转化为1800×16×1的深度图，该深度图的像素值即为车辆的GNSS数值。把点云深度图与GNSS深度图
叠加在一起，形成1800×16×2的混合深度图。只有多帧图像运动才能产生车辆运动的路径，才能估计激光雷达的外参，因此本发明中缓存9帧历史混合深度图，与当前帧深度图共同拼接为一幅大深度图，作为深度卷积神经网络的输入，其像素为1800×160×2。如图4中所示，在输入大深度图以后，深度卷积神经网络依次经过全卷积、池化、金字塔池化和全连接层后得到预测的激光雷达外参，该外参以6维李代数的形式描述。在与
数据库中所存储的精确外参做差后得到外参误差，外参误差将用于计算神经元的修正项，然后通过修正项的反向传播来调整神经元的参数值。
[0052] 图5中所示为本发明的深度神经模型部署应用系统架构，主要包括：传感器和软件2部分。在训练完成后，深度卷积神经网络将部署在实车的自动驾驶系统中，用于实时计算激光雷达的外参偏差。部署架构的传感器部分包括：1)激光雷达，即为所求外参偏差的主体；2)GNSS，提供辅助信息，以便深度卷积神经网络能估计出准确外参。部署架构的软件部分包括：预处理、同步和模型3部分。预处理部分主要进行：1)激光雷达的点云数据解析，即将激光雷达的原始数据转换为算法所需要的常用格式，以激光点的空间三维坐标为表征；
2)GNSS的数据解析，将GNSS的原始数据转换为算法所需要的常用格式，即车辆的空间三维6自由度位姿。同步部分主要是将激光点云数据与GNSS数据对齐到同一个时间戳，包括：1)为激光点云数据标记系统时间；2)根据激光点云的系统时间，在GNSS数据流中插值，获得激光点云所在时刻的GNSS近似数据。模型部分主要进行：1)将激光点云数据转换为深度图；2)将GNSS数据转换为深度图；3)拼接激光深度图与GNSS深度图，形成混合深度图；4)缓存9帧历史混合深度图，并与当前帧混合深度图共同拼接为大深度图；5)将大深度图输入给深度卷积神经网络，得到估计的激光雷达外参；6)将所估计的外参与原始静态标定外参值做差得到外参误差。
[0053] 图5中所示的过程在线运行，为自动驾驶系统提供实时的激光雷达外参误差，以便提升自动驾驶系统的环境感知能力。
[0054] 以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
