技术领域
[0001] 本
发明涉及一种基于神经网络的激光雷达标定方法，特别是关于一种基于循环神经网络的端到端激光雷达标定方法。
背景技术
[0002] 近年来随着
传感器技术的快速发展，视觉传感器、测距传感器、位移传感器等广泛应用于工程技术领域，提供了较为可靠、稳定的测量信息。
汽车工程领域的快速发展使得汽车保有量逐年攀升，由此引发的道路拥堵、交通事故等问题高居不下，并造成了严重的经济和财产损失。
[0003]
人工智能和自动驾驶技术的兴起，是解决上述问题的有效方法。基于多传感器融合的自动驾驶方案，可提供更加稳定可靠的环境信息和车辆状态信息，具有更强的鲁棒性和抗干扰能
力，从而满足车辆在复杂工况、恶劣环境下的使用需求。
[0004] 传感器标定是多传感器融合的
基础，标定
精度不仅影响环境信息和车辆状态信息准确性，更对后续自动驾驶决策系统产生严重干扰，引发错误决策信息，造成任务规划失败甚至交通事故。目前自动驾驶车辆使用多种传感器，如相机、激光雷达、毫米波雷达、GNSS(全球导航卫
星系统)、IMU(惯性测量单元)，且各传感器相互关联，需分别对其进行标定，获得各传感器
坐标系间相对
位姿转化。采用传统人工标准器标定方法，效率低下、精度较差，且传感器发生微调时，需重新进行标定。
[0005] 基于非线性优化的多传感器联合标定是解决上述问题的一种有效方法，通过建立参数模型利用已知数据完成多参数优化求解，但该方法仍有很多问题和
缺陷。首先，模型精准度对标定结果有较大影响，而由于传感器运行环境复杂多变，难以对传感器噪声进行精确建模。其次，为精确对传感器进行联合标定，需引入一定数量的非线性参数，但参数数量的增加会降低标定系统的
稳定性。
发明内容
[0006] 针对
现有技术存在的不足，本发明的目的在于提供一种设计自动驾驶激光雷达标定系统，提出循环神经网络端到端标定方法，以提高激光雷达标定精度，减少标定时间，增强标定过程可操作性。
[0007] 为实现上述目的，本发明提供了如下技术方案：一种基于循环神经网络的端到端激光雷达标定方法，包括如下步骤：
[0008] 步骤1，对自动驾驶GNSS
定位系统进行调试，并完成车辆定位精度测试；
[0009] 步骤2，利用自动驾驶GNSS定位系统和车载激光雷达，在不同驾驶场景分别采集GNSS数据信息和激光雷达点
云信息；
[0010] 步骤3，搭建基于FlowNet
卷积神经网络和Bi-LSTM循环神经网络的激光雷达标定系统，利用步骤2中的GNSS获得的真实运动轨迹和激光雷达采集的点云数据，对搭建的神经网络进行训练并验证；
[0011] 步骤4，利用步骤3训练完成神经网络对自动驾驶激光雷达进行标定。
[0012] 作为本发明的进一步改进，所述步骤1中GNSS定位系统采用实时动态差分法，由固定站和移动站组成，其中车载移动站使用固定站发送的差分数据进行RTK精准定位。
[0013] 作为本发明的进一步改进，所述步骤3中神经网络由预处理单元、卷积神经网络层、循环神经网络层和全连接层组成。
[0014] 作为本发明的进一步改进，所述步骤2中在处于空旷场地驾驶场景时，分别采集直线行驶和稳态回环行驶过程中GNSS和激光雷达点云数据集。
[0015] 作为本发明的进一步改进，所述步骤3中的Bi-LSTM循环神经网络内具有输入
门、遗忘门和输出门，并且该Bi-LSTM循环神经网络为双向循环神经网络。
[0016] 本发明的有益效果，1、本发明通过端到端的神经网络对自动驾驶激光雷达进行标定，有效降低了标定复杂度，提高了标定效率。2、本发明利用神经网络的强大非线性化能力，无需建立激光雷达标定参数模型，有效解决了模型构建复杂且精度有限的问题，提高了标定精度。3、本发明针对激光雷达点云数据流特性，构建双向循环神经网络可充分利用数据流前向和后向时序信息，进一步提高了激光雷达标定精准度和稳定性。4、本发明在空旷场地分别采集车辆直线行驶和稳态回转行驶过程中GNSS与激光雷达点云数据，有利于激光雷达位姿估计和标定系统神经网络训练。5、本发明适用于多种车辆传感器标定，通用程度高便于工程实践和应用。
附图说明
[0018] 图2是本发明激光雷达标定系统神经网络训练示意图；
[0019] 图3是本发明激光雷达标定系统示意图；
[0020] 图4是本发明神经网络架构图。
具体实施方式
[0021] 下面将结合附图所给出的
实施例对本发明做进一步的详述。
[0022] 如图1所示，基于神经网络的激光雷达标定方法数据采集系统，传感器由GNSS、激光雷达组成。分别在直线行驶和稳态回转行驶场景驾驶车辆，并在行驶过程中同时采集GNSS定位信息和激光雷达点云信息，获取多组数据用于神经网络训练和验证。
[0023] 如图2所示，激光雷达标定系统神经网络训练架构图，首先将激光雷达点云数据转化为有序
深度图像，并输入至神经网络进行训练；然后将神经网络计算的估计运动轨迹与GNSS获得的真实运动轨迹进行对此，并通过反向传播修正神经网络权重矩阵，从而使得估计运动轨迹更加符合真实运动轨迹。
[0024] 如图3所示，自动驾驶激光雷达标定系统，在直线行驶或稳态回转行驶过程中实时采集激光雷达点云数据，将其转化为深度图像并输入至已训练完成的激光雷达标定系统神经网络，可直接获得激光雷达坐标系与GNSS坐标系间位姿转换，实现自动驾驶端到端激光雷达标定。
[0025] 如图4所示，自动驾驶激光雷达标定系统神经网络架构图，图中给出了激光雷达点云输入单元、预处理单元、卷积神经网络层、双向循环神经网络层和全连接层的详细架构。预处理单元首先将从输入单元获得的点云数据转化为深度
图像序列，调整
分辨率并将相邻两
帧深度图像进行
叠加；然后利用
像素均值和方差对叠加图像进行归一化处理，以加快系统收敛，减少神经网络训练时间。为获得激光雷达运动信息，在卷积神经网络层使用光流估计网络(FlowNet)，提取深度图像几何特征，利用相邻图像像素在时域上的变化，计算相邻帧间的运动信息，此外采用预先训练的FlowNet，有效
加速了端到端神经网络激光雷达标定系统的收敛。循环神经网络由于将历史信息和当前任务相关联，适用于数据流处理，可有效利用深度图像时序信息。同时，为避免由于图像序列较长，引起反向传播过程中梯度严重退化，造成神经网络收敛至较差解，本发明采用双向长短期记忆网络(Bidirectional Long Short-Term Memory，Bi-LSTM)架构，利用输入门、遗忘门和输出门实现对信息的保护和控制，可有效解决梯度退化问题。此外，由于Bi-LSTM同时构建前向和后向循环神经网络，充分利用深度图像前向和后向时序信息，有效提高了激光雷达标定系统精度和稳定性。全连接层根据Bi-LSTM层输出的深度图像信息，对激光雷达位姿和GNSS与激光雷达间的相对位姿转换进行估计。为对GNSS坐标系和相机坐标系相对位姿进行标定，设计代价函数如下：
[0026]
[0027] 其中，θ为优化参数，由激光雷达位姿(pl，tl)和激光雷达坐标系到GNSS坐标系的旋转向量Rgl和平移向量tgl组成；(pg，tg)表示由GNSS获得与激光雷达估计位姿(Pl，tl)相对应的真实位姿；N为图像序列数量；权重ω用于平衡旋转向量代价和平移向量代价。通过神经网络对参数θ进行
迭代优化，完成端到端激光雷达标定系统神经网络训练，从而激光雷达坐标系至GNSS坐标系间的位姿转换，实现自动驾驶激光雷达标定。
[0028] 综上所述，本实施例中提供的方法，利用自动驾驶GNSS差分定位系统定位精度高、实时性良好等优点，获取车辆的真实运动轨迹，并用于训练标定系统的循环神经网络，充分利用了自动驾驶GNSS定位信息，在空旷场地分别采集直线行驶和稳态回环行驶过程中GNSS和激光雷达点云数据集，有利于激光位姿估计和标定系统神经网络训练，同时使用卷积神经网络和循环神经网络，利用循环神经网络弥补卷积神经网络无法有效利用深度图像流时序信息的缺点，通过FlowNet卷积神经网络获取深度图像的特征信息和运动信息，并采用预训练FlowNet卷积神经网络，加快标定系统收敛，Bi-LSTM通过引入输入门、遗忘门和输出门，有效解决了传统循环神经网络反向传播过程中梯度严重退化的问题，避免了激光雷达标定系统收敛至不良解，提高了标定精度；Bi-LSTM采用双向循环神经网络，充分利用了深度图像流前向和后向时序信息，提高了标定系统稳定性和精准度，本发明的方法无需构建复杂且精度有限的标定系统参数模型，提高了标定精度、简化了标定过程复杂度，且标定系统通用程度高，可用于自动驾驶其他传感器的标定，便于工程实践和应用。
[0029] 以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
