一种获取全波形激光雷达高分辨率数据的深度学习方法专利检索-波形信号处理专利检索查询-专利查询网

一种获取全波形 激光雷达高分辨率数据的 深度学习方法

阅读：0发布：2020-06-25

专利汇可以提供一种获取全波形激光雷达高分辨率数据的深度学习方法专利检索，专利查询，专利分析的服务。并且本发明涉及一种获取全波形激光雷达高分辨率数据的深度学习方法。属于深度学习，雷达数据处理领域。通过搭建数据处理平台，构建深度学习网络构架模型，训练深度学习网络构架模型，根据损失函数Loss以及PSNR，调整深度学习网络构架模型中的参数，保存训练效果最好的深度学习网络构架模型，用此模型处理全波形激光雷达数据，使全波形雷达数据的时空分辨率得到多倍提升，解决在全波型激光雷达硬件扫描设备局限性的约束下，分辨率受限的问题，处理新的全波形激光雷达数据时，只需调用保存的深度学习网络构架模型，适应对于采集设备体积，便携性要求高的场合。，下面是一种获取全波形激光雷达高分辨率数据的深度学习方法专利的具体信息内容。

权利要求

1.一种获取全波形激光雷达高分辨率数据的深度学习方法，其特征在于：包括如下步骤：
步骤一：基于深度学习中的残差方法构建网络架构模型；
步骤二：网络架构模型读取.txt格式的全波形激光雷达数据；
步骤三：对于步骤二读取的原始全波形激光雷达数据，进行原始全波形激光雷达数据预处理，数据预处理将原始全波形激光雷达数据序列每n个邻近点求和后取均值生成一个新数据点，得到一段长度为原始全波形激光雷达数据1/n的新全波形激光雷达数据序列；
步骤四：构建网络架构模型的残差堆叠模块，采用残差加卷积的方法提取步骤三生成的新全波形激光雷达数据序列的波形特征；
步骤五：基于残差神经网络跳跃连接方法，将残差堆叠输入节点与输出节点连接；
步骤六：对于残差堆叠模块的最后一层卷积输出后的数据进行上采样处理；
基于像素重排映射方法，将最终经过多层残差块堆叠，卷积输出后的数据，采用类似图像处理中的像素重排映射方法进行上采样，若数据预处理将原始全波形激光雷达数据序列每n个邻近点求和后取均值生成一个新数据点，则时空分辨率的提升尺度为n，最后一层卷积核的数目也为n，使得经过卷积得到的数据点数与上采样输出期望的数据点数相匹配，最后一一映射至相应位置得到输出的数据序列；
步骤七：定义并计算损失函数Loss；
定义该网络的损失函数为步骤六输出的新数据序列与输入的数据序列对应位置上数据的绝对值差值并累加求均值，计算初轮数据输入后的Loss数值；
步骤八：预设网络架构模型迭代轮数，进行训练优化；
训练过程以优化损失函数Loss为目的，在各项参数设定合理的情况下，Loss将逐步降低并收敛至较小值；
步骤九：保存训练时损失函数最小，训练效果最好的网络架构模型，应用该模型处理原始全波形激光雷达数据，可获取时空分辨率提升效果最好的全波形激光雷达数据序列。
2.如权利要求1所述的一种获取全波形激光雷达高分辨率数据的深度学习方法，其特征在于：网络架构模型包括数据输入、数据预处理、残差卷积特征提取、数据输出和回环优化。
3.如权利要求1所述的一种获取全波形激光雷达高分辨率数据的深度学习方法，其特征在于：单个残差块由卷积层-激活函数-卷积层构成，多个残差块构成网络架构模型的残差堆叠模块。
4.如权利要求1所述的一种获取全波形激光雷达高分辨率数据的深度学习方法，其特征在于：数据预处理将原始全波形激光雷达数据序列每n个邻近点求和后取均值生成一个新数据点，最后一层卷积核的数目也为n，时空分辨率的提升尺度为n。

说明书全文

一种获取全波形 激光雷达高分辨率数据的 深度学习方法

技术领域

[0001] 本发明涉及一种获取全波形激光雷达高分辨率数据的深度学习方法。特别涉及一种基于深度学习策略，采用残差神经网络批量处理、训练全波形激光雷达数据，以获取更高分辨率数据的方法。属于深度学习，雷达数据处理领域。

背景技术

[0002] 近年来，学术界、工业界对深度学习领域投入了大量关注。深度学习作为机器学习的一种方法，在过去几十年的发展中，吸收、借鉴了有关人脑神经、统计学、应用数学的知识，利用了近年来迅速提高的计算机算力、急剧增长的训练数据集以及更为完备精妙的深层神经网络训练技术，得以在诸多应用领域获得长足发展。

[0003] 自20世纪80年代以来，深度学习持续成功地应用于越来越广泛的实际问题。最早期的深度学习模型用来识别经裁剪过的尺寸极小的图像中的单个对象，后续发展的深度卷积神经网络可以识别处理细节丰富的高分辨率图片，无需再进行裁剪，且从早期的识别二类对象到每年举行的ImageNet大型视觉识别挑战赛中至少识别1000不同类别的对象。此外，深度学习在行人检测、图像分割中也取得了令人瞩目的成功。在2012年，Ciresan等人发表的论文中就提及深度学习在交通标志分类上，已经取得了超越人类的表现。

[0004] 伴随着深度学习网络的规模和精度日益提高，其可以胜任的任务也日益复杂，对其他科学研究的发展也做出了贡献。脑神经科学家们可以依赖于对象识别的深度卷积神经网络，建立用于研究的视觉处理模型；统计学、金融学研究者们可以利用深度学习这一工具，处理海量科学数据并在其专业领域做出有效的预测；另外，深度学习可在生物制药领域预测分子之间的相互作用，帮助制药公司设计新的药品；深度学习亦可用于自动解析、构建人脑三维图的显微镜图像。近年来深度学习在诸多研究领域的普及性、实用性都有了极大的发展。未来这些年，伴随着新时代下人工智能革命的浪潮席卷而来，深度学习这一强有力的工具，如何在更深层更广阔的领域上有所作为，更是充满了全新的机遇与挑战。

[0005] 机载激光雷达是一种集激光扫描系统、全球定位系统、惯性导航系统为一体的用于快速获取地表三维信息的主动式探测装置。最早期的机载激光雷达仅仅可以记录一段时间内有限个的离散回波信号，根据接收回波信号与发射激光脉冲之间的时间间隔，来计算雷达与探测地物的空间距离。而二十世纪末期崭露头角的全波形激光雷达系统，相比于离散激光雷达，可以提供更丰富的目标信息，因为相比于传统的只记录点云数据的激光雷达，全波形激光雷达是以波形的形式记录探测目标各高程点的后向散射能量。每个回波波形在理论上都可视为若干个高斯函数叠加的结果。波形的宽度、峰值位置、峰峰间距、振幅都是对于探测目标进行分析的重要参数。近年来，全波形激光雷达完整后向散射回波波形所蕴含的丰富信息量引起了诸多领域研究者的兴趣，迎来了全波形激光雷达数据处理、应用研究的新时代。

[0006] 由于全波形激光雷达的时空分辨率囿于发射激光脉宽，强度，探测器探测带宽等因素，提升其数据分辨力可以考虑更新硬件设备，采用强度更高，脉宽更窄的激光光源，使用带宽更宽的探测器，数模转换器等，然而，更换硬件设备首先需要面临的是巨额增加的成本，其次相应硬件的技术指标同样存在瓶颈，制约着全波形激光雷达数据分辨力的提升。软件方法方面，针对全波形激光雷达数据的方法，诸如波形分解方法，反卷积方法等，大多致力于提取原始波形中的探测目标，而对于原始数据分辨力的提升问题，并未加以考虑。2017年，研究者提出将压缩感知技术应用于全波形激光雷达数据采集过程中，以期用少量的测量观测信号恢复重建得到高分辨率的数据，亦有研究者从硬件系统设计层面，提出一种将多个探测器彼此错位、线性阵列排布以获取时域超分辨全波形激光雷达数据的方法。

[0007] 然而，当下在软件层面上，相应地针对全波形激光雷达数据，获取更高分辨率数据的方法有待跟进提高，亟待创新性的方法提出。

发明内容

[0008] 本发明的目的是提供一种获取全波形激光雷达高分辨率数据的深度学习方法，该方法基于深度学习策略，结合神经网络与大量全波形激光雷达数据，使原始全波形激光雷达数据的分辨率得到多倍的提升，解决在全波形激光雷达硬件扫描设备局限性的约束下，采集到全波形激光雷达数据分辨率受限的问题。

[0009] 本发明的目的是通过下述技术方案实现的：

[0010] 首先，搭建数据处理平台，硬件环境要求计算机配置：不低于四核心的中央处理器，不低于4GB的运行内存，以及显存不低于2GB的图像处理单元；软件环境包括可以运行深度学习TensorFlow 框架的编译环境；然后，构建基于深度学习的网络架构模型；接着，准备用于训练的全波形激光雷达数据；随后，将准备好的数据送入网络架构模型中训练，预设训练迭代的次数；后续，采用Tensorboard观测每一轮训练后损失函数Loss以及PSNR的变化情况，根据其变化情况动态调整网络架构模型中的参数；最后，保存训练效果最好的网络架构模型，用此模型处理全波形激光雷达数据使原始数据的时空分辨率得到提升。

[0011] 所述一种获取全波形激光雷达高分辨率数据的深度学习方法，包括如下步骤：

[0012] 步骤一：基于深度学习中的残差方法构建网络架构模型；

[0013] 其中，网络架构模型包括数据输入、数据预处理、残差卷积特征提取、数据输出和回环优化；

[0014] 步骤二：网络架构模型读取.txt格式的全波形激光雷达数据实现数据输入；

[0015] 步骤三：对于步骤二读取的原始全波形激光雷达数据，进行原始全波形激光雷达数据预处理，数据预处理将原始全波形激光雷达数据序列每n个邻近点求和后取均值生成一个新数据点，得到一段长度为原始全波形激光雷达数据1/n的新全波形激光雷达数据序列；

[0016] 步骤四：网络架构模型的残差堆叠模块，采用残差加卷积的方法提取步骤三生成的新全波形激光雷达数据序列的波形特征；

[0017] 采用残差神经网络的方法可有效解决网络层数过深而导致的梯度弥散、消失问题，构建的网络架构模型的残差块结构区别于模式识别的残差块结构，单个残差块由卷积层-激活函数 -卷积层构成，多个残差块构成网络架构模型的残差堆叠模块；

[0018] 步骤五：基于残差神经网络跳跃连接方法，将残差堆叠输入节点与输出节点连接；

[0019] 步骤六：对于残差堆叠模块的最后一层卷积输出后的数据进行上采样处理；

[0020] 基于像素重排映射方法，将最终经过多层残差块堆叠，卷积输出后的数据，采用类似图像处理中的像素重排映射方法进行上采样，若数据预处理将原始全波形激光雷达数据序列每 n个邻近点求和后取均值生成一个新数据点，则时空分辨率的提升尺度为n，最后一层卷积核的数目也为n，使得经过卷积得到的数据点数与上采样输出期望的数据点数相匹配，最后一一映射至相应位置得到输出的数据序列；

[0021] 步骤七：定义并计算损失函数Loss；

[0022] 定义该网络的损失函数为步骤六输出的新数据序列与输入的数据序列对应位置上数据的绝对值差值并累加求均值，即L1范数，计算初轮数据输入后的Loss数值；

[0023] 步骤八：预设网络架构模型迭代轮数，进行训练优化；

[0024] 训练过程以优化损失函数Loss为目的，在各项参数设定合理的情况下，Loss将逐步降低并收敛至较小值；

[0025] 步骤九：保存训练时损失函数最小，训练效果最好的网络架构模型，应用该模型处理原始全波形激光雷达数据，可获取时空分辨率提升效果最好的全波形激光雷达数据序列。

[0026] 有益效果

[0027] 1、本发明基于深度学习的残差神经网络方法，构建了提升全波形激光雷达数据的时空分辨率的网络架构模型，解决了全波形激光雷达数据时空分辨率受限于雷达硬件系统的问题。

[0028] 2、本发明提出采用深度学习训练的方式处理全波形激光雷达数据，在网络架构模型训练完成以后，将训练效果出色的模型保存，处理新的全波形激光雷达数据只需调用保存好的网络架构模型，程序运行所耗费的计算资源极少，可应用于各种对于采集设备的体积，便携性要求高的场合。附图说明

[0029] 图1为本发明用于处理全波形激光雷达数据的残差神经网络架构模型图；

[0030] 图2为用于模式识别的计算机视觉神经网络采用的残差块结构图；

[0031] 图3为本发明构建的区别于用于模式识别的残差块结构图；

[0032] 图4为各种全波形激光雷达数据波形图：图4(a)为添加高斯白噪声的全波形激光雷达波形图，该波形即为最原始输入波形，图4(b)为未添加高斯白噪声的全波形激光雷达波形图，该波形用于回环比较计算损失Loss，图4(c)为预处理步骤下采样得到的全波形激光雷达波形图，图4(d)为网络循环迭代1000次后，训练过程输出的全波形激光雷达波形图；

[0033] 图5为分辨率提升尺度n＝4情况下，使用调整参数完毕效果良好的网络架构模型处理全波形激光雷达数据的结果图：图5(a)为输入的原始数据的波形图，该段序列含有10000个数据点，图5(b)为输入原始全波形激光雷达数据不含噪声的对比波形图；

[0034] 图6为输出波形的细节放大效果图：图6(a)为输入全波形激光雷达波形的细节放大图，图6(b)为输出全波形激光雷达波形的细节放大图；

[0035] 图7为四种不同形状的全波形激光雷达波形训练过程细节图，横轴表征探测的地物高度，纵轴表征回波强度，图7(a)、图7(b)、图7(c)、图7(d)中从上至下三幅细节波形图依次是：输入训练的带噪声波形，下采样处理后虽噪声得到平滑但失真的波形，训练迭代结束后输出的相应波形；

[0036] 图8为分辨率提升尺度4倍的情况下，使用训练完毕、效果良好的网络架构模型处理两种不同形状的全波形激光雷达波形的输出波形图，横轴表征探测的地物高度，纵轴表征回波强度：图8(a)和图8(b)中居上的波形图为输入处理的噪声污染严重的原始波形，图8(a) 和图8(b)中居下的波形为方法处理后噪声大体消失，数据序列扩充，分辨率得到提升的全波形激光雷达波形。

具体实施方式

[0037] 下面结合附图与实施例，对本发明方法做进一步详细说明。

[0038] 实施例1

[0039] 实施例对某型号SK-300的大宽带全波形激光雷达系统输出数据进行处理，该全波形激光雷达系统使用的激光器峰值功率10kw，脉宽2ns，有效脉冲频率10kHz，其对于地物目标扫描1秒时间理论可得到10000个数据点；

[0040] 步骤一：搭建运行深度学习方法的数据处理平台；

[0041] 实施例使用的硬件装置有：搭载Intel Core i9-9900k中央处理器及Nvidia GeForce RTX 2080-Ti图形处理器的计算机平台，实施例使用的软件包括基于Linux 内核的开源操作系统 Ubuntu 16.04，CUDA 10.0.105驱动程序，以及Tensorflow_GPU-1.4.0神经网络框架；

[0042] 步骤二：基于搭建的数据平台，构建如附图1所示的用于处理全波形激光雷达数据的残差神经网络架构模型，其中，网络架构模型包括数据输入、数据预处理、残差卷积特征提取、数据输出和回环优化；

[0043] 步骤三：构建如附图3所示的残差块结构，构建的残差块结构区别于附图2所示的用于模式识别的残差结构，采用残差加卷积的方法提取全波形激光雷达数据序列的波形特征；

[0044] 步骤四：读取.txt格式的全波形激光雷达数据文件；

[0045] 对于全波形激光雷达原始数据的读取调用，可先将不同格式的数据文件采用lastool工具箱转化为.txt格式后统一处理，本实施例中，将一条具有10000个数据点的全波形激光雷达数据文件输入网络架构模型中进行数据预处理，将输入数据记为xin，如附图4(a)所示，原始全波形激光雷达波形图包含高斯白噪声，每个高斯波形都可解析为一个树木/灌木的分层模型，一共有200条该类型的全波形激光雷达数据用于训练，数据的波形细节特征如附图7(a)、附图7(b)、附图7(c)、附图7(d)中的居上图所示；

[0046] 步骤五：对输入数据进行下采样操作；

[0047] 模拟全波形激光雷达原始回波信号被系统采集，量化，模数转化，接受的过程，使用均值下采样方法，原序列数据中每四个数据点求和取均值后，得到一个新数据点，新数据点共有2500个，该一维序列数据记为xdown_sample，对原始序列进行下采样后得到的 xdown_sample波形如附图4(c)所示，该下采样过程可视为全波形激光雷达系统对于回波信号的离散采样过程，均值采样后，得到的新数据的波形细节特征如附图7(a)、附图7(b)、附图7(c)、附图7(d)中的居中图所示；

[0048] 步骤三：残差神经网络的第一层卷积操作；

[0049] 采用卷积操作提取原始全波形激光雷达数据中的波形特征，动态调整训练网络，采用一维卷积来对全波形激光雷达数据进行特征提取，将xdown_sample经过一层卷积得到xconv_1，对一维数据进行卷积所选用的卷积核尺寸为3*1，移动步长设置为1，然后输入到网络架构模型的残差块堆叠部分处理；

[0050] 步骤四：应用残差网络模块处理第一层卷积后的数据；

[0051] 残差网络模块由多个残差块堆叠组成，每个单独的残差块可分为卷积+激活函数+卷积三部分，残差块输出之后的数据再经过一层卷积后，与xconv_1相加得到xconv_n，实施例中，残差块中的卷积层参数设置与初轮卷积保持一致，激活函数使用ReLU激活函数，残差网络模块由9个残差块堆叠组成，经残差网络模块处理输出后的数据记为xRes，xRes后再经过一层由两个卷积核组成的卷积层，目的是使得即将输出的数据维度上与预期输出相匹配，经该层卷积后输出的数据记为xconv-n；

[0052] 步骤五：基于像素重排思想对数据进行上采样操作；

[0053] 对于上层的xconv-n序列数据，可视为多个包含有互不相同信息的低分辨率全波形激光雷达信号，采用基于像素重排法一一映射的方法，将低分辨全波形激光雷达信号中的数据点一一映射至对应的位置得到全新的数据序列，记为xest，此处xest序列中含有10000个数据点，与输入数据的维度一致，定义损失函数Loss为xin与xest绝对值差值并累加求均值，附图4(b)为用于回环比较计算损失Loss消除高斯白噪声的全波形激光雷达波形图，xest中包含有一万个数据点，随着网络架构模型的迭代训练动态更新，训练阶段完成后xest的波形如附图4(d)所示，xest的的波形细节特征如附图7(a)、附图7(b)、附图7(c)、附图7(d) 中的居下图所示；

[0054] 步骤六：预设训练轮数进行迭代训练并保存效果最好的神经网络参数模型；

[0055] 预设训练迭代轮数为1000次，批量处理数量为每次处理10条数据，启动训练过程，通过Tensorboard实时观测损失函数Loss的变化情况，采用深度学习框架TensorFlow中的Adam 优化器对于损失函数进行优化，训练过程完成后将训练时损失函数最低的网络架构模型保存为.ckpt格式文件，以便后续基于该参数模型获取分辨率提升的全波形激光雷达数据；

[0056] 步骤七：采用上步骤保存的参数模型用于提升新输入的全波形激光雷达数据分辨率；

[0057] 基于步骤六保存的.ckpt格式文件中的残差神经网络参数模型，将其用于处理全新的全波形激光雷达数据文件，当新的原始全波形激光雷达数据包含有10000个数据点输入后，如附图5(a)所示，数据的波形细节特征如附图6(a)所示，经过残差神经网络参数模型处理，可以获取分辨率提升四倍，包含有40000个数据点的序列输出，如附图5(b)所示，数据的波形细节特征如附图6(b)所示；

[0058] 实施例在此阶段，输入进行测试包含10000个数据点的原始数据波形如附图5(a)所示，输入波形的细节特征图如附图8(a)和附图8(b)中的居上图所示，应用网络架构模型处理后输出的包含有40000个数据点的新数据波形如附图5(b)所示，输出波形的细节特征图如附图8(a)和附图8(b)中的居下图所示，处理后噪声大体消失，数据序列扩充，分辨率得到提升的全波形激光雷达波形。

[0059] 以上所述的具体描述，对发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

标题	发布/更新时间	阅读量
列车产品一致性检验方法、系统、设备及可读存储介质	2023-03-12	0
联合声道间和声道内预测的立体声误码隐藏方法及系统	2023-01-05	1
反应腔体的水气监测方法	2021-01-10	1
一种在线间歇故障检测与诊断方法	2021-01-12	2
基于量子弱测量的高精度微重力加速度测量装置及测量方法	2021-01-13	0
一种避免高次谐波干扰的无线充电装置	2021-05-15	0
一种用于H桥功率单元输出电压波形异常检测的装置	2021-12-12	0
液体吐出装置及びこれを備えたインクジェット式記録装置	2020-08-24	0
チタンプレート熱交換器	2021-03-18	2
安全性診断装置、安全性診断方法及び安全性診断プログラム	2020-05-26	0

一种获取全波形激光雷达高分辨率数据的深度学习方法

一种获取全波形激光雷达高分辨率数据的深度学习方法

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：