面向植物表型的移动式近感系统及数据获取方法
技术领域
[0001] 本
发明涉及面向植物表型的
激光雷达成像技术，尤其涉及一种面向植物表型的激光扫描与深度成像移动式近感系统及数据获取方法，能够获取植物三维点
云以及红绿蓝(RGB)特征信息。
背景技术
[0002] 植物表型受基因和环境因素决定和影响，反映植物结构及组成、植物生长发育过程及结果的全部物理、生理、生化特征和性状。植物表型分析的精确实现有助于
农作物基因型与育种工作。植物表型分析对高效且低成本的表型获取技术需求强烈。
[0003] 三维激光雷达因其可以快速、准确获取扫描对象表面三维点云信息，在植物参数定量测量和反演上具有广阔的应用前景。对于小型植物表型信息的获取，地基三维激光雷达一次只能固定的从某一
角度范围对植物进行扫描，无法移动、倾斜交叉多方位的对植物进行扫描，这会造成某一方向上
叶片之间的遮挡使扫描数据的完整性缺失。车载激光雷达可以在行驶过程中扫描周边地物三维点云，但因体积大和工作环境限制了其无法在植物表型研究中发挥太大作用。
深度图像每个
像素记录了场景中物体到采景器的距离，可以用于表征可见三维物体表面的几何形状。深度图像经过坐标转换可以计算为点云数据，为植物点云数据获取提供了另一方案。红绿蓝深度图像(RGBD)采集
传感器Kinect可用于彩色影像和结构光深度
图像采集，其由一个RGB彩色相机、红外线发射器和红外线CMOS摄影机构成。在植物表型参数定量测量和反演应用中，大量的植物表型组学数据的获取需要依托可靠的植物表型平台。但是，现有的植物表型平台技术还难以提供用于植物表型监测、植物架构量化、高
精度控制测量。
发明内容
[0004] 为解决地基三维激光雷达和车载三维激光雷达在植物表型获取中灵活性不足、无法同步获取RGB与深度图像、价格昂贵和运行成本高的问题，本发明提供了一种面向植物表型的移动式激光扫描与深度成像传感器组合移动式近感系统及数据获取方法，用于采集植物三维结构信息，对植物快速表征。
[0005] 本发明将两个二维激光雷达、一个深度成像传感器、四个减速直流
电机和控制单元一体化集成为能够获取低矮植物三维点云和深度图像的移动式激光扫描与深度成像近感系统。将两个二维激光
扫描仪安装在两个远端的安置于移动平台的固定架的倾斜面上，将它们的扫描剖面设置成一个斜交的方式。系统在单方向匀速运动位移可解算，然后，经过精确的三维坐标求解和点云数据校正，平台的移动可以使得两个远端二维激光雷达扫描的二维扫描剖面转变为扫描对象的三维点云表征。同步获取
目标植物的深度图像，分割获取样方叶片区域，计算得到植物叶片区域的植被指数。本发明结构紧凑，性能可靠、稳定，可广泛应用于低矮植物的三维彩色点云数据获取。
[0006] 本发明的技术方案如下：
[0007] 一种面向植物表型的移动式激光扫描与深度成像近感系统，以移动车作为
数据采集平台(移动平台)，二维激光雷达与深度传感器安装在
框架上，安装框架固定在移动平台上。系统至少包括：两个二维激光雷达、安装框架、深度成像传感器Kinect、控制单元和便携电源；其中，便携电源可通过USB
接口向二维激光雷达、深度成像传感器Kinect、直流减速电机进行供电，控制单元可对二维激光雷达进行控制，如操作控制、参数设置和测量数据存储。两个二维激光雷达安装在安装框架的两个远端，均安装在与垂直面成一定固定夹角的倾斜面上，交叉向下扫描获取二维剖面数据。深度成像传感器Kinect安装在安装框架的中心，竖直向下采集深度图像和RGB图像。激光雷达、Kinect和直流减速电机通过线缆与控制单元连接，接受控制单元控制。
[0008] 上述面向植物表型的移动式激光扫描与深度成像近感系统工作时，以移动平台的移动方向为笛卡尔
坐标系的Y轴构建三维坐标系，行进过程中进行多个倾斜的扫描剖面序列三维重构，从而形成三维点云数据。两个二维激光雷达安装在与垂直面成一定固定夹角的倾斜面上，并且与三维坐标系的三个坐标轴方向成一定的夹角。倾斜面属于激光雷达安装框架的一部分，位于框架的两端。两个二维激光雷达扫描剖面被设置成一个斜交的方式。可以通过坐标转换将二维激光雷达测量的二维极坐标数据(距离与扫描角度)通过坐标系间的旋转、平移转换为笛卡尔坐标系的(x,y,z)坐标数据。然后，经过对初始三维点云数据校正，根据平台的移动可以使得两个系列的二维扫描剖面转变为研究区一排植物的全部三维表征。为了避免植物冠层遮蔽
激光束影响植物结构表征的完整性，两个二维激光雷达通过设定扫描剖面互相交叉的方式从不同视角进行扫描。深度成像传感器Kinect固定在两个激光雷达安装框架中心处，用于获取彩色和深度图像，彩色图像记录了
位置和
颜色信息，深度图像记录了距离信息。对Kinect采集到的每一
帧彩色和深度数据配准后，通过数据转换每个图像像素都被转换为一个点，可以得到场景中物体位置(x,y,z)和(R,G,B)信息。
[0009] 本发明具体实施时，移动式激光扫描与深度成像近感系统包括两个二维激光雷达、深度成像传感器Kinect、控制单元、两个黑色遮光灯罩、
USB集线器、四个直流减速电机、调速器、电源
控制器、供电
电缆、便携电源、移动平台、激光雷达安装框架。两个二维激光雷达安装在激光雷达安装框架的两个远端，激光雷达安装框架放置于移动平台上，深度成像传感器Kinect固定在激光雷达安装框架的中部。控制单元与两个二维激光雷达通过集线器和USB线缆连接，进行数据传输、数据存储和总体控制，便携电源对两个二维激光雷达、Kinect和直流电机通过USB线缆供电。二维激光雷达获取数据内容包括角度、距离和反射强度三种信息。深度成像传感器Kinect通过数据线缆向控制单元传输获取的深度图像和RGB图像。四个直流减速电机安装在移动平台的四个足部，便携电源向移动平台的四个直流减速电机供电，为移动平台提供向前向后行进的动
力，这样构建成了一种面向植物表型的移动式激光扫描与深度成像近感系统。
[0010] 其中，黑色遮光灯罩采用半圆球面黑色灯罩，直径为25厘米，表面具有吸光涂料，两个二维激光雷达的上方均安装半圆球面黑色灯罩。
[0011] 本发明还提供一种面向植物表型的移动式激光扫描与深度成像近感数据获取方法，包括如下步骤：
[0012] 1)以移动车作为数据采集移动平台；安装框架固定在移动平台上；在安装框架上安装二维激光雷达和深度成像传感器，可通过调
节距离地面的高度控制扫描范围；便携电源向二维激光雷达和深度成像传感器进行供电；控制单元对二维激光雷达进行控制；移动平台的四条腿的底部安装由减速直流电机驱动的轮子；两个二维雷达安装在激光雷达安装框架的两个远端；两个二维雷达安装在与垂直面成固定夹角分别为anglex1和anglex2的两个倾斜面上，两个倾斜面与
支架互相成角度为angley1和angley2；深度成像传感器Kinect固定在激光雷达安装框架的中部，镜头面朝天底方向；两个二维激光雷达上方安装半圆球面黑色灯罩，用于遮蔽摄入激光雷达的太阳光；
[0013] 2)轮子通过控制单元设定速度使得匀速移动；将低矮植被放置于移动平台的行进方向或将移动平台移动到低矮植被处；设置减速直流电机的运行速度、二维激光雷达的扫描
分辨率、深度成像传感器Kinect的拍摄间隔，开始扫描和移动；
[0014] 3)以移动方向为笛卡尔坐标系的Y轴构建三维坐标系，不同位置的多组扫描剖面构成被测植物的三维点云；在构建的三维坐标框架中，用于安放激光扫描仪的斜交的平面与Y轴方向和Z轴方向分别成一定的夹角，由此使得扫描剖面设置成一个斜交的方式；其中，二维激光雷达LIDAR1的角度为anglex1、angley1、anglez1，二维激光雷达LIDAR2的角度为anglex2、angley2、anglez2；
[0015] 4)通过坐标转换将二维激光雷达原始的二维极坐标数据距离和角度(d,α)，按矩阵运算的方式转换为笛卡尔坐标系坐标数据(x,y,z)；
[0016] 二维激光雷达的原始极坐标数据，经过式1和式2进行三维坐标解算，得到绝对直角坐标系下的三维点云数据。
[0017] 旋转矩阵R为：
[0018]
[0019] 其中，绕X轴旋转矩阵Rx定义为：
[0020]
[0021] 绕Y轴旋转矩阵Ry定义为：
[0022]
[0023] 绕Z轴旋转矩阵Rz定义为：
[0024]
[0025] γ是二维激光雷达LIDAR1的anglez1角度(或者LIDAR2的anglez2角度)，β是二维激光雷达LIDAR1的angley1角度(或者LIDAR2的angley2角度)，α是二维激光雷达LIDAR1的anglex1角度(或者LIDAR2的anglex2角度)，三个角度是激光雷达相对于绝对坐标系的
姿态角；每个激光点的笛卡尔坐标(x,y,z)由式2计算得到：
[0026]
[0027] 其中，d和α1分别是激光雷达直接测量的极坐标距离和角度，(x1,y1,0)表示激光雷达极坐标下的局部坐标,(x,y,z)是激光雷达空间直角坐标系下的三维坐标，μ是激光雷达在移动扫描过程绝对坐标系下的单位时间的移动距离；
[0028] 5)将步骤4)得到的三维点云数据为未校正数据，需要对公式1和2所需的三个初始姿态角度(α,β,γ)进行校正，校正参数Δα,Δβ和Δγ。γ1＝γ+Δγ是修正后的anglez1角度(或者anglez2角度)，β1＝β+Δβ是修正后的angley1角度(或者angley2角度)，α1＝α+Δα是修正后的anglex1或anglex2。得到校正后的新的转换矩阵R，再通过式2可以计算出校正后的激光点云数据。
[0029] 6)笛卡尔坐标系坐标数据经过激光雷达安装位置校正后，通过使二维激光雷达随移动平台移动，使得两个二维扫描剖面转变为区域一排植物的全部三维表征；
[0030] 7)对校正后的三维点云数据进行数据配准后，结合深度图像传感器获取的RGBD图像得到高
密度多角度的三维彩色点云；
[0031] 8)对三维点云数据进行分割，提取到植物点云和叶片点云，提取单株植物的形态结构参数；
[0032] 通过上述步骤，实现面向植物表型的移动式激光扫描与深度成像近感数据的获取。再将形态结构参数的估算值与人工测量得到的实测值进行回归分析，以验证测量植物表型的精度。
[0033] 与
现有技术相比，本发明的有益效果是：
[0034] 本发明提供了一种面向植物表型的移动式激光扫描与深度成像近感系统，系统中两个二维激光雷达安装在放置于移动平台的二维激光雷达固定件的两个远端倾斜面上，深度图像传感器Kinect安装在固定件的中心位置，移动平台四条腿部安装有减速直流电机，能够在移动的方式连续获取反映植物三维结构和生化属性的彩色三维点云。系统可在单方向匀速运动，位移可解算，经过精确的三维坐标求解和点云数据校正，扫描仪的移动可以使得两个二维扫描剖面转变为研究区植物的全部三维点云表征。Kinect获取的植被的彩色影像和深度图像可解算为彩色点云，用于植物生化属性的分析。
[0035] 本发明结构紧凑、性能可靠稳定，能够解决现有地基三维激光雷达和车载三维激光雷达在植物表型研究中灵活性不足、价格昂贵和运行成本高的问题，可广泛用于获取低矮植物的三维彩色点云数据和深度图像。与传统的单一固定视图系统相比，本发明获取的数据可以反映更多的植物下层结构信息，性能更高，成本更低。通过对低矮植被扫描点云数据分析结果表明，该系统扫具有描速度快、性能可靠稳定、能够倾斜扫描，是一种以低成本获得高
质量、高密度彩色三维点云数据的有效手段。
附图说明
[0036] 图1所示是本发明的系统组成和相关应用领域。
[0038] 其中：1—移动平台；2—二维激光雷达；3—半圆球面黑色灯罩；4—直流减速电机；5—深度成像传感器Kinect；6—激光雷达安装框架；7—控制兼
数据处理单元；8—USB集线器；9—便携电源；10—通讯线缆。
[0039] 图3为二维激光雷达安装在激光雷达安装框架其中一个远端倾斜面上的示意图；
[0040] 其中，2—二维激光雷达；6—激光雷达安装框架的两端结构；10—通讯线缆。
[0041] 图4为两个二维激光雷达安装在激光雷达固定框架上在笛卡尔坐标系中的示意图；
[0042] 其中，LIDAR1和LIDAR2是分别安装在框架两个远端的倾斜面上的二维激光雷达，倾斜面与垂直面夹角分别是anglex1和anglex2；d是激光雷达扫描中心到目标物表面的距离。
具体实施方式
[0043] 下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。
[0044] 本发明提供了一种面向植物表型的移动式激光扫描与深度成像近感系统，图1所示是本发明的系统组成和相关应用领域；系统包含了激光雷达、深度成像传感器和数据处理操作控制单元，控制单元可以对激光雷达扫描分辨率、系统行进速度和深度成像传感器进行操作控制；经过信息解算与融合可以生成彩色三维点云数据；本系统可应用于植物表型研究、生化属性分析和三维结构获取等领域。
[0045] 图2为本发明具体实施例的结构图；具体实施时，面向植物表型的移动式激光扫描与深度成像近感系统包括移动平台1，两个二维激光雷达2，两个半圆球面黑色灯罩3，四个直流减速电机4，深度成像传感器Kinect5，激光雷达安装框架6，控制兼数据处理单元7，USB集线器8，便携电源9和供电通讯电缆10构成。
[0046] 如图2所示，移动平台1四条腿的底部安装有减速直流电机4驱动的轮子，在控制单元控制下以设定速度匀速移动。激光雷达安装框架6安装在移动平台1上，可调节距地面的高度控制扫描范围。两个二维激光雷达2安装在激光雷达安装框架6的两个远端，图3是二维激光雷达安装在激光雷达安装框架其中一个远端倾斜面上的示意图。深度成像传感器Kinect5固定在激光雷达安装框架6的中部，镜头面朝天底方向。半圆球面黑色灯罩3直径为25厘米，表面具有吸光涂料。两个二维激光雷达2上方安装有半圆球面黑色灯罩3，可用于遮蔽摄入激光雷达的太阳光。以移动方向为笛卡尔坐标系的Y轴构建三维坐标系，不同位置的多组扫描剖面构成了被测植物的三维点云。在构建的三维坐标框架中，用于安放扫描仪的斜交的平面与Y轴方向和Z轴方向分别成约45度角。
[0047] 如图4所示，两个二维激光雷达(LIDAR1和LIDAR2)2安装在与垂直面成固定夹角anglex1和anglex2的两个倾斜面上，两个斜面与支架互相成角度angley1和angley2，并且与三个坐标轴方向成一定的夹角。如此一来，它们的扫描剖面被设置成一个斜交的方式。可以通过坐标转换将二维激光雷达2原始的二维极坐标数据距离和角度(d,α)按矩阵运算的方式转换为笛卡尔坐标系(x,y,z)坐标数据。然后，经过激光雷达安装位置校正后，二维激光雷达随移动平台1移动可以使两个二维扫描剖面转变为研究区域一排植物的全部三维表征。为了避免植物冠层遮蔽激光束影响植物结构表征的完整性，两个二维激光雷达2将通过设定扫描剖面互相交叉的方式从不同视角扫描。激光雷达安装框架6在移动平台1上的高度可调，有利于测量不同高度的植物。移动平台的移动由四个直流减速电机4驱动的四个轮子控制，四个轮子的移动速度可以预先设定为同一值。移动平台1顶部安放有便携电源9，用于为直流减速电机4持续供电。
[0048] 如图2所示，激光雷达安装框架6长度为1.5米，宽度为4厘米。在安装框架6两端
焊接有两个斜着的平面，而其两个垂直部分长度是20厘米。可以用于遮蔽射入激光雷达光敏感器的太阳光的黑色灯罩可以固定在两端悬挂部分。如图4，依据已经预设的坐标系统，两个斜面的架子互相成一定角度，并且与三个坐标轴方向成一定的夹角。两个二维激光雷达固定在斜交的平面的安装方式见图4所示。激光雷达安装框架的结构确保了两个激光雷达以交叉的方式扫描。在图4所定义的坐标系中，用于安放激光雷达的斜交的平面与Y轴方向和Z轴方向分别成约45度角。该安装方式使得两个激光雷达按照各自斜剖面扫描植物，两个激光雷达同时采用交叉剖面方式扫描植物。该系统Y轴方向的平移使扫描剖面沿Y轴排列，移动方向的扫描剖面组成了植物的三维点云。由两个激光雷达收集的两个系列数据可以合并，这个操作可以很大程度上减少冠层阻挡激光传输的影响。
[0049] 具体地，二维激光雷达距离地表的高度可根据扫描植物的高矮调整。Kinect固定在二维激光雷达安装框架中部，成像方向为天底方向。四个直流减速电机安装在移动平台四个足部，便携电源向移动平台的四个直流减速电机供电，为移动平台提供向前向后行进的动力，通过直流减速电机控制移动平台的前后移动与移动速度。控制单元与两个二维激光雷达通过集线器和USB线缆连接，进行数据传输、数据存储，便携电源对两个二维激光雷达通过USB线缆供电。
[0050] 原始测量数据与每个离散的扫描点相关，包括角度、测距和反射强度，对扫描点位置首先用二维极坐标表达，为了三维表征，对二维极坐标进行三维坐标解算，其目标就是将二维激光雷达剖面从极坐标系统(距离和角度)转换为可用于整个植物表型分析系统的笛卡尔坐标系(x,y,z)。坐标转换是基于转换矩阵R实现，R矩阵定义为:
[0051]
[0052] 其中，绕X轴旋转矩阵Rx定义为：
[0053]
[0054] 绕Y轴旋转矩阵Ry定义为：
[0055]
[0056] 绕Z轴旋转矩阵Rz定义为：
[0057]
[0058] γ是二维激光雷达LIDAR1的anglez1角度(或者LIDAR2的anglez2角度)，β是二维激光雷达LIDAR1的angley1角度(或者LIDAR2的angley2角度)，α是二维激光雷达LIDAR1的anglex1角度(或者LIDAR2的anglex2角度)，如图4所示，三个角度是指激光雷达相对于绝对坐标系的姿态角。每个激光点的笛卡尔坐标系(x,y,z)可由公式2计算得到。
[0059]
[0060] 其中，d和α1分别是激光雷达直接测量的极坐标距离和角度，(x1,y1,0)表示激光雷达极坐标下的局部坐标,(x,y,z)是激光雷达空间直角坐标系下的三维坐标，而μ是激光雷达在移动扫描过程绝对坐标系下的单位时间的移动距离。
[0061] 数据地理空间参考过程之后，计算出每个激光点的三维坐标。然而受制于每次二维激光雷达固定在金属架的过程和将金属架固定于平台的过程可能产生的误差，公式1和公式2所需的三个初始姿态角度(α,β,γ)需要进行校正，校正参数为Δα，Δβ和Δγ。γ1＝γ+Δγ是修正后的anglez1角度(或者anglez2角度)，β1＝β+Δβ是修正后的angley1角度(或者angley1角度)，α1＝α+Δα是修正后的anglex1(或者anglex2角度)。通过式1计算得到校正后的新的转换矩阵R，通过式子2可以计算出校正后的激光点云数据。
[0062] 利用上述面向植物表型的移动式激光扫描与深度成像近感系统对低矮植被进行扫描，获得三维点云及深度图像数据，包括如下步骤：
[0063] 1)将低矮植被放置于近感系统的行进方向或将近感系统移动到低矮植被处，打开便携电源9、控制兼数据处理单元7、深度成像传感器Kinect5和二维激光雷达2，检查系统各组件运行状态，使系统处于准备状态。
[0064] 2)通过控制兼数据处理单元7设置减速直流电机4的运行速度、二维激光雷达2的扫描分辨率、深度成像传感器Kinect5的拍摄间隔，参数设置完毕，通过控制兼数据处理单元7发出扫描和移动命令。
[0065] 3)控制兼数据处理单元7获取到二维激光雷达的原始极坐标数据，经过公式1和公式2三维坐标解算，得到绝对直角坐标系下的三维点云数据。
[0066] 4)步骤(3)得到的三维点云数据为未校正数据，根据γ1，β1和α1重新计算得到校正后的转换矩阵R对三维点云数据进行坐标值纠正，得到校正后更准确的三维点云数据。
[0067] 5)对步骤(4)校正后的三维点云数据进行数据配准，结合深度图像传感器获取的RGBD图像得到高密度多角度的三维彩色点云。
[0068] 6)对三维点云数据进行分割，得到植物点云和叶片点云，提取单株植物的形态结构参数。
[0069] 7)将形态结构参数的估算值与人工测量得到的实测值进行回归分析，以验证系统用于测量植物表型的精度。
[0070] 采用本系统获取点云数据分割出研究区样方点云，提取样方叶片平均高度参数。将样方范围内的高度统计参数和地面实测高度均值进行线性回归分析，计算出R2＝0.69，RMSE＝1.98cm，说明样方内叶片高度参数估算精度合理。
[0071] 需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附
权利要求的精神和范围内，各种替换和
修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。
