首页 / 专利库 / 诊断设备和程序 / 彩色速度成像 / 一种基于移动平台的彩色激光点云成像系统

一种基于移动平台的彩色激光点成像系统

阅读:1014发布:2020-09-26

专利汇可以提供一种基于移动平台的彩色激光点成像系统专利检索,专利查询,专利分析的服务。并且本 发明 涉及一种基于移动平台的彩色激光点 云 成像系统,属于环境 感知 领域。包括:移动平台、 支撑 杆、摄像机、摄像机标定模 块 、运动控 制模 块、 人机交互 模块、空间对准模块、机械腕、 深度图 构建模块、 滤波器 模块、激光扫描雷达、 姿态 方位参考模块、激光点云 染色 模块;其中,机械腕包括连接轴A、连接轴B以及连接悬臂。该系统分别通过激光扫描雷达和摄像机获取三维点云信息和图像信息,再利用激光扫描雷达与摄像机的空间对准方法及激光点云染色方法,实现彩色激光点云的成像。本发明与传统方法相比,提高了激光扫描雷达与摄像机的配准 精度 ,得到的彩色三维点云更加真实;同时借助于移动平台,可以完成大范围环境的彩色三维点云获取,适用范围更广。,下面是一种基于移动平台的彩色激光点成像系统专利的具体信息内容。

1.一种彩色激光点成像系统,其特征在于:包括:移动平台、支撑杆(4)、摄像机、摄像机标定模、运动控制模块、人机交互模块、空间对准模块、机械腕、深度图构建模块、滤波器模块、激光扫描雷达、姿态方位参考模块、激光点云染色模块、;其中,机械腕包括连接轴A(1)、连接轴B(2)以及连接悬臂(3);
支撑杆(4)与机械腕组成支撑框架,支撑杆(4)与连接悬臂(3)通过连接轴A(1)和连接轴B(2)连接,连接轴A(1)处于竖直状态,连接轴B(2)处于平状态,连接轴A(1)和连接轴B(2)可绕其轴心旋转,并且支撑杆(4)与连接轴A(1)、连接轴B(2)之间非固定连接,连接悬臂(3)与连接轴A(1)、连接轴B(2)之间固定连接,即:当连接轴A(1)围绕其轴心转动时,支撑杆(4)不随连接轴转动,而连接悬臂(3)保持与连接轴A(1)同速转动;当连接轴B(2)围绕轴心转动时,支撑杆(4)不随连接轴转动,而连接悬臂(3)保持与连接轴B(2)同速转动;支撑框架通过支撑杆(4)固定在移动平台上,连接悬臂(3)不接触移动平台;摄像机和激光扫描雷达固定安装于连接悬臂(3)上,并且摄像机的光心和激光扫描雷达的光心,与连接轴B(2)的轴心的距离相等,摄像机的光心与激光扫描雷达的光心在同一竖直平面上;
摄像机与人机交互模块、摄像机标定模块、激光点云染色模块、机械腕连接;摄像机标定模块与摄像机、空间对准模块、激光点云染色模块连接;运动控制模块与机械腕、人机交互模块、移动平台连接;人机交互模块与激光扫描雷达、摄像机、运动控制模块、深度图构建模块、空间对准模块、姿态方位参考模块连接;空间对准模块与人机交互模块、滤波器模块、摄像机标定模块、激光点云染色模块连接;机械腕与运动控制模块、激光扫描雷达、摄像机连接;深度图构建模块与激光扫描雷达、人机交互模块连接;滤波器模块与人机交互模块、空间对准模块连接;激光扫描雷达与机械腕、人机交互模块、激光点云染色模块连接;姿态方位参考模块与人机交互模块、激光点云染色模块连接;激光点云染色模块与激光扫描雷达、摄像机、人机交互模块、姿态方位参考模块、空间对准模块、摄像机标定模块连接;
所述摄像机用于获取摄像机图像数据,并分别传送给摄像机标定模块、人机交互模块和激光点云染色模块;
所述摄像机标定模块接收摄像机获取的图像数据,经过处理后得到摄像机投影矩阵K,并将摄像机投影矩阵K传送到空间对准模块和激光点云染色模块;
所述运动控制模块根据人机交互模块的控制指令,驱动机械腕的转动及移动平台的运动;
所述人机交互模块的主要功能是:提供人机交互的输入、输出功能;包括但不限于:①机械腕的转动参数输入、②移动平台的运动参数输入、③激光扫描雷达的扫描参数输入、④接收并显示摄像机获取的图像及深度图构建模块产生的深度图图像、⑤接收姿态方位参考模块传输过来的彩色三维点云数据并显示、⑥提供在摄像机图像上选取特征点的功能,并将摄像机图像中的特征点坐标传送给空间对准模块;⑦提供在深度图中选取对应特征点候选区域点集的功能,并将其坐标传送给滤波器模块;所述特征点候选区域点集为摄像机图像上选取的特征点在深度图中的对应候选区域;
所述空间对准模块接收来自人机交互模块所传送的摄像机图像特征点坐标及滤波器模块所传送的与摄像机图像特征点对应的深度图特征点坐标,并接收摄像机标定模块传送的摄像机投影矩阵K,根据文献《视觉传感器与激光测距雷达空间对准方法》中公开的空间转换方法得到摄像机坐标系到激光扫描雷达坐标系的坐标转换矩阵,包括旋转矩阵和平移矩阵,并将旋转矩阵和平移矩阵传送给激光点云染色模块;
所述机械腕在运动控制模块驱动下能够完成以下两种运动:①控制连接轴B(2)围绕其轴心旋转,使固定在其上的激光扫描雷达在俯仰方向上转动;②控制连接轴A(1)围绕其轴心旋转,使激光扫描雷达在水平方向上转动;
所述深度图构建模块接收来自激光扫描雷达的三维点云数据,经过处理后得到深度图,并将深度图传送给人机交互模块;
所述滤波器模块接收来自人机交互模块传送的深度图特征点候选区域点集,通过处理得到深度图特征点坐标,将深度图特征点坐标传送给空间对准模块;
所述激光扫描雷达接收人机交互模块传送的激光雷达扫描参数,并在机械腕的带动下对场景进行扫描,获取三维点云数据,并将其传送给深度图构建模块和激光点云染色模块;
所述姿态方位参考模块用于测量激光扫描雷达在大地坐标系下的姿态信息建立大地坐标系与激光扫描雷达坐标系的转换关系,所述激光扫描雷达姿态信息包括但不限于:俯仰横滚角及方位角;然后,将激光点云染色模块传送的彩色三维点云数据转换到大地坐标系,并将转换后的彩色三维点云数据传送到人机交互模块进行显示;
所述激光点云染色模块完成激光点云的染色,即:接收激光扫描雷达传送的三维点云数据和摄像机传送的图像数据,并接收空间对准模块所提供的旋转矩阵和平移矩阵,以及摄像机标定模块提供的摄像机投影矩阵K,找出三维点云数据在摄像机图像数据中的对应点,并提取出其的颜色信息;将三维点云数据的三维位置坐标及在图像数据中对应点的三维RGB颜色信息合并为六维坐标,得到彩色三维点云数据,并传送给人机交互模块显示,完成激光点云的染色;
其工作流程为:
步骤一、对摄像机进行标定;具体为:由人机交互模块输入机械腕转动参数并传递给运动控制模块,运动控制模块根据接收到的机械腕的转动参数驱动机械腕转动使摄像机朝向正前方,采集图像,将得到的图像传送到摄像机标定模块进行处理,得到摄像机标定矩阵K,将摄像机标定矩阵K传送给空间对准模块及激光点云染色模块;
所述机械腕的转动参数包括但不限于:起始角度、终止角度、步进角;
所述移动平台的运动参数包括但不限于:起动、停止、方向、速度命令;
所述激光扫描雷达扫描参数包括但不限于:扫描视角和扫描分辨率
步骤二、获取空间对准模板的深度图;所述空间对准模板采用文献《视觉传感器与激光测距雷达空间对准方法》中公开的空间对准模板;
该步骤的操作与步骤一不分先后;具体为:由人机交互界面输入机械腕转动参数及激光扫描雷达扫描参数,分别传送给运动控制模块和激光扫描雷达,运动控制模块驱动机械腕转动进行空间对准模板的激光扫描,得到的三维点云数据传送到深度图构建模块,经过深度图构建模块的处理后生成空间对准模板的深度图,并传送给人机交互模块;
步骤三、在步骤二的基础上,获取空间对准模板的摄像机图像;
由人机交互界面输入机械腕转动参数,传送给运动控制模块,运动控制模块驱动机械腕转动使摄像机对准步骤二激光扫描雷达扫描的场景,进行拍摄,并将得到的摄像机图像传送给人机交互模块;
步骤四、在步骤三的基础上,获取摄像机图像特征点坐标以及与其对应的深度图特征点坐标;
通过人机交互模块,在步骤三得到的摄像机图像中,采用文献《视觉传感器与激光测距雷达空间对准方法》中公开的空间对准方法,选取特征点,并将选取得到的摄像机图像特征点坐标传送给空间对准模块;在深度图中,获取与摄像机图像特征点对应的深度图特征点,将其坐标传送给空间对准模块;
步骤五、获取摄像机坐标系到激光扫描雷达坐标系的坐标转换矩阵;
在步骤四的基础上,空间对准模块根据得到的摄像机图像特征点坐标及深度图特征点坐标,结合摄像机标定模块所传送的摄像机标定矩阵K,进行激光扫描雷达与摄像机的空间对准,得到摄像机坐标系到激光扫描雷达坐标系的坐标转换矩阵,包括旋转矩阵和平移矩阵,并将其传送给激光点云染色模块;
步骤六、使用激光扫描雷达获取目标场景的三维点云数据;
在步骤五的基础上,由人机交互界面输入机械腕转动参数及激光扫描雷达扫描参数,分别传送给运动控制模块和激光扫描雷达,运动控制模块驱动机械腕转动进行目标场景的激光扫描,扫描得到的三维点云数据传送到激光点云染色模块;
步骤七、使用摄像机获取目标场景的摄像机图像;
在步骤六的基础上,由人机交互界面输入机械腕转动参数,传送给运动控制模块,运动控制模块驱动机械腕转动使摄像机朝向目标场景,并使摄像机对准与激光扫描雷达扫描的目标场景,拍摄得到目标场景的摄像机图像,然后传送给激光点云染色模块;
步骤八、得到彩色三维点云数据;
在步骤七的基础上,激光点云染色模块中根据激光扫描雷达传送的目标场景三维点云数据和摄像机传送的目标场景图像,摄像机标定模块提供的摄像机投影矩阵K,空间对准模块所提供的旋转矩阵和平移矩阵,通过坐标转换找到三维点云数据在摄像机图像中的对应点,并提取出对应点的颜色信息;将三维点云数据的三维位置坐标及在摄像机图像数据对应点的三维RGB颜色信息合并为六维坐标,得到彩色三维点云数据,并传送给姿态方位参考模块;
步骤九、将彩色三维点云数据从激光扫描雷达坐标系转换到大地坐标系并显示;
在步骤八的基础上,姿态方位参考模块将激光点云染色模块传送的彩色三维点云数据转换到大地坐标系,并将转换后的彩色三维点云数据传送到人机交互模块进行显示;
经过上述步骤,即可完成基于移动平台的彩色激光点云成像。
2.如权利要求1所述的一种彩色激光点云成像系统,其特征在于:其工作过程的步骤四中所述获取深度图特征点坐标的方法为:
第1步:首先给出相关定义:
定义深度图特征点候选区域点集中的混合像素及噪声像素为坏点,其集合为坏点集合Acp;定义除去深度图特征点候选区域点集中的混合像素及噪声像素以外的其它点为好点,其集合为好点集合Ag;定义好点包括边界点和正常点,其集合对应按行顺序分类和列顺序分类,分别为边界点集合Aed1和正常点集合Anr1、边界点集合Aed2和正常点集合Anr2,边界点是激光扫描场景中实际物体边界所对应的扫描点,正常点是好点集合Ag中除边界点以外的其它点;定义待定点包括待定坏点与待定边界点,其集合为待定点集合Auc;
第2步:将深度图特征点候选区域点集中的所有点进行编号,用pi,j表示,其中i表示行号,j表示列号,1≤i≤m+1,1≤j≤n+1且i,j,m,n为正整数;设定ρi,j为激光扫描雷达光心到pi,j的距离;li,j为pi,j与pi,j+1两点之中到激光扫描雷达光心的距离较小的那个点向距离较大的那个点与激光扫描雷达光心之间连线所作的垂线;Δρi,j为pi,j与pi,j+1之间的距离;Δθi,j为pi,j与pi,j+1之间的连线与li,j的夹角;
第3步:设定i=1,j=1,即选取第一行的第一个点;
第4步:将该点分类为好点;
第5步:Δρi,j、Δθi,j的值可通过公式1计算得到:
Δρi,jΔθi,j=(ρi,j+12+ρi,j2-2ρi,jρi,j+1cosθrs)1/2arcsin((i,j-sρi,jcosθrs)/Δρi,j)---(1)
其中,lρi,j为ρi,j和ρi,j+1中的较大值;sρi,j为ρi,j和ρi,j+1中的较小值,θrs为激光扫描雷达扫描角分辨率;
第6步:判断点pi,j+1的类型,即判断点pi,j+1是正常点、坏点或边界点;具体操作为:
①如果第5步得到的pi,j与pi,j+1之间的距离Δρi,j大于某一人为设定值Δρth,并且pi,j与pi,j+1之间的连线与li,j的夹角Δθi,j大于某一人为设定值Δθth,则设定一个标志量μi,j,并将其值设定为1;否则,将标志量μi,j的值设定为0;
②如果pi,j∈Ag并且μi,j=1,则pi,j∈Aed1,pi,j+1∈Auc;
如果pi,j∈Ag并且μi,j=0,则pi,j∈Anr1,pi,j+1∈Ag;
如果pi,j∈Auc并且μi,j=1,则pi,j∈Acp,pi,j+1∈Auc;
如果pi,j∈Auc并且μi,j=0,则pi,j∈Aed1,pi,j+1∈Ag;
如果pi,j∈Acp并且μi,j=1,则pi,j∈Acp,pi,j+1∈Auc;
如果j=n-1并且μi,j=1,则pi,n∈Acp;
如果j=n-1并且μi,j=0,则pi,n∈Aed1;
第7步:判断j=n是否成立,如果成立,转到第8步;否则,重置j=j+1;返回第5步;
第8步:判断i=m是否成立,如果成立,结束操作;否则,重置i=i+1,j=1;返回第4步;
通过第2步到第8步的操作,将深度图特征点候选区域点集中的全部点按照行顺序完成了正常点、坏点或边界点的分类;
第9步:设定l′i,j为pi,j与pi+1,j两点之中到激光扫描雷达光心的距离较小的那个点向距离较大的那个点与激光扫描雷达光心之间连线所作的垂线;Δρ′i,j为pi,j与pi+1,j之间的距离;Δθ′i,j为pi,j与pi+1,j之间的连线与l′i,j的夹角;
第10步:重新设定i=1,j=1,即选取第一列的第一个点;
第11步:将该点分类为好点;
第12步:Δρ′i,j、Δθ′i,j的值可通过公式2计算得到:
Δρi,jΔθi,j=(ρi+1,j2+ρi,j2-2ρi,jρi+1,jcosθrs)1/2arcsin((i,j-sρi,j-cosθrs)/Δρi,j)---(2)
其中,lρi,j为ρi,j和ρi+1,j中的较大值;sρ′i,j为ρi,j和ρi+1,j中的较小值,θrs为激光扫描雷达扫描角分辨率;
第13步:判断点pi+1,j的类型,即判断点pi+1,j是正常点、坏点或边界点;具体操作为:
①如果第12步得到的pi,j与pi+1,j之间的距离Δρi,j大于某一人为设定值Δρth,并且pi,j与pi+1,j之间的连线与l′i,j的夹角Δθ’i,j大于某一人为设定值Δθth,则设定标志量μi,j的值为1;否则,将标志量μi,j的值设定为0;
②如果pi,j∈Ag并且μi,j=1,则pi,j∈Aed2,pi,j+1∈Auc;
如果pi,j∈Ag并且μi,j=0,则pi,j∈Anr2,pi,j+1∈Ag;
如果pi,j∈Auc并且μi,j=1,则pi,j∈Acp,pi,j+1∈Auc;
如果pi,j∈Auc并且μi,j=0,则pi,j∈Aed2,pi,j+1∈Ag;
如果pi,j∈Acp并且μi,j=1,则pi,j∈Acp,pi,j+1∈Auc;
如果j=n-1并且μi,j=1,则pi,n∈Acp;
如果j=n-1并且μi,j=0,则pi,n∈Aed2;
第14步:判断i=m是否成立,如果成立,转到第15步;否则,重置i=i+1;返回第12步;
第15步:判断j=n是否成立,如果成立,结束操作;否则,重置i=1,j=j+1;返回第11步;
通过第9步到第15步的操作,将深度图特征点候选区域点集中的全部点按照列顺序完成了正常点、坏点或边界点的分类;
第16步:将边界点集合Aed1中的所有点的三维坐标中的x和z坐标值取均值作为深度图特征点的x和z坐标值,将边界点集合Aed2中的所有点的三维坐标中的y坐标值取均值作为深度图特征点的y坐标值;
经过上述步骤的操作,即可获取深度图特征点的坐标。
3.如权利要求1或2所述的一种彩色激光点云成像系统,其特征在于:其工作流程的步骤一中所述获取摄像机标定矩阵K的方法采用文献《Flexiblecamera calibration by viewing a plane from unknown orientations.》中公开的方法。
4.如权利要求1或2所述的一种彩色激光点云成像系统,其特征在于:其工作流程的步骤五中所述获取摄像机坐标系到激光扫描雷达坐标系的坐标转换矩阵的方法采用文献《视觉传感器与激光测距雷达空间对准方法》公开的方法。

说明书全文

技术领域

发明涉及一种基于移动平台的彩色激光点成像系统,属于环境感知领域。

背景技术

近年来,激光扫描技术得到了很大的发展。利用激光扫描雷达可以获得真实场景高度精确的3D数据,这些数据最直接反映了客观事物的真实形态特性,因此人们将它作为快速获取被测物体的三维点云信息的有效手段,三维点云信息包含被测物体的度量信息(距离、几何形状等);但其缺点是:不能提供关于场景物体的纹理以及颜色信息,因此单纯使用三维点云信息很难实现物体的识别等工作。摄像机能够快速地获取被测物体的图像信息,包括颜色及二维几何形状信息、纹理等,使物体图像识别较为容易,但其缺点是:被测物体空间形状、位置等信息的精度较差。
由于激光扫描雷达与摄像机各有优缺点,在性能上互相补足,因此组合使用激光与摄像机可以充分发挥两者的优势,将三维点云信息与图像信息结合起来得到彩色三维点云,在三维场景构建中具有重要作用。彩色三维点云包含度量信息、颜色及纹理等信息。
现有的将激光扫描雷达与摄像机结合使用,获取彩色三维点云的方法,可根据激光扫描技术的不同分为:被动扫描技术和主动扫描技术。在被动扫描方式下扫描时:被测物体在辅助设备的带动下进行旋转及平移运动,激光扫描雷达和摄像机朝向被测物体,激光扫描平面与摄像机光轴成固定夹。当被测物体进行旋转及平移运动时,激光扫描雷达和摄像机进行数据采集,实现三维点云信息与图像信息的获取。显然,这种方式只适用于可放在转台上进行测量的物体,无法适用于大范围环境感知以及不便移动的物体的测量。在主动扫描方式下扫描时,将激光扫描雷达与摄像机固定在一起,并使二者朝向同一场景,激光扫描雷达的线结构光对固定场景进行扫描,获取三维点云信息;然后,摄像机拍摄同一视场的彩色图像,得到图像信息。但是这种安装方式,二者的光心必然处于不同位置,导致二者所感知的视场不一致,最终使融合的染色结果存在误差并且二者所感知的视场重合区域不能达到最大。因此对于大范围环境感知等情况,尚需要对这种主动扫描方式加以改进。
目前,已有的相关文献主要集中于对激光扫描雷达扫描得到的三维点云信息与摄像机拍摄得到的图像信息的融合算法方面的研究,或者所提及的彩色激光点云成像系统只适用于固定平台,还未见基于移动平台的彩色激光点云成像系统的构建方案。

发明内容

本发明的目的是克服目前已有技术存在的缺陷,提出一种基于移动平台的彩色激光点云成像系统。该系统分别通过激光扫描雷达和摄像机获取三维点云信息和图像信息,再利用激光扫描雷达与摄像机的空间对准方法及激光点云染色方法,实现彩色激光点云的成像。
本发明的目的是通过下述技术方案实现的。
一种彩色激光点云成像系统,包括:移动平台、支撑杆、摄像机、摄像机标定模、运动控制模块、人机交互模块、空间对准模块、机械腕、深度图构建模块、滤波器模块、激光扫描雷达、姿态方位参考模块、激光点云染色模块、;其中,机械腕包括连接轴A、连接轴B以及连接悬臂。
支撑杆与机械腕组成支撑框架,支撑杆与连接悬臂通过连接轴A和连接轴B连接,连接轴A处于竖直状态,连接轴B处于平状态,连接轴A和连接轴B可绕其轴心旋转,并且支撑杆与连接轴A、连接轴B之间非固定连接,连接悬臂与连接轴A、连接轴B之间固定连接,即:当连接轴A围绕其轴心转动时,支撑杆不随连接轴转动,而连接悬臂保持与连接轴A同速转动;当连接轴B围绕轴心转动时,支撑杆不随连接轴转动,而连接悬臂保持与连接轴B同速转动。支撑框架通过支撑杆固定在移动平台上,连接悬臂不接触移动平台;摄像机和激光扫描雷达固定安装于连接悬臂上,并且摄像机的光心和激光扫描雷达的光心,与连接轴B的轴心的距离相等,摄像机的光心与激光扫描雷达的光心在同一竖直平面上。
摄像机与人机交互模块、摄像机标定模块、激光点云染色模块、机械腕连接;摄像机标定模块与摄像机、空间对准模块、激光点云染色模块连接;运动控制模块与机械腕、人机交互模块、移动平台连接;人机交互模块与激光扫描雷达、摄像机、运动控制模块、深度图构建模块、空间对准模块、姿态方位参考模块连接;空间对准模块与人机交互模块、滤波器模块、摄像机标定模块、激光点云染色模块连接;机械腕与运动控制模块、激光扫描雷达、摄像机连接;深度图构建模块与激光扫描雷达、人机交互模块连接;滤波器模块与人机交互模块、空间对准模块连接;激光扫描雷达与机械腕、人机交互模块、激光点云染色模块连接;姿态方位参考模块与人机交互模块、激光点云染色模块连接;激光点云染色模块与激光扫描雷达、摄像机、人机交互模块、姿态方位参考模块、空间对准模块、摄像机标定模块连接;
所述摄像机用于获取摄像机图像数据,并分别传送给摄像机标定模块、人机交互模块和激光点云染色模块。
所述摄像机标定模块接收摄像机获取的图像数据,经过处理后得到摄像机投影矩阵K,并将摄像机投影矩阵K传送到空间对准模块和激光点云染色模块。
所述运动控制模块根据人机交互模块的控制指令,驱动机械腕的转动及移动平台的运动。
所述人机交互模块的主要功能是:提供人机交互的输入、输出功能;包括但不限于:①机械腕的转动参数输入、②移动平台的运动参数输入、③激光扫描雷达的扫描参数输入、④接收并显示摄像机获取的图像及深度图构建模块产生的深度图图像、⑤接收姿态方位参考模块传输过来的彩色三维点云数据并显示、⑥提供在摄像机图像上选取特征点的功能,并将摄像机图像中的特征点坐标传送给空间对准模块;⑦提供在深度图中选取对应特征点候选区域点集的功能,并将其坐标传送给滤波器模块。所述特征点候选区域点集为摄像机图像上选取的特征点在深度图中的对应候选区域。
所述空间对准模块接收来自人机交互模块所传送的摄像机图像特征点坐标及滤波器模块所传送的与摄像机图像特征点对应的深度图特征点坐标,并接收摄像机标定模块传送的摄像机投影矩阵K,根据文献《视觉传感器与激光测距雷达空间对准方法》(付梦印,刘明阳;红外与激光工程,2009,38(1))中公开的空间转换方法得到摄像机坐标系到激光扫描雷达坐标系的坐标转换矩阵,包括旋转矩阵和平移矩阵,并将旋转矩阵和平移矩阵传送给激光点云染色模块。
所述机械腕在运动控制模块驱动下能够完成以下两种运动:①控制连接轴B围绕其轴心旋转,使固定在其上的激光扫描雷达在俯仰方向上转动;②控制连接轴A围绕其轴心旋转,使激光扫描雷达在水平方向上转动。
所述深度图构建模块接收来自激光扫描雷达的三维点云数据,经过处理后得到深度图,并将深度图传送给人机交互模块。
所述滤波器模块接收来自人机交互模块传送的深度图特征点候选区域点集,通过处理得到深度图特征点坐标,将深度图特征点坐标传送给空间对准模块。
所述激光扫描雷达接收人机交互模块传送的激光雷达扫描参数,并在机械腕的带动下对场景进行扫描,获取三维点云数据,并将其传送给深度图构建模块和激光点云染色模块。
所述姿态方位参考模块用于测量激光扫描雷达在大地坐标系下的姿态信息建立大地坐标系与激光扫描雷达坐标系的转换关系,所述激光扫描雷达姿态信息包括但不限于:俯仰角、横滚角及方位角;然后,将激光点云染色模块传送的彩色三维点云数据转换到大地坐标系,并将转换后的彩色三维点云数据传送到人机交互模块进行显示。
所述激光点云染色模块完成激光点云的染色,即:接收激光扫描雷达传送的三维点云数据和摄像机传送的图像数据,并接收空间对准模块所提供的旋转矩阵和平移矩阵,以及摄像机标定模块提供的摄像机投影矩阵K,找出三维点云数据在摄像机图像数据中的对应点,并提取出其的颜色信息。将三维点云数据的三维位置坐标及在图像数据中对应点的三维RGB颜色信息合并为六维坐标,得到彩色三维点云数据,并传送给人机交互模块显示,完成激光点云的染色。
其工作流程为:
步骤一、对摄像机进行标定。具体为:由人机交互模块输入机械腕转动参数并传递给运动控制模块,运动控制模块根据接收到的机械腕的转动参数驱动机械腕转动使摄像机朝向正前方,采集图像,将得到的图像传送到摄像机标定模块进行处理,得到摄像机标定矩阵K,将摄像机标定矩阵K传送给空间对准模块及激光点云染色模块。
所述机械腕的转动参数包括但不限于:起始角度、终止角度、步进角。
所述移动平台的运动参数包括但不限于:起动、停止、方向、速度命令。
所述激光扫描雷达扫描参数包括但不限于:扫描视角和扫描分辨率
所述获取摄像机标定矩阵K的方法采用文献《Flexible camera calibration byviewing a plane from unknown orientations.》(Zhang Zhengyou.Proceedings ofInternational Conference on Computer Vision.1999:666~673)中公开的方法。
步骤二、获取空间对准模板的深度图。所述空间对准模板采用文献《视觉传感器与激光测距雷达空间对准方法》(付梦印,刘明阳;红外与激光工程,2009,38(1))中公开的空间对准模板。
该步骤的操作与步骤一不分先后。具体为:由人机交互界面输入机械腕转动参数及激光扫描雷达扫描参数,分别传送给运动控制模块和激光扫描雷达,运动控制模块驱动机械腕转动进行空间对准模板的激光扫描,得到的三维点云数据传送到深度图构建模块,经过深度图构建模块的处理后生成空间对准模板的深度图,并传送给人机交互模块。
步骤三、在步骤二的基础上,获取空间对准模板的摄像机图像。
由人机交互界面输入机械腕转动参数,传送给运动控制模块,运动控制模块驱动机械腕转动使摄像机对准步骤二激光扫描雷达扫描的场景,进行拍摄,并将得到的摄像机图像传送给人机交互模块。
步骤四、在步骤三的基础上,获取摄像机图像特征点坐标以及与其对应的深度图特征点坐标。
通过人机交互模块,在步骤三得到的摄像机图像中,采用文献《视觉传感器与激光测距雷达空间对准方法》(付梦印,刘明阳;红外与激光工程,2009,38(1))中公开的空间对准方法,选取特征点,并将选取得到的摄像机图像特征点坐标传送给空间对准模块;在深度图中,获取与摄像机图像特征点对应的深度图特征点,将其坐标传送给空间对准模块。
所述获取深度图特征点坐标的方法为:
第1步:首先给出相关定义:
定义深度图特征点候选区域点集中的混合像素及噪声像素为坏点,其集合为坏点集合Acp;定义除去深度图特征点候选区域点集中的混合像素及噪声像素以外的其它点为好点,其集合为好点集合Ag;定义好点包括边界点和正常点,其集合对应按行顺序分类和列顺序分类,分别为边界点集合Aed1和正常点集合Anr1、边界点集合Aed2和正常点集合Anr2,边界点是激光扫描场景中实际物体边界所对应的扫描点,正常点是好点集合Ag中除边界点以外的其它点;定义待定点包括待定坏点与待定边界点,其集合为待定点集合Auc。
第2步:将深度图特征点候选区域点集中的所有点进行编号,用pi,j表示,其中i表示行号,j表示列号,1≤i≤m+1,1≤j≤n+1且i,j,m,n为正整数;设定ρi,j为激光扫描雷达光心到pi,j的距离;li,j为pi,j与pi,j+1两点之中到激光扫描雷达光心的距离较小的那个点向距离较大的那个点与激光扫描雷达光心之间连线所作的垂线;Δρi,j为pi,j与pi,j+1之间的距离;Δθi,j为pi,j与pi,j+1之间的连线与li,j的夹角;
第3步:设定i=1,j=1,即选取第一行的第一个点;
第4步:将该点分类为好点;
第5步:Δρi,j(pi,j与pi,j+1之间的距离)、Δθi,j(pi,j与pi,j+1之间的连线与li,j的夹角)的值可通过公式1计算得到:
Δρi,jΔθi,j=(ρi,j+12+ρi,j2-2ρi,jρi,j+1cosθrs)1/2arcsin((i,j-i,jcosθrs)/Δρi,j)---(1)
其中,lρi,j为ρi,j和ρi,j+1中的较大值;sρi,j为ρi,j和ρi,j+1中的较小值,θrs为激光扫描雷达扫描角分辨率。
第6步:判断点pi,j+1的类型,即判断点pi,j+1是正常点、坏点或边界点;具体操作为:
①如果第5步得到的pi,j与pi,j+1之间的距离Δρi,j大于某一人为设定值Δρth,并且pi,j与pi,j+1之间的连线与li,j的夹角Δθi,j大于某一人为设定值Δθth,则设定一个标志量μi,j,并将其值设定为1;否则,将标志量μi,j的值设定为0。
②如果pi,j∈Ag并且μi,j=1,则pi,j∈Aed1,pi,j+1∈Auc;
如果pi,j∈Ag并且μi,j=0,则pi,j∈Anr1,pi,j+1∈Ag;
如果pi,j∈Auc并且μi,j=1,则pi,j∈Acp,pi,j+1∈Auc;
如果pi,j∈Auc并且μi,j=0,则pi,j∈Aed1,pi,j+1∈Ag;
如果pi,j∈Acp并且μi,j=1,则pi,j∈Acp,pi,j+1∈Auc;
如果j=n-1并且μi,j=1,则pi,n∈Acp;
如果j=n-1并且μi,j=0,则pi,n∈Aed1;
第7步:判断j=n是否成立,如果成立,转到第8步;否则,重置j=j+1;返回第5步;
第8步:判断i=m是否成立,如果成立,结束操作;否则,重置i=i+1,j=1;返回第4步;
通过第2步到第8步的操作,将深度图特征点候选区域点集中的全部点按照行顺序完成了正常点、坏点或边界点的分类。
第9步:设定l′i,j为pi,j与pi+1,j两点之中到激光扫描雷达光心的距离较小的那个点向距离较大的那个点与激光扫描雷达光心之间连线所作的垂线;Δρ′i,j为pi,j与pi+1,j之间的距离;Δθ′i,j为pi,j与pi+1,j之间的连线与l′i,j的夹角;
第10步:重新设定i=1,j=1,即选取第一列的第一个点;
第11步:将该点分类为好点;
第12步:Δρ′i,j(pi,j与pi+1,j之间的距离)、Δθ′i,j(pi,j与pi+1,j之间的连线与l′i,j的夹角)的值可通过公式2计算得到:
Δρi,jΔθi,j=(ρi+1,j2+ρi,j2-2ρi,jρi+1,jcosθrs)1/2arcsin((i,j-i,jcosθrs)/Δρi,j)---(2)
其中,lρ′i,j为ρi,j和ρi+1,j中的较大值;sρ′i,j为ρi,j和ρi+1,j中的较小值,θrs为激光扫描雷达扫描角分辨率。
第13步:判断点pi+1,j的类型,即判断点pi+1,j是正常点、坏点或边界点;具体操作为:
①如果第12步得到的pi,j与pi+1,j之间的距离Δρ′i,j大于某一人为设定值Δρth,并且pi,j与pi+1,j之间的连线与l′i,j的夹角Δθ′i,j大于某一人为设定值Δθth,则设定标志量μi,j的值为1;否则,将标志量μi,j的值设定为0。
②如果pi,j∈Ag并且μi,j=1,则pi,j∈Aed2,pi,j+1∈Auc;
如果pi,j∈Ag并且μi,j=0,则pi,j∈Anr2,pi,j+1∈Ag;
如果pi,j∈Auc并且μi,j=1,则pi,j∈Acp,pi,j+1∈Auc;
如果pi,j∈Auc并且μi,j=0,则pi,j∈Aed2,pi,j+1∈Ag;
如果pi,j∈Acp并且μi,j=1,则pi,j∈Acp,pi,j+1∈Auc;
如果j=n-1并且μi,j=1,则pi,n∈Acp;
如果j=n-1并且μi,j=0,则pi,n∈Aed2;
第14步:判断i=m是否成立,如果成立,转到第15步;否则,重置i=i+1;返回第12步;
第15步:判断j=n是否成立,如果成立,结束操作;否则,重置i=1,j=j+1;返回第11步;
通过第9步到第15步的操作,将深度图特征点候选区域点集中的全部点按照列顺序完成了正常点、坏点或边界点的分类。
第16步:将边界点集合Aed1中的所有点的三维坐标中的x和z坐标值取均值作为深度图特征点的x和z坐标值,将边界点集合Aed2中的所有点的三维坐标中的y坐标值取均值作为深度图特征点的y坐标值。
经过上述步骤的操作,即可获取深度图特征点的坐标。
步骤五、获取摄像机坐标系到激光扫描雷达坐标系的坐标转换矩阵。
在步骤四的基础上,空间对准模块根据得到的摄像机图像特征点坐标及深度图特征点坐标,结合摄像机标定模块所传送的摄像机标定矩阵K,进行激光扫描雷达与摄像机的空间对准,得到摄像机坐标系到激光扫描雷达坐标系的坐标转换矩阵,包括旋转矩阵和平移矩阵,并将其传送给激光点云染色模块。
所述获取摄像机坐标系到激光扫描雷达坐标系的坐标转换矩阵的方法采用文献《视觉传感器与激光测距雷达空间对准方法》(付梦印,刘明阳;红外与激光工程,2009,38(1))公开的方法。
步骤六、使用激光扫描雷达获取目标场景的三维点云数据。
在步骤五的基础上,由人机交互界面输入机械腕转动参数及激光扫描雷达扫描参数,分别传送给运动控制模块和激光扫描雷达,运动控制模块驱动机械腕转动进行目标场景的激光扫描,扫描得到的三维点云数据传送到激光点云染色模块。
步骤七、使用摄像机获取目标场景的摄像机图像。
在步骤六的基础上,由人机交互界面输入机械腕转动参数,传送给运动控制模块,运动控制模块驱动机械腕转动使摄像机朝向目标场景,并使摄像机对准与激光扫描雷达扫描的目标场景,拍摄得到目标场景的摄像机图像,然后传送给激光点云染色模块。
步骤八、得到彩色三维点云数据。
在步骤七的基础上,激光点云染色模块中根据激光扫描雷达传送的目标场景三维点云数据和摄像机传送的目标场景图像,摄像机标定模块提供的摄像机投影矩阵K,空间对准模块所提供的旋转矩阵和平移矩阵,通过坐标转换找到三维点云数据在摄像机图像中的对应点,并提取出对应点的颜色信息。将三维点云数据的三维位置坐标及在摄像机图像数据对应点的三维RGB颜色信息合并为六维坐标,得到彩色三维点云数据,并传送给姿态方位参考模块。
步骤九、将彩色三维点云数据从激光扫描雷达坐标系转换到大地坐标系并显示。
在步骤八的基础上,姿态方位参考模块将激光点云染色模块传送的彩色三维点云数据转换到大地坐标系,并将转换后的彩色三维点云数据传送到人机交互模块进行显示。
经过上述步骤,即可完成基于移动平台的彩色激光点云成像。
有益效果
本发明与传统方法相比,提高了激光扫描雷达与摄像机的配准精度,得到的彩色三维点云更加真实;同时借助于移动平台,可以完成大范围环境的彩色三维点云获取,适用范围更广。
附图说明
图1是本发明关于基于移动平台的彩色激光点云成像系统的一种具体实施方式的结构框图
图2是本发明关于基于移动平台的彩色激光点云成像系统的一种具体实施方式的支撑框架的正视图;
图3是本发明关于基于移动平台的彩色激光点云成像系统的一种具体实施方式的支撑框架的侧视图;
其中:1-连接轴A;2-连接轴B;3-连接悬臂;4-支撑杆。

具体实施方式

下面结合附图和具体实施例对本发明做详细描述。
一种基于移动平台的彩色激光点云成像系统,其结构如图1所示,包括:移动平台、支撑杆4(未在图1中画出)、摄像机、摄像机标定模块、运动控制模块、人机交互模块、空间对准模块、机械腕、深度图构建模块、滤波器模块、激光扫描雷达、姿态方位参考模块、激光点云染色模块。
支撑杆4与机械腕组成支撑框架,其中,机械腕包括连接轴A1、连接轴B2以及连接悬臂3,其正视图如图2所示,侧视图如图3所示;支撑杆4与连接悬臂3通过连接轴A1和连接轴B2连接,连接轴A1处于竖直状态,连接轴B2处于水平状态,连接轴A1和连接轴B2可绕其轴心旋转,并且支撑杆4与连接轴A1、连接轴B2之间非固定连接,连接悬臂3与连接轴A1、连接轴B2之间固定连接,即:当连接轴A1围绕其轴心转动时,支撑杆4不随连接轴转动,而连接悬臂3保持与连接轴A1同速转动;当连接轴B2围绕轴心转动时,支撑杆4不随连接轴转动,而连接悬臂3保持与连接轴B2同速转动。支撑框架通过支撑杆4固定在移动平台上,连接悬臂3不接触移动平台;摄像机和激光扫描雷达固定安装于连接悬臂3上,并且摄像机的光心和激光扫描雷达的光心,与连接轴B2的轴心的距离相等,摄像机的光心与激光扫描雷达的光心在同一竖直平面上。
摄像机与人机交互模块、摄像机标定模块、激光点云染色模块、机械腕连接;摄像机标定模块与摄像机、空间对准模块、激光点云染色模块连接;运动控制模块与机械腕、人机交互模块、移动平台连接;人机交互模块与激光扫描雷达、摄像机、运动控制模块、深度图构建模块、空间对准模块、姿态方位参考模块连接;空间对准模块与人机交互模块、滤波器模块、摄像机标定模块、激光点云染色模块连接;机械腕与运动控制模块、激光扫描雷达、摄像机连接;深度图构建模块与激光扫描雷达、人机交互模块连接;滤波器模块与人机交互模块、空间对准模块连接;激光扫描雷达与机械腕、人机交互模块、激光点云染色模块连接;姿态方位参考模块与人机交互模块、激光点云染色模块连接;激光点云染色模块与激光扫描雷达、摄像机、人机交互模块、姿态方位参考模块、空间对准模块、摄像机标定模块连接;其中,摄像机为模拟接口摄像机或USB接口的CMOS摄像机。
其工作流程为:
步骤一、对摄像机进行标定。具体为:由人机交互模块输入机械腕转动参数并传递给运动控制模块,运动控制模块根据接收到的机械腕的转动参数驱动机械腕转动使摄像机朝向正前方,采集图像,将得到的图像传送到摄像机标定模块进行处理,得到摄像机标定矩阵K,将摄像机标定矩阵K传送给空间对准模块及激光点云染色模块。
所述机械腕的转动参数包括但不限于:起始角度、终止角度、步进角。
所述移动平台的运动参数包括但不限于:起动、停止、方向、速度命令。
所述激光扫描雷达扫描参数包括但不限于:扫描视角和扫描分辨率。
所述获取摄像机标定矩阵K的方法采用文献《Flexible camera calibration byviewing a plane from unknown orientations.》(Zhang Zhengyou.Proceedings ofInternational Conference on Computer Vision.1999:666~673)中公开的方法。
步骤二、获取空间对准模板的深度图。所述空间对准模板采用根据文献《视觉传感器与激光测距雷达空间对准方法》(付梦印,刘明阳;红外与激光工程,2009,38(1))中公开的空间对准模板。
该步骤的操作与步骤一不分先后。具体为:由人机交互界面输入机械腕转动参数及激光扫描雷达扫描参数,分别传送给运动控制模块和激光扫描雷达,运动控制模块驱动机械腕转动进行空间对准模板的激光扫描,得到的三维点云数据传送到深度图构建模块,经过深度图构建模块的处理后生成空间对准模板的深度图,并传送给人机交互模块。
步骤三、在步骤二的基础上,获取空间对准模板的摄像机图像。
由人机交互界面输入机械腕转动参数,传送给运动控制模块,运动控制模块驱动机械腕转动使摄像机对准步骤二激光扫描雷达扫描的场景,进行拍摄,并将得到的摄像机图像传送给人机交互模块。
步骤四、在步骤三的基础上,获取摄像机图像特征点坐标以及与其对应的深度图特征点坐标。
通过人机交互模块,在步骤三得到的摄像机图像中,采用文献《视觉传感器与激光测距雷达空间对准方法》(付梦印,刘明阳;红外与激光工程,2009,38(1))中公开的空间对准方法,选取特征点,并将选取得到的摄像机图像特征点坐标传送给空间对准模块;在深度图中,获取与摄像机图像特征点对应的深度图特征点,将其坐标传送给空间对准模块。
所述获取深度图特征点坐标的方法为:
第1步:首先给出相关定义:
定义深度图特征点候选区域点集中的混合像素及噪声像素为坏点,其集合为坏点集合Acp;定义除去深度图特征点候选区域点集中的混合像素及噪声像素以外的其它点为好点,其集合为好点集合Ag;定义好点包括边界点和正常点,其集合对应按行顺序分类和列顺序分类,分别为边界点集合Aed1和正常点集合Anr1、边界点集合Aed2和正常点集合Anr2,边界点是激光扫描场景中实际物体边界所对应的扫描点,正常点是好点集合Ag中除边界点以外的其它点;定义待定点包括待定坏点与待定边界点,其集合为待定点集合Auc。
第2步:将深度图特征点候选区域点集中的所有点进行编号,用pi,j表示,其中i表示行号,j表示列号,1≤i≤m+1,1≤j≤n+1且i,j,m,n为正整数;设定ρi,j为激光扫描雷达光心到pi,j的距离;li,j为pi,j与pi,j+1两点之中到激光扫描雷达光心的距离较小的那个点向距离较大的那个点与激光扫描雷达光心之间连线所作的垂线;Δρi,j为pi,j与pi,j+1之间的距离;Δθi,j为pi,j与pi,j+1之间的连线与li,j的夹角;
第3步:设定i=1,j=1,即选取第一行的第一个点;
第4步:将该点分类为好点;
第5步:Δρi,j(pi,j与pi,j+1之间的距离)、Δθi,j(pi,j与pi,j+1之间的连线与li,j的夹角)的值可通过公式7计算得到:
Δρi,jΔθi,j=(ρi,j+12+ρi,j2-2ρi,jρi,j+1cosθrs)1/2arcsin((i,j-i,jcosθrs)/Δρi,j)---(1)
其中,lρi,j为ρi,j和ρi,j+1中的较大值;sρi,j为ρi,j和ρi,j+1中的较小值,θrs为激光扫描雷达扫描角分辨率。
第6步:判断点pi,j+1的类型,即判断点pi,j+1是正常点、坏点或边界点;具体操作为:
①如果第5步得到的pi,j与pi,j+1之间的距离Δρi,j大于某一人为设定值Δρth,并且pi,j与pi,j+1之间的连线与li,j的夹角Δθi,j大于某一人为设定值Δθth,则设定一个标志量μi,j,并将其值设定为1;否则,将标志量μi,j的值设定为0。
②如果pi,j∈Ag并且μi,j=1,则pi,j∈Aed1,pi,j+1∈Auc;
如果pi,j∈Ag并且μi,j=0,则pi,j∈Anr1,pi,j+1∈Ag;
如果pi,j∈Auc并且μi,j=1,则pi,j∈Acp,pi,j+1∈Auc;
如果pi,j∈Auc并且μi,j=0,则pi,j∈Aed1,pi,j+1∈Ag;
如果pi,j∈Acp并且μi,j=1,则pi,j∈Acp,pi,j+1∈Auc;
如果j=n-1并且μi,j=1,则pi,n∈Acp;
如果j=n-1并且μi,j=0,则pi,n∈Aed1;
第7步:判断j=n是否成立,如果成立,转到第8步;否则,重置j=j+1;返回第5步;
第8步:判断i=m是否成立,如果成立,结束操作;否则,重置i=i+1,j=1;返回第4步;
通过第2步到第8步的操作,将深度图特征点候选区域点集中的全部点按照行顺序完成了正常点、坏点或边界点的分类。
第9步:设定l′i,j为pi,j与pi+1,j两点之中到激光扫描雷达光心的距离较小的那个点向距离较大的那个点与激光扫描雷达光心之间连线所作的垂线;Δρ′i,j为pi,j与pi+1,j之间的距离;Δθ′i,j为pi,j与pi+1,j之间的连线与l′i,j的夹角;
第10步:重新设定i=1,j=1,即选取第一列的第一个点;
第11步:将该点分类为好点;
第12步:Δρ′i,j(pi,j与pi+1,j之间的距离)、Δθ′i,j(pi,j与pi+1,j之间的连线与l′i,j的夹角)的值可通过公式8计算得到:
Δρi,jΔθi,j=(ρi+1,j2+ρi,j2-2ρi,jρi+1,jcosθrs)1/2arcsin((i,j-i,jcosθrs)/Δρi,j)---(8)
其中,lρ′i,j为ρi,j和ρi+1,j中的较大值;sρ′i,j为ρi,j和ρi+1,j中的较小值,θrs为激光扫描雷达扫描角分辨率。
第13步:判断点pi+1,j的类型,即判断点pi+1,j是正常点、坏点或边界点;具体操作为:
①如果第12步得到的pi,j与pi+1,j之间的距离Δρ′i,j大于某一人为设定值Δρth,并且pi,j与pi+1,j之间的连线与l′i,j的夹角Δθ′i,j大于某一人为设定值Δθth,则设定标志量μi,j的值为1;否则,将标志量μi,j的值设定为0。
②如果pi,j∈Ag并且μi,j=1,则pi,j∈Aed2,pi,j+1∈Auc;
如果pi,j∈Ag并且μi,j=0,则pi,j∈Anr2,pi,j+1∈Ag;
如果pi,j∈Auc并且μi,j=1,则pi,j∈Acp,pi,j+1∈Auc;
如果pi,j∈Auc并且μi,j=0,则pi,j∈Aed2,pi,j+1∈Ag;
如果pi,j∈Acp并且μi,j=1,则pi,j∈Acp,pi,j+1∈Auc;
如果j=n-1并且μi,j=1,则pi,n∈Acp;
如果j=n-1并且μi,j=0,则pi,n∈Aed2;
第14步:判断i=m是否成立,如果成立,转到第15步;否则,重置i=i+1;返回第12步;
第15步:判断j=n是否成立,如果成立,结束操作;否则,重置i=1,j=j+1;返回第11步;
通过第9步到第15步的操作,将深度图特征点候选区域点集中的全部点按照列顺序完成了正常点、坏点或边界点的分类。
第16步:将边界点集合Aed1中的所有点的三维坐标中的x和z坐标值取均值作为深度图特征点的x和z坐标值,将边界点集合Aed2中的所有点的三维坐标中的y坐标值取均值作为深度图特征点的y坐标值。
经过上述步骤的操作,即可获取深度图特征点的坐标。
步骤五、在步骤四的基础上,获取摄像机坐标系到激光扫描雷达坐标系的坐标转换矩阵。
空间对准模块根据得到的摄像机图像特征点坐标及深度图特征点坐标,结合摄像机标定模块所传送的摄像机标定矩阵K,进行激光扫描雷达与摄像机的空间对准,得到摄像机坐标系到激光扫描雷达坐标系的坐标转换矩阵,包括旋转矩阵和平移矩阵,并将其传送给激光点云染色模块。
所述获取摄像机坐标系到激光扫描雷达坐标系的坐标转换矩阵的方法采用《视觉传感器与激光测距雷达空间对准方法》(付梦印,刘明阳;红外与激光工程,2009,38(1))中公开的方法。
步骤六、使用激光扫描雷达获取目标场景的三维点云数据。
在步骤五的基础上,由人机交互界面输入机械腕转动参数及激光扫描雷达扫描参数,分别传送给运动控制模块和激光扫描雷达,运动控制模块驱动机械腕转动进行目标场景的激光扫描,扫描得到的三维点云数据传送到激光点云染色模块。
步骤七、使用摄像机获取目标场景的摄像机图像。
在步骤六的基础上,由人机交互界面输入机械腕转动参数,传送给运动控制模块,运动控制模块驱动机械腕转动使摄像机朝向目标场景,并使摄像机对准与激光扫描雷达扫描的目标场景,拍摄得到目标场景的摄像机图像,然后传送给激光点云染色模块。
步骤八、在步骤七的基础上,激光点云染色模块中根据激光扫描雷达传送的目标场景三维点云数据和摄像机传送的目标场景图像,摄像机标定模块提供的摄像机投影矩阵K,空间对准模块所提供的旋转矩阵和平移矩阵,通过坐标转换找到三维点云数据在摄像机图像中的对应点,并提取出对应点的颜色信息。将三维点云数据的三维位置坐标及在摄像机图像数据对应点的三维RGB颜色信息合并为六维坐标,得到彩色三维点云数据,并传送给姿态方位参考模块。
进行激光点云染色具体步骤为:
(1)设定激光扫描雷达扫描场景中,所得到的三维点云数据中,任一扫描点P在激光扫描雷达系的三维坐标为:XLMS=[xLMS yLMS zLMS]T,
(2)经过旋转、平移变换,得点P在摄像机坐标系下的坐标为:
xCamerayCamerazCamera=R-1xLMSyLMSzLMS-T.
(3)进一步,得点P在图像坐标系下的坐标为:
uv1=K·xCamera/zCamerayCamera/zCamera1.
(4)通过点P的图像坐标,可以索引点P的颜色值:R、G、B。
(5)将点P的空间直角坐标与颜色值合并,得到点P的空间位置及颜色特征的六维表示:
XLMS-RGB=xLMSyLMSzLMSRGB
当对激光扫描雷达扫描的所有点完成上述六维表示的步骤后,即得到彩色三维点云。
步骤九、完成激光点云的染色。具体为:
在步骤八的基础上,姿态方位参考模块将激光点云染色模块传送的彩色三维点云数据转换到大地坐标系,并将转换后的彩色三维点云数据传送到人机交互模块进行显示。至此,完成激光点云的染色。
所述激光点云染色模块传送的彩色三维点云转换到大地坐标系的方法为:
设定姿态方位参考模块测得激光扫描雷达的偏航角为α,俯仰角为β,横滚角为γ,激光扫描雷达的三维点云数据在激光扫描雷达坐标系下的坐标为Xd
Xd=xdydzd
则激光扫描点在大地坐标系下的坐标为Xe:
Xe=xeyeze=cosαcosβsinαcosβ-sinβcosαsinβsinγ-sinαcosγsinαsinβsinγ+cosαcosγcosβsinγcosαsinβcosγ+sinαsinγsinαsinβcosγ+cosαsinγcosβcosγxdydzd.
在步骤八的基础上,得到转换到大地坐标系下的彩色三维激光点云为Xe-RGB:
Xe-RGB=xeyezeRGB
将转换到大地坐标系下的彩色三维激光点云传送到人机交互界面,通过OPENGL软件进行显示。
经过上述步骤,即可完成基于移动平台的彩色激光点云成像。
本发明不限于此实例,凡是利用本设计的设计思路,做一些简单变化的设计都应落入本发明的保护范围之内。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈