专利汇可以提供一种基于移动平台的彩色激光点云成像系统专利检索,专利查询,专利分析的服务。并且本 发明 涉及一种基于移动平台的彩色激光点 云 成像系统,属于环境 感知 领域。包括:移动平台、 支撑 杆、摄像机、摄像机标定模 块 、运动控 制模 块、 人机交互 模块、空间对准模块、机械腕、 深度图 构建模块、 滤波器 模块、激光扫描雷达、 姿态 方位参考模块、激光点云 染色 模块;其中,机械腕包括连接轴A、连接轴B以及连接悬臂。该系统分别通过激光扫描雷达和摄像机获取三维点云信息和图像信息,再利用激光扫描雷达与摄像机的空间对准方法及激光点云染色方法,实现彩色激光点云的成像。本发明与传统方法相比,提高了激光扫描雷达与摄像机的配准 精度 ,得到的彩色三维点云更加真实;同时借助于移动平台,可以完成大范围环境的彩色三维点云获取,适用范围更广。,下面是一种基于移动平台的彩色激光点云成像系统专利的具体信息内容。
1.一种彩色激光点云成像系统,其特征在于:包括:移动平台、支撑杆(4)、摄像机、摄像机标定模块、运动控制模块、人机交互模块、空间对准模块、机械腕、深度图构建模块、滤波器模块、激光扫描雷达、姿态方位参考模块、激光点云染色模块、;其中,机械腕包括连接轴A(1)、连接轴B(2)以及连接悬臂(3);
支撑杆(4)与机械腕组成支撑框架,支撑杆(4)与连接悬臂(3)通过连接轴A(1)和连接轴B(2)连接,连接轴A(1)处于竖直状态,连接轴B(2)处于水平状态,连接轴A(1)和连接轴B(2)可绕其轴心旋转,并且支撑杆(4)与连接轴A(1)、连接轴B(2)之间非固定连接,连接悬臂(3)与连接轴A(1)、连接轴B(2)之间固定连接,即:当连接轴A(1)围绕其轴心转动时,支撑杆(4)不随连接轴转动,而连接悬臂(3)保持与连接轴A(1)同速转动;当连接轴B(2)围绕轴心转动时,支撑杆(4)不随连接轴转动,而连接悬臂(3)保持与连接轴B(2)同速转动;支撑框架通过支撑杆(4)固定在移动平台上,连接悬臂(3)不接触移动平台;摄像机和激光扫描雷达固定安装于连接悬臂(3)上,并且摄像机的光心和激光扫描雷达的光心,与连接轴B(2)的轴心的距离相等,摄像机的光心与激光扫描雷达的光心在同一竖直平面上;
摄像机与人机交互模块、摄像机标定模块、激光点云染色模块、机械腕连接;摄像机标定模块与摄像机、空间对准模块、激光点云染色模块连接;运动控制模块与机械腕、人机交互模块、移动平台连接;人机交互模块与激光扫描雷达、摄像机、运动控制模块、深度图构建模块、空间对准模块、姿态方位参考模块连接;空间对准模块与人机交互模块、滤波器模块、摄像机标定模块、激光点云染色模块连接;机械腕与运动控制模块、激光扫描雷达、摄像机连接;深度图构建模块与激光扫描雷达、人机交互模块连接;滤波器模块与人机交互模块、空间对准模块连接;激光扫描雷达与机械腕、人机交互模块、激光点云染色模块连接;姿态方位参考模块与人机交互模块、激光点云染色模块连接;激光点云染色模块与激光扫描雷达、摄像机、人机交互模块、姿态方位参考模块、空间对准模块、摄像机标定模块连接;
所述摄像机用于获取摄像机图像数据,并分别传送给摄像机标定模块、人机交互模块和激光点云染色模块;
所述摄像机标定模块接收摄像机获取的图像数据,经过处理后得到摄像机投影矩阵K,并将摄像机投影矩阵K传送到空间对准模块和激光点云染色模块;
所述运动控制模块根据人机交互模块的控制指令,驱动机械腕的转动及移动平台的运动;
所述人机交互模块的主要功能是:提供人机交互的输入、输出功能;包括但不限于:①机械腕的转动参数输入、②移动平台的运动参数输入、③激光扫描雷达的扫描参数输入、④接收并显示摄像机获取的图像及深度图构建模块产生的深度图图像、⑤接收姿态方位参考模块传输过来的彩色三维点云数据并显示、⑥提供在摄像机图像上选取特征点的功能,并将摄像机图像中的特征点坐标传送给空间对准模块;⑦提供在深度图中选取对应特征点候选区域点集的功能,并将其坐标传送给滤波器模块;所述特征点候选区域点集为摄像机图像上选取的特征点在深度图中的对应候选区域;
所述空间对准模块接收来自人机交互模块所传送的摄像机图像特征点坐标及滤波器模块所传送的与摄像机图像特征点对应的深度图特征点坐标,并接收摄像机标定模块传送的摄像机投影矩阵K,根据文献《视觉传感器与激光测距雷达空间对准方法》中公开的空间转换方法得到摄像机坐标系到激光扫描雷达坐标系的坐标转换矩阵,包括旋转矩阵和平移矩阵,并将旋转矩阵和平移矩阵传送给激光点云染色模块;
所述机械腕在运动控制模块驱动下能够完成以下两种运动:①控制连接轴B(2)围绕其轴心旋转,使固定在其上的激光扫描雷达在俯仰方向上转动;②控制连接轴A(1)围绕其轴心旋转,使激光扫描雷达在水平方向上转动;
所述深度图构建模块接收来自激光扫描雷达的三维点云数据,经过处理后得到深度图,并将深度图传送给人机交互模块;
所述滤波器模块接收来自人机交互模块传送的深度图特征点候选区域点集,通过处理得到深度图特征点坐标,将深度图特征点坐标传送给空间对准模块;
所述激光扫描雷达接收人机交互模块传送的激光雷达扫描参数,并在机械腕的带动下对场景进行扫描,获取三维点云数据,并将其传送给深度图构建模块和激光点云染色模块;
所述姿态方位参考模块用于测量激光扫描雷达在大地坐标系下的姿态信息建立大地坐标系与激光扫描雷达坐标系的转换关系,所述激光扫描雷达姿态信息包括但不限于:俯仰角、横滚角及方位角;然后,将激光点云染色模块传送的彩色三维点云数据转换到大地坐标系,并将转换后的彩色三维点云数据传送到人机交互模块进行显示;
所述激光点云染色模块完成激光点云的染色,即:接收激光扫描雷达传送的三维点云数据和摄像机传送的图像数据,并接收空间对准模块所提供的旋转矩阵和平移矩阵,以及摄像机标定模块提供的摄像机投影矩阵K,找出三维点云数据在摄像机图像数据中的对应点,并提取出其的颜色信息;将三维点云数据的三维位置坐标及在图像数据中对应点的三维RGB颜色信息合并为六维坐标,得到彩色三维点云数据,并传送给人机交互模块显示,完成激光点云的染色;
其工作流程为:
步骤一、对摄像机进行标定;具体为:由人机交互模块输入机械腕转动参数并传递给运动控制模块,运动控制模块根据接收到的机械腕的转动参数驱动机械腕转动使摄像机朝向正前方,采集图像,将得到的图像传送到摄像机标定模块进行处理,得到摄像机标定矩阵K,将摄像机标定矩阵K传送给空间对准模块及激光点云染色模块;
所述机械腕的转动参数包括但不限于:起始角度、终止角度、步进角;
所述移动平台的运动参数包括但不限于:起动、停止、方向、速度命令;
所述激光扫描雷达扫描参数包括但不限于:扫描视角和扫描分辨率;
步骤二、获取空间对准模板的深度图;所述空间对准模板采用文献《视觉传感器与激光测距雷达空间对准方法》中公开的空间对准模板;
该步骤的操作与步骤一不分先后;具体为:由人机交互界面输入机械腕转动参数及激光扫描雷达扫描参数,分别传送给运动控制模块和激光扫描雷达,运动控制模块驱动机械腕转动进行空间对准模板的激光扫描,得到的三维点云数据传送到深度图构建模块,经过深度图构建模块的处理后生成空间对准模板的深度图,并传送给人机交互模块;
步骤三、在步骤二的基础上,获取空间对准模板的摄像机图像;
由人机交互界面输入机械腕转动参数,传送给运动控制模块,运动控制模块驱动机械腕转动使摄像机对准步骤二激光扫描雷达扫描的场景,进行拍摄,并将得到的摄像机图像传送给人机交互模块;
步骤四、在步骤三的基础上,获取摄像机图像特征点坐标以及与其对应的深度图特征点坐标;
通过人机交互模块,在步骤三得到的摄像机图像中,采用文献《视觉传感器与激光测距雷达空间对准方法》中公开的空间对准方法,选取特征点,并将选取得到的摄像机图像特征点坐标传送给空间对准模块;在深度图中,获取与摄像机图像特征点对应的深度图特征点,将其坐标传送给空间对准模块;
步骤五、获取摄像机坐标系到激光扫描雷达坐标系的坐标转换矩阵;
在步骤四的基础上,空间对准模块根据得到的摄像机图像特征点坐标及深度图特征点坐标,结合摄像机标定模块所传送的摄像机标定矩阵K,进行激光扫描雷达与摄像机的空间对准,得到摄像机坐标系到激光扫描雷达坐标系的坐标转换矩阵,包括旋转矩阵和平移矩阵,并将其传送给激光点云染色模块;
步骤六、使用激光扫描雷达获取目标场景的三维点云数据;
在步骤五的基础上,由人机交互界面输入机械腕转动参数及激光扫描雷达扫描参数,分别传送给运动控制模块和激光扫描雷达,运动控制模块驱动机械腕转动进行目标场景的激光扫描,扫描得到的三维点云数据传送到激光点云染色模块;
步骤七、使用摄像机获取目标场景的摄像机图像;
在步骤六的基础上,由人机交互界面输入机械腕转动参数,传送给运动控制模块,运动控制模块驱动机械腕转动使摄像机朝向目标场景,并使摄像机对准与激光扫描雷达扫描的目标场景,拍摄得到目标场景的摄像机图像,然后传送给激光点云染色模块;
步骤八、得到彩色三维点云数据;
在步骤七的基础上,激光点云染色模块中根据激光扫描雷达传送的目标场景三维点云数据和摄像机传送的目标场景图像,摄像机标定模块提供的摄像机投影矩阵K,空间对准模块所提供的旋转矩阵和平移矩阵,通过坐标转换找到三维点云数据在摄像机图像中的对应点,并提取出对应点的颜色信息;将三维点云数据的三维位置坐标及在摄像机图像数据对应点的三维RGB颜色信息合并为六维坐标,得到彩色三维点云数据,并传送给姿态方位参考模块;
步骤九、将彩色三维点云数据从激光扫描雷达坐标系转换到大地坐标系并显示;
在步骤八的基础上,姿态方位参考模块将激光点云染色模块传送的彩色三维点云数据转换到大地坐标系,并将转换后的彩色三维点云数据传送到人机交互模块进行显示;
经过上述步骤,即可完成基于移动平台的彩色激光点云成像。
2.如权利要求1所述的一种彩色激光点云成像系统,其特征在于:其工作过程的步骤四中所述获取深度图特征点坐标的方法为:
第1步:首先给出相关定义:
定义深度图特征点候选区域点集中的混合像素及噪声像素为坏点,其集合为坏点集合Acp;定义除去深度图特征点候选区域点集中的混合像素及噪声像素以外的其它点为好点,其集合为好点集合Ag;定义好点包括边界点和正常点,其集合对应按行顺序分类和列顺序分类,分别为边界点集合Aed1和正常点集合Anr1、边界点集合Aed2和正常点集合Anr2,边界点是激光扫描场景中实际物体边界所对应的扫描点,正常点是好点集合Ag中除边界点以外的其它点;定义待定点包括待定坏点与待定边界点,其集合为待定点集合Auc;
第2步:将深度图特征点候选区域点集中的所有点进行编号,用pi,j表示,其中i表示行号,j表示列号,1≤i≤m+1,1≤j≤n+1且i,j,m,n为正整数;设定ρi,j为激光扫描雷达光心到pi,j的距离;li,j为pi,j与pi,j+1两点之中到激光扫描雷达光心的距离较小的那个点向距离较大的那个点与激光扫描雷达光心之间连线所作的垂线;Δρi,j为pi,j与pi,j+1之间的距离;Δθi,j为pi,j与pi,j+1之间的连线与li,j的夹角;
第3步:设定i=1,j=1,即选取第一行的第一个点;
第4步:将该点分类为好点;
第5步:Δρi,j、Δθi,j的值可通过公式1计算得到:
其中,lρi,j为ρi,j和ρi,j+1中的较大值;sρi,j为ρi,j和ρi,j+1中的较小值,θrs为激光扫描雷达扫描角分辨率;
第6步:判断点pi,j+1的类型,即判断点pi,j+1是正常点、坏点或边界点;具体操作为:
①如果第5步得到的pi,j与pi,j+1之间的距离Δρi,j大于某一人为设定值Δρth,并且pi,j与pi,j+1之间的连线与li,j的夹角Δθi,j大于某一人为设定值Δθth,则设定一个标志量μi,j,并将其值设定为1;否则,将标志量μi,j的值设定为0;
②如果pi,j∈Ag并且μi,j=1,则pi,j∈Aed1,pi,j+1∈Auc;
如果pi,j∈Ag并且μi,j=0,则pi,j∈Anr1,pi,j+1∈Ag;
如果pi,j∈Auc并且μi,j=1,则pi,j∈Acp,pi,j+1∈Auc;
如果pi,j∈Auc并且μi,j=0,则pi,j∈Aed1,pi,j+1∈Ag;
如果pi,j∈Acp并且μi,j=1,则pi,j∈Acp,pi,j+1∈Auc;
如果j=n-1并且μi,j=1,则pi,n∈Acp;
如果j=n-1并且μi,j=0,则pi,n∈Aed1;
第7步:判断j=n是否成立,如果成立,转到第8步;否则,重置j=j+1;返回第5步;
第8步:判断i=m是否成立,如果成立,结束操作;否则,重置i=i+1,j=1;返回第4步;
通过第2步到第8步的操作,将深度图特征点候选区域点集中的全部点按照行顺序完成了正常点、坏点或边界点的分类;
第9步:设定l′i,j为pi,j与pi+1,j两点之中到激光扫描雷达光心的距离较小的那个点向距离较大的那个点与激光扫描雷达光心之间连线所作的垂线;Δρ′i,j为pi,j与pi+1,j之间的距离;Δθ′i,j为pi,j与pi+1,j之间的连线与l′i,j的夹角;
第10步:重新设定i=1,j=1,即选取第一列的第一个点;
第11步:将该点分类为好点;
第12步:Δρ′i,j、Δθ′i,j的值可通过公式2计算得到:
其中,lρi,j为ρi,j和ρi+1,j中的较大值;sρ′i,j为ρi,j和ρi+1,j中的较小值,θrs为激光扫描雷达扫描角分辨率;
第13步:判断点pi+1,j的类型,即判断点pi+1,j是正常点、坏点或边界点;具体操作为:
①如果第12步得到的pi,j与pi+1,j之间的距离Δρi,j大于某一人为设定值Δρth,并且pi,j与pi+1,j之间的连线与l′i,j的夹角Δθ’i,j大于某一人为设定值Δθth,则设定标志量μi,j的值为1;否则,将标志量μi,j的值设定为0;
②如果pi,j∈Ag并且μi,j=1,则pi,j∈Aed2,pi,j+1∈Auc;
如果pi,j∈Ag并且μi,j=0,则pi,j∈Anr2,pi,j+1∈Ag;
如果pi,j∈Auc并且μi,j=1,则pi,j∈Acp,pi,j+1∈Auc;
如果pi,j∈Auc并且μi,j=0,则pi,j∈Aed2,pi,j+1∈Ag;
如果pi,j∈Acp并且μi,j=1,则pi,j∈Acp,pi,j+1∈Auc;
如果j=n-1并且μi,j=1,则pi,n∈Acp;
如果j=n-1并且μi,j=0,则pi,n∈Aed2;
第14步:判断i=m是否成立,如果成立,转到第15步;否则,重置i=i+1;返回第12步;
第15步:判断j=n是否成立,如果成立,结束操作;否则,重置i=1,j=j+1;返回第11步;
通过第9步到第15步的操作,将深度图特征点候选区域点集中的全部点按照列顺序完成了正常点、坏点或边界点的分类;
第16步:将边界点集合Aed1中的所有点的三维坐标中的x和z坐标值取均值作为深度图特征点的x和z坐标值,将边界点集合Aed2中的所有点的三维坐标中的y坐标值取均值作为深度图特征点的y坐标值;
经过上述步骤的操作,即可获取深度图特征点的坐标。
3.如权利要求1或2所述的一种彩色激光点云成像系统,其特征在于:其工作流程的步骤一中所述获取摄像机标定矩阵K的方法采用文献《Flexiblecamera calibration by viewing a plane from unknown orientations.》中公开的方法。
4.如权利要求1或2所述的一种彩色激光点云成像系统,其特征在于:其工作流程的步骤五中所述获取摄像机坐标系到激光扫描雷达坐标系的坐标转换矩阵的方法采用文献《视觉传感器与激光测距雷达空间对准方法》公开的方法。
本发明涉及一种基于移动平台的彩色激光点云成像系统,属于环境感知领域。
标题 | 发布/更新时间 | 阅读量 |
---|---|---|
不分时彩色数字投影装置和方法 | 2020-05-14 | 85 |
一种暗原色和白平衡相结合的水下彩色图像增强方法 | 2020-05-12 | 541 |
电子照相式彩色图象形成设备与方法 | 2020-05-12 | 66 |
彩色血流成像中运动伪像的抑制方法及设备 | 2020-05-11 | 256 |
一种干式血液细胞分析装置的光学检测系统 | 2020-05-16 | 210 |
一种同时获取可见光彩色图像与血流图像的内窥镜光学成像方法及系统 | 2020-05-12 | 619 |
基于几何滤波器抑制超声彩色血流成像中杂波的方法 | 2020-05-18 | 663 |
电子照相式彩色图象形成设备 | 2020-05-12 | 192 |
一种超高速实时彩色计算鬼成像的装置及方法 | 2020-05-16 | 955 |
一种超声彩色多普勒图像后处理方法 | 2020-05-16 | 314 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。