首页 / 专利库 / 图形技术 / 三维重建 / 一种散货料堆实时三维重建方法及系统

一种散货料堆实时三维重建方法及系统

阅读:1036发布:2020-06-19

专利汇可以提供一种散货料堆实时三维重建方法及系统专利检索,专利查询,专利分析的服务。并且本 发明 涉及 机器视觉 三维重建 技术领域,公开了一种散货 料堆 实时三维重建方法,包括以下步骤:逐步扫描料堆各截面的曲线点 云 ,得到所述料堆的全局静态点云数据;将所述全局静态点云数据分为多个点云数据段;实时获取所述料堆局部的深度数据,将所述深度数据转换为局部动态点云数据;将所述局部动态点云数据与对应的所述点云数据段进行实时点云配准,得到所述料堆的全局实时三维点云模型。本发明具有成本低,适应于大场景海量点云数据的实时三维重建的技术效果。,下面是一种散货料堆实时三维重建方法及系统专利的具体信息内容。

1.一种散货料堆实时三维重建方法,其特征在于,包括以下步骤:
逐步扫描料堆各截面的曲线点,得到所述料堆的全局静态点云数据;
将所述全局静态点云数据分为多个点云数据段;
实时获取所述料堆局部的深度数据,将所述深度数据转换为局部动态点云数据;
将所述局部动态点云数据与对应的所述点云数据段进行实时点云配准,得到所述料堆的全局实时三维点云模型。
2.根据权利要求1所述的散货料堆实时三维重建方法,其特征在于,还包括:对所述全局静态点云数据进行滤波处理以及对所述局部动态点云数据进行滤波处理。
3.根据权利要求2所述的散货料堆实时三维重建方法,其特征在于,
对所述全局静态点云数据进行滤波处理,具体包括:
采用直通滤波器去除所述全局静态点云数据中的地面点云数据,采用Statistical Outlier Removal滤波器移除所述全局静态点云数据中的离群点;
采用VoxelGrid滤波器对所述全局静态点云数据进行向下采样,通过所述VoxelGrid滤波器将所述全局静态点云数据设置为第一设定大小;
对所述局部动态点云数据进行滤波处理,具体包括:
采用直通滤波器去除所述局部动态点云数据中的地面点云数据,采用Statistical Outlier Removal滤波器移除所述局部动态点云数据中的离群点;
采用VoxelGrid滤波器对所述局部动态点云数据进行向下采样,通过所述VoxelGrid滤波器将所述局部动态点云数据设置为第二设定大小。
4.根据权利要求1所述的散货料堆实时三维重建方法,其特征在于,将所述全局静态点云数据分为多个点云数据段,具体包括:
将所述全局静态点云数据分为大小均为n的a*b个点云数据段:
5.根据权利要求1所述的散货料堆实时三维重建方法,其特征在于,将所述局部动态点云数据与对应的所述点云数据段进行实时点云配准,具体包括:
获取所述局部动态点云数据的法线信息以及对应点云数据段的法线信息;
根据所述局部动态点云数据的法线信息获取所述局部动态点云数据的点特征直方图,根据所述点云数据段的法线信息获取所述点云数据段的点特征直方图;
根据所述局部动态点云数据的点特征直方图以及所述点云数据段的点特征直方图,在所述点云数据段中搜索与所述局部动态点云数据对应的初始对应点集;
对所述初始对应点集进行筛选,得到最终对应点集;
计算所述局部动态点云数据与所述最终对应点集的转换矩阵,实现实时点云配准。
6.根据权利要求5所述的散货料堆实时三维重建方法,其特征在于,
获取所述局部动态点云数据的法线信息,具体为:
从所述局部动态点云数据的查询点的近邻元素中创建协方差矩阵,求解所述局部动态点云数据的协方差矩阵的特征矢量和特征值,得到所述局部动态点云数据的法线信息;
获取所述点云数据段的法线信息,具体为:
从所述点云数据段的查询点的近邻元素中创建协方差矩阵,求解所述点云数据段的协方差矩阵的特征矢量和特征值,得到所述点云数据段的法线信息。
7.根据权利要求5所述的散货料堆实时三维重建方法,其特征在于,在所述点云数据段中搜索与所述局部动态点云数据对应的初始对应点集,具体为:
采用最近邻搜索算法,在所述点云数据段中搜索与所述局部动态点云数据中的点欧氏距离最小的对应点;
遍历所述局部动态点云数据中所有点,得到与所述局部动态点云数据对应的所有对应点,得到所述初始对应点集。
8.根据权利要求7所述的散货料堆实时三维重建方法,其特征在于,对所述初始对应点集进行筛选,得到最终对应点集,具体为:
删除所述初始对应点集中欧氏距离大于设定阈值的对应点,得到所述最终对应点集。
9.一种散货料堆实时三维重建系统,其特征在于,包括二维扫描仪编码器、堆取料机、深度相机以及工控机;
所述二维扫描仪以及所述角度编码器分别安装于所述堆取料机上,并用于逐步扫描料堆各截面的曲线点云,得到所述料堆的全局静态点云数据;
所述深度相机用于实时获取所述料堆局部的深度数据,将所述深度数据转换为局部动态点云数据;
所述工控机用于将所述全局静态点云数据分为多个点云数据段;将所述局部动态点云数据与对应的所述点云数据段进行实时点云配准,得到所述料堆的全局实时三维点云模型。
10.根据权利要求9所述的散货料堆实时三维重建系统,其特征在于,所述二维扫描仪以及所述深度相机分别通过安装平台安装于所述堆取料机的悬臂上,所述角度编码器安装于所述堆取料机的轮轴上,所述二维扫描仪的扫描方向与所述堆取料机的行走方向垂直,所述二维扫描仪、角度编码器以及深度相机分别与所述工控机电连接。

说明书全文

一种散货料堆实时三维重建方法及系统

技术领域

[0001] 本发明涉及机器视觉三维重建技术领域,具体涉及一种散货料堆实时三维重建方法及系统。

背景技术

[0002] 随着散货码头吞吐量不断攀高,机器视觉技术的快速发展,建设自动化散货码头一直是国内外研究热点。散货码头的自动堆取料是自动化码头技术的重要部分,自动堆取料主要依赖三维重建技术,目前多采用三维激光扫描装置对料堆的外形轮廓进行扫描和重构,但是工业三维扫描仪价格昂贵,一台落地式三维扫描仪需要几十万到一百多万不等,每个堆取料机配置一台需要很高的成本,而且由于现有设备的局限,海量点处理复杂,很难达到实时重构的目的。

发明内容

[0003] 本发明的目的在于克服上述技术不足,提供一种散货料堆实时三维重建方法及系统,解决现有技术中三维重建成本高,点云处理复杂导致无法实现实时重构的技术问题。
[0004] 为达到上述技术目的,本发明的技术方案提供一种散货料堆实时三维重建方法,包括以下步骤:
[0005] 逐步扫描料堆各截面的曲线点云,得到所述料堆的全局静态点云数据;
[0006] 将所述全局静态点云数据分为多个点云数据段;
[0007] 实时获取所述料堆局部的深度数据,将所述深度数据转换为局部动态点云数据;
[0008] 将所述局部动态点云数据与对应的所述点云数据段进行实时点云配准,得到所述料堆的全局实时三维点云模型。
[0009] 本发明还提供一种散货料堆实时三维重建系统,包括二维扫描仪、编码器、堆取料机、深度相机以及工控机;
[0010] 所述二维扫描仪以及所述角度编码器分别安装于所述堆取料机上,并用于逐步扫描料堆各截面的曲线点云,得到所述料堆的全局静态点云数据;
[0011] 所述深度相机用于实时获取所述料堆局部的深度数据,将所述深度数据转换为局部动态点云数据;
[0012] 所述工控机用于将所述全局静态点云数据分为多个点云数据段;将所述局部动态点云数据与对应的所述点云数据段进行实时点云配准,得到所述料堆的全局实时三维点云模型。
[0013] 与现有技术相比,本发明的有益效果包括:本发明结合全局静态点云数据与局部动态点云数据实现料堆的三维重建。全局静态点云数据采用二维扫描仪即可获取,成本低廉。同时,将全局静态点云数据进行分割,得到多个点云数据段,分别将多个点云数据段与局部动态点云数据进行配准,一方面可以实现局部动态点云数据的实施配准,从而实现料堆的实时三维重建,另一方面,数据的分割和分别配准降低了数据处理的难度,使得本发明可对海量的点云数据进行处理,能适应于大场景料堆的实时三维重建。附图说明
[0014] 图1是本发明提供的散货料堆实时三维重建方法一实施方式的流程图
[0015] 图2是本发明提供的散货料堆实时三维重建系统一实施方式的结构示意图。
[0016] 附图标记:
[0017] 1、堆取料机,11、悬臂,12、轮轴,2、深度相机,3、二维扫描仪,4、角度编码器,5、工控机,6、安装平台,100、料堆。

具体实施方式

[0018] 为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
[0019] 实施例1
[0020] 如图1所示,本发明的实施例1提供了散货料堆实时三维重建方法,以下简称本三维重建方法,包括以下步骤:
[0021] S1、逐步扫描料堆各截面的曲线点云,得到所述料堆的全局静态点云数据;
[0022] S2、将所述全局静态点云数据分为多个点云数据段;
[0023] S3、实时获取所述料堆局部的深度数据,将所述深度数据转换为局部动态点云数据;
[0024] S4、将所述局部动态点云数据与对应的所述点云数据段进行实时点云配准,得到所述料堆的全局实时三维点云模型。
[0025] 本实施例中深度数据采用深度相机获取,将深度数据转换为局部动态点云数据具体为:获取深度相机的标定参数,根据标定参数将深度数据转换为局部动态点云数据,标定参数的获取可采用张正友标定算法实现,标定参数包括焦距、主点以及畸变系数。
[0026] 优选的,本三维重建方法还包括:对所述全局静态点云数据进行滤波处理以及对所述局部动态点云数据进行滤波处理。
[0027] 对全局静态点云数据和局部动态点云数据进行滤波处理,便于后续进行配准。
[0028] 优选的,对所述全局静态点云数据进行滤波处理,具体包括:
[0029] 采用直通滤波器去除所述全局静态点云数据中的地面点云数据,采用Statistical Outlier Removal滤波器移除所述全局静态点云数据中的离群点;
[0030] 采用VoxelGrid滤波器对所述全局静态点云数据进行向下采样,通过所述VoxelGrid滤波器将所述全局静态点云数据设置为第一设定大小;
[0031] 对所述局部动态点云数据进行滤波处理,具体包括:
[0032] 采用直通滤波器去除所述局部动态点云数据中的地面点云数据,采用Statistical Outlier Removal滤波器移除所述局部动态点云数据中的离群点;
[0033] 采用VoxelGrid滤波器对所述局部动态点云数据进行向下采样,通过所述VoxelGrid滤波器将所述局部动态点云数据设置为第二设定大小。
[0034] 本优选实施例中,采用相同的滤波方法对全局静态点云数据和局部动态点云数据进行滤波处理。直通滤波器的滤波处理的作用在于去除噪声,而VoxelGrid滤波器进行滤波处理的作用在于获取合适大小的精简的点云数据。
[0035] 具体的,VoxelGrid滤波器大小根据料堆重构的精度要求进行设置,例如,VoxelGrid滤波器大小设为2cm,就可以将输入点云数据体积为2×2×2的三维体素栅格内所有的点都用该三维体素栅格内的点集的重心来近似,这样就大大减少了点云数量,降低了点云处理难度。
[0036] 优选的,将所述全局静态点云数据分为多个点云数据段,具体包括:
[0037] 将所述全局静态点云数据分为大小均为n的a*b个点云数据段:
[0038]
[0039] 为了提高点云配准的效率,需要将全局静态点云数据分割成若干段,例如,30m×160m的料堆可以分割成3×40个10m×4m的大小为n的点云数据集:
[0040] {I000,I001…I00n-1},{I010,I011…I01n-1},…,{I0390,I0391…I039n-1}[0041] {I100,I101…I10n-1},{I110,I111…I11n-1},…,{I1390,I1391…I139n-1}[0042] {I200,I201…I20n-1},{I210,I211…I21n-1},…,{I2390,I2391…I239n-1}[0043] 将分割好的点云集合储存起来。本实施例中全局静态点云数据的分割不是指将具有相似特征的点云数据分割出来,而是根据扫描方向的垂直方向将全局静态点云数据切分成若干段,这种分割简单以实现,通过直通滤波器即可实现。
[0044] 优选的,将所述局部动态点云数据与对应的所述点云数据段进行实时点云配准,具体包括:
[0045] 获取所述局部动态点云数据的法线信息以及对应点云数据段的法线信息;
[0046] 根据所述局部动态点云数据的法线信息获取所述局部动态点云数据的点特征直方图,根据所述点云数据段的法线信息获取所述点云数据段的点特征直方图;
[0047] 根据所述局部动态点云数据的点特征直方图以及所述点云数据段的点特征直方图,在所述点云数据段中搜索与所述局部动态点云数据对应的初始对应点集;
[0048] 对所述初始对应点集进行筛选,得到最终对应点集;
[0049] 计算所述局部动态点云数据与所述最终对应点集的转换矩阵,实现实时点云配准。
[0050] 获取局部动态点云数据的法线信息,进而得到其点特征直方图,获取点云数据段的法线信息,进而得到其点特征直方图,然后在点云数据段中搜对与局部动态点云数据相对应的点集,从而实现实时点云配准,完成了所有点云数据段与局部动态点云数据的配准后,即可获取整个料堆的全局实时三维点云模型,全局实时三维点云模型可用于散货码头的自动取料作业和料堆的体积测量。
[0051] 优选的,获取所述局部动态点云数据的法线信息,具体为:
[0052] 从所述局部动态点云数据的查询点的近邻元素中创建协方差矩阵,求解所述局部动态点云数据的协方差矩阵的特征矢量和特征值,得到所述局部动态点云数据的法线信息;
[0053] 获取所述点云数据段的法线信息,具体为:
[0054] 从所述点云数据段的查询点的近邻元素中创建协方差矩阵,求解所述点云数据段的协方差矩阵的特征矢量和特征值,得到所述点云数据段的法线信息。
[0055] 采用同样的方法获取点云数据段和局部动态点云数据的法线信息。以局部动态点云数据为例,具体的,通过PCA即主成分分析法估计局部动态点云数据的表面法线,确定法线的问题近似于估计表面的一个相切面法线的问题,因此转换过来以后就变成一个最小二乘法平面拟合估计问题,因此估计表面法线的解决方案就变成了分析一个协方差矩阵的特征矢量和特征值的问题,该协方差矩阵从查询点的近邻元素中创建。更具体地说,对于局部动态点云数据中的每一个点pi,对应的协方差矩阵C,如下:
[0056]
[0057] 其中k是点pi邻近点的数目, 表示最近邻元素的三维质心,λj是协方差矩阵的第j个特征值, 是第j个特征向量
[0058] 优选的,在所述点云数据段中搜索与所述局部动态点云数据对应的初始对应点集,具体为:
[0059] 采用最近邻搜索算法,在所述点云数据段中搜索与所述局部动态点云数据中的点欧氏距离最小的对应点;
[0060] 遍历局部动态点云数据中所有点,得到与所述局部动态点云数据对应的所有对应点,得到所述初始对应点集。
[0061] 具体的,对于局部动态点云数据的点pi,找到对应的点云数据段中对应的点pj,使得点pi与点pj的欧式距离最小,通过k-d树遍历局部动态点云数据中的每个点就可以获取初始对应点集。
[0062] 优选的,对所述初始对应点集进行筛选,得到最终对应点集,具体为:
[0063] 删除所述初始对应点集中欧氏距离大于设定阈值的对应点,得到所述最终对应点集。
[0064] 优选的,计算所述局部动态点云数据与所述最终对应点集的转换矩阵采用迭代最近点ICP算法计算。
[0065] 实施例2
[0066] 如图2所示,本发明的实施例2提供了散货料堆实时三维重建系统,包括二维扫描仪3、角度编码器4、堆取料机1、深度相机2以及工控机5;
[0067] 所述二维扫描仪3以及所述角度编码器4分别安装于所述堆取料机1上,并用于逐步扫描料堆100各截面的曲线点云,得到所述料堆100的全局静态点云数据;
[0068] 所述深度相机2用于实时获取所述料堆100局部的深度数据,将所述深度数据转换为局部动态点云数据;
[0069] 所述工控机5用于将所述全局静态点云数据分为多个点云数据段;将所述局部动态点云数据与对应的所述点云数据段进行实时点云配准,得到所述料堆100的全局实时三维点云模型。
[0070] 利用二维扫描仪3、角度编码器4以及堆取料机1配合获取料堆100的全局静态点云数据。堆取料机1用于带动二维扫描仪3行走,从而逐步扫描料堆100各截面的曲线点云,角度编码器4记录行走距离,从而根据行走距离以及曲线点云得到料堆100的全局静态点云数据。
[0071] 本发明提供的散货料堆实时三维重建系统,用于实现散货料堆实时三维重建方法,因此,上述散货料堆实时三维重建系统所具备的技术效果,散货料堆实时三维重建系统同样具备,在此不再赘述。
[0072] 优选的,如图2所示,所述二维扫描仪3以及所述深度相机2分别通过安装平台6安装于所述堆取料机1的悬臂11上,所述角度编码器4安装于所述堆取料机1的轮轴12上,所述二维扫描仪3的扫描方向与所述堆取料机1的行走方向垂直,所述二维扫描仪3、角度编码器4以及深度相机2分别与所述工控机5电连接。
[0073] 调整二维扫描仪3的扫描方向为与堆取料机1行走方向垂直,扫描料堆100截面的曲线点云,随着堆取料机1从料堆100的一端走到料堆的另一端,便能扫描获取整个料堆100表面的全局静态点云数据。具体的,图2以堆取料机1的行走方向作为X轴,以二维扫描仪3的扫描方向作为Y轴建立了坐标系
[0074] 具体的,本实施例中深度相机2采用Kinect v2传感器。Kinect v2传感器通过OpenNI2接口与工控机5电连接,工控机5通过OpenNI2接口实时采集局部动态点云数据。目前基于深度相机2的三维重构已有研究成果,但是都是基于小场景,本发明将深度相机2获取的局部动态点云数据与全局静态点云数据结合对于研究散货料堆的实时三维重构具有重要意义。Kinect v2传感器在进行深度数据的转换时,需要进行参数的标定,本实施例采用张正友标定算法进行标定,标定参数包括:焦距:fx值为355.65mm,fy值为355.45mm;主点:u值为258.76,v取211.05;畸变系数:k1值为0.0801,k2值为-0.2338,k3值为0.2003,k4值为0.0056,k5值为-0.0031。
[0075] 以上所述本发明的具体实施方式,并不构成对本发明保护范围的限定。任何根据本发明的技术构思所做出的各种其他相应的改变与变形,均应包含在本发明权利要求的保护范围内。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈