基于三维点云的拆卸产品结构机器人视觉识别方法专利检索-机器人视觉计算机视觉人工智能人工智能专利检索查询-专利查询网

基于三维点云的拆卸产品结构 机器人视觉识别方法

阅读：280发布：2020-05-18

专利汇可以提供基于三维点云的拆卸产品结构机器人视觉识别方法专利检索，专利查询，专利分析的服务。并且本发明提供了一种基于三维点云的拆卸产品结构机器人视觉识别方法，用于机器人自动化拆卸过程中。在本发明的基于三维点云的拆卸产品结构识别方法中，通过深度视觉传感器获取拆卸产品的原始点云数据；利用基于点云的物体部分分割方法获取拆卸产品各组件的点云聚类模型；利用基于特征描述子的物体识别方法对各组件的点云聚类模型进行识别得到各组件的类别信息；以及通过比较各组件中心坐标的大小得到各组件的空间位置关系。本发明的结构识别方法给出了拆卸产品空间结构信息，提高了机器人对拆卸产品不确定性的应对能力。，下面是基于三维点云的拆卸产品结构机器人视觉识别方法专利的具体信息内容。

权利要求

1.一种基于三维点云的拆卸产品结构机器人视觉识别方法，其特征在于，该方法包括：
S1、通过深度传感器获取拆卸产品的原始点云数据；
S2、利用基于点云的物体部分分割方法获取拆卸产品各组件的点云聚类模型；
S3、利用基于特征描述子的物体识别方法对各组件的点云聚类模型进行识别得到各组件的类别信息；
S4、通过比较各组件中心坐标的大小得到各组件的空间位置关系。
2.根据权利要求1所述的基于三维点云的拆卸产品结构机器人视觉识别方法，其特征在于，步骤S1具体包括：
S11、通过深度传感器获取拆卸产品的深度图像；
S12、根据深度图像坐标转换得到拆卸产品的点云坐标；
S13、采用条件滤波器及半径滤波器对获取的点云数据进行处理。
3.根据权利要求1所述的基于三维点云的拆卸产品结构机器人视觉识别方法，其特征在于，步骤S2具体为：利用CPC约束平面分割算法获取拆卸产品各组件的点云聚类模型。
4.根据权利要求1所述的基于三维点云的拆卸产品结构机器人视觉识别方法，其特征在于，步骤S3具体包括：
S31、计算拆卸产品各组件多角度点云聚类模型的法向量；
S32、计算拆卸产品各组件多角度点云聚类模型对应的VFH视点特征直方图描述子；
S33、构建模型库，模型库中包含拆卸产品各组件多角度的点云聚类模型及计算得到的VFH特征直方图；
S34、将模型库中拆卸产品各组件多角度点云聚类模型的VFH特征直方图作为样本，根据样本建立Kd树，对于待识别的拆卸产品各组件的点云聚类模型用Kd树进行搜索得到分类结果。
5.根据权利要求1所述的基于三维点云的拆卸产品结构机器人视觉识别方法，其特征在于，步骤S4具体包括：
S41、计算拆卸产品各组件中心坐标；
S42、比较拆卸产品各组件中心坐标的大小得到产品各组件的相对位置关系。
6.根据权利要求4所述的基于三维点云的拆卸产品结构机器人视觉识别方法，其特征在于，步骤S34具体为：选择在Kd树中与待识别的组件的查询点Chi-squared距离最近的数据点作为识别结果。
7.一种基于三维点云的拆卸产品结构机器人视觉识别系统，其特征在于，包括：
原始点云数据获取模块，用于通过深度传感器获取拆卸产品的原始点云数据；
点云聚类模型构建模块，用于利用基于点云的物体部分分割方法获取拆卸产品各组件的点云聚类模型；
组件的类别信息识别模块，用于利用基于特征描述子的物体识别方法对各组件的点云聚类模型进行识别得到各组件的类别信息；
空间位置关系计算模块，用于通过比较各组件中心坐标的大小得到各组件的空间位置关系。
8.根据权利要求7所述的基于三维点云的拆卸产品结构机器人视觉识别系统，其特征在于，点云聚类模型构建模块具体利用CPC约束平面分割算法获取拆卸产品各组件的点云聚类模型。
9.根据权利要求7所述的基于三维点云的拆卸产品结构机器人视觉识别方法，其特征在于，所述组件的类别信息识别模块具体用于：
计算拆卸产品各组件多角度点云聚类模型的法向量；
计算拆卸产品各组件多角度点云聚类模型对应的VFH视点特征直方图描述子；
构建模型库，模型库中包含拆卸产品各组件多角度的点云聚类模型及计算得到的VFH特征直方图；
将模型库中拆卸产品各组件多角度点云聚类模型的VFH特征直方图作为样本，根据样本建立Kd树，对于待识别的拆卸产品各组件的点云聚类模型用Kd树进行搜索得到分类结果。
10.一种计算机可读存储介质，其特征在于，其内存储有可被处理器执行的计算机程序，该计算机程序执行如权利要求7-9中任一项所述基于三维点云的拆卸产品结构机器人视觉识别方法。

说明书全文

基于三维点云的拆卸产品结构 机器人视觉识别方法

技术领域

[0001] 本发明涉及适用于拆卸产品结构识别的点云数据处理，特别涉及基于三维点云的拆卸产品结构机器人视觉识别方法。

背景技术

[0002] 近年来，由于产品生命周期缩短和市场需求的增加，废旧产品的数量显著增加，利用人工方式进行废旧产品的拆卸与分解不能适应当今的工业生产需求，机器人拆卸有效地发挥了工业机器人的优势，解放劳动力，降低生产成本，提高拆卸效率等。当前的研究中机器人大多按照预定义的程序完成指定拆卸动作,缺少灵活性和通用性，缺少对拆卸产品的感知和应变能力。所以在机器人拆卸中，如何使机器人获取拆卸产品组成信息，理解拆卸产品结构使一个亟待解决的问题。

发明内容

[0003] 本发明要解决的技术问题在于针对现有技术中拆卸产品在使用过程中会有不同程度的损坏，导致许多不确定性的缺陷，如组件质量和数量的变化及产品结构的变化等，本发明提供了一种基于三维点云的拆卸产品结构识别方法，可使机器人更好地应对拆卸产品的不确定性，提高识别产品结构的效率。

[0004] 本发明解决其技术问题所采用的技术方案是：

[0005] 提供一种基于三维点云的拆卸产品结构机器人视觉识别方法，该方法包括：

[0006] S1、通过深度传感器获取拆卸产品的原始点云数据；

[0007] S2、利用基于点云的物体部分分割方法获取拆卸产品各组件的点云聚类模型；

[0008] S3、利用基于特征描述子的物体识别方法对各组件的点云聚类模型进行识别得到各组件的类别信息；

[0009] S4、通过比较各组件中心坐标的大小得到各组件的空间位置关系。

[0010] 接上述技术方案，步骤S1具体包括：

[0011] S11、通过深度传感器获取拆卸产品的深度图像；

[0012] S12、根据深度图像坐标转换得到拆卸产品的点云坐标；

[0013] S13、采用条件滤波器及半径滤波器对获取的点云数据进行处理。

[0014] 接上述技术方案，步骤S2具体为：利用CPC约束平面分割算法获取拆卸产品各组件的点云聚类模型。

[0015] 接上述技术方案，步骤S3具体包括：

[0016] S31、计算拆卸产品各组件多角度点云聚类模型的法向量；

[0017] S32、计算拆卸产品各组件多角度点云聚类模型对应的VFH视点特征直方图描述子；

[0018] S33、构建模型库，模型库中包含拆卸产品各组件多角度的点云聚类模型及计算得到的VFH特征直方图；

[0019] S34、将模型库中拆卸产品各组件多角度点云聚类模型的VFH特征直方图作为样本，根据样本建立Kd树，对于待识别的拆卸产品各组件的点云聚类模型用Kd树进行搜索得到分类结果。

[0020] 5.根据权利要求1所述的基于三维点云的拆卸产品结构机器人视觉识别方法，其特征在于，步骤S4具体包括：

[0021] S41、计算拆卸产品各组件中心坐标；

[0022] S42、比较拆卸产品各组件中心坐标的大小得到产品各组件的相对位置关系。

[0023] 接上述技术方案，步骤S34具体为：选择在Kd树中与待识别的组件的查询点Chi-squared距离最近的数据点作为识别结果。

[0024] 本发明还提供了一种基于三维点云的拆卸产品结构机器人视觉识别系统，包括：

[0025] 原始点云数据获取模块，用于通过深度传感器获取拆卸产品的原始点云数据；

[0026] 点云聚类模型构建模块，用于利用基于点云的物体部分分割方法获取拆卸产品各组件的点云聚类模型；

[0027] 组件的类别信息识别模块，用于利用基于特征描述子的物体识别方法对各组件的点云聚类模型进行识别得到各组件的类别信息；

[0028] 空间位置关系计算模块，用于通过比较各组件中心坐标的大小得到各组件的空间位置关系。

[0029] 接上述技术方案，点云聚类模型构建模块具体利用CPC约束平面分割算法获取拆卸产品各组件的点云聚类模型。

[0030] 接上述技术方案，所述组件的类别信息识别模块具体用于：

[0031] 计算拆卸产品各组件多角度点云聚类模型的法向量；

[0032] 计算拆卸产品各组件多角度点云聚类模型对应的VFH视点特征直方图描述子；

[0033] 构建模型库，模型库中包含拆卸产品各组件多角度的点云聚类模型及计算得到的VFH特征直方图；

[0034] 将模型库中拆卸产品各组件多角度点云聚类模型的VFH特征直方图作为样本，根据样本建立Kd树，对于待识别的拆卸产品各组件的点云聚类模型用Kd树进行搜索得到分类结果。

[0035] 本发明还提供了一种计算机可读存储介质，其内存储有可被处理器执行的计算机程序，该计算机程序执行如上述技术方案中的基于三维点云的拆卸产品结构机器人视觉识别方法。

[0036] 本发明产生的有益效果是：本发明通过深度传感器获取拆卸产品的原始点云数据，利用利用基于点云的物体部分分割算法，获取产品各组件的点云聚类模型，利用基于特征描述子的物体识别算法对分割得到的点云聚类模型进行识别得到各组件的类别信息，最后通过比较各组件中心坐标的大小得到各组件的空间位置关系。本发明提供的拆卸产品结构识别方法可以有效地获取拆卸产品的结构信息，使机器人更好得应对拆卸产品的不确定性，使机器人拆卸更加灵活及高效。附图说明

[0037] 下面将结合附图及实施例对本发明作进一步说明，附图中：

[0038] 图1是本发明实施例基于三维点云的拆卸产品结构识别方法的示例流程图；

[0039] 图2是图1中步骤S3的具体流程图；

[0040] 图3是本发明实施例基于三维点云的拆卸产品结构识别系统的结构示意图；

[0041] 图4是根据具体实施方式的拆卸产品点云和识别结果示例图。

具体实施方式

[0042] 为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

[0043] 如图1所示，本实施方式的一种基于三维点云的拆卸产品结构机器人视觉识别方法，具体是按照以下步骤建立的：

[0044] S1、通过深度传感器获取拆卸产品的原始点云数据；

[0045] S2、利用基于点云的物体部分分割方法获取拆卸产品各组件的点云聚类模型；

[0046] S3、利用基于特征描述子的物体识别方法对各组件的点云聚类模型进行识别得到各组件的类别信息；

[0047] S4、通过比较拆卸产品各组件中心坐标的大小得到各组件的空间位置关系。

[0048] 进一步地，本实例中步骤S1具体包括以下步骤：

[0049] 步骤一一：获取拆卸产品的深度图像；

[0050] 步骤一二：根据深度图像坐标转换得到拆卸产品的点云坐标；

[0051] 步骤一三：采用条件滤波器及半径滤波器对获取的点云数据进行处理。

[0052] 在步骤一一中，利用深度传感器api中提供的方法获取拆卸产品的深度图像。

[0053] 在步骤一二中，根据深度图像坐标(u,v)转换得到拆卸产品的点云坐标(xw,yw,zw)具体为：

[0054]

[0055] 其中，(u0,v0)表示深度图像的中心坐标；f表示红外线频率。

[0056] 在步骤一三中，选取的条件滤波器的原理为设置相应的坐标范围，使与拆卸产品无关的点不能通过。选择的半径滤波器的原理为对于点云中的每一个点，以r为半径的圆内点的个数记为m，如果m小于给定的阈值n，则该点被剔除。

[0057] 进一步地，本实例中步骤S2拆卸产品分割的步骤中，利用CPC(Constrained Planar Cuts)分割算法获取拆卸产品各组件的点云聚类模型。该算法包括以下步骤：

[0058] 步骤二一：利用VCCS(Voxel Cloud Connectivity Segmentation)过分割算法对原始点云数据进行超体聚类；

[0059] 步骤二二：计算每个超体元素之间的凹凸关系；

[0060] 步骤二三：生成EEC(Euclidean edge cloud)，对凹边赋权值1，凸边赋权值为0；

[0061] 步骤二四：采用局部约束、方向加权的样本一致性算法寻找切割平面。

[0062] 进一步地，如图2所示本实例中步骤S3基于特征描述子的物体识别方法中包括以下步骤：

[0063] 步骤三一：计算拆卸产品各组件多角度点云聚类模型的法向量；

[0064] 步骤三二：计算拆卸产品各组件多角度点云聚类模型对应的VFH(Viewpoint Feature Histogram，视点特征直方图描述子)特征描述子；

[0065] 步骤三三：构建模型库，模型库中包含拆卸产品各组件多角度的点云聚类模型及计算得到的VFH特征直方图；

[0066] 步骤三四：将模型库中拆卸产品各组件多角度点云聚类模型的VFH特征直方图作为样本，根据样本建立Kd树，对于待识别的拆卸产品各组件的点云聚类模型用Kd树进行搜索得到识别结果。

[0067] 步骤三四中，将待识别的拆卸产品各组件点云聚类模型的VFH特征直方图与数据库中保存的拆卸产品各组件多角度点云聚类模型的VFH特征直方图进行匹配，匹配过程通过Kd树数据结构实现。

[0068] 步骤三四中，利用Chi-squared距离作为匹配的度量，其定义为：

[0069]

[0070] 其中p和q表示任意两点；n表示点的维数。

[0071] 步骤三四中，匹配步骤返回一个有序列表。这表示待识别模型和数据库保存的模型之间的最佳匹配，用距离最近模型作为识别结果。

[0072] 进一步地，本实例中步骤S4具体包括以下步骤：

[0073] 步骤四一：计算拆卸产品各组件中心坐标；

[0074] 步骤四二：比较拆卸产品各组件中心坐标的大小得到产品各组件的相对位置关系。

[0075] 在步骤四一中，计算拆卸各组件中心坐标为：

[0076]

[0077] 其中，(xi,yi,zi)表示某一点的坐标；k表示点的总数。

[0078] 本发明还提供了一种基于三维点云的拆卸产品结构机器人视觉识别系统，如图3所示，该系统包括：

[0079] 原始点云数据获取模块，用于通过深度传感器获取拆卸产品的原始点云数据；

[0080] 点云聚类模型构建模块，用于利用基于点云的物体部分分割方法获取拆卸产品各组件的点云聚类模型；

[0081] 组件的类别信息识别模块，用于利用基于特征描述子的物体识别方法对各组件的点云聚类模型进行识别得到各组件的类别信息；

[0082] 空间位置关系计算模块，用于通过比较各组件中心坐标的大小得到各组件的空间位置关系。

[0083] 点云聚类模型构建模块具体利用CPC约束平面分割算法获取拆卸产品各组件的点云聚类模型。

[0084] 组件的类别信息识别模块具体用于：

[0085] 计算拆卸产品各组件多角度点云聚类模型的法向量；

[0086] 计算拆卸产品各组件多角度点云聚类模型对应的VFH视点特征直方图描述子；

[0087] 构建模型库，模型库中包含拆卸产品各组件多角度的点云聚类模型及计算得到的VFH特征直方图；

[0088] 将模型库中拆卸产品各组件多角度点云聚类模型的VFH特征直方图作为样本，根据样本建立Kd树，对于待识别的拆卸产品各组件的点云聚类模型用Kd树进行搜索得到分类结果。

[0089] 该系统主要用于实现上述各个实施例的识别方法，各模块的功能与上述方法对应，在此不赘述。

[0090] 本发明还提供了计算机可读存储介质，其内存储有可被处理器执行的计算机程序，该计算机程序执行上述各实施例的基于三维点云的拆卸产品结构机器人视觉识别方法。

[0091] 本发明针对机器人拆卸过程中拆卸产品结构的不确定性的问题，给出了拆卸产品的空间结构信息，包括其主要组件的类型信息及各组件的空间相对位置关系，拆卸产品点云和识别结果示例如图4所示，提高了机器人拆卸的效率及灵活性。

[0092] 应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

标题	发布/更新时间	阅读量
一种机器人标定用快速组装高精度定位用靶标座	2020-05-12	598
一种基于位置和图像的机器人混合视觉伺服控制方法	2020-05-15	518
基于差分进化算法的手眼标定参数辨识方法、系统及介质	2020-05-17	943
一种机器人视觉引导从料框抓取零件的系统及控制方法	2020-05-19	137
一种典型机器人视觉示教系统	2020-05-08	565
机器人视觉测试方法、装置、存储介质及终端设备	2020-05-17	597
一种拆垛自动化设备	2020-05-08	508
一种带有精密减震舵轮的AGV小车	2020-05-13	91
一种涂胶工业机器人视觉处理装置	2020-05-14	610
一种防撞防水隔音升降机器人结构	2020-05-14	351

基于三维点云的拆卸产品结构机器人视觉识别方法

基于三维点云的拆卸产品结构机器人视觉识别方法

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：