一种基于深度类残差网络的三维物体识别和定位方法
专利汇可以提供一种基于深度类残差网络的三维物体识别和定位方法专利检索，专利查询，专利分析的服务。并且本 发明 公开了一种基于深度类残差网络的三维 物体识别 和 定位 方法，所述方法采用三维模型构建模 块 、模拟数据集制作模块、网络训练模块以及网络运用模块。该方法可自行建立所需目标物体的三维模型，在不限制物体种类和单 角 度采集点 云 数据的前提下，快捷、批量地制作需要的目标物体的模拟数据集用于训练，避免了人工处理和标注的繁杂过程。经过单位球归一化等 数据处理 后，引入深度类残差网络，在学习好目标物体全局特征的同时更好地捕获局部特征信息，在真实环境中实现目标物体的类别和 位置 返回且能有效地满足实际应用的需求。这种接近原始数据的点云与深度类残差网络结合的三维物体识别和定位方法，具有 精度 高、速度快、鲁棒性强等特点。，下面是一种基于深度类残差网络的三维物体识别和定位方法专利的具体信息内容。
1.一种基于深度类残差网络的三维物体识别和定位方法，其特征在于，所述的方法中采用三维模型构建模块、虚拟数据集制作模块、网络训练模块以及网络运用模块；其中，所述的三维模型构建模块自行建立所需目标物体的三维模型；所述的虚拟数据集制作模块对目标物体的点云数据进行批量采集和预处理；所述的网络训练模块中包含深度类残差网络，用于捕获局部特征信息；采集来的虚拟数据训练神经网络模型，并且在所述的网络运用模块中将在真实环境中使用并最终返回目标物体的类别和位置；
所述的方法包括如下步骤：
步骤1：确定目标物体的类别和数量，建立目标物体的三维模型；
步骤2：将目标物体的三维模型导入到虚拟环境中，通过控制方位角θ、仰角 来调整虚拟深度相机的位置，以实现不同角度下的虚拟点云数据的采集，并保存到对应标签命名的文件中，每个角度对应一个点云文件，即一个样本；
步骤3：设置要采样的点云数，针对每个样本数据进行批量处理，在去除不符合要求的样本的同时进行FPS采样，求出每个样本的质心并对样本数据做特定的归一化处理；
步骤3包括以下步骤：
步骤3.1：设置每个样本需要采样的点云数目N，删除包含的点云数少于N/2的样本文件；
步骤3.2：当单个样本中的点云数与所需采样的点云数不一致时，采用FPS方法对该样本中的点云上采样或下采样至设置的数目；
步骤3.3：针对每个样本文件，对其采样完的数据做归一化处理，让每个样本中采样后的点云数据归一化到一个单位球体中；
步骤3.3.1：计算每个样本文件中的N个点云的质心，其坐标为N个点云x、y、z各个坐标的平均值，公式如下：
其中，xi、yi、zi代表某个样本中第i个点云的位置信息，xCentroid、yCentroid、zCentroid代表该样本中N个点云的质心的位置信息；
步骤3.3.2：求出每个样本中的每个点云与其质心之间的距离，并取最大的距离作为单位球体的半径，公式如下：
r＝max(li) (4)
其中，li代表该样本中第i个点云与质心的距离，r代表该样本数据单位归一化后的球的半径，取值为该样本中N个点云中相对质心的距离的最大值；
步骤3.3.3：对每个样本中的点云进行归一化至单位球中，计算每个点云的坐标信息在各个轴方向所占的半径的尺寸，公式如下：
其中，xi_new、yi_new、zi_new代表归一化后该样本中第i个点云分别在x、y、z各个轴方向占单位球半径的比例值，该值有正负方向的区别，其数值区间为[-1,1]；xCentroid、yCentroid、zCentroid为该样本在步骤3.3.1中求得的质心坐标，r为其在步骤3.3.2中求得的单位球的半径；
步骤4：对样本进行批量处理，使其对应的标签信息，连同三维数据信息一起保存，训练集的制作完成；按照确定的训练集和验证集的比例，重复之前的步骤，进行验证集制作；
步骤5：采用深度类残差网络，将训练集和验证集的点云数据喂入网络中，通过网络的迭代优化获得到较好的网络模型；
步骤6：在真实场景中，采用真实深度相机采集目标物体的点云数据，放入训练好的网络模型中，最终返回该物体的类别和位置信息。
2.根据权利要求1所述的基于深度类残差网络的三维物体识别和定位方法，其特征在于，步骤2包括以下步骤：
步骤2.1：将步骤1中保存的目标物体的三维模型导入到虚拟环境中，通过平移和旋转将三维模型放置虚拟环境中的原点位置；
步骤2.2：调用虚拟环境下虚拟深度相机的API接口，设置虚拟环境的坐标原点O与虚拟深度相机S之间的距离OS，同时将采用的虚拟深度相机的初始位置放置在目标物体的正上方；
步骤2.3：通过控制方位角θ、仰角 来控制虚拟深度相机的位置，采集不同角度下的点云图像，并以带有目标物体所对应的标签命名文件，每个角度对应一个点云文件，即一个样本；将上述的虚拟深度相机的位置的表达方式从球坐标系 向直角坐标系(x,y,z)转换，转换关系如下：
其中，r为虚拟环境下虚拟深度相机S与坐标原点O之间的距离OS，θ代表方位角， 代表仰角，x、y、z为转换后虚拟深度相机在虚拟环境下的直角坐标系中的位置。
3.根据权利要求1或2所述的基于深度类残差网络的三维物体识别和定位方法，其特征在于，步骤4中训练集和验证集之间不存在交叉样本。
4.根据权利要求1或2所述的基于深度类残差网络的三维物体识别和定位方法，其特征在于，步骤6包括：
步骤6.1：在真实场景中，通过真实深度相机采集某个目标物体在某个角度下的点云数据；对采集来的点云数据进行滤波、去背景处理，并保存到带有该目标物体所对应的标签命名文件中；
步骤6.2：对该文件中的数据进行步骤3至步骤4的处理，最终返回该目标物体所对应的类别信息及其位置信息，所述位置信息是该文件中点云数据的质心的位置信息，如步骤3计算质心；
步骤6.3：通过相机标定技术，将质心位置信息的表达由相机坐标系向世界坐标系转换，转换关系如下：
其中， 为真实深度相机的外部参数矩阵，R为3×3的旋转矩阵，t为3×1的平移
矩阵，R、t可由相机标定获得；(xCentroid_c，yCentroid_c，zCentroid_c)为质心在相机坐标系下的坐标，(xCentroid_w，yCentroid_w，zCentroid_w)为质心在世界坐标系下的坐标；
步骤6.4：标定板置于基坐标系的同一水平面，将质心的世界坐标系转化为机器人基坐标系下，选取标定板上的任意两点，即任意两世界坐标系下的点，查看机器人坐标，确定机器人基坐标系的方向及其与世界坐标系在x坐标与y坐标上的偏移量Δx、Δy，至此机器人基坐标系与世界坐标系的转换关系如下：
其中，(xCentroid_r，yCentroid_r，zCentroid_r)为质心在机器人基坐标系下的坐标；让机械臂基于该位置坐标抓取目标物体。
5.根据权利要求3所述的基于深度类残差网络的三维物体识别和定位方法，其特征在于，步骤6包括
步骤6.1：在真实场景中，通过真实深度相机采集某个目标物体在某个角度下的点云数据；对采集来的点云数据进行滤波、去背景处理，并保存到带有该目标物体所对应的标签命名文件中；
步骤6.2：对该文件中的数据进行步骤3至步骤4的处理，最终返回该目标物体所对应的类别信息及其位置信息，所述位置信息是该文件中点云数据的质心的位置信息，如步骤3计算质心；
步骤6.3：通过相机标定技术，将质心位置信息的表达由相机坐标系向世界坐标系转换，转换关系如下：
其中， 为真实深度相机的外部参数矩阵，R为3×3的旋转矩阵，t为3×1的平移
矩阵，R、t可由相机标定获得；(xCentroid_c，yCentroid_c，zCentroid_c)为质心在相机坐标系下的坐标，(xCentroid_w，yCentroid_w，zCentroid_w)为质心在世界坐标系下的坐标；
步骤6.4：标定板置于基坐标系的同一水平面，将质心的世界坐标系转化为机器人基坐标系下，选取标定板上的任意两点，即任意两世界坐标系下的点，查看机器人坐标，确定机器人基坐标系的方向及其与世界坐标系在x坐标与y坐标上的偏移量Δx、Δy，至此机器人基坐标系与世界坐标系的转换关系如下：
其中，(xCentroid_r，yCentroid_r，zCentroid_r)为质心在机器人基坐标系下的坐标；让机械臂基于该位置坐标抓取目标物体。
6.根据权利要求1、2或5所述的基于深度类残差网络的三维物体识别和定位方法，其特征在于，步骤1中所述目标物体为长宽高均在30cm以内的物体。
7.根据权利要求3所述的基于深度类残差网络的三维物体识别和定位方法，其特征在于，步骤1中所述目标物体为长宽高均在30cm以内的物体。
8.根据权利要求4所述的基于深度类残差网络的三维物体识别和定位方法，其特征在于，步骤1中所述目标物体为长宽高均在30cm以内的物体。
9.根据权利要求1、2、5、7或8所述的基于深度类残差网络的三维物体识别和定位方法，其特征在于，在步骤5中，所述的深度类残差网络是针对PointNet++进行改进的可用于基于无序点云的三维物体识别网络，即MAS结构，其包括采样层、重组层、R3Block层和最大池化层，所述采样层用于选择固定数量的点云作为局部区域的质心，所述重组层用于查找质心的相邻点并执行进一步的特征融合，所述R3Block层用于替换基于MLP的迷你PointNet层，以对局部特征进行编码，所述最大池化层用于降低特征维数和更深一层的特征融合。
10.根据权利要求6所述的基于深度类残差网络的三维物体识别和定位方法，其特征在于，在步骤5中，所述的深度类残差网络是针对PointNet++进行改进的可用于基于无序点云的三维物体识别网络，即MAS结构，其包括采样层、重组层、R3Block层和最大池化层，所述采样层用于选择固定数量的点云作为局部区域的质心，所述重组层用于查找质心的相邻点并执行进一步的特征融合，所述R3Block层用于替换基于MLP的迷你PointNet层，以对局部特征进行编码，所述最大池化层用于降低特征维数和更深一层的特征融合。
一种基于深度类残差网络的三维物体识别和定位方法
技术领域
背景技术
发明内容
具体实施方式
并调用虚拟深度相机进行数据采集；查找点云数少于
512的样本文件进行删除，对单个样本中的点云数据实现上采样或下采样至固定的点数
1024；接着通过公式(2)、(3)、(4)对每个样本实现批量数据归一化使其数值区间均为[-1,
1]，求出每个样本中的质心(xCentroid,yCentroid,zCentroid)和每个点云归一化的结果(xi_new,yi_new,zi_new)，必要的话实现虚拟深度相机坐标数据之间的转换；如图2所示，为某个样本中点云数据归一化后的效果图。最后将每个样本中的数据及其对应的标签类别存入hdf5文件中构成训练集，便于网络训练。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 基于会员搜索喜好的家具体验方法 | 2020-05-08 | 558 |
| 虚拟场景中的移动控制方法、装置、设备及存储介质 | 2020-05-11 | 325 |
| 基于领域自适应神经网络的自动驾驶转向角度预测方法 | 2020-05-11 | 487 |
| 唇妆特效的显示方法、装置、设备及存储介质 | 2020-05-12 | 110 |
| 用于运行虚拟现实系统的方法及虚拟现实系统 | 2020-05-13 | 590 |
| 基于兴趣行为的分布式虚拟环境缓存管理方法 | 2020-05-13 | 624 |
| 基于虚拟环境的动画播放方法、装置、设备及存储介质 | 2020-05-11 | 77 |
| 一种基于VR的泵站作业仿真培训考核系统及方法 | 2020-05-12 | 105 |
| 一种车辆行驶决策模型的训练方法及装置 | 2020-05-12 | 306 |
| 一种消息驱动的关键过程全息追溯方法及系统 | 2020-05-11 | 122 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
