一种基于投影卷积网络的三维形状分割及语义标记方法
专利汇可以提供一种基于投影卷积网络的三维形状分割及语义标记方法专利检索，专利查询，专利分析的服务。并且本 发明 提出了一种基于投影卷积网络的三维形状分割及语义标记方法，输入采用多边形网格的三维形状表示，信息点大限度地 覆盖 形状表面， 渲染 形状为阴影图像和 深度图 像 ，产生双通道图像，经相同图像的全连接网络(FCN)模 块 ，对于每个输入图像每个函数模块输出置信图，图像表面投影层聚合多个视图的 置信度 图，结合边界线索进行表面条件随机域CRF传播，对任务各模块进行训练，最终获得分割语义标记结果。本发明不需要利用任何人工调整几何描述符，减少闭塞和覆盖形状表面，不会丢失显著部分标签，有效地关联信息，闭塞的部分也被标记，保证了分割的完整性和连贯性，方法显著优于以前的方法。，下面是一种基于投影卷积网络的三维形状分割及语义标记方法专利的具体信息内容。
1.一种基于投影卷积网络的三维形状分割及语义标记方法，其特征在于，主要包括数据输入(一)；完全卷积网络(FCN)模块(二)；图像表面投影层(三)；表面条件随机域(CRF)模块(四)；训练(五)。
2.基于权利要求书1所述的数据输入(一)，其特征在于，输入采用多边形网格的三维形状表示，作为预处理，形状表面通过均匀分布点采样(这里采用1024个)；确定紧凑的信息点，最大限度地覆盖形状表面，对于每一个信息点，在一个二值图像的透视投影下，每个角度的形状光栅化，信息点的覆盖范围的测量作为可见的表面点的片段，对形状进行渲染。
3.基于权利要求书2所述的最大限度覆盖形状表面，其特征在于，通过从图像中聚合表面点引用来估计，对于每一个的尺寸，最大覆盖的信息点插入到列表中，然后重新估计覆盖在这个规模，选择信息点覆盖了省略点，与下一个大范围的信息点添加到列表；重复该过程，直到所有表面点在此规模被覆盖。
4.基于权利要求书2所述的渲染，其特征在于，确定信息点收集，渲染形状为阴影图像和深度图像，对于每一个信息点，放置一个摄像头指向的表面点用于生成这种信息点，并旋转向量4次，每次90度(即使用4个平面内旋转)，这4个旋转，渲染阴影和深度图像，连接成一个双通道图像，这些图像被馈送作为输入到图像网络处理模块(FCN)，栅格化形状到另一个图像，每个像素存储多边形ID，投影最接近的像素中心，这些图像称为“表面参考”的图像，被馈送到网络的“投影层”。
5.基于权利要求书1所述的FCN模块(二)，其特征在于，在上一步产生双通道图像，经相同图像的全连接网络(FCN)模块，对于每个输入图像每个函数模块输出L置信图，大小为768×768，其中L是部分标签数量，由于输入是一个2通道的图像，使用2通道3×3过滤器，适应这些过滤器来处理灰度而不是彩色图像，上采样置信图大小768×768通过转置卷积层(“去卷积”)，置信度通过CRF层转换成概率。
6.基于权利要求书1所述的图像表面投影层(三)，其特征在于，这一层的目标是聚合多个视图的置信度图，并将结果投影到三维表面上；位置和最佳角度的数量和形状都不同，且无规则，给定输入形状s的输入图像Ms，L从FCN模块提取的置信图叠成一个Ms×768×768×L图像，投影层作为输入这四维图像，这层输出Fs×L列，其中Fs是形状s的多边形数，投影是通过视图池操作完成的，对于每个表面多边形f和部分类别标签l，分配置信度P(f，l)等于在所有像素和输入图像映射到该多边形根据表面参考图像的最大标签的置信度，投影操作公式为：
C(m,i,j,l)是图像m的像素(i,j)的标签l的置信度，I(m,i,j)储存相应的参考图像m像素(i,j)多边形ID； 是标记多边形f的标签l的输出置信度。
7.基于权利要求书1所述的表面CRF(四)，其特征在于，一些小的表面区域可能是高度封闭的，因此未观测到所有选定的信息点，或不包括在任何参考图像中，任何这样的多边形，标签的置信度都设置为零，正确的标签将通过在投影层之后的条件随机域(CRF)层传播；此外，由于采样的函数模块，有可能在表面凸起或凹陷，可能是分割边界，需要结合表面边界线索进行CRF操作。
8.基于权利要求书7所述的CRF操作，其特征在于，在曲面表示(法)中定义CRF操作处理，每个多边形f被分配一个随机变量Rf代表其标签；CRF包括每个变量的一元因素，这是在投影层根据置信度设置的： CRF编码这些变量之间相互作用
的基础上的表面接近和曲率，每对相邻的多边形(f,f′)，定义了一个考虑其法线之间的角度ωf,f′的因素，有利于多边形共享法线相同的标签，公式如下：
其中wadj和wl,l′是学习因子和标签相关权重；
定义多边形f类似标签的因素f′，根据之间的测地线距离df,f′，空间上彼此接近；使CRF相对密集和更敏感的远程表面变量之间的相互作用，这些因素被定义如下：
其中依赖因子的权重wdist和依赖标签的权重wl,l′是学习获得的参数，df,f′代表f和f′之间的测地距离，距离归一化为[0，1]；
基于上述所有因素，CRF定义在所有的表面随机变量 形状的如下：
Zs是一个归一化常数。
9.基于权利要求书1所述的训练(四)，其特征在于，FCN模块与过滤器预训练图像处理任务初始化，网络输入呈现灰度(无色)的图像，平均卷积层预训练过滤器BGR通道的权重，即3×3×3滤波器转换为颜色不敏感3×3×1过滤器，复制两次权重3×3×2过滤器，接受双输入图像，CRF的权重初始化为1；
给定一个输入训练数据集的3D形状，生成深度、阴影和参考图像，微调FCN模块滤波参数θ学习CRF的权重wadj、wdist和{wl,l′}，使目标函数最大化，加上一个小的正则化项，公式如下：
Ts是训练形状s的每个表面变量对照标签，λ是正则化参数(权重衰减)设置为10-3。
10.基于权利要求书8所述的目标函数最大化，其特征在于，基于目标函数最大化的CRF，计算FCN模块输出所需的反向传播梯度：
计算梯度需要估计边际概率P(Rf)，用平均场推理估计边际(相同的推理过程是在训练和测试使用)，10次迭代之后，平均场收敛，即边际变化很小，CRF具有对数线性模型的形式，梯度可以很容易地导出，边缘概率也需要通过这些梯度计算，使用相同的平均场的过程估计。
一种基于投影卷积网络的三维形状分割及语义标记方法
技术领域
背景技术
发明内容
具体实施方式
边形(f,f′)，定义了一个考虑其法线之间的角度ωf,f′的因素，有利于多边形共享法线相同的标签，公式如下：
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 基于合作感知的插电式混合动力汽车能量优化控制方法 | 2020-05-16 | 31 |
| 政府综合业务平台业务库和基础库的构建方法 | 2020-05-25 | 842 |
| 政府综合业务平台业务库和基础库的构建方法 | 2020-06-03 | 566 |
| 对象检测方法、装置、计算机可读存储介质和计算机设备 | 2020-05-12 | 884 |
| 一种面向机器人智能抓取应用的视觉识别与定位方法 | 2020-05-18 | 476 |
| 基于IFC数据交互的工程项目信息交付集成管理系统 | 2020-05-21 | 425 |
| 同步共享初始过滤规则集配置数据的方法、装置及系统 | 2020-06-09 | 1005 |
| 一种企业异构数据库智能集成的系统及方法 | 2020-05-23 | 57 |
| 大型防火墙集群中的定时管理 | 2020-05-20 | 808 |
| 基于人机协作的机器人感知与理解方法 | 2020-05-22 | 475 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
