一种基于深度卷积神经网络的深度图增强方法专利检索-滤波器组信号处理专利检索查询-专利查询网

一种基于深度 卷积神经网络的深度图增强方法

阅读：469发布：2020-05-08

专利汇可以提供一种基于深度卷积神经网络的深度图增强方法专利检索，专利查询，专利分析的服务。并且本发明涉及一种基于深度卷积神经网络的深度图增强方法，其特征在于：在由粗到细的深度图增强框架下，通过保持高分辨率纹理图特征，基于卷积神经网络逐步提取纹理图多尺度指导特征，该设计有效提升多尺度指导特征提取的质量；利用稠密连接优化指导特征的使用效率，逐步细化深度图特征；此外，通过引入全局和局部残差学习，实现低质量深度图多频率成分逐步恢复。本发明能够获得高质量深度图，且易于使用，具有运行速度快的优点。，下面是一种基于深度卷积神经网络的深度图增强方法专利的具体信息内容。

权利要求

1.一种基于深度卷积神经网络的深度图增强方法，其特征在于：包括以下步骤：
步骤1 ：准备阶段，构建用于训练深度卷积神经网络的纹理图和深度图图像对；
步骤2 ：网络构建阶段，构建深度卷积神经网络由粗到细地增强深度图；
步骤3 ：训练阶段，设计损失函数，迭代优化损失函数，减少损失代价；
步骤4 ：测试阶段，输入测试高分辨率纹理图和低分辨率深度图，获取增强的深度图。
2.根据权利要求1所述的一种基于深度卷积神经网络的深度图增强方法，其特征在于：
将网络中收集的高分辨率纹理图和深度图裁剪成具有重叠区域的子图像对，并适当通过旋转和加噪增强训练集；然后，将训练集分为训练数据集和验证数据集两部分，在训练过程中，随机读取训练数据中的图像对作为神经网络的输入。
3.根据权利要求2所述的一种基于深度卷积神经网络的深度图增强方法，其特征在于：
利用稠密连接优化指导特征的使用效率，逐步细化深度图特征，保持高分辨率纹理图特征，基于卷积神经网络逐步提取纹理图多尺度指导特征，通过引入全局和局部残差学习，实现低质量深度图多频率成分逐步恢复。
4.根据权利要求3所述的一种基于深度卷积神经网络的深度图增强方法，其特征在于：
对于受到高斯噪声污染的测试深度图，选用加噪训练数据训练模型，并选择二范数设计损失函数；对于无噪测试深度图，选用无噪训练数据训练模型，并选择一范数设计损失函数。
5.根据权利要求4所述的一种基于深度卷积神经网络的深度图增强方法，其特征在于：
参数随机初始化，使用Adam优化器迭代优化损失函数，其中在迭代过程中步长逐步减小，当验证集上的性能连续5个训练集遍历都无法改善时，停止训练过程。
6.根据权利要求4所述的一种基于深度卷积神经网络的深度图增强方法，其特征在于：
读取测试的纹理图和低质量深度图，通过深度卷积神经网络前向传播，获取高质量深度图。
7.根据权利要求4所述的一种基于深度卷积神经网络的深度图增强方法，其特征在于：
其中，构造深度卷积神经网络：该网络包含两个支路，即指导特征提取支路和深度图增强支路，在指导特征提取支路中设立高分辨率纹理特征提取部分，多尺度指导特征直接从该部分通过Maxpooling获取；指导特征提取支路逐步2 下采样高分辨率纹理图指导特征，而深度图增强支路逐步2 上采样深度图特征；在每个尺度的深度图特征细化过程中，当前尺度纹理指导特征、深度图特征与所有粗尺度指导特征、深度图特征稠密连接；采用全局残差学习一方面使得仅仅需要通过网络恢复高质量深度图与初始增强的深度图之间的残差信息，另一方面大部分网络单元仅需要生成高频细节相关的特征；除全局残差学习外，每个深度图特征细化单元均引入局部残差学习，侧重当前尺度下高频率频率细节的恢复；其中，基本组成单元的计算公式如下所示；
                              (2)
                              (3)
                                (4)
其中，和分别是输出特征和输入特征，和是卷积层的滤波器权重和偏置，代表Prelu激活函数，是可学习的标量，和分别表示卷积和转置卷积操作。

说明书全文

一种基于深度卷积神经网络的深度图增强方法

技术领域

[0001] 本发明涉及一种基于深度卷积神经网络的深度图增强方法，其为一种基于多尺度指导稠密连接神经网络的深度图增强方法，属于多媒体技术领域，具体属于数字图像和数字视频处理技术领域。

背景技术

[0002] 围绕深度图增强，近年来，大量方法被提出，本发明基于深度卷积神经网络挖掘高分辨率纹理图多尺度指导特征，由粗到细重构深度图丢失的多频率成分。

[0003] 深度图增强方法按照是否使用训练集，可以分为两类：基于模型定义的方法和基于数据驱动的方法。基于模型定义的方法不需要训练集，它可以分为基于滤波的方法和基于全局优化的方法。基于滤波的方法通过优化局部区域，独立计算每个像素的深度值。Kopf等人提出的联合双边滤波器（JBU）框架是首个基于滤波器的深度图增强方法。低分辨率深度图边界在配对的高分辨率纹理图边界的引导下，使用双边滤波器技术增强。Liu等人提出了一个JBU方法的变种，将颜色和图像坐标构成联合空间以替代这两者的独立空间，并在该联合空间上通过计算测地距获取自适应加权平均的权重。Yang等人在预设的深度值标签下计算代价集合，并迭代优化深度图。该代价集合中的每一个元素都是在特定深度值标签下使用联合双边滤波器计算得到。He等人提出一种用于深度图增强的图像引导滤波。它假设算法输出和匹配的引导图之间的边界出现的位置是一致的，并将这两张图像的关系建模成局部线性以仿真该假设。Min等人提出一种基于深度值标签的联合直方图加权模式滤波器（WMF）。该算法在一范数最优的条件下增强深度图，其获取的结果相比于二范数最优的方法展示出对异常值的鲁棒性。Lo等人提出一种联合三边滤波器用于深度图增强。该滤波器与联合双边滤波器不同的是其引入了低分辨率深度图的局部梯度信息。与Lo等人不同，Hua等人提出的深度图超分辨率重建算法采用层次递进滤波过程充分利用了深度图的局部梯度信息。基于滤波器的算法复杂度较低，但由于它仅仅考虑局部信息，所以其去噪能力有限。

[0004] 与基于滤波器的算法比较，基于全局优化的方法对噪声更鲁棒。Diebel等人将深度图超分辨率重建建模成马尔可夫随机场中的多标签优化问题。Lu等人在Diebel等人的框架下设计了一个更符合深度图统计特性的数据项。Zhu等人通过在能量函数中引入空间和时域信息将静态马尔可夫随机场拓展为动态马尔可夫随机场。该模型提升了动态场景深度图超分辨率重建的准确性和稳定性。Park等人将非局部约束正则项引入能量函数，并提出一个该项的自适应权重计算方法。该权重的计算由高分辨率纹理图中的边界、梯度和分割信息联合决定。Ferstl等人设计了一个二阶变分平滑性约束作为能量函数正则项，并使用由高分辨率纹理图中提取的各向异性张量引导深度图超分辨率重建。Yang等人基于自回归模型（AR）实现了深度图超分辨率重建。每个像素的自回归预测器由初始上采样的深度图的局部信息和与其配对的高分辨率纹理图的非局部相似性决定。Liu等人使用基于鲁棒的M估计器设计了约束正则项。它对在深度图超分辨率重建任务中深度图与配对的纹理图边界不一致的问题给出了隐式的解决方案。尽管该类方法相比于基于滤波的方法更鲁棒，但是，其和基于滤波的方法一样，预设的模型并不能精细的描述深度图和纹理图之间的关系。

[0005] 与基于模型的方法不同，基于数据驱动的方法通过使用训练数据，从数据中拟合低分辨率深度图和高分辨率深度图之间的映射关系。Li等人首次将稀疏编码用于引导性深度图超分辨重建中。它联合训练了低分辨率深度图像块、高分辨率深度图像块和高分辨率纹理图像块的三个字典。在重建阶段，深度图使用在已学习到的字典上的稀疏表示得到增强。Kwon等人使用多尺度训练机制联合训练了低分辨率深度图像块、高分辨率深度图像块和高分辨率纹理图像块的三个字典。此外，该方法在重建阶段的目标函数中显式对图像块之间的重叠区域附加了一致性约束。Kiechle等人将分析算子的共轭稀疏性用于纹理-深度图像对中，并使用数据项和基于纹理引导的稀疏限制重建高分辨率深度图。除了稀疏编码，最近发表的基于深度卷积神经网络的工作展现出比传统机器学习方法（支持向量机、稀疏编码）更强大的模型表征能力。Dong等人首次将深度卷积神经网络引入彩色图超分辨率重建任务中。不同于Dong等人提出的网络，本专利提出的网络不使用固定的上采样参数，这些参数均通过学习获取。Hui等人首次提出一个用于深度图超分辨率重建的多尺度引导性深度卷积神经网络。它通过多尺度融合机制使用高分辨率纹理图特征增强低分辨率深度图特征。然而，已有的深度卷积神经网络的指导特征利用率低，无法综合运用多尺度指导特种增强深度特征。

[0006] 鉴于现有方法的缺点，需要一种简洁而有效的纹理图指导特征提取和使用方法。本发明提出一种基于多尺度指导特征稠密连接的深度卷积残差网络用于增强深度图。

发明内容

[0007] 本发明所要解决的技术问题在于提供一种基于深度卷积神经网络的深度图增强方法，在由粗到细的深度图增强框架下，通过保持高分辨率纹理图特征，基于卷积神经网络逐步提取纹理图多尺度指导特征，该设计有效提升多尺度指导特征提取的质量；利用稠密连接优化指导特征的使用效率，逐步细化深度图特征；此外，通过引入全局和局部残差学习，实现低质量深度图多频率成分逐步恢复，当前的工作为进一步探讨将深度卷积神经网络方法用于深度图增强提供了一种可选择的网络框架。该方法给进一步研究基于深度卷积神经网络的深度图增强提供了一种新的思路。

[0008] 一种基于深度卷积神经网络的深度图增强方法，其特征在于：包括以下步骤：步骤1 ：准备阶段，构建用于训练深度卷积神经网络的纹理图和深度图图像对；
步骤2 ：网络构建阶段，构建深度卷积神经网络由粗到细地增强深度图；
步骤3 ：训练阶段，设计损失函数，迭代优化损失函数，减少损失代价；
步骤4 ：测试阶段，输入测试高分辨率纹理图和低分辨率深度图，获取增强的深度图。

[0009] 进一步地，将网络中收集的高分辨率纹理图和深度图裁剪成具有重叠区域的子图像对，并适当通过旋转和加噪增强训练集；然后，将训练集分为训练数据集和验证数据集两部分，在训练过程中，随机读取训练数据中的图像对作为神经网络的输入。

[0010] 进一步地，利用稠密连接优化指导特征的使用效率，逐步细化深度图特征，保持高分辨率纹理图特征，基于卷积神经网络逐步提取纹理图多尺度指导特征，通过引入全局和局部残差学习，实现低质量深度图多频率成分逐步恢复。

[0011] 进一步地，对于受到高斯噪声污染的测试深度图，选用加噪训练数据训练模型，并选择二范数设计损失函数；对于无噪测试深度图，选用无噪训练数据训练模型，并选择一范数设计损失函数。

[0012] 进一步地，参数随机初始化，使用Adam优化器迭代优化损失函数，其中在迭代过程中步长逐步减小，当验证集上的性能连续5个训练集遍历都无法改善时，停止训练过程。

[0013] 进一步地，读取测试的纹理图和低质量深度图，通过深度卷积神经网络前向传播，获取高质量深度图。

[0014] 进一步地，其中，构造深度卷积神经网络：该网络包含两个支路，即指导特征提取支路和深度图增强支路，在指导特征提取支路中设立高分辨率纹理特征提取部分，多尺度指导特征直接从该部分通过Maxpooling获取；指导特征提取支路逐步2 下采样高分辨率纹理图指导特征，而深度图增强支路逐步2 上采样深度图特征；在每个尺度的深度图特征细化过程中，当前尺度纹理指导特征、深度图特征与所有粗尺度指导特征、深度图特征稠密连接；采用全局残差学习一方面使得仅仅需要通过网络恢复高质量深度图与初始增强的深度图之间的残差信息，另一方面大部分网络单元仅需要生成高频细节相关的特征；除全局残差学习外，每个深度图特征细化单元均引入局部残差学习，侧重当前尺度下高频率频率细节的恢复；其中，基本组成单元的计算公式如下所示；      (2)
      (3)
   (4)
其中，和分别是输出特征和输入特征，和是卷积层的滤波器权重和偏置，代表Prelu激活函数，是可学习的标量，和分别表示卷积和转置卷积操作。

[0015] 下面将简述各步骤：构建深度卷积神经网络训练集：
该部分是对网络收集的高分辨率纹理图和深度图裁剪成具有重叠区域的子图像对，并适当通过旋转和加噪增强训练集；然后，将训练集分为训练数据集和验证数据集两部分。

[0016] 构建深度卷积神经网络：该网络包含两个支路，即指导特征提取支路和深度图增强支路。前者提取多尺度高分辨率纹理图指导特征，后者逐步重建高质量深度图特征；多尺度纹理指导特征与深度图特征稠密连接，全局残差学习和局部残差学习，逐步恢复深度图各高频率细节。

[0017] 设计损失函数：损失函数是对于受到高斯噪声污染的测试深度图，选用加噪训练数据训练模型，并选择二范数设计损失函数，对于无噪测试深度图，选用无噪训练数据训练模型，并选择一范数设计损失函数。

[0018] 训练细节：网络参数随机初始化，使用Adam优化器迭代优化损失函数，其中在迭代过程中步长逐步减小。当验证集上的性能连续5个训练集遍历都无法改善时，停止训练过程。

[0019] 测试阶段：读取测试的纹理图和低质量深度图，通过神经网络前向传播，获取高质量深度图。

[0020] 本发明能够获得很好的深度图增强效果，具有使用简便，运行速度快的优点。附图说明

[0021] 图1为本发明的框架流程图；图2为本发明的网络构造示意图；
图3为本发明的所提出的网络用于无噪深度图的增强效果图；
图4为本发明的所提出的网络用于有噪深度图的增强效果图。

具体实施方式

[0022] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

[0023] 其中，本文所涉及的技术特征、简写/缩写、符号等，以本领域技术人员的公知认识/通常理解为基础进行解释、定义/说明。

[0024] 如图1所示，一种基于深度卷积神经网络的深度图增强方法，在给定高分辨率纹理图和低分辨率深度图，期望通过神经网络学习生成函数获得高分辨率深度图，其中，是神经网络中可训练的参数集合。本算法特征包含以下步骤：构建深度卷积神经网络训练集：
本发明所提及的深度卷积神经网络训练集构建方法，首先是网络上收集的RGB-D图像对，裁剪成子图像，并在需要的情况下做数据增强；具体做法首先是给定每一幅图像，通过旋转，平移或翻转增加原始图像总数，然后将它们裁剪成小分辨率的子图像，深度图和纹理图要配对裁剪。在训练过程中，应随机读取训练数据中的图像对；该部分的映射函数关系如式（1）所示；
(1)
其中，表示变换矩阵，例如，裁剪，旋转等操作，代表加性噪声。

[0025] 构建深度卷积神经网络：构造深度卷积神经网络，如图2所示，该网络包含两个支路，即指导特征提取支路和深度图增强支路，在指导特征提取支路中设立高分辨率纹理特征提取部分，多尺度指导特征直接从该部分通过Maxpooling获取。指导特征提取支路逐步2下采样高分辨率纹理图指导特征，而深度图增强支路逐步2 上采样深度图特征。为了综合使用多尺度纹理图指导特征，在每个尺度的深度图特征细化过程中，当前尺度纹理指导特征、深度图特征与所有粗尺度指导特征、深度图特征稠密连接。此外，全局残差学习的引入一方面使得仅仅需要通过网络恢复高质量深度图与初始增强的深度图之间的残差信息，另一方面大部分网络单元仅需要生成高频细节相关的特征；除全局残差学习，每个深度图特征细化单元均引入局部残差学习，侧重当前尺度下高频率频率细节的恢复；基本组成单元的计算公式如下所示；
         (2)
     (3)
        (4)
其中，和分别是输出特征和输入特征，和是卷积层的滤波器权重和偏置，代表Prelu激活函数，是可学习的标量，和分别表示卷积和转置卷积操作。

[0026] 设计损失函数：训练阶段，设计损失函数，迭代优化损失函数，减少损失代价，对于受到高斯噪声污染的测试深度图，选用加噪训练数据训练模型，并选择二范数设计损失函数，对于无噪测试深度图，选用无噪训练数据训练模型，并选择一范数设计损失函数。损失函数设计如式（5）和式（6）所示，参数随机初始化，使用Adam优化器迭代优化损失函数，其中在迭代过程中步长逐步减小；当验证集上的性能连续5个训练集遍历都无法改善时，停止训练过程；
（5）
（6）
测试阶段:
步骤4 测试阶段，读取测试的纹理图和低质量深度图，通过神经网络前向传播，获取高质量深度图，如式（7）所示。

[0027] (7)其中，是深度卷积神经网络拟合的映射函数。

[0028] 图3是使用本算法增强无噪低分辨率深度图效果图，其中，（a-c）是原始低分辨率深度图，（d-f）是增强的深度图；从图3(d)-(f)可以明显看出，本算法的效果较鲁棒（Robust）。

[0029] 图4是使用本算法增强有噪低分辨率深度图效果图，在该应用中，本算法将联合执行去噪和超分辨率重建，（a-c）是原始低分辨率深度图，（d-f）是增强的深度图；从图3(d)-(f)可以明显看出，本算法具有一定的去噪能力，并能较好恢复高频细节。

[0030] 上述实施方式是对本发明的说明，不是对本发明的限定，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的保护范围由所附权利要求及其等同物限定。

标题	发布/更新时间	阅读量
一种超长距离光纤高精度射频信号传递系统和方法	2020-05-08	426
一种星载同步收发装置及信号处理方法	2020-05-08	630
语音情绪波动分析方法及装置	2020-05-08	191
一种降噪耳机的配置方法、装置及降噪耳机	2020-05-08	572
一种基于反馈信道状态信息的水声OFDMA资源分配方法	2020-05-08	948
一种X/Ku波段幅相控制收发芯片	2020-05-08	717
用于多声道语音识别的自适应音频增强	2020-05-08	161
一种基于深度卷积神经网络的深度图增强方法	2020-05-08	469
一种安全性高的滤波装置	2020-05-08	653
一种可控回击放电直击雷防护装置	2020-05-08	4

一种基于深度卷积神经网络的深度图增强方法

一种基于深度卷积神经网络的深度图增强方法

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：