技术领域
[0001] 本
发明属于深度图像超分辨率技术领域，更具体地，涉及一种基于多源深度残差网络的深度图像超分辨率方法及装置。
背景技术
[0002] 深度图像超分辨是一种特定领域的超分辨率方法，该方法从一张或多张输入的低分辨率(Low Resolution，LR)图像中重建高分辨率(High Resolution，HR)深度图像，被广泛应用在
三维重建、三维电视、
机器人目标
感知等
计算机视觉领域。
[0003] 在深度图像中，
像素值代表了物体与相机之间的距离，因此深度图像中的纹理信息在距离识别中起着重要的作用。然而，由于深度
传感器的限制，深度图像的分辨率和
质量往往低于相应的高分辨率彩色图像。因此，从低分辨率图像中恢复高分辨率深度图像对计算机视觉至关重要。
[0004] 一般来说，现有的超分辨率方法大多可以直接应用于单张深度图像的超分辨率任务。然而，考虑到深度图像的特殊性，人们提出了各种增强深度图像边缘的方法。例如，为了获得高质量的信息提出了一种边缘引导的深度图像超分辨率方法；利用加权分析表示模型指导深度图像增强的方法。除上述方法之外，一些基于RGBD图像融合的深度图像SR重建方法被提出，例如，利用高阶正则化融合彩色和深度信息。
[0005] 最近，
卷积神经网络在超分辨率任务上表现出了良好的性能。例如：SRCNN使用卷积神经网络的图像超分辨率，它提供了低分辨率和高分辨率图像之间的端到端映射，但其训练收敛速度太慢，得到的高频信息不够准确。因此，VDSR利用更深层次的残差网络架构来追求精确的高频细节
渲染。而对于深度图像，一些方法使用生成式对抗网络(GAN)同时进行彩色图像和深度图像超分辨率任务。虽然它们利用GAN对纹理信息进行了重建，但是生成的梯度信息并不稳定。除此之外，有的方法使用多尺度卷积神经网络(MS-Net,MSG-Net)将彩色和深度图像融合到特征域中。此方法虽然有效地改善了深度图像的边缘质量，但是为深度图像创建了冗余细节，而且彩色和深度在特征域的融合抑制了超分辨率重建过程中的高频信息的产生。
发明内容
[0006] 针对
现有技术的以上
缺陷或改进需求，本发明提出了一种基于多源深度残差网络的深度图像超分辨率方法及装置，由此解决如何提升网络的重建性能，使得重建后的深度图像有较高质量的纹理信息的技术问题。
[0007] 为实现上述目的，按照本发明的一个方面，提供了一种基于多源深度残差网络的深度图像超分辨率方法，包括：
[0008] (1)分别将高分辨率深度图像和高分辨率彩色图像下
采样至对应的目标低分辨率深度图像和目标低分辨率彩色图像，将所述高分辨率深度图像与对应的所述目标低分辨率深度图像输入深度图像超分辨率网络进行训练，以提取所述目标低分辨率深度图像的残差信息，将所述高分辨率彩色图像与对应的所述目标低分辨率彩色图像输入彩色图像超分辨率网络进行训练，以提取所述目标低分辨率彩色图像的残差信息；
[0009] (2)将所述目标低分辨率深度图像的残差信息和所述目标低分辨率彩色图像的残差信息进行拼接后，在残差融合网络进行融合，得到融合后的残差信息；
[0010] (3)利用所述融合后的残差信息和所述目标低分辨率深度图像来重建高分辨率深度图像，得到最终的高分辨率深度图像。
[0011] 优选地，步骤(1)包括：
[0012] (1.1)分别将高分辨率深度图像和高分辨率彩色图像
下采样至对应的目标低分辨率深度图像和目标低分辨率彩色图像；
[0013] (1.2)将所述高分辨率深度图像分为若干高分辨率深度图像
块，将对应的所述目标低分辨率深度图像分为若干低分辨率深度图像块，将所述高分辨率彩色图像分为若干高分辨率彩色图像块，将对应的所述目标低分辨率彩色图像分为若干低分辨率彩色图像块；
[0014] (1.3)将各高分辨率深度图像块与对应的各低分辨率深度图像块输入深度图像超分辨率网络进行训练，以提取各低分辨率深度图像块的残差信息，将各高分辨率彩色图像块与对应的低分辨率彩色图像块输入彩色图像超分辨率网络进行训练，以提取各低分辨率彩色图像块的残差信息；
[0015] (1.4)将各低分辨率深度图像块的残差信息进行融合得到所述目标低分辨率深度图像的残差信息，将各低分辨率彩色图像块的残差信息进行融合得到所述目标低分辨率彩色图像的残差信息。
[0016] 优选地，由 提取第j个低分辨率彩色图像块的残差信息，由 提取第j个低分辨率深度图像块
的残差信息，其中， 表示彩色图像超分辨率网络第20层的权重， 表示深度图像超分辨率网络第20层的权重， 表示彩色图像超分辨率网络第19层产生的特征图，表示深度图像超分辨率网络第19层产生的特征图， 表示彩色图像超分辨率网络第20层的偏置项， 表示深度图像超分辨率网络第20层的偏置项。
[0017] 优选地，步骤(2)包括：
[0018] (2.1)由Concat函数将所述目标低分辨率深度图像的残差信息和所述目标低分辨率彩色图像的残差信息进行拼接得到拼接后的残差图；
[0019] (2.2)在残差融合网络中，将所述拼接后的残差图中不同通道的每个像素进行组合，得到融合后的残差信息。
[0020] 优选地，由 得到融合后的残差信息，其中，fCa(XC,XD)表示拼接后的残差图， 表示残差融合网络中第2层的权重矩阵， 为残差融合网络中第1层生成的特征图， 为残差融合网络中第
二层的偏置项，XC表示与高分辨率彩色图像大小相同的低分辨率彩色图像，XD表示与高分辨率深度图像大小相同的低分辨率深度图像。
[0021] 优选地，步骤(3)包括：
[0022] 由Y(XD)＝RF(fCa(XC,XD))+XD得到最终的高分辨率深度图像。
[0023] 优选地，所述彩色图像超分辨率网络的损失函数为：其中， 为第j个高分辨率彩色图像块， 为第j个低分辨率彩色图像块。
[0024] 优选地，所述深度图像超分辨率网络的损失函数为：其中， 为第j个高分辨率深度图像块， 为第j个低分辨率深度图像块。
[0025] 优选地，所述多源深度残差网络的损失函数为：Loss＝LossC+LossD。
[0026] 按照本发明的另一个方面，提供了一种基于多源深度残差网络的深度图像超分辨率装置，包括：
[0027] 残差信息获取模块，用于分别将高分辨率深度图像和高分辨率彩色图像下采样至对应的目标低分辨率深度图像和目标低分辨率彩色图像，将所述高分辨率深度图像与对应的所述目标低分辨率深度图像输入深度图像超分辨率网络进行训练，以提取所述目标低分辨率深度图像的残差信息，将所述高分辨率彩色图像与对应的所述目标低分辨率彩色图像输入彩色图像超分辨率网络进行训练，以提取所述目标低分辨率彩色图像的残差信息；
[0028] 融合模块，用于将所述目标低分辨率深度图像的残差信息和所述目标低分辨率彩色图像的残差信息进行拼接后，在残差融合网络进行融合，得到融合后的残差信息；
[0029] 重建模块，用于利用所述融合后的残差信息和所述目标低分辨率深度图像来重建高分辨率深度图像，得到最终的高分辨率深度图像。
[0030] 总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
[0031] 本发明利用纹理信息丰富的彩色图像引导深度图像进行重建。因为残差信息代表图像的高频信息，因此该方法首先将高分辨率图像下采样至目标低分辨率图像，并且在双分支网络中分别提取输入的低分辨率彩色图像和深度图像的残差信息，然后将提取到的彩色图像和深度图像的残差信息在融合网络进行融合，最后利用融合的残差信息和输入的低分辨率深度图像对目标高分辨率深度图像进行重建。本方法提升了网络的重建性能，使得重建后的深度图像有较高质量的纹理信息。
附图说明
[0032] 图1是本发明
实施例提供的一种方法流程示意图；
[0033] 图2是本发明实施例提供的一种网络结构图；
[0034] 图3是本发明实施例提供的一种多源深度残差网络在尺度因子为2下的恢复图像；
[0035] 图4是本发明实施例提供的一种多源深度残差网络在尺度因子为4下的恢复图像。
具体实施方式
[0036] 为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
[0037] 本发明提出了一种基于多源深度残差网络的深度图像超分辨率方法及装置，充分利用了多源信息，即彩色图像丰富的纹理信息和残差信息代表着高频信息的优点，提升了网络的性能，提高了重建的深度图像的质量。
[0038] 如图1所示是本发明实施例提供的一种方法流程示意图，基于图2所示的网络结构实现，该方法包括以下步骤：
[0039] S1：将M张高分辨率彩色图像和深度图像下采样至对应的目标低分辨率图像，然后将彩色图像和深度图像分别分为N个彩色图像块和深度图像块。将高-低分辨率图像块对分别传送到彩色图像超分辨率网络(如图2中C-网络)和深度图像超分辨率网络(如图2中D-网络)中进行训练，以提取彩色图像块的残差信息和深度图像块的残差信息；
[0040] 如图2所示，C-网络包含20个CR块，每一个CR块包含一个卷积层一个Relu函数，在C-网络的最后一层使用融合操作将残差块融合为整张残差图像。
[0041] 如图2所示，D-网络包含20个CR块，每一个CR块包含一个卷积层一个Relu函数，在网络的最后一层使用融合操作将残差块融合为整张残差图像。
[0042] 在本发明实施例中，步骤S1可以通过以下方式实现：
[0043] S11：M对高分辨率深度图像 和彩色图像 此时i是训练样本的索引。将高分辨率深度图像和彩色图像进
行尺度因子为t的下采样，得到M对低分辨率深度图像 和彩色图像
此时
[0044] 其中， 表示与高分辨率彩色图像大小相同的低分辨率深度图像， 表示高分辨率深度图像， 表示与高分辨率彩色图像大小相同的低分辨率彩色图像， 表示高分辨率彩色图像， 表示低分辨率深度图像， 表示低分辨率彩色图像，m表示图像的宽，n表示图像的高。
[0045] S12：将M对高-低分辨率图像对分为N对高-低分辨率深度图像块 和彩色图像块 j为图像块的索引；
[0046] 其中， 表示第j个低分辨率深度图像块， 表示第j个高分辨率深度图像块，表示第j个低分辨率彩色图像块， 表示第j个高分辨率彩色图像块。
[0047] S13：将N对高-低分辨率图像块送入双分支网络，即彩色图像超分辨率网络(C-网络)和深度图像超分辨网络(D-网络)中来获得高质量残差信息。即：
[0048]
[0049]
[0050] 其中， 和 分别表示C-网络和D-网络第20层的权重， 和分别表示C-网络和D-网络第19层产生的特征图， 和 分别表示C-网络和D-网络第20层的偏置项。
[0051] S2：将获得彩色图像残差块和深度图像残差块进行融合，来得到彩色图像残差信息和深度图像残差信息；
[0052] 其中，在步骤S2中，将获得的两种残差信息块分别经过融合操作来得到整张残差图。
[0053] S3：将获得的彩色图像残差信息和深度图像残差信息拼接后在融合网络进行融合；
[0054] 如图2所示，融合网络由一个CR块和一个3*3的卷积层构成。
[0055] 在本发明实施例中，步骤S3可以通过以下方式实现：
[0056] S31：将获得的彩色图像残差信息和深度图像残差信息拼接，即：
[0057] fCa(XC,XD)＝Concat(fC(XC),fD(XD)) (3)
[0058] 其中，Concat函数在第三维连接多源残差信息，fC(XC)和fD(XD)分别为融合后的彩色残差信息和深度残差信息；
[0059] 其中，XC表示与高分辨率彩色图像大小相同的低分辨率彩色图像，XD表示与高分辨率深度图像大小相同的低分辨率深度图像。
[0060] S32：在残差融合网络中，1×1卷积核是一个线性组合，可以将不同通道的每个像素进行组合。得到最终的融合残差为：
[0061]
[0062] 其中， 表示残差融合网络中第2层的权重矩阵， 为第1层生成的特征图， 为第二层的偏置项。
[0063] S4：利用融合后的残差信息与输入的低分辨率深度图像对目标高分辨率深度图像进行重建，最终得到超分后的高质量深度图像。
[0064] 在本发明实施例中，步骤S4可以通过以下方式实现：
[0065] S41：利用融合后的残差信息与输入的低分辨率深度图像对高分辨率深度图像进行重建，最终得到超分后的高质量深度图像。即：
[0066] Y(XD)＝RF(fCa(XC,XD))+XD (5)
[0067] 在本发明实施例中，网络的损失函数为：
[0068]
[0069]
[0070] 其中，LossC和LossD分别为C-网络和D-网络的损失函数， 和 分别为高分辨率彩色图像块和深度图像块。 和 分别为低分辨率彩色图像块和深度图像块。整个多源残差网络的损失函数即：
[0071] Loss＝LossC+LossD (8)
[0072] 测试实施例
[0073] 本发明在公共
数据库MPI Sintel和Middlebury上展开。在Middlebury数据库中，第6对、第10对和第18对图像来自2001年、2006年和2014年的数据集。本发明从MPI Sintel数据库中选取了58对图像大小为1024×436像素的彩色-深度图像对，从Middlebury数据库中选取了34对图像大小为1300×1110像素的彩色-深度图像对。使用82对图像进行训练，10对图像进行验证。
[0074] 在训练和测试过程中，首先使用尺度因子为t对高分辨率图像进行下采样，得到低分辨率图像。训练时将整幅
图像分割成大小为61×61像素的图像块，尺度因子t∈{2,4,8}。然后将图像块对送入网络中进行训练，利用公式(6)和(7)来优化网络，在优化后的网络中用公式(1)和(2)获得彩色残差信息和深度残差信息。利用公式(3)将获得的彩色图像残差信息和深度图像残差信息拼接，将拼接后的残差信息在残差融合网络中利用公式(4)融合。
最后利用公式(5)将融合后的残差信息与输入的低分辨率深度图像对高分辨率深度图像进行重建，最终得到超分后的高质量深度图像。
[0075] 本发明与其他的深度图像超分辨率方法不同，以下提供实验对比说明本方法的有效性。
[0076] 多源深度残差网络重建后的深度图像如图3和图4所示所示，实验对比
算法为Park等人的“Park J,Kim H,Tai Y W,et al.High quality depth map upsampling for 3d-tof cameras[C].2011International Conference on Computer Vision.IEEE,2011:1623-1630”，Ferstl等人的“Ferstl D,Reinbacher C,Ranftl R,et al.Image guided depth upsampling using anisotropic total generalized variation[C].Proceedings of the IEEE International Conference on Computer Vision.2013:993-1000”，Gu等人的“Gu S,Zuo W,Guo S,et al.Learning dynamic guidance for depth image enhancement[C].Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.2017:3769-3778”，SRCNN，Wang等人的“Wang Z,Liu D,Yang J,et al.Deep networks for image super-resolution with sparse prior[C].Proceedings of the IEEE international conference on computer vision.2015:370-378”，MS-Net和MSG-Net(MS-Net的提升版本)，Ground-truth为原始高分辨率图像，MSRFN为本发明方法。
[0077] 在本发明实施例中，把均方根误差(RMSE)作为客观评估标准。实验结果(表格中粗体表示最佳性能，下划线表示次好性能)及对比如下表1和表2所示：
[0078] 表1
[0079]
[0080] 表2
[0081]
[0082] 从以上表1和表2可以看出，与Park等人的方法，Ferstl等人的方法，和MSG-Net(MS-Net的提升版本)相比，本发明在均方误差上低于其他方法。
[0083] 在本发明的另一实施例中，还提供了一种基于多源深度残差网络的深度图像超分辨率装置，包括：
[0084] 残差信息获取模块，用于分别将高分辨率深度图像和高分辨率彩色图像下采样至对应的目标低分辨率深度图像和目标低分辨率彩色图像，将高分辨率深度图像与对应的目标低分辨率深度图像输入深度图像超分辨率网络进行训练，以提取目标低分辨率深度图像的残差信息，将高分辨率彩色图像与对应的目标低分辨率彩色图像输入彩色图像超分辨率网络进行训练，以提取目标低分辨率彩色图像的残差信息；
[0085] 融合模块，用于将目标低分辨率深度图像的残差信息和目标低分辨率彩色图像的残差信息进行拼接后，在残差融合网络进行融合，得到融合后的残差信息；
[0086] 重建模块，用于利用融合后的残差信息和目标低分辨率深度图像来重建高分辨率深度图像，得到最终的高分辨率深度图像。
[0087] 其中，各模块的具体实施方式可以参考方法实施例的描述，本发明实施例将不再复述。
[0088] 需要指出，根据实施的需要，可将本
申请中描述的各个步骤/部件拆分为更多步骤/部件，也可将两个或多个步骤/部件或者步骤/部件的部分操作组合成新的步骤/部件，以实现本发明的目的。
[0089] 本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何
修改、等同替换和改进等，均应包含在本发明的保护范围之内。
