一种基于深度神经网络进行去除反射和平滑图像的方法

申请号 CN201710736636.6 申请日 2017-08-24 公开(公告)号 CN107464227A 公开(公告)日 2017-12-12
申请人 深圳市唯特视科技有限公司; 发明人 夏春秋;
摘要 本 发明 提出了一种基于 深度神经网络 进行去除反射和平滑图像的方法。其主要内容包括:深度神 经络 结构、边缘预测网络、图像重建网络、反射图像合成、平滑图像生成,其过程为,使用级联边缘和图像学习网络,把直接预测图像的任务分离为预测目标图像的边缘图以及重构目标图像两个子任务,通过级联两个类似的 卷积神经网络 进行端到端学习完成预测任务,边缘图表示特定任务的目标图像中每对相邻 像素 之间的色差,但不作为 边缘检测 问题的稀疏突出结构,由于许多层分离任务缺少标定的事实,故提出一种新型的弱 监督学习 方法训练去除反射的路径,通过模拟自然场景中的物理反射来合成图像,为遥感领域的新设计,以及医学领域的创新解决方案做了进一步贡献。
权利要求

1.一种基于深度神经网络进行去除反射和平滑图像的方法,其特征在于,主要包括深度神经网络结构(一);边缘预测网络(二);图像重建网络(三);反射图像合成(四);平滑图像生成(五)。
2.基于权利要求书1所述的深度神经网络结构(一),其特征在于,使用级联边缘和图像学习网络(CEILNet),调整层分离和图像过滤等不同的图像处理任务,把直接预测图像的任务分离成两个子任务:(i)通过深度监督子网络预测目标图像的边缘图,(ii)改变预测图的边缘映射重构目标图像,通过级联两个类似的CNN进行端到端学习完成预测任务,边缘图表示特定任务的目标图像中每对相邻像素之间的色差,但不作为边缘检测问题的稀疏突出结构,由于许多层分离任务缺少标定的事实,故提出一种新型的弱监督学习方法训练去除反射的路径,通过模拟自然场景中的物理反射来合成图像。
3.基于权利要求书1所述的边缘预测网络(二),其特征在于,边缘预测网络(E-CNN)常S
用于去除反射和平滑图像等图像处理任务,给定源图像I,采用卷积神经网络(CNN)学习目标图像It的边缘图Et,图像I的边缘图E由下式计算:
其中x,y是像素坐标,c表示三原色光模式色彩空间中的通道,增加源图像Is和边缘图像Es作为输入的附加通道,加快训练过程的收敛,
Et=f(Is,Es)                            (2)
E-CNN近似以上f函数。
4.基于权利要求书1所述的图像重建网络(三),其特征在于,图像重建网络(I-CNN)是深度神经网络结构的第二个子网络,通过学习E-CNN预测输入图像Is的目标边缘图像Et的过程来重构目标图像It,近似于下面的g函数:
t s t
I=g(I ,E)                              (3)
输入图像和目标边缘被组合为一个4声道张量作为输入,在基于边缘图像的平滑图像任务中,I-CNN采用多用途数据驱动来替代传统的固定滤波操作。
5.基于权利要求书3所述的卷积神经网络,其特征在于,两个子网络仅在最终输出的通道数量上不同,即对于E-CNN而言通道数量为1,对于I-CNN而言为3,使用32个内核尺寸为3×3的相同卷积层,中间的30个卷积层的输入和输出特征图尺寸为64,31层之后是批量归一化和ReLU激活函数,为了得到更好的上下文信息,下采样内部特征图到一半大小来扩大接收域,然后将第三卷积层的步幅改变为2进行上采样,第三到最后一层卷积层以步幅2进行反卷积,内核大小为4×4,通过这种方式,有效扩大接收域且不会损失图像细节,将中间的
26个卷积层用作13个残差单元,以获得更好的性能和更快的收敛性,为了解决深度网络中的颜色衰减问题,通过 和 放大预测图像,全局色彩
校正在I-CNN后作为一个无参数层实施。
6.基于权利要求书3所述的训练,其特征在于,首先用标定的真实图像及其边缘图分别对子网络进行训练,以保证每个独立网络的最佳表现,然后对整个网络进行端到端的调整,令两个子网络有更多的机会相互配合,将其预测的均方误差进行最小化来训练子网络,其中符号*表示标定的图像,边缘预测损失为:
对于图像预测,最大限度地减少均方误差的颜色差异和渐变的差异:
联合培训阶段,通过最小化损失来训练整个网络:
l(θ)=lI(θ)+γlE(θ)                        (6)
对于去除反射和平滑图像的所有实验,损失系数设置为α=0.2,β=γ=0.4,初始化卷积权重,并训练所有网络,学习率在初始迭代中设置为0.01,微调整个网络后,学习率降低到0.001。
7.基于权利要求书1所述的反射图像合成(四),其特征在于,根据菲涅方程,当入射光穿过具有不同折射率的介质时,该光的一部分将被反射回图像平面,这种反射光对人眼或相机的实际可视性取决于背景场景中传输光的相对强度,因此,通过反射层,透射适度光的背景层部分将被明显地阻挡,因此具有弱比例反射分量的附加模型在物理上并不合理,基于上述观察,开发出一种新方法以合成具有真实背景和反射层的图像,与初始图像混合的一个关键区别在于避免亮度溢出问题,并通过裁剪减去自适应计算的值,这种方式存在以下情况:(i)可能出现与自然现象一致的无反射区域,(ii)其它区域可能会发生强烈的反射,(iii)可以更好地保持反射对比度
8.基于权利要求书7所述的去除反射,其特征在于,使用两个自然图像生成一个包含背景层和反射层的合成图像,得到合成图像,将这些图像分成7643张图像的训练集和850张图像的测试集,用于定量比较,通过R=I-B计算反射图像估计,调整每个图像的的参数,以获得最佳的视觉效果。
9.基于权利要求书1所述的平滑图像生成(五),其特征在于,对于平滑图像,对网络进行训练,以得到现有滤波器的效果,训练数据和测试数据通过应用这些滤波器存在的数据库生成平滑图像。
10.基于权利要求书9所述的平滑图像,其特征在于,使用数据集中的自然图像作为输入,并使用现有的平滑图像算法作为标定实例生成滤波图像,把这些图像馈送到网络但不进行裁剪,并在数据集中随机选取100张图像进行测试,结果表明深度神经网络对反射图像合成和平滑图像生成都有良好的促进效果。

说明书全文

一种基于深度神经网络进行去除反射和平滑图像的方法

技术领域

[0001] 本发明涉及图像处理领域,尤其是涉及了一种基于深度神经网络进行去除反射和平滑图像的方法。

背景技术

[0002] 平滑图像是对图像作低通滤波,进行压制、弱化或消除图像中的细节、突变、边缘和噪声等图像处理任务,去除反射是通过计算机算法消除照片中的反射,去除反射和平滑图像常用于遥感,医学,海洋,监控以及摄影等领域。具体的,在遥感领域,在卫星遥感影像图中使用平滑图像和反射去除的相关算法,得到更清晰的目标。在医学领域,可以排除医学图像中的噪声干扰,促进病情诊断。在海洋领域,由于声呐图像像素少品质恶劣,保边去噪显得尤为重要,因此可将其应用于海底小目标声呐图像平滑。而在监控领域,在街道监控中所得到的视频图像常常受到建筑物反射影响,能够通过识别照片中的重影来判断哪部分图像是所需要的,哪部分图像是玻璃反射需要去除的。另外在摄影领域,在飞机,博物馆,族馆等只能通过玻璃拍摄的场景中,利用去除反射和平滑图像,得到更逼真的图像。由于许多方法仅使用简单的卷积神经网络模型解决问题,并且其传统的过滤方法,操作不灵活,因此,在广泛的去除反射和平滑图像方面,尚且存在一定的挑战。
[0003] 本发明提出一种基于深度神经网络进行去除反射和平滑图像的方法。使用级联边缘和图像学习网络(CEILNet),调整层分离和图像过滤等不同的图像处理任务,把直接预测图像的任务分离为预测目标图像的边缘图以及重构目标图像的两个子任务,通过级联两个类似的卷积神经网络(CNN)进行端到端学习完成预测任务,边缘图表示特定任务的目标图像中每对相邻像素之间的色差,但不作为边缘检测问题的稀疏突出结构,由于许多层分离任务缺少标定的事实,故提出一种新型的弱监督学习方法训练去除反射的路径,通过模拟自然场景中的物理反射来合成图像,为遥感领域的新设计,以及医学领域的创新解决方案做了进一步贡献。

发明内容

[0004] 针对图像合成,提出了一个新的带变异和交叉算子基于随机游走的进化算法,根据现有的图像,在保留原始图像的部分显着特征的情况下直接进行图像合成,为工程领域的新设计,以及艺术领域的创新解决方案做了进一步贡献。
[0005] 为解决上述问题,本发明提供一种基于深度神经网络进行去除反射和平滑图像的方法,其主要内容包括:
[0006] (一)深度神经络结构;
[0007] (二)边缘预测网络;
[0008] (三)图像重建网络;
[0009] (四)反射图像合成;
[0010] (五)平滑图像生成。
[0011] 其中,所述的深度神经网络结构,使用级联边缘和图像学习网络(CEILNet),调整层分离和图像过滤等不同的图像处理任务,把直接预测图像的任务分离成两个子任务:(i)通过深度监督子网络预测目标图像的边缘图,(ii)改变预测图的边缘映射重构目标图像,通过级联两个类似的CNN进行端到端学习完成预测任务,边缘图表示特定任务的目标图像中每对相邻像素之间的色差,但不作为边缘检测问题的稀疏突出结构,由于许多层分离任务缺少标定的事实,故提出一种新型的弱监督学习方法训练去除反射的路径,通过模拟自然场景中的物理反射来合成图像。
[0012] 进一步地,所述的边缘预测网络,边缘预测网络(E-CNN)常用于去除反射和平滑图像等图像处理任务,给定源图像IS,采用卷积神经网络(CNN)学习目标图像It的边缘图Et,图像I的边缘图E由下式计算:
[0013]
[0014] 其中x,y是像素坐标,c表示三原色光模式色彩空间中的通道,增加源图像Is和边缘图像Es作为输入的附加通道,加快训练过程的收敛,
[0015] Et=f(Is,Es)  (2)
[0016] E-CNN近似以上f函数。
[0017] 进一步地,所述的图像重建网络,图像重建网络(I-CNN)是深度神经网络结构的第二个子网络,通过学习E-CNN预测输入图像Is的目标边缘图像Et的过程来重构目标图像It,近似于下面的g函数:
[0018] It=g(Is,Et)  (3)
[0019] 输入图像和目标边缘被组合为一个4声道张量作为输入,在基于边缘图像的平滑图像任务中,I-CNN采用多用途数据驱动来替代传统的固定滤波操作。
[0020] 其中,所述的卷积神经网络,两个子网络仅在最终输出的通道数量上不同,即对于E-CNN而言通道数量为1,对于I-CNN而言为3,使用32个内核尺寸为3×3的相同卷积层,中间的30个卷积层的输入和输出特征图尺寸为64,31层之后是批量归一化和ReLU激活函数,为了得到更好的上下文信息,下采样内部特征图到一半大小来扩大接收域,然后将第三卷积层的步幅改变为2进行上采样,第三到最后一层卷积层以步幅2进行反卷积,内核大小为4×4,通过这种方式,有效扩大接收域且不会损失图像细节,将中间的26个卷积层用作13个残差单元,以获得更好的性能和更快的收敛性,为了解决深度网络中的颜色衰减问题,通过和 放大预测图像,全局色彩校正在I-CNN后作为一
个无参数层实施。
[0021] 其中,所述的训练,首先用标定的真实图像及其边缘图分别对子网络进行训练,以保证每个独立网络的最佳表现,然后对整个网络进行端到端的调整,令两个子网络有更多的机会相互配合,将其预测的均方误差进行最小化来训练子网络,其中符号*表示标定的图像,边缘预测损失为:
[0022]
[0023] 对于图像预测,最大限度地减少均方误差的颜色差异和渐变的差异:
[0024]
[0025] 联合培训阶段,通过最小化损失来训练整个网络:
[0026] l(θ)=lI(θ)+γlE(θ)  (6)
[0027] 对于去除反射和平滑图像的所有实验,损失系数设置为α=0.2,β=γ=0.4,初始化卷积权重,并训练所有网络,学习率在初始迭代中设置为0.01,微调整个网络后,学习率降低到0.001。
[0028] 进一步地,所述的反射图像合成,根据菲涅方程,当入射光穿过具有不同折射率的介质时,该光的一部分将被反射回图像平面,这种反射光对人眼或相机的实际可视性取决于背景场景中传输光的相对强度,因此,通过反射层,透射适度光的背景层部分将被明显地阻挡,因此具有弱比例反射分量的附加模型在物理上并不合理,基于上述观察,开发出一种新方法以合成具有真实背景和反射层的图像,与初始图像混合的一个关键区别在于避免亮度溢出问题,并通过裁剪减去自适应计算的值,这种方式存在以下情况:(i)可能出现与自然现象一致的无反射区域,(ii)其它区域可能会发生强烈的反射,(iii)可以更好地保持反射对比度
[0029] 其中,所述的去除反射,使用两个自然图像生成一个包含背景层和反射层的合成图像,得到合成图像,将这些图像分成7643张图像的训练集和850张图像的测试集,用于定量比较,通过R=I-B计算反射图像估计,调整每个图像的的参数,以获得最佳的视觉效果。
[0030] 进一步地,所述的平滑图像生成,对于平滑图像,对网络进行训练,以得到现有滤波器的效果,训练数据和测试数据通过应用这些滤波器存在的数据库生成平滑图像。
[0031] 其中,所述的平滑图像,其特征在于,使用数据集中的自然图像作为输入,并使用现有的平滑图像算法作为标定实例生成滤波图像,把这些图像馈送到网络但不进行裁剪,并在数据集中随机选取100张图像进行测试,结果表明深度神经网络对反射图像合成和平滑图像生成都有良好的促进效果。附图说明
[0032] 图1是本发明一种基于深度神经网络进行去除反射和平滑图像的方法的系统流程图
[0033] 图2是本发明一种基于深度神经网络进行去除反射和平滑图像的方法的网络结构图。
[0034] 图3是本发明一种基于深度神经网络进行去除反射和平滑图像的方法的去除反射图。

具体实施方式

[0035] 需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互结合,下面结合附图和具体实施例对本发明作进一步详细说明。
[0036] 图1是本发明一种基于深度神经网络进行去除反射和平滑图像的方法的系统流程图。主要包括深度神经络结构、边缘预测网络、图像重建网络、反射图像合成、平滑图像生成。
[0037] 其中,所述的深度神经网络结构,使用级联边缘和图像学习网络(CEILNet),调整层分离和图像过滤等不同的图像处理任务,把直接预测图像的任务分离成两个子任务:(i)通过深度监督子网络预测目标图像的边缘图,(ii)改变预测图的边缘映射重构目标图像,通过级联两个类似的CNN进行端到端学习完成预测任务,边缘图表示特定任务的目标图像中每对相邻像素之间的色差,但不作为边缘检测问题的稀疏突出结构,由于许多层分离任务缺少标定的事实,故提出一种新型的弱监督学习方法训练去除反射的路径,通过模拟自然场景中的物理反射来合成图像。
[0038] 图2是本发明一种基于深度神经网络进行去除反射和平滑图像的方法的网络结构图。其中,所述的边缘预测网络,边缘c预测网络(E-CNN)常用于去除反射和平滑图像等图像处理任务,给定源图像IS,采用卷积神经网络(CNN)学习目标图像It的边缘图Et,图像I的边缘图E由下式计算:
[0039]
[0040] 其中x,y是像素坐标,c表示三原色光模式色彩空间中的通道,增加源图像Is和边缘图像Es作为输入的附加通道,加快训练过程的收敛,
[0041] Et=f(Is,Es)  (2)
[0042] E-CNN近似以上f函数。
[0043] 进一步地,所述的图像重建网络,图像重建网络(I-CNN)是深度神经网络结构的第二个子网络,通过学习E-CNN预测输入图像Is的目标边缘图像Et的过程来重构目标图像It,近似于下面的g函数:
[0044] It=g(Is,Et)  (3)
[0045] 输入图像和目标边缘被组合为一个4声道张量作为输入,在基于边缘图像的平滑图像任务中,I-CNN采用多用途数据驱动来替代传统的固定滤波操作。
[0046] 其中,所述的卷积神经网络,两个子网络仅在最终输出的通道数量上不同,即对于E-CNN而言通道数量为1,对于I-CNN而言为3,使用32个内核尺寸为3×3的相同卷积层,中间的30个卷积层的输入和输出特征图尺寸为64,31层之后是批量归一化和ReLU激活函数,为了得到更好的上下文信息,下采样内部特征图到一半大小来扩大接收域,然后将第三卷积层的步幅改变为2进行上采样,第三到最后一层卷积层以步幅2进行反卷积,内核大小为4×4,通过这种方式,有效扩大接收域且不会损失图像细节,将中间的26个卷积层用作13个残差单元,以获得更好的性能和更快的收敛性,为了解决深度网络中的颜色衰减问题,通过和 放大预测图像,全局色彩校正在I-CNN后作为一
个无参数层实施。
[0047] 其中,所述的训练,首先用标定的真实图像及其边缘图分别对子网络进行训练,以保证每个独立网络的最佳表现,然后对整个网络进行端到端的调整,令两个子网络有更多的机会相互配合,将其预测的均方误差进行最小化来训练子网络,其中符号*表示标定的图像,边缘预测损失为:
[0048]
[0049] 对于图像预测,最大限度地减少均方误差的颜色差异和渐变的差异:
[0050]
[0051] 联合培训阶段,通过最小化损失来训练整个网络:
[0052] l(θ)=lI(θ)+γlE(θ)  (6)
[0053] 对于去除反射和平滑图像的所有实验,损失系数设置为α=0.2,β=γ=0.4,初始化卷积权重,并训练所有网络,学习率在初始迭代中设置为0.01,微调整个网络后,学习率降低到0.001。
[0054] 进一步地,所述的反射图像合成,根据菲涅耳方程,当入射光穿过具有不同折射率的介质时,该光的一部分将被反射回图像平面,这种反射光对人眼或相机的实际可视性取决于背景场景中传输光的相对强度,因此,通过反射层,透射适度光的背景层部分将被明显地阻挡,因此具有弱比例反射分量的附加模型在物理上并不合理,基于上述观察,开发出一种新方法以合成具有真实背景和反射层的图像,与初始图像混合的一个关键区别在于避免亮度溢出问题,并通过裁剪减去自适应计算的值,这种方式存在以下情况:(i)可能出现与自然现象一致的无反射区域,(ii)其它区域可能会发生强烈的反射,(iii)可以更好地保持反射对比度。
[0055] 图3是本发明一种基于深度神经网络进行去除反射和平滑图像的方法的去除反射图。其中,所述的去除反射,使用两个自然图像生成一个包含背景层和反射层的合成图像,得到合成图像,将这些图像分成7643张图像的训练集和850张图像的测试集,用于定量比较,通过R=I-B计算反射图像估计,调整每个图像的的参数,以获得最佳的视觉效果。
[0056] 进一步地,所述的平滑图像生成,对于平滑图像,对网络进行训练,以得到现有滤波器的效果,训练数据和测试数据通过应用这些滤波器存在的数据库生成平滑图像。
[0057] 其中,所述的平滑图像,其特征在于,使用数据集中的自然图像作为输入,并使用现有的平滑图像算法作为标定实例生成滤波图像,把这些图像馈送到网络但不进行裁剪,并在数据集中随机选取100张图像进行测试,结果表明深度神经网络对反射图像合成和平滑图像生成都有良好的促进效果。
[0058] 对于本领域技术人员,本发明不限制于上述实施例的细节,在不背离本发明的精神和范围的情况下,能够以其他具体形式实现本发明。此外,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围,这些改进和变型也应视为本发明的保护范围。因此,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改
QQ群二维码
意见反馈