技术领域
[0001] 本
发明属于
图像处理技术领域，尤其涉及一种基于多尺度残差网络的图像去雾方法。
背景技术
[0002] 在雾天环境中,由于大气中存在随机介质,如悬浮颗粒、雾、霾等,光从物体表面反射到达相机的过程会发生散射，使得光偏离了原来的传播路径而衰减，从而产生有雾图像。有雾图像具有低可见度、色彩暗淡和低
对比度等特征。
[0003] 目前，图像去雾方法主要有四种：
[0004] 第一种是基于物理模型的复原方法，通过估计深度和全球大气光等信息，建立有雾图像的物理模型，从而实现图像去雾，在该方法中参数的估计或预测对模型的影响较大；
[0005] 第二种是基于非物理模型的图像增强方法，去除有雾图像的噪声，提高图像的对比度，从而恢复出清晰图像，具有代表性的图像增强去雾
算法有HE、AHE、CLAHE、Retinex算法、
小波变换等算法，但是该类方法去雾效果差，去雾后的图像会出现信息丢失和
颜色失真等情况；
[0006] 第三种是基于光学的图像去雾，该方法在其他算法的
基础上，通过光学设计利用不同波段光穿透
力不同的特性，有目的地过滤选择穿透力更强的红外线用于成像，在重度雾霾、
烟尘、
水汽等恶劣天气下，呈现清晰图像的效果。该方法的缺点在于依赖特殊的光学设备；
[0007] 第四种是基于
深度学习的图像去雾方法，该方法以
卷积神经网络为主，需要学习大量有雾图像和对应的清晰图像，建立的模型具有很好的去雾效果。该方法的缺点在于模型易受图像数据集影响，对于不同浓度的有雾图像或某些特定场景，需要重新采集大量图像进行训练，并且训练周期较长。
发明内容
[0008] 本发明的
实施例提供了一种基于多尺度残差网络的图像去雾方法，以克服
现有技术的问题。
[0009] 为了实现上述目的，本发明采取了如下技术方案。
[0010] 一种基于多尺度残差网络的图像去雾方法，包括：
[0011] 步骤1，获取不同场景下的无雾图像，组成无雾图像数据集；
[0012] 步骤2，提取无雾图像数据集中的无雾图像的深度信息，根据所述无雾图像的深度信息对无雾图像施加不同浓度的雾干扰，得到有雾图像，将根据无雾图像得到的各个有雾图像构成
训练数据集；
[0013] 步骤3，构建多尺度残差网络，在所述多尺度残差网络中输入训练数据集，对所述多尺度残差网络进行训练，得到训练完成的图像去雾模型；
[0014] 步骤4：将待处理的有雾图像输入到所述图像去雾模型，所述图像去雾模型输出所述待处理的有雾图像对应的无雾图像。
[0015] 进一步地，所述步骤3中构建的多尺度残差网络有41个卷积层、1个下
采样操作和1个上采样操作，41个卷积层包括5个单一卷积层和18个残差
块。
[0016] 进一步地，所述步骤3中构建的在多尺度残差网络中输入训练数据集，对多尺度残差网络进行训练，得到训练完成的图像去雾模型，包括：
[0017] 步骤3.1，在多尺度残差网络中输入训练数据集中的有雾图像，使用7*7的卷积核对有雾图像进行卷积运算，该卷积运算的步长为1，得到第一层的输出结果F1；
[0018] 步骤3.2，将所述第一层的输出结果F1先进行
下采样，下采样的卷积核为2*2，将下采样的结果输入三种大小不同的卷积核所构成的残差块组，三个残差块组命名为Group1、Group2和Group3，分别得到结果F21、F22和F23；
[0019] 步骤3.3，将F21和F22进行concatenate，并将concatenate的结果输入下一个卷积1 2 3
层，得到F3，同理，将F2和F2 进行concatenate，将concatenate的结果输入下一个卷积层，得到F32，该步骤中的基于PyTorch的concatenate函数如下所示：
[0020] torch.cat((F21,F22),1)
[0021] torch.cat((F22,F23),1)；
[0022] 步骤3.4，将F31、F22和F32进行concatenate，并将concatenate的结果输入一个3*3卷积层，所述3*3卷积层的步长为1，对所述3*3卷积层的输出做上采样，所述上采样的卷积核为2*2，所述上采样的结果是F4，该步骤中的基于PyTorch的concatenate函数如下所示：
[0023] torch.cat((F31,F22,F32),1)；
[0024] 步骤3.5，使用7*7的卷积核对F4进行卷积操作，该卷积操作的步长为1，得到F5，使用tanh函数对F5激活，得到所述多尺度残差网络训练完成的图像去雾模型；
[0025] 进一步地，所述Group1、Group2和Group3各有6个残差块，每个残差块包括两个卷积层，两个归一化函数，一个PReLU激活函数，所述Group1、Group2和Group3的卷积核大小分别是1*1、3*3和5*5，步长均为1。
[0026] 进一步地，所述的步骤3.3中的将F21和F22、F22和F23分别进行concatenate后，输入的下一个卷积层的卷积核大小分别为1*1和5*5，步长均为1。
[0027] 进一步地，所述图像去雾模型的损失函数Loss的计算公式为：
[0028] loss＝1.8*lossMAE+1.6*lossMSE
[0029] 其中，lossMAE是图像平均绝对误差，lossMSE是图像均方误差。
[0030] 由上述本发明的实施例提供的技术方案可以看出，本发明实施例的图像去雾方法通过利用多尺度卷积核和深度残差神经网络可以更有效地捕捉图像更多的信息，更好地处理不同浓度和不同尺度下的雾图；通过组合损失函数可以更好地衡量模型的预测值与真实值的不一致程度，使模型的损失函数尽量最小化，提高了模型的鲁棒性。
[0031] 本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
[0032] 为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0033] 图1为本发明实施例提供的一种基于多尺度残差网络的图像去雾方法的处理
流程图。
[0034] 图2为本发明实施例提供的一种多尺度残差网络的整体示意图。
[0035] 图3为本发明实施例提供的一种多尺度残差网络的残差块结构图。
[0036] 图4是现有算法对测试图像的去雾效果对比图
[0037] 图5为采用本发明实施例的方法对低浓度有雾图像的去雾效果对比图。
[0038] 图6为采用本发明实施例的方法对高浓度有雾图像的去雾效果对比图。
具体实施方式
[0039] 下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
[0040] 本技术领域技术人员可以理解，除非特意
声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的
说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。
[0041] 本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
[0042] 为便于对本发明实施例的理解，下面将结合附图以几个具体实施例为例做进一步的解释说明，且各个实施例并不构成对本发明实施例的限定。
[0043] 本发明实施例提供了一种基于多尺度残差网络的图像去雾方法，该方法通过多尺度卷积核和损失函数的组合，解决训练数据较少的问题，更好地处理不同浓度和不同尺度下的雾图。
[0044] 本发明实施例提供的一种基于多尺度残差网络的图像去雾方法的处理流程如图1所示，包括以下步骤：
[0045] 步骤S110，获取不同场景下的无雾图像，组成无雾图像数据集。
[0046] 通过拍照设备拍摄得到不同场景下的无雾图像，将所有的无雾图像组成无雾图像数据集。这里的不同场景包括街道、建筑、树林等室外景观，
覆盖的时间范围是日出后到日落前。
[0047] 步骤S120，提取无雾图像数据集中的无雾图像的深度信息，根据无雾图像的深度信息对无雾图像施加不同浓度的雾干扰，得到有雾图像，将根据无雾图像得到的所有有雾图像构成训练数据集。具体地，本发明使用DCNF-FCSP算法(Deep Convolutional Neural Field with Fully Convolutional networks and Superpixel Pooling)提取无雾图像的深度信息，根据雾图退化模型，由无雾图像得到有雾图像。
[0048] 雾图退化模型如下：
[0049] I(x)＝J(x)t(x)+A(1-t(x))
[0050] t(x)＝e-βd(x)
[0051] 其中，I表示有雾图像，J表示无雾图像，A表示全局大气光，t表示透射率，β表示大气散射系数，d表示场景深度。
[0052] 上述公式中，生成随机全局大气光A＝[k,k,k],k的取值范围是[0.7,1.0]。J已知，d由DCNF-FCSP算法提取，β取值范围是[0.5,1.0]，改变β的取值即可得到不同浓度的有雾图像。
[0053] 步骤S130，构建多尺度残差网络，在多尺度残差网络中输入训练数据集，对多尺度残差网络进行训练，得到训练完成的图像去雾模型。
[0054] 步骤S140：将待处理的有雾图像输入到训练完成的图像去雾模型，该图像去雾模型输出清晰的上述待处理的有雾图像对应的无雾图像。
[0055] 图2为本发明实施例提供的一种多尺度残差网络的整体示意图，图3为多尺度残差网络的残差块结构图。所述步骤S130中构建的多尺度残差网络有41个卷积层、1个下采样操作和1个上采样操作，41个卷积层包括5个单一卷积层和18个残差块。
[0056] 所述步骤S130具体包括以下步骤：
[0057] 步骤3.1，在多尺度残差网络中输入训练数据集中的有雾图像，使用7*7的卷积核对有雾图像进行卷积运算，该卷积运算的步长为1，得到第一层的输出结果F1；
[0058] 步骤3.2，将第一层的输出结果F1先进行下采样，下采样的卷积核为2*2，将下采样的结果输入三种大小不同的卷积核所构成的残差块组，三个残差块组命名为Group1、Group2和Group3，分别得到结果F21、F22和F23；
[0059] Group1、Group2和Group3各有6个残差块，每个残差块包括两个卷积层，两个归一化函数，一个PReLU激活函数；
[0060] Group1、Group2和Group3的卷积核大小分别是1*1、3*3和5*5，步长均为1；
[0061] 步骤3.3，将F21和F22进行concatenate(连接)，并将concatenate的结果输入下一个卷积层，得到F31，同理，将F22和F23进行concatenate，将concatenate的结果输入下一个卷积层，得到F32，该步骤中的基于PyTorch的concatenate函数如下所示：
[0062] torch.cat((F21,F22),1)
[0063] torch.cat((F22,F23),1)；
[0064] 将F21和F22、F22和F23分别进行concatenate后，输入的下一个卷积层的卷积核大小分别为1*1和5*5，步长均为1。
[0065] 步骤3.4，将F31、F22和F32进行concatenate，并将concatenate的结果输入一个3*3卷积层，上述3*3卷积层的步长为1，对上述3*3卷积层的输出做上采样，上采样的卷积核为2*2，上采样的结果是F4，该步骤中的基于PyTorch的concatenate函数如下所示：
[0066] torch.cat((F31,F22,F32),1)；
[0067] 步骤3.5，使用7*7的卷积核对F4进行卷积操作，该卷积操作的步长为1，得到F5，使用tanh函数对F5激活，得到所述多尺度残差网络训练完成的图像去雾模型，该图像去雾模型中包括有雾图像与无雾图像之间的非线性关系；
[0068] 步骤4：使用多尺度残差网络训练完成的图像去雾模型处理不同浓度的待处理的有雾图像，得到清晰的上述待处理的有雾图像对应的无雾图像。
[0069] 具体的，所述图像去雾模型的损失函数Loss的计算公式为：
[0070] loss＝1.8*lossMAE+1.6*lossMSE
[0071] 其中，lossMAE是图像平均绝对误差，lossMSE是图像均方误差。
[0072] 损失函数度量预测值与真实值之间的差异，通过样本的预测值与标记的真实值产生的误差反向传播指导网络参数学习优化。
[0073] 本发明图像去雾的过程是，首先读取有雾图像，然后调取已经训练完成的图像去雾模型，根据图像去雾模型中建立的有雾图像与无雾图像之间的非线性关系，对有雾图像向无雾图像进行还原，最后得到清晰的无雾图像。
[0074] 具体的，学习率设置为0.0001，最大
迭代次数设置为1万次，在PyTorch
框架下进行训练。
[0075] 为了验证本发明的有效性和优越性，选取CHINAMM 2018Dehaze竞赛数据集的150张室外测试图像进行验证。本发明在训练模型时不包括测试图像，选取4张图像进行测试，与现有的算法进行对比，具体包括暗通道去雾算法、Non-local image dehazing算法、MSCNN算法、Color attenuation prior dehazing算法和DehazeNet算法。
[0076] 图4是现有算法对测试图像的去雾效果对比图，图5为采用本发明实施例的方法对低浓度有雾图像的去雾效果对比图，图6为采用本发明实施例的方法对高浓度有雾图像的去雾效果对比图。本发明采用峰值
信噪比(PSNR：Peak Signal to Noise Ratio)和结构相似性(SSIM：structural similarity)衡量各种算法的图像去雾能力，
峰值信噪比越大表示输出图像与原图像越相似，结构相似性最大值为1，越接近1表示输出图像与原图像越相似，表1展示测试图像的PSNR和SSIM的平均值。
[0077] 表1去雾算法测试图像的PSNR和SSIM的平均值对比
[0078]
[0079] 由表1可以看出，本发明的PSNR平均值远大于其他算法的PSNR平均值，而本发明的SSIM平均值也大于其他算法的SSIM平均值，从而证明了本发明能够取得更好的去雾效果。
[0080] 综上所述，本发明实施例的图像去雾方法通过利用多尺度卷积核和深度残差神经网络可以更有效地捕捉图像更多的信息，更好地处理不同浓度和不同尺度下的雾图；通过利组合损失函数可以更好地衡量模型的预测值与真实值的不一致程度，使模型的损失函数尽量最小化，提高了模型的鲁棒性。
[0081] 本发明实施例的图像去雾方法与其他方法相比，对特定场景下的训练数据量要求小，能够更好地处理不同浓度和不同尺度下的雾图。通过多尺度卷积核和损失函数的组合，解决训练数据较少的问题，以较少的训练数据取得更好的效果，适用于不同浓度和不同尺度下的雾图，更好地处理不同浓度和不同尺度下的雾图。
[0082] 本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
[0083] 通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助
软件加必需的通用
硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，
服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
[0084] 本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
[0085] 以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉
本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以
权利要求的保护范围为准。
