技术领域
[0001] 本
发明涉及
机器视觉的
图像处理技术领域，具体是指一种具有细节信息学习能力的图像去噪方法。
背景技术
[0002] 图像去噪的目的是从噪声图像中去除噪声并使图像清晰。近年来，图像去噪方法主要有传统的图像先验法和
深度学习法。其中，传统的图像先验方法的去噪性能取决于研究者的先验知识，如非局部自相似模型和稀疏模型。基于深度学习，效果较突出的是张等人提出的DnCNN(Denoising noise CNN)。该网络利用残差学习策略成功地避免了光晕，振铃和
马赛克效应。Chen等人利用数量固定的梯度下降推断步骤，提出了一个可学习的非线性反应扩散(Trainable NonlinearReaction Diffusion，TNRD)去噪模型。该模型在捕获图像结构特征时局限于特定形式的先验信息。Cha等人提出了一种自适应的全卷积图像去噪网络。该网络使用了一种基于上下文关系的
像素点映射的方法保留了比TNRD更多的图像细节信息，但极易出现伪影现象。Chen等人基于生成对抗网络提出了一种盲目去噪模型。这个模型由于具有用于区分噪声图像和去噪后的图像的对抗网络，可克服伪影现象，但对抗网络容易生成错误的图像细节信息。为了加强网络顶层特征的图像细节表达能力，Mao等人提出了编码—解码卷积去噪网络。该网络通过编码卷积层和解码反卷积层之间的跳线连接结构，提高了由顶到底的梯度传播效率，还在一定程度上缓解了特征传播过程中严重缺失细节信息的问题。
[0003] 传统的图像先验方法，有两个明显的缺点。第一，去噪后的图像难以保留图像细节信息，从而容易产生模糊的视觉效果和伪影现象。第二，由研究人员的先验知识设计的模型难以充分有效地获得噪声图像中干净部分的特征。基于深度学习，着重于尽量减少去噪时图像细节的丢失，而从未考虑如何学习已经丢失的图像细节，仍然不能有效的解决图像细节信息的缺失问题。
发明内容
[0004] 针对
现有技术的不足，本发明的目的在于提供一种能够有效地对图像细节进行学习，成功地避免了光晕，振铃和马赛克效应，以及模糊和伪影现象，表现具有竞争力的去噪效果以及良好的视觉效果，同时还具有很强的泛化能力，可在超声图像，激光图像等真实图像去噪任务中表现出先进的去噪性能的图像去噪方法。
[0005] 为了实现上述目的，本发明通过下述技术方案实现：一种具有细节信息学习能力的图像去噪方法，包括以下步骤：
[0006] (1)构建具有细节信息学习能力的图像去噪模型；
[0007] (2)使用该图像去噪模型对噪声图像进行去噪，获得干净图片；
[0008] (3)所述图像去噪模型先将噪声从噪声图像中分离，接着所述图像去噪模型从分离的噪声中学习丢失的图像细节信息；
[0009] (4)最后，所述图像去噪模型将学习的图像细节信息补充入干净图片，获得最终的去噪后的清晰图像。
[0010] 为更好的实现本发明的图像去噪方法，进一步地，所述步骤(1)中，具有细节信息学习能力的图像去噪模型的具体构建过程如下：
[0011] (1.1)分析用于图像细节学习的最小化问题并根据残差
卷积神经网络，构建能够体现图像细节表征能力的残差单元RU；
[0012] (1.2)利用残差单元RU对噪声特征映射n进行建模，构建噪声特征映射产生
块NGB，所述噪声特征映射产生块NGB将噪声从噪声图像中分离；
[0013] (1.3)利用残差单元RU对图像细节信息特征映射I进行建模，构建图像细节信息特征映射产生块IDGB，所述图像细节信息特征映射产生块IDGB学习去噪过程中丢失的图像细节信息；
[0014] (1.4)将噪声特征映射产生块NDB的输出特征映射，作为图像细节信息特征映射产生块IDGB的输入特征映射，建立噪声特征映射产生块NGB与图像细节信息特征映射产生块IDGB端对端的卷积神经网络，即N-ID图像去噪模型，利用N-ID图像去噪模型对去噪过程中去除图像细节进行学习，然后表现到去噪后的图像中。
[0015] 为更好的实现本发明的图像去噪方法，进一步地，所述步骤(1)中的残差单元RU包括减性残差单元RU-和加性残差单元RU+。
[0016] 为更好的实现本发明的图像去噪方法，进一步地，所述噪声特征映射产生块NGB通过减性残差单元RU-对噪声特征映射块构建而成。
[0017] 为更好的实现本发明的图像去噪方法，进一步地，所述步骤(1.2)中，利用减性残差单元RU-与噪声特征映射n所构建的模型为：
[0018] n(yi；θ)＝yi-x'
[0019] n(yi；θ)＝θiH1(yi)+bi
[0020] 其中，yi为噪声图像，x′为缺失了大量细节信息的特征映射，H(yi)为噪声特征映射块，θi和bi为线性参数，噪声特征映射块H(yi)和PU-共同构建了噪声特征映射产生块NGB。
[0021] 为更好的实现本发明的图像去噪方法，进一步地，所述噪声特征映射块H(yi)具有四个残差组合，每个残差组包含五个残差块，所述噪声特征映射产生块NGB具有21个卷积层的结构，前20层，为卷积核大小为3，步长为1，零填充为1，卷积核数量为64的卷积；为了控制输出特征映射的维度，第21层为卷积核大小为3，步长为1，零填充为1，卷积核数量为3的卷积。
[0022] 为更好的实现本发明的图像去噪方法，进一步地，所述图像细节信息特征映射产生块IDGB通过加性残差单元RU+与图像细节信息特征映射块进行建模构建而成。
[0023] 为更好的实现本发明的图像去噪方法，进一步地，所述步骤(1.3)中，利用加性残差单元RU+对图像细节信息特征映射I所构建模型为：
[0024] I(yi；θ)＝I(yi；θ)+x'
[0025] I(yi；θ)＝θiH(yi)+bi
[0026] 其中，x′为缺失了大量细节信息的特征映射，H(yi)为图像细节信息特征映射块，θi和bi为线性参数，图像细节信息特征映射块H(yi)和PU+共同构建了图像细节信息特征映射产生块IDGB。
[0027] 为更好的实现本发明的图像去噪方法，进一步地，所述图像细节信息特征映射块H(yi)具有二个残差组合，每个残差组包含五个残差块，所述图像细节信息特征映射产生块IDGB具有11个卷积层的结构，前10层，为卷积核大小为3，步长为1，零填充为1，卷积核数量为64的卷积；为了控制输出特征映射的维度，第11层为卷积核大小为3，步长为1，零填充为1，卷积核数量为3的卷积。
[0028] 为更好的实现本发明的图像去噪方法，进一步地，在图像去噪完成后，获得最终的去噪后的清晰图像后，使用显卡
硬件对该去图像去噪方法进行测试评估，所述显卡硬件的型号为GTX1080，输入图片的大小均为512×512。
[0029] 本技术方案的核心是对去噪过程中丢失的图像细节特征进行学习，先从一个最小化问题出发，从理论上分析出去噪后图像大量缺失细节信息的原因，再根据残差神经网络的加和减两种表征方式，研究表征噪声和细节的残差单元RU。
[0030] 噪声图像服从一个退化模型y＝x+v，其中，y为噪声图像，x为干净图像，v是加性高斯白噪声(Additive White Gaussian Noise，AWGN)，其标准差为σ。不同于直接学习干净图像的方法，DnCNN方法采用残差学习策略去学习一个噪声映射n(y)≈v，最终获得去噪后的图像x'＝y-n(y)。在利用模型预测噪声时，噪声映射n中包含图像细节信息I'和绝大部分加性高斯白噪声v'，在去噪后I'将被减去，导致去噪后的图像大量缺失图像细节信息。因此必须重新对I'进行学习。假设学习出的图像细节信息为I。学习的目的是：
[0031] I≡I′ (1)
[0032] 以上I'、I、v'以及n都为输入噪声图像yi的映射，因此学习时应解决一个代价最小化问题：
[0033]
[0034] 式(2)中xi是干净图像，v是加性高斯白噪声，θ表示需要学习的参数，N是噪声图像的数量。令v'(yi；θ)≈v，可以得到：
[0035] I'(yi；θ)＝n(yi；θ)-v (3)
[0036] 因此，式(2)中代价函数变换如下：
[0037]
[0038] 同时将v＝yi-xi带入l(θ)：
[0039]
[0040] 式(5)中包括n和I两种特征映射。
[0041] 为此，本发明利用两种不同的残差表示方式对式(5)中噪声n以及图像细节信息I两种特征映射进行建模，如图1所示，本发明利用减性残差单元RU-，对噪声映射n进行建模：
[0042] n(yi；θ)＝yi-x' (6)
[0043] n(yi；θ)＝θiH1(yi)+bi (7)
[0044] 式(6)中x'为缺失了大量细节信息的特征映射，式(7)中H(yi)为特征映射块，特征映射块和PU-共同构建了本发明提出的NGB。θi和bi为线性参数，式(7)的主要作用是降低特征映射块输出的维度至输入的大小。
[0045] 如图2所示，本发明利用加性残差单元RU+，图像细节信息映射I进行建模：
[0046] I(yi；θ)＝I(yi；θ)+x' (8)
[0047] I(yi；θ)＝θiH(yi)+bi (9)
[0048] 式(8)中x'为缺失了大量细节信息的特征映射，式(8)中H(yi)为特征映射块，特征映射块和PU+共同构建了本发明提出的IDGB。
[0049] 本发明与现有技术相比，具有以下优点及有益效果：
[0050] 本发明提供一种新的图像去噪方法，该方法构建一种图像去噪模型，该模型能够从去除噪声中学习图像细节信息，并将学习的图像信息补充入去噪后的干净图片，最终形成去噪后的清晰图像，能够有效地避免了光晕，振铃和马赛克效应，以及模糊和伪影现象，表现具有竞争力的去噪效果以及良好的视觉效果，同时还具有很强的泛化能力，可在超声图像，激光图像等真实图像去噪任务中表现出先进的去噪性能。
附图说明
[0051] 通过阅读参照以下附图对非限制性
实施例所作的详细描述，本发明的其他特征、目的和优点将会变得更为明显：
[0052] 图1为本发明中减性残差单元RU-逻辑结构示意图；
[0053] 图2为本发明中加性残差单元RU+逻辑结构示意图；
[0054] 图3为本发明中残差快的逻辑结构示意图；
[0055] 图4为本发明中所述噪声特征映射产生块NGB逻辑结构示意图；
[0056] 图5为本发明中所述图像细节信息特征映射产生块IDGB逻辑结构示意图；
[0057] 图6为本发明去噪方法和DnCNN方法在Set12数据集中图像的去噪对比图。
[0058] 图7为本发明去噪方法和DnCNN方法对真实图像中超声图像和激光图像的去噪效果对比图。
具体实施方式
[0059] 下面结合实施例对本发明作进一步地详细说明，但本发明的实施方式不限于此，在不脱离本发明上述技术思想情况下，根据本领域普通技术知识和惯用手段，做出各种替换和变更，均应包括在本发明的范围内。
[0060] 为使本发明的目的、工艺条件及优点作用更加清楚明白，结合以下实施实例，对本发明作进一步详细说明，此处所描述的具体实施实例仅用以解释本发明，并不用于限定本发明。
[0061] 实施例：
[0062] 本实施例的提供一种具有细节信息学习能力的图像去噪方法，该方法的核心在于提供一种图像去噪模型的构建，该模型本质上是噪声特征映射产生块NGB与建图像细节信息特征映射产生块IDGB形成的端对对端的卷积神经网络。
[0063] 其中，噪声特征映射产生块NGB是基于减性残差单元RU-对噪声映射n构建的模型，如图1所示，具
体模型如下：
[0064] n(yi；θ)＝yi-x' (1)
[0065] n(yi；θ)＝θiH1(yi)+bi (2)
[0066] 式(1)中yi为噪声图像，x′为缺失了大量细节信息的特征映射，H(yi)为噪声特征映射块；(2)中θi和bi为线性参数，式(2)的主要作用是降低特征映射块输出的维度至输入的大小。
[0067] 图像细节信息特征映射产生块IDGB是基于加性残差单元RU+对图像细节信息映射I构建的模型，如图2所示，具体模型如下：
[0068] I(yi；θ)＝I(yi；θ)+x' (3)
[0069] I(yi；θ)＝θiH(yi)+bi (4)
[0070] 式(3)中x′为缺失了大量细节信息的特征映射，H(yi)为图像细节信息特征映射块，θi和bi为线性参数，式(4)的主要作用是降低特征映射块输出的维度至输入的大小。
[0071] 本发明利用去除批次归一化的残差卷积神经网络(Resnet)的残差块构建噪声特征映射块和图像细节信息特征映射块，其中，单独残差块的逻辑结构如图3所示，以加性的方式包含一个卷积层和一项激活函数。
[0072] 本发明设定每5个残差块作为一个残差组合，噪声特征映射被设定为具有4个残差组合，因此噪声特征映射产生块NDB被构建为一个具有21个卷积层的结构，如图4所示，前20层，为卷积核大小为3，步长为1，零填充为1，卷积核数量为64的卷积；为了控制输出特征映射的维度，第21层为卷积核大小为3，步长为1，零填充为1，卷积核数量为3的卷积。
[0073] 图像细节信息特征映射块被设定为具有2个残差组合，因此图像细节信息特征映射产生块IDGB被构建为一个具有11个卷积层的结构，如图5所示，前10层，为卷积核大小为3，步长为1，零填充为1，卷积核数量为64的卷积；为了控制输出特征映射的维度，第11层为卷积核大小为3，步长为1，零填充为1，卷积核数量为3的卷积。
[0074] 然后，结合噪声特征映射产生块NGB与图像细节信息特征映射产生块IDGB建立端对端卷积神经网络，即本发明所提出的图像去噪模型。其中，噪声特征映射产生块NDB的输出特征映射，作为图像细节信息特征映射产生块IDGB的输入特征映射，旨在学习出去噪过程中大量损失的图像细节信息。
[0075] 本发明构建的图像去噪模型巧妙地利用加减两种形式的残差，形成一个端对端的图像去噪和细节信息学习卷积神经网络。
[0076] 实施例2：
[0077] 本实施例使用型号为GTX1080的显卡硬件，输入像素大小为512×512的图片对上述图像去噪方法进行测试，即对构建的图像去噪模型进行测试，然后与目前先进的图像去噪方法作比较分析。
[0078] 采用本发明所述方法与BM3D、TNRD、EPLL、DnCNN这四种图像去噪方法，在BSD68数据集上的平均PSNR进行对比，具体结果如表一所示：
[0079] 表一：不同方法在BSD68数据集上的平均PSNR对比
[0080]
[0081]
[0082] 根据表一内容可知，发明提出的方法均高于包括DnCNN在内的所有方法，具有先进性。
[0083] 另外采用本发明所述方法与BM3D、TNRD、EPLL、DnCNN这四种图像去噪方法，在Set12数据集上的PSNR对比，具体对比情况如表二所示：
[0084] 表二 不同方法在Set12数据集上的PSNR对比
[0085]
[0086]
[0087] 根据表二内容可知，本发明提出的方法均高于包括DnCNN在内的所有方法，具有先进性。
[0088] 实施例3：
[0089] 本实施例提供本发明所述图像去噪方法与DnCNN进行图像去噪方面的具体实例。
[0090] 采用本发明所述图像去噪方法和DnCNN图像去噪方法在Set12数据集中图像去噪进行对比，均使用型号为GTX1080的显卡硬件，输入像素大小为512×512的图片对上述图像去噪方法进行测试，输出图像如图6所示，本发明中的图像去噪方法对图片进行处理时，不具有模糊和伪影，比DnCNN图像去噪方法具有更精细的边缘和纹理，以此证明本发明方法在图像去噪的视觉效果方面具有明显优势。
[0091] 采用本发明所述图像去噪方法和DnCNN图像去噪方法对真实图像中超声图像和激光图像的去噪效果进行对比，如图7所示，使用DnCNN图像去噪方法进行去噪的图像更加模糊且出现锯齿状错误信息，使用本发明所述的图像去噪方法具有更良好的视觉效果，由此可见，本发明所述的图像去噪方法不仅可以在固定噪声
水平的高斯去噪表现出具有竞争力的结果，还很好的处理真实图像去噪，本发明所述的图像去噪方法具有很强的泛化能力。
[0092] 尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨下可以对这些实施例进行多种变化、
修改、替换和变型，本发明的范围由
权利要求及其等同物限定。
