技术领域
[0001] 本
发明涉及
图像处理技术领域，特别是一种U-Net融合局部模糊核的图像盲去模糊方法。
背景技术
[0002] 图像
运动模糊是普遍存在的，其形成原因是在拍照过程中，成像设备与拍照物体之间存在相对位移。图像运动模糊通常可以理解为清晰图像与某个模糊核(点扩散函数)的卷积再加上噪声作用的结果。图像盲去模糊要求仅利用模糊图像求解出清晰图像和模糊核。
[0003] 现有的盲去模糊方法难以同时兼顾去模糊效果、适用范围和计算时间。基于暗通道先验的盲去模糊方法是目前最有效的盲去模糊方法之一，同时适用于人脸图像、低光图像、文本图像的去模糊，但当图像尺寸较大时计算速度过慢。
发明内容
[0004] 有鉴于此，本发明的目的是提出一种U-Net融合局部模糊核的图像盲去模糊方法，可以在保证去模糊效果的情况下，有效提升图像去模糊的速度，在部分真实模糊图像的局部细节还原上效果更佳，并且可以很好地处理大尺寸的模糊图像。
[0005] 本发明采用以下方案实现：一种U-Net融合局部模糊核的图像盲去模糊方法，将输入的模糊图像采用并行的方式分
块求解局部模糊核，通过一个多端到一端的U-Net神经网络，将多个局部模糊核融合为一个全局模糊核，最后利用融合得到的全局模糊核对输入的模糊图像进行非盲去模糊求解出清晰图像。
[0006] 进一步地，包括以下步骤：
[0007] 步骤S1：记模糊图像为B，根据模糊图像上物体的模糊范围估计出模糊核大小，记为ρ；
[0008] 步骤S2：启发式地选取模糊图像B的n个局部分块，记为Bi，i∈{1,2,...,n}；
[0009] 步骤S3：建立最优化模型，并行求解各个局部分块Bi的局部模糊核，记为Ki，i∈{1,2,...,n}；
[0010] 步骤S4：训练一个多端到一端的U-Net神经网络，将步骤S3求得的多个局部模糊核融合为一个全局模糊核；其中U-Net神经网络的输入端为多个局部模糊核Ki，i∈{1,2,...,n}，输出端为一个全局模糊核K；
[0011] 步骤S5：利用步骤S4得到的全局模糊核K对模糊图像B进行非盲去模糊，得到清晰图像。
[0012] 进一步地，步骤S2具体包括以下步骤：
[0013] 步骤S21：将模糊图像B转换为灰度图G(B)；
[0014] 步骤S22：计算出灰度图G(B)的梯度图；
[0015] 步骤S23：将梯度图转换为梯度积分图；
[0016] 步骤S24：根据梯度积分图选取梯度分布最密集的n个局部区域Bi，即选取梯度值累和前n大的n个局部区域。
[0017] 进一步地，步骤S24具体包括以下步骤：
[0018] 步骤S241：设置一个间隔
阈值T，大小为1/2ρ；
[0019] 步骤S242：将大小为ρ×ρ的选框置于模糊图像的左上
角，得到第一个选区；接着右移选框T个
像素得到第二个选区，继续向右移动选区直到到达边界，此时返回该行第一个选框的
位置并下移T个像素到第二行，得到第二行的第一个选区；依此类推直至不能进行为止，得到n’个选框，若n’小于n，则将n的值改为n’；
[0020] 步骤S243：利用梯度积分图快速计算n’个梯度选区的梯度累和；
[0021] 步骤S244：排序选区得到梯度累和前n大的局部区域。
[0022] 进一步地，步骤S244中，n的值根据CPU的核心数设置，n不小于5且不大于两倍的CPU核心数。
[0023] 进一步地，步骤S3具体为：
[0024] 对每个局部分块Bi，建立最优化问题，采用下式
迭代交替求解局部清晰图Li和局部模糊核Ki：
[0025]
[0026] 式中， 为卷积运算，D(Li)为暗通道先验，||▽Li||0表示图像Li梯度的L0范数，μ、δ、γ均为权重系数，其中3个权重取值范围可以是[0,+∞)，较佳的，μ取0.004，δ取0.004，γ取2，K表示模糊核，L表示清晰图像，||*||0表示L0范数，||*||2表示L2范数， 表示Li的最优解， 表示Ki的最优解；
[0027] 求解上述公式，得到n个局部模糊核Ki，i∈{1,2,...,n}。
[0028] 进一步地，步骤S4包括以下步骤：
[0029] 步骤S41：建立一个多端到一端的U-NET网络模型，输入端接收多个局部模糊核，输出端得到一个全局模糊核；构建一个Diff网络，用于区分出真实的全局模糊核与U-Net网络生成的全局模糊核；
[0030] 步骤S42：设置U-Net网络的自适应的损失函数如下：
[0031]
[0032] 式中，α、β为自适应系数； 分别为生成模糊核、真实模糊核上的点，Diff(Kgenerated|Klocal)表示Diff网络输入Kgenerated、Klocal时的输出；
[0033] 设置Diff网络的损失函数如下：
[0034]
[0035] 式中，Kture表示真实模糊核，Klocal表示局部模糊核，Kgenerated表示由U-Net网络生成的模糊核，m为Diff
输出层特征图的尺寸大小；
[0036] 步骤S43：采用梯度下降方法交替训练Diff网络与U-NET网络，直到U-NET网络的损失函数Loss1的值降到10的-3次方以下，完成训练；
[0037] 步骤S44：将多个局部模糊核输入训练好的U-Net网络中，得到全局模糊核K。
[0038] 根据
权利要求7所述一种U-Net融合局部模糊核的图像盲去模糊方法，其特征在于，步骤S43中，在网络训练的前50轮，令α与β相同，网络训练到50轮以后，令α为0。
[0039] 与
现有技术相比，本发明有以下有益效果：本发明可以在保证去模糊效果的情况下，有效提升图像去模糊的速度，在部分真实模糊图像的局部细节还原上效果更佳，并且可以很好地处理大尺寸的模糊图像。
附图说明
[0040] 图1为本发明
实施例的方法流程示意图。
[0041] 图2为本发明实施例的步骤S2局部分块选取过程中待去除的异常区域示意图。其中，(a)与(b)分别为两张示例图片。
[0042] 图3为本发明实施例的步骤S41中多端到一端的U-NET网络模型结构图。
[0043] 图4为本发明实施例的训练U-Net融合网络的
流程图。
[0044] 图5为本发明实施例的对两张模糊图像的去模糊效果展示示意图。
具体实施方式
[0046] 下面结合附图及实施例对本发明做进一步说明。
[0047] 应该指出，以下详细说明都是示例性的，旨在对本
申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
[0048] 需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本
说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
[0049] 如图1所示，本实施例提供了一种U-Net融合局部模糊核的图像盲去模糊方法，将输入的模糊图像采用并行的方式分块求解局部模糊核，通过一个多端到一端的U-Net神经网络，将多个局部模糊核融合为一个全局模糊核，最后利用融合得到的全局模糊核对输入的模糊图像进行非盲去模糊求解出清晰图像。
[0050] 在本实施例中，包括以下步骤：
[0051] 步骤S1：记模糊图像为B，根据模糊图像上物体的模糊范围估计出模糊核大小，记为ρ；其中，物体的模糊范围指一个清晰物体在模糊图像上呈现出的区域范围，如点状灯光，在模糊图像中会占用更多的像素区域，或抖动模糊中的灯光线条、或离焦模糊出现的光晕；清晰图像中的物体边缘比较明显，模糊化后原先的边缘会扩散到附近的区域，这个扩散的模糊图于即所述的模糊范围，在点状
光源上尤为明显；
[0052] 步骤S2：启发式地选取模糊图像B的n个局部分块，记为Bi，i∈{1,2,...,n}；后续操作只对这些局部分块进行，减小了问题规模，对未选中的局部分块不进行计算；
[0053] 步骤S3：建立最优化模型，并行求解各个局部分块Bi的局部模糊核，记为Ki，i∈{1,2,...,n}；
[0054] 步骤S4：训练一个多端到一端的U-Net神经网络，将步骤S3求得的多个局部模糊核融合为一个全局模糊核；其中U-Net神经网络的输入端为多个局部模糊核Ki，i∈{1,2,...,n}，输出端为一个全局模糊核K；
[0055] 步骤S5：利用步骤S4得到的全局模糊核K对模糊图像B进行非盲去模糊，得到清晰图像。
[0056] 在本实施例中，步骤S2采用启发式的局部区域选取方法，主要利用模糊图像B的梯度分布状况，去除过于模糊或者过于平坦的局部区域(如图2中的(a)与(b)中的矩形框中所示区域)，避免这些区域对最终去模糊效果的影响，具体包括以下步骤：
[0057] 步骤S21：将模糊图像B转换为灰度图G(B)；
[0058] 步骤S22：计算出灰度图G(B)的梯度图；
[0059] 步骤S23：将梯度图转换为梯度积分图；
[0060] 步骤S24：根据梯度积分图选取梯度分布最密集的n个局部区域Bi，即选取梯度值累和前n大的n个局部区域。
[0061] 过于模糊的区域难以进行模糊核估计，还会影响到全局模糊核的估计，所以有必要去除这些过于平滑或者过于模糊的区域。
[0062] 在本实施例中，步骤S24具体包括以下步骤：
[0063] 步骤S241：设置一个间隔阈值T，大小为1/2ρ；
[0064] 步骤S242：将大小为ρ×ρ的选框置于模糊图像的左上角，得到第一个选区；接着右移选框T个像素得到第二个选区，继续向右移动选区直到到达边界，此时返回该行第一个选框的位置并下移T个像素到第二行，得到第二行的第一个选区；依此类推直至不能进行为止，得到n’个选框，若n’小于n，则将n的值改为n’；
[0065] 步骤S243：利用梯度积分图快速计算n’个梯度选区的梯度累和；
[0066] 步骤S244：排序选区得到梯度累和前n大的局部区域。
[0067] 在本实施例中，步骤S244中，n的值根据CPU的核心数设置，n不小于5且不大于两倍的CPU核心数。
[0068] 在本实施例中，步骤S3具体为：
[0069] 对每个局部分块Bi，建立最优化问题，采用下式迭代交替求解局部清晰图Li和局部模糊核Ki：
[0070]
[0071] 式中， 为卷积运算，D(Li)为暗通道先验，||▽Li||0表示图像Li梯度的L0范数，μ、δ、γ均为权重系数，其中3个权重取值范围可以是[0,+∞)，较佳的，μ取0.004，δ取0.004，γ取2，K表示模糊核，L表示清晰图像，||*||0表示L0范数，||*||2表示L2范数， 表示Li的最优解， 表示Ki的最优解；
[0072] 求解上述公式，得到n个局部模糊核Ki，i∈{1,2,...,n}。
[0073] 在本实施例中，步骤S4包括以下步骤：
[0074] 步骤S41：建立一个多端到一端的U-NET网络模型，输入端接收多个局部模糊核，输出端得到一个全局模糊核；构建一个Diff网络，用于区分出真实的全局模糊核与U-Net网络生成的全局模糊核；
[0075] 步骤S42：设置U-Net网络的自适应的损失函数如下：
[0076]
[0077] 式中，α、β为自适应系数； 分别为生成模糊核、真实模糊核上的点，Diff(Kgenerated|Klocal)表示Diff网络输入Kgenerated、Klocal时的输出；
[0078] Diff网络的目标在于区分出真实的全局模糊核与U-Net网络生成的全局模糊核，设置Diff网络的损失函数如下：
[0079]
[0080] 式中，Kture表示真实模糊核，Klocal表示局部模糊核，Kgenerated表示由U-Net网络生成的模糊核，m为Diff输出层特征图的尺寸大小，取1024；
[0081] 步骤S43：采用梯度下降方法交替训练Diff网络与U-NET网络，直到U-NET网络的损失函数Loss1的值降到10的-3次方以下，完成训练；即采用Gan的训练方式，U-Net替换生成器，Diff网络为
鉴别器，交替训练；训练过程如图4所示；
[0082] 步骤S44：将多个局部模糊核输入训练好的U-Net网络中，得到全局模糊核K。
[0083] 其中，所述多端到一端的U-NET网络模型的结构如图3所示，其结构描述如下表所示：
[0084] 多端到一端的U-NET网络模型的结构
[0085]
[0086]
[0087] 其中，Diff(K|Klocal)网络的模型结构如下表：
[0088] Diff网络结构
[0089]网络层 特征图维度
1nput 256x256x(N+1)
Conv2d，stride＝2 128x128x64
Conv2d，stride＝2 64×64×128
Conv2d，stride＝2 32x32x256
Conv2d，stride＝1 32x32x512
Conv2d，stride＝1 32x32x1
[0090] 在本实施例中，步骤S43中，在网络训练的前50轮，令α与β相同，控制loss中的两项起相同作用， 实际上是Kgenerated，Ktrue之间的L1误差；网络训练到50轮以后，令α为0，loss中的Diff(Kgenerated|Klocai)项起主要作用。Diff(K|Klocal)项为一个可以区分真实模糊核与生成模糊核的CNN卷积网络的输出，输入端接收全局模糊核K与局部模糊核Klocal。当K＝Kgenerated时Diff(K|Klocal)值较大，当K＝Ktrue时Diff(K|Klocal)值较小。
[0091] 特别的，图5为本发明在两张模糊图像上与现有技术中的Pan方法[参考文献：Pan J，Sun D，Pfister H，et al.Blind Image Deblurring Using Dark Channel Prior[C]Computer Vision and Pattern Recognition.IEEE，2016：1628-1636.]的去模糊效果对比。每行代表一张图像的对比，其中(a)为两张模糊图像，(b)是Pan方法的去模糊效果，(c)是Pan方法的去模糊效果的两处局部放大，(d)是本发明去模糊效果，(e)是本发明去模糊效果两处局部放大。可见本发明方法在第一张图像的两处局部放大图的还原效果不存在叠影，在第二张图的两处局部方法还原效果更为清晰。
[0092] 本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或
计算机程序产品。因此，本申请可采用完全
硬件实施例、完全
软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘
存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
[0093] 本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方
框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程
数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中
指定的功能的装置。
[0094] 这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0095] 这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0096] 以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何简单
修改、等同变化与改型，仍属于本发明技术方案的保护范围。
