技术领域
[0001] 本
发明涉及数字
图像处理技术领域，特别是涉及一种图像去运动模糊的方法和装置。
背景技术
[0002] 图像运动模糊是由曝光期间相机和被拍摄场景的相对运动造成的。随着智能手机的普及，其逐渐成为当今最流行的拍照设备。受限于设备本身的尺寸限制以及设计成本的考虑，手机摄像头的
光圈大小十分有限，图像
传感器单位
像素的感光元件面积也十分有限，这使得手机摄像头的感光能
力较弱，为了在典型的场景中获得每像素足够的
光子，相机需要捕获数十到数百毫秒的光。因此手持手机进行拍照时，运动模糊问题变得尤为突出。图像去运动模糊就是要从运动模糊图像中恢复隐含的清晰图像，它是数字图像处理中的一个重要问题。除了在智能手机等消费
电子领域具有重要意义以外，图像去运动模糊在视频监控、遥感等生产生活领域也具有较高的实用价值。
[0003] 真实相机抖动导致的空间非均匀运动模糊比经典的空间均匀运动模糊更难去除。因为图像不同区域受到的运动模糊不尽相同，简单地估计单一的模糊核并进行去卷积会引起严重的
振铃效应。因此，需要提供一种图像去运动模糊的方法，以有效地去除图像非均匀运动模糊。
发明内容
[0004] 本发明要解决的技术问题是提供一种图像去运动模糊的方法和装置，该方法和装置基于一种L0稀疏性模糊核
质量度量标准，能够去除图像中连续变化的非均匀运动模糊，并尽可能地减少振铃效应。
[0005] 为了解决上述技术问题，本发明提供一种图像去运动模糊的方法(基于L0稀疏性模糊核质量度量标准的图像去运动模糊方法)，包括以下步骤：
[0006] S1：利用空间距离、
颜色、纹理、模糊特征，将原始模糊图像按0～1(一般优选0.5)的重叠率划分为一系列重叠图像
块{Pi}＝{Pi，P2，...，PN}，其中N为图像块的数目；
[0007] 注，重叠图像块{Pi}＝{P1，P2，...，PN}的划分规则为：使得在同一图像块中的像素点的空间距离、颜色、纹理、模糊特征的相似度高，而不在同一图像块中的像素点的空间距离、颜色、纹理、模糊特征的相似度低。其中相似度的度量可以采用SAD或者MSE(但不限于此)；按所述规则进行图像块的划分具体可以采用SLIC超像素分割
算法，也可以采用等间隔规则矩形划分法(但不限于此)。所述重叠率为：相邻图像块之间重叠部分的面积占图像块面积的比例；
[0008] S2：对步骤S1中的每一个图像块Pi，从原始模糊图像中，利用空间距离、颜色、纹理、模糊特征，按规则选取一组参考图像块 其中mi为Pi对应的参考图像块的数目；
[0009] 注，规则是：使得所述参考图像块 的空间距离、颜色、纹理、模糊特征与当前图像块Pi的空间距离、颜色、纹理、模糊特征的相似度高，其中相似度的度量可以采用SAD或者MSE(但不限于此)；按所述规则进行参考图像块的选取具体可以采用全搜索
块匹配法(但不限于此)；
[0010] S3：对步骤S2中得到的Pi的每一个参考图像块 使用模糊核估计方法(现有模糊核估计方法)得到初步估计的模糊核
[0011] S4：对步骤S3中得到的模糊核 计算L0稀疏性模糊核质量度量并从中找到最大的L0稀疏性模糊核质量度量 所对应
的局部最佳模糊核
[0012] S5：使用步骤S4中得到的 对步骤S1所得的各模糊图像块Pi进行非盲去卷积，得到
去模糊后的图像块
[0013] S6：将所有按上述步骤得到的去模糊后的图像块 拼接在一起得到最终去模糊后的图像。
[0014] 作为本发明的图像去运动模糊的方法的改进，步骤S4所述的一种L0稀疏性模糊核质量度量f(k)由式(1)计算得到：
[0015]
[0016] 由式(2)计算得到：
[0017]
[0018] 式(1)～(2)中，L(·)表示模糊惩罚函数，k表示模糊核；*表示卷积运算符；y和x分别表
[0019] 示当前模糊图像块Pi和其对应的隐含清晰图像块的梯度映射图，所述梯度映射图由图像在
[0020] 任意一个或多个方向上的离散偏导数构成；||x||0为x的L0范数，定义为||x||0＝#{(m，n)：|xm，n|＞0}，其中，m，n分别表示图像像素横坐标索引和图像像素纵坐标索引；ρk(k)是模糊核正则化项，λx和λk为平衡因子(取值适当的平衡因子)，取值≥0(即，为0～正无穷大)。
[0021] 注： 为 的L0范数，定义为： 其中，m，n分别表示图像像素横坐标索引和图像像素纵坐标索引。
[0022] 作为本发明的图像去运动模糊的方法的进一步改进：模糊惩罚函数为以下惩罚函数：一次范数||·||或二次范数||·||2(但不限于此)；取ρk(k)＝||k||2(但不限于此)。
[0023] 作为本发明的图像去运动模糊的方法的进一步改进：
[0024] 步骤S1所述重叠图像块{Pi}可按等间隔或非等间隔划分得到；图像块形状是规则或不规则；图像块的大小为相同或者不相同；图像块的数目N是奇数或偶数。
[0025] 步骤S2对各图像块Pi选取的一组参考图像块 由若干大小相同或不相同的规则矩形图像块组成，或者由若干圆形、三
角形或不规则图像块组成；参考图像块的数目mi是奇数或偶数；不同图像块Pi对应的参考图像块的数目mi为相同或不同。
[0026] 作为本发明的图像去运动模糊的方法的进一步改进：
[0027] 步骤S3所述模糊核估计方法为以下任一：采用基于
功率谱密度的模糊核估计方法、基于最大后验概率的模糊核估计方法，或者是基于神经网络的模糊核估计方法(但不限于此)；
[0028] 步骤S5的非盲去卷积采用的方法为：Richardson-Lucy算法、维纳滤波或者超拉普拉斯先验非盲去卷积算法(但不限于此)。
[0029] 作为本发明的图像去运动模糊的方法的进一步改进：步骤S6将所有去模糊后的图像块 拼接在一起得到最终去模糊后的图像的操作为以下任一(但不限于此)：
[0030] A、将 返回图像原处
叠加取平均(可使用窗函数，例如矩形窗、高斯窗、Bartlett-Hann窗、Hamming窗等)；
[0031] B、使用泊松融合图像重建方法。
[0032] 作为本发明的图像去运动模糊的方法的进一步改进：对S1所得的一系列重叠图像块{Pi}，步骤S2～S5可以在各图像块Pi上顺序串行执行但也可以是在多个图像块上并行执行。
[0033] 本发明还同时提供了一种图像去运动模糊的装置：包括输入图像处理模块、参考图像块搜索模块、模糊核估计模块、模糊核选择模块、非盲去卷积模块、图像重建模块；
[0034] 输入图像处理模块包括图像处理单元与图像块划分单元；所述图像处理单元用于对接收到的原始运动模糊图像进行读取待处理图像、识别图像格式并进行解压缩、计算
图像空间距离、颜色、纹理、模糊特征的处理，并将处理所得的模糊图像和特征输入至图像块划分单元进行对模糊图像进行划分获取一系列重叠图像块{Pi}的处理；
[0035] 参考图像块搜索模块包括图像块特征计算单元和参考图像块搜索单元，图像块划分单元处理所得的一系列重叠图像块{Pi}传输至图像块特征计算单元进行计算各图像块Pi的空间距离、颜色、纹理、模糊特征的处理，并将处理所得的特征输入至参考图像块搜索单元进行从模糊图像中搜索得到各模糊图像块Pi对应的一组参考图像块 的处理；
[0036] 参考图像块搜索单元处理所得的各模糊图像块Pi对应的一组参考图像块 传输至模糊核估计模块，进行使用现有模糊核估计方法得到初步估计的模糊核 的处理；
[0037] 模糊核估计模块处理所得的初步估计的模糊核 传输至模糊核选择模块，进行L0稀疏性模糊核质量度量标准f(k)的计算，并选择使得f(k)最大的局部最佳模糊核 L0稀疏性模糊核质量度量标准f(k)按照式(1)进行计算；
[0038] 模糊核选择模块处理所得的各局部最佳模糊核 传输至非盲去卷积模块，进行使用各局部最佳模糊核 对各重叠图像块Pi进行非盲去卷积，得到各去模糊后的图像块的处理，其中采用的非盲去卷积方法可以是：Richardson-Lucy算法、维纳滤波或者超拉普拉斯先验非盲去卷积算法(但不限于此)；
[0039] 非盲去卷积模块处理所得的各去模糊后的图像块 传输至图像重建模块，进行将所有去模糊后的图像块 拼接在一起的处理；最终得到最终去模糊后的图像。
[0040] 综上所述，与
现有技术相比，本发明具有以下有益效果：本发明采用基于一种L0稀疏性模糊核质量度量标准，能够较为有效地估计局部最佳模糊核，在处理图像中连续变化的非均匀运动模糊时，能尽可能地减少振铃效应并去除运动模糊。即，本发明在对图像去运动模糊时，能够有效地去除连续变化的非均匀运动模糊，并尽可能地减少振铃效应。
附图说明
[0041] 下面结合附图对本发明的具体实施方式作进一步详细说明。
[0042] 图1为本发明一种
实施例的图像去运动模糊方法
流程图；
[0043] 图2为本发明一种实施例的图像去运动模糊装置的结构
框图。
[0044] 图3为实例1所述输入模糊图像y，包含由真实相机抖动导致的连续变化的非均匀运动模糊。
[0045] 图4为实例1按照实施例2所述方法进行图像去运动模糊所得最终去模糊后的图像[0046] 图5为作为对比所得的图像。
具体实施方式
[0047] 下面结合具体实施例对本发明进行进一步描述，但本发明的保护范围并不仅限于此：
[0048] 首先，对本发明实施例所提供的图像去运动模糊方法进行一个简单介绍：先对输入模糊图像进行重叠图像块划分，再为各重叠图像块在模糊图像中选取一组参考图像块，然后对各重叠图像块对应的所有参考图像块使用现有模糊核估计方法得到一系列初步估计的模糊核，并使用一种L0稀疏性模糊核质量度量标准从中选择局部最佳模糊核，最后使用各局部最佳模糊核对其对应的重叠模糊图像块进行非盲去卷积，得到去各模糊后的图像块，并将各去模糊后的图像块拼接在一起得到最终去模糊后的图像。
[0049] 实施例1、一种图像去运动模糊的装置，结构框图如图2所述，包括输入图像处理模块10、参考图像块搜索模块20、模糊核估计模块30、模糊核选择模块40、非盲去卷积模块50、图像重建模块60。
[0050] 输入图像处理模块10用于对原始运动模糊图像进行处理，获取一系列重叠图像块{Pi}；具体而言，输入图像处理模块10包括图像处理单元12与图像块划分单元14；图像处理单元12用于读取待处理图像、识别图像格式并进行解压缩、计算图像空间距离、颜色、纹理、模糊特征的处理，从而获得模糊图像和特征；并将所得的模糊图像和特征输入至图像块划分单元14，图像块划分单元14利用特征对输入模糊图像进行划分，获取一系列重叠图像块{Pi}。
[0051] 参考图像块搜索模块20，连接至输入图像处理模块10，用于对各重叠图像块Pi在输入模糊图像中选取一组参考图像块 具体而言，参考图像块搜索模块20包括图像块特征计算单元22和参考图像块搜索单元24，图像块划分单元14处理所得的一系列重叠图像块{Pi}传输至图像块特征计算单元22进行计算各图像块Pi的空间距离、颜色、纹理、模糊特征的处理，并将处理所得的特征输入至参考图像块搜索单元24进行从模糊图像中搜索得到各重叠模糊图像块Pi对应的一组参考图像块 的处理；即，图像块特征计算单元22，用于计算图像块的
位置、颜色、纹理、模糊特征；参考图像块搜索单元24连接至图像块特征计算单元22，用于根据图像块的位置、颜色、纹理、模糊特征，按照一定规则搜索得到当前模糊图像块Pi的一组参考图像块
[0052] 模糊核估计模块30，连接至输入图像处理模块20，用于对各重叠图像块Pi的参考图像块 使用模糊核估计方法进行模糊核估计，得到一系列初步模糊核估计 具体而言：参考图像块搜索单元24处理所得的各重叠模糊图像块Pi对应的一组参考图像块数据传输至模糊核估计模块30进行使用现有模糊核估计方法得到初步估计的模糊核的处理。
[0053] 模糊核选择模块40，连接至模糊核估计模块30，用于对估计得到的模糊核进行L0稀疏性模糊核质量度量标准f(k)的计算，并选择使得f(k)最大的局部最佳模糊核
[0054] 非盲去卷积模块50，连接至模糊核选择模块40，用于使用各局部最佳模糊核 对各重叠图像块Pi进行非盲去卷积，得到各去模糊后的图像块
[0055] 图像重建模块60，连接至非盲去卷积模块50，用于将所有去模糊后的图像块 拼接在一起得到最终去模糊后的图像。
[0056] 实施例2、一种利用实施例1所述装置进行的图像去运动模糊的方法(基于L0稀疏性模糊核质量度量标准的图像去运动模糊方法)，如图1所示，该图像去运动模糊方法主要包括以下步骤(S1-S6)，
[0057] 步骤S1，利用空间距离、颜色、纹理、模糊等特征，将原始模糊图像按一定的重叠率划分为一系列重叠图像块{Pi}＝{P1，P2，..，PN}，其中N为图像块的数目。所述重叠图像块{Pi}＝{P1，P2，..，PN}的划分规则可以按图像块的空间位置、颜色、纹理、模糊特征制定；具体可以是：使得在同一图像块中的像素点的空间距离、颜色、纹理、模糊特征的相似度高，而不在同一图像块中的像素点的空间距离、颜色、纹理、模糊特征的相似度低，其中相似度的度量可以采用SAD或者MSE(但不限于此)；所述图像块的形状可以是规则矩形、圆形、三角形，甚至不规则，图像块的大小可以相同或者不相同，图像块的数目N可以是奇数也可以是偶数；按所述规则进行图像块的划分具体可以采用SLIC超像素分割算法，也可以采用等间隔规则矩形划分法(但不限于此)；所述重叠率为：相邻图像块之间重叠部分的面积占图像块面积的比例；所述重叠率可以设置为0～1之间的任意值，一般为0.5。
[0058] 步骤S2，对步骤S1中划分得到的每一个图像块Pi，从原始模糊图像中，利用空间距离、颜色、纹理、模糊等特征，按一定的规则选取一组参考图像块 其中mi为Pi对应的参考图像块的数目。所述参考图像块 可以由若干大小相同或不相同的规则矩形图像块组成，也可以由若干圆形、三角形甚至不规则图像块组成；参考图像块的数目mi可以是奇数也可以是偶数，不同图像块Pi对应的参考图像块的数目mi可以相同也可以不同；所述参考图像块 的选取规则可以是：使得所述参考图像块 的空
间距离、颜色、纹理、模糊特征与所述当前图像块Pi的空间距离、颜色、纹理、模糊特征的相似度高，其中相似度的度量可以采用SAD或者MSE(但不限于此)；按所述规则进行参考图像块的选取具体可以采用全搜索块匹配法，也可以采用选取距离当前图像块最近的若干图像块的方法(但不限于此)。
[0059] 步骤S3，对步骤S2中选取的Pi的每一个参考图像块 使用现有模糊核估计方法得到初步估计的模糊核 所述现有模糊核估计方法可以采用基于功率谱密度的模糊核估计方法，也可以是基于最大后验概率的模糊核估计方法，或者是基于神经网络的模糊核估计方法(但不限于此)。
[0060] 步骤S4，对步骤S3中得到的模糊核 计算一种L0稀疏性模糊核质量度量 并从中找到最大的L0稀疏性模糊核质量度量
所对应的局部最佳模糊核 其中，所述的一种L0稀疏性模糊核质量度量f(k)具体可以由如式(1)计算得到：
[0061]
[0062] 其中 由式(2)计算得到：
[0063]
[0064] 式(1)-(2)中，L(·)表示模糊惩罚函数，可以采用一次范数||·||或二次范数||·||2等惩罚函数，但不限于此；k表示模糊核；*表示卷积运算符；y和x分别表示当前模糊图像块Pi和其对应的隐含清晰图像块的梯度映射图，其中梯度映射图可以由图像在任意一个或 多 个方 向 上的 离 散 偏导 数 构成 ； 为 的 L 0范 数 ，定义 为 ：其中，m，n分别表示图像像素横坐标索引和图像像素纵坐标索
引；||x||0为x的L0范数，定义为||x||0＝#{(m，n)：|xm，n|＞0}，其中，m，n分别表示图像像素横坐标索引和图像像素纵坐标索引；ρk(k)是模糊核正则化项，一般取ρk(k)＝||k||2，但不限于此；λx和λk为取值适当的平衡因子，一般大于0(即，为0～正无穷大)。
[0065] 步骤S5，使用步骤S4中得到的 对与之对应的模糊图像块Pi进行非盲去卷积，得到去模糊后的图像块 其中非盲去卷积采用的方法可以是：Richardson-Lucy算法、维纳滤波或者超拉普拉斯先验非盲去卷积算法(但不限于此)。
[0066] 步骤S6，将所有按上述步骤得到的去模糊后的图像块 拼接在一起得到最终去模糊后的图像。其中，将 拼接在一起得到最终去模糊后的图像的操作具体可采用以下任一(但不限于此)：
[0067] A、将 返回图像原处叠加取平均，其中，在叠加取平均时可以使用窗函数，例如矩形窗、高斯窗、Bartlett-Hann窗、Hamming窗；
[0068] B、使用泊松融合图像重建方法。
[0069] 在本实施例中，对划分得到的一系列重叠图像块{Pi}，步骤S2～S5可以在各图像块Pi上顺序串行执行但也可以是在多个图像块上并行执行。
[0070] 真实相机抖动导致的模糊图像中包含连续变化的非均匀运动模糊，直接对模糊图像使用现有模糊核估计方法进行模糊核估计，然后使用估计得到的模糊核对模糊图像进行非盲去卷积得到的去模糊后的图像会产生振铃效应；原因在于，模糊图像中的非均匀运动模糊无法用估计得到的单一模糊核进行描述，图像中不同局部区域对应不同的模糊核(即，非均匀运动模糊)；而本实施例采用一种L0稀疏性模糊核质量度量标准，能够较为有效地估计图像不同区域的局部最佳模糊核，故，本实施例在对图像去运动模糊时，能够有效地去除连续变化的非均匀运动模糊，并尽可能地减少振铃效应。
[0071] 实例1、本实例按照实施例2所述方法进行图像去运动模糊，步骤如下：
[0072] 输入：模糊图像y。
[0073] 输出：最终去模糊后的图像
[0074] 参数设置：重叠图像块大小W×W，领域范围±N，步长S；其中W＝64像素，N＝64像[0075] 素，S＝32像素。
[0076] 步骤S1：
[0077] 将模糊图像y按0.5的重叠率划分为n个W×W大小的重叠图像块{yl}。
[0078] 步骤S2：
[0079] 对所有的l＝1，2，..，n，令 为yl的一组参考图像块；其中， 为yl的±N邻域内所有W×W、2W×2W、4W×4W大小的图像块集合(步长为S)。
[0080] 步骤S3：
[0081] 对所有的l＝1，2，…，n，以及步骤S2所得的yl的一组参考图像块 中的所有参考图像块，使用现有基于最大后验概率的模糊核估计方法得到初步估计的模糊核[0082] 步骤S4：对{yl}中所有的图像块，从步骤S3所得的一系列初步估计的模糊核 中l选择y的局部最佳模糊核 (其中f(k)如实施例2中式(1)所定义)。
[0083] 步骤S5：对{yl}中所有的图像块，使用步骤S4所得的局部最佳模糊核 和超拉普拉斯先验非盲去卷积算法对yl进行非盲去卷积，得到去模糊后的图像块
[0084] 步骤S6：将所有步骤S5所得去模糊后的图像块 返回图像原处叠加取平均得到最终去模糊后的图像
[0085] 图3为本实例所述输入模糊图像y，包含由真实相机抖动导致的连续变化的非均匀运动模糊。
[0086] 图4为本实例按照实施例2所述方法进行图像去运动模糊所得最终去模糊后的图像
[0087] 作为对比，图5为对本实例所述输入模糊图像y使用现有基于最大后验概率的模糊核估计方法得到模糊核，然后使用所得模糊核和超拉普拉斯先验非盲去卷积算法进行非盲去卷积所得的去模糊后的图像。
[0088] 如图3所示，本实例1所述输入模糊图像y中包含连续变化的非均匀运动模糊；图5所示图像产生了明显的振铃效应；原因在于，模糊图像中的非均匀运动模糊无法用估计得到的单一模糊核进行描述，图像中不同局部区域对应不同的模糊核(即，非均匀运动模糊).而本实例1按照实施例2所述方法，采用一种L0稀疏性模糊核质量度量标准，能够较为有效地估计图像不同区域的局部最佳模糊核，故，如图4所示，本实例按照实施例2所述方法在对所述输入模糊图像y去运动模糊时，能够有效地去除连续变化的非均匀运动模糊，并尽可能地减少振铃效应。
[0089] 最后，还需要注意的是，以上列举的仅是本发明的若干个具体实施例。显然，本发明不限于以上实施例，还可以有许多
变形。本领域的普通技术人员能从本发明公开的内容直接导出或联想到的所有变形，均应认为是本发明的保护范围。
