技术领域
[0001] 本
发明涉及数字
图像处理技术领域，适用于
计算机视觉应用的前期预处理，可广泛应用于手机拍摄、家庭和道路监控、车载记录仪等领域，具体涉及一种基于天空区域概率分割的单幅图像去雾方法。
背景技术
[0002] 有雾天气或者雾霾天气下户外能见度较低，拍摄得到的图像和视频常常出现降质的现象。为改善图像的
质量、提高图像的清晰度，需要对图像进行去雾处理。
[0003] 当前对于有雾图像处理的方法可以分为三类：一类是基于图像增强的方法，此类方法不考虑雾图像具体的形成过程，只选取图像中感兴趣的部分进行增强。常用的图像增强方法有直方图均衡化、
对比度增强和基于Retinex理论的相关
算法等，这类方法对景物深度变化比较大的图像的增强效果不理想，而且容易造成增强过度，使得图像不自然。第二类是基于学习的去雾方法。此类方法主要是设计一种神经网络，利用大量有雾图像和对应场景下的无雾图像训练得到大气散射模型的相关参数(比如透射率)或者直接训练一种端对端的去雾网络。常见的基于学习的去雾网络有DehazeNet、MSCNN、AOD-Net、Cycle-Dehaze等。目前基于学习的去雾算法适用于薄雾和均匀的雾图，对有浓雾和不均匀雾的图像去雾效果一般。第三类是基于物理模型的去雾方法。利用模型做出假设先验，然后逆向复原图像。不同于图像增强和基于学习的去雾两类算法，基于物理模型的去雾方法由于考虑了雾天降质的原因，利用物理模型和一些合理的假设先验知识，能够获得较为自然和逼真的去雾结果。其中，最常用的物理模型就是大气散射模型。大气散射模型的两个主要未知量是大气参数和图像的透射率。比较著名的先验假设有暗通道先验(dark channel prior)、
颜色衰减先验(color attenuation prior)、色彩线先验(color-lines)、雾线先验(haze-line)等。其中，暗通道先验去雾原理简单，在实践中取得了很好的效果。暗通道先验是通过对户外无雾图像
数据库进行统计得出的，即绝大多数的户外无雾图像的每个局部区域中都存在这样的
像素，该像素的至少一个颜色通道的灰度值很低。利用暗通道先验建立的去雾模型可直接估算图像的透射率并且得到较为自然的去雾图像。然而，暗通道先验的规律在大面积的白色天空区域并不成立，导致暗通道先验去雾的方法对天空区域的适应性差，容易造成天空区域颜色失真且出现
块效应(block artifacts)。
[0004] 因此，需要找到一种快速的天空区域识别方法，并对天空区域的透射率进行修正。另外，常用的基于物理模型的去雾结果容易出现图像偏暗问题，进而导致视觉效果降低。需要设计一种新的方法解决去雾后的图像
亮度和细节增强问题。
发明内容
[0005] 有鉴于此，本发明提供了一种基于天空区域概率分割的单幅图像去雾方法，能够对有雾图像的天空区域进行有效地识别和分割，且去雾图像的视觉效果好。
[0006] 本发明的基于天空区域概率分割的单幅图像去雾方法，包括如下步骤：
[0007] 步骤1，根据公式(4)计算图像中像素属于天空区域的概率值，得到天空区域概率图；对天空区域概率图进行自适应二值分割，得到天空区域和非天空区域；其中，像素属于天空区域的概率值Psky为：
[0008] Psky＝Psmooth·Prange·Porient (4)
[0009] 其中，Psmooth为平滑概率，用原始图像的梯度值表示；Prange为值域概率，用像素颜色与天空区域颜色本征值的差值的高斯函数表示；Porient为方向概率，为一个沿图像从上至下离散递减的函数；
[0010] 步骤2，针对步骤1分割得到的天空区域，采用四叉树分解方法
迭代搜索区域均值与标准差的差值绝对值最大的区域，当选择的搜索区域面积小于设定的
阈值时停止搜索，此时对应的差值绝对值最大区域即为全局大气光区域，全局大气光区域所对应的原图
位置的像素的均值设定为全局大气光值A；
[0011] 步骤3，根据原始图像的暗通道图估计整幅图像的初始透射率图
[0012] 步骤4，对初始透射率 进行修正，得到修正后的透射率t(x)：
[0013]
[0014] 其中，G(x)为容差增益， K为容差，γ为修正系数，A为步骤2获得的全局大气光值；I(x)为原始图像；
[0015] 步骤5，根据步骤2获得的全局大气光值和步骤4获得的透射率，采用大气散射模型对原始图像进行去雾处理，得到去雾后的图像。
[0016] 较优的，所述Psmooth采用归一化的拉普拉斯图表示，即：
[0017] Psmooth＝norm(Ilap)
[0018] 其中，Ilap表示原始图像的拉普拉斯滤波结果，norm表示采用线性变换的归一化处理。
[0019] 较优的，所述Prange采用下式计算获得：
[0020]
[0021] 其中，(Y,U,V)表示原始图像在YUV颜色空间的值；(Y0,U0,V0)为天空区域在YUV颜色空间的本征值；σ为尺度调整参数。
[0022] 较优的，所述Porient采用下式计算获得：
[0023]
[0024] 其中，m表示原始图像的第m行，H代表原始图像的高度。
[0025] 较优的，所述步骤1中，采用大津法OTSU进行自适应二值分割。
[0026] 较优的，所述步骤4中，对修正后的透射率做快速全局平滑滤波，得到再次修正的透射率，采用再次修正的透射率执行步骤5。
[0027] 较优的，还包括：步骤6，对步骤5得到的去雾后的图像进行细节增强处理和亮度增强处理。
[0028] 较优的，采用快速傅里叶变换或拉普拉斯滤波进行细节增强；采用伽
马校正进行亮度增强。
[0029] 有益效果：
[0030] (1)本发明通过对有雾图像天空区域的总结分析，提出了基于概率模型的天空区域识别算法，对有雾图像的天空区域进行有效地识别和分割；然后根据大气散射模型进行去雾处理，并在处理过程中，对天空区域和非天空区域分别采用不同的透射率，即对天空区域的透射率进行基于改进容差机制的增益放大修正，解决暗通道先验理论在天空区域失效的问题，提高了各种场景下，尤其是包含大面积天空区域的有雾图像的去雾效果，解决了去雾图像天空区域颜色失真的问题；
[0031] (2)通过引入全局平滑滤波方法对透射率进行优化，减少了去雾结果的块效应的情况；
[0032] (3)采用了傅里叶变换方法和伽马校正调整了图像的细节和亮度，提高了去雾图像的视觉效果。
附图说明
[0033] 图1为本发明单幅图像去雾方法流程示意图。
[0034] 图2为本发明
实施例中的天空区域分割算法的流程示意图。
[0035] 图3(a)为本发明实施例中的去雾前的原始图像。
[0036] 图3(b)为基于概率模型和大津法的初始天空分割的二值图。
[0037] 图3(c)为经过区域填充的最终天空区域分割结果。
[0038] 图3(d)为未经过天空区域分割和透射率修正的去雾效果图。
[0039] 图3(e)为本发明实施例中初始去雾效果图。
[0040] 图3(f)为经过傅里叶变换增强的最终去雾效果图。
具体实施方式
[0041] 下面结合附图并举实施例，对本发明进行详细描述。
[0042] 本发明提供了一种基于天空区域概率分割的单幅图像去雾方法，提出了基于概率模型的天空区域分割算法，将有雾
图像分割成两个部分——天空区域和非天空区域，然后对天空区域的透射率进行修正，即非天空区域仍然采用初始估计的透射率；对于不满足暗通道理论的天空区域，采用基于改进容差机制的增益放大初始透射率，得到修正的透射率图；通过上述方法估计得到的大气光和透射率，逆向求解大气散射模型得到初始的去雾结果。并采用傅里叶变换方法对图像的亮度和细节进行调整。
[0043] 本发明单幅图像去雾方法流程示意图如图1所示，具体包括如下步骤：
[0044] 步骤1，天空区域概率分割。
[0045] 本发明通过对大量有雾图像进行分析，总结出包含天空区域图像的一些共同特征：天空区域一般比较平滑；天空区域的亮度值比较大；天空区域一般出现在图像的上方。据此，本发明提出分别对应于上述三个特征的概率，即平滑概率Psmooth、值域概率Prange和方向概率Porient，通过这三个概率，得到天空区域分布的概率图。
[0046] a)图像的平滑特性一般可以用图像的梯度来检测，图像越平滑的区域，图像的梯度越小；相反，图像变化剧烈的地方，梯度越大；即可以通过求取图像的梯度获得图像的平滑概率Psmooth。本实施例采用归一化的拉普拉斯图表征整幅图像的平滑特征，保证平滑概率Psmooth的取值范围在0～1之间：
[0047] Psmooth＝norm(Ilap) (1)
[0048] 其中，Ilap表示原始有雾图像的拉普拉斯滤波结果，norm表示采用线性变换的归一化处理。
[0049] b)值域概率Prange描述的是天空区域颜色特征的概率。本发明通过提取大量有雾图像的天空区域，对其观察和统计发现，在YUV颜色空间中，有雾图像的天空区域的亮度值和
色度值在小范围内随机变化，类似于一种高斯分布。假设(Y0、U0、V0)表示天空区域亮度和色度的本征值，则图像中，像素(Y,U,V)与天空区域颜色本征值越接近表明该像素属于天空区域的概率越大。由此，引出天空区域的值域概率：
[0050]
[0051] 其中，Y、U、V表示原始有雾图像在YUV颜色空间的三个通道。其中，不同的包含天空区域场景的图像，其天空区域的本征值Y0、U0、V0可能稍有不同。本发明给出参考的天空区域颜色的本征值的取值范围，Y0的取值范围为220至240之间，U0和V0的取值在20左右，但不限于此，需要根据实际场景做出相应调整。σ是一个尺度调整参数，保证值域概率的区间能够较为均为地分布在0到1之间。
[0052] c)在一幅图像中，天空区域出现的概率从上到下是逐渐减小的，根据这个原则设计天空区域的方向概率，即一个离散递减的函数。考虑到图像的底端也可能出现天空区域，所以需要保证函数递减，但不趋近0，而是趋近于一个较小的常数。本发明给出天空区域的方向概率的函数示例，但不限于此：
[0053]
[0054] 其中，m表示图像的第m行，H代表图像的高度。
[0055] d)三个概率相乘得到天空区域的概率：
[0056] Psky＝Psmooth·Prange·Porient (4)
[0057] 基于公式(4)，得到天空区域概率图。
[0058] e)对天空区域概率图进行自适应的二值分割，得到天空区域的二值分割标签图Fsky。当Fsky＝1时，表示天空区域；当Fsky＝0时，表示非天空区域。考虑到部分非天空区域可能会被错误的分割为天空区域，有必要对面积小于阈值S的白色孔洞用区域填充方法进行填充，得到更精确的天空区域分割标签图。其中，阈值S的选取依据为：比二值分割得到的天空区域面积略小即可，这样可以把所有被误分割成天空区域的小孔洞重新调整为非天空区域。本实施例中采用采用大津法OTSU进行自适应二值分割，但不限于该方法。
[0059] 步骤2，求取大气光值。
[0060] 针对步骤1)得到的天空区域，采用四叉树分解方法迭代搜索区域亮度通道Y的均值Bmean与标准差Bstd的差值绝对值|Bmean-Bstd|最大的区域，当选择的搜索区域面积小于设定的阈值T时停止搜索，此时对应的差值绝对值最大区域即为全局大气光区域，全局大气光区域所对应的原图位置的像素的均值设定为全局大气光值A：
[0061] A＝(Ar,Ag,Ab) (5)
[0062] 阈值T的选择与天空区域的面积大小有关，本发明中选取天空区域面积的0.2％，但不限于此。全局大气光A是一个三元向量，Ar、Ag、Ab分别代表所述全局大气光区域的YUV三个通道的均值。
[0063] 步骤3，估计初始透射率并采用快速全局滤波进行优化。
[0064] 计算输入原始有雾图像I的暗通道图，进而估计整幅图像的初始透射率图[0065]
[0066] 其中，c∈{r,g,b}表示彩色图像的一个颜色通道。Ω(x)表示滤波窗口，窗口半径为r，默认值为15。根据暗通道理论，非天空区域仍然采用上述透射率估计结果。对天空区域的透射率估计不足问题，提出改进容差增益G(x)对天空区域的透射率进行修正：
[0067]
[0068] 其中，K为容差，容差的选取与图像的场景有关，一般不超过35。γ为修正系数(大于1)，能够提高增益从而提高天空低估的透射率。但是不能过大，过大反而导致透射率过高。本发明中γ值范围为1到2之间。结合暗通道理论和容差增益，得到修正的初始透射率：
[0069]
[0070] 为进一步精细化透射率，弱化图像的噪声，使图像去雾效果更自然，对修正的初始透射率t(x)做快速全局平滑滤波，得到最终的透射率tf，所述的优化方法如下：
[0071] tf＝min(FGS(t(x),1) (9)
[0073] 步骤4，使用大气散射模型的去雾的方法对所述有雾图像进行去雾处理。根据雾模型，图像复原公式为：
[0074]
[0075] 一般的去雾结果存在图像整体偏暗的问题。为了提升图像的视觉效果。采取一些措施对初始去雾的结果进行细节和亮度的增强。细节增强主要采用提高图像高频信息的方法，如傅里叶变换、拉普拉斯滤波等。亮度增强可以采用一般的伽马校正即可。本发明采用下面的快速傅里叶变换进行细节增强：
[0076]
[0077] 其中，H、W表示图像的高度和宽度，(m,n)表示图像中像素的坐标，F和F-1分别表示傅里叶变换和傅里叶逆变换，λ为增强因子，控制图像细节增强的程度，该值根据实验经验一般不超过0.0001，防止过度增强。
[0078] 综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何
修改、等同替换、改进等，均应包含在本发明的保护范围之内。
