技术领域
[0001] 本
发明属于
图像处理技术领域，涉及一种基于SSGAN的古代残损纺织物图像修复方法。
背景技术
[0002] 随着
计算机视觉的不断革新，推动了图像处理技术领域的快速发展，图像修复作为图像处理的一个重要研究方向，在资料修复、
虚拟现实、图像缩放等方面有着重要的现实意义，尤其是在文物修复方面具有重大的历史价值。
[0003] 传统的图像修复方法主要采用局部或非局部的信息修复缺失和残损部分，经典的BSCB图像修复
算法是一种比较简单且易于理解和实现的算法，然而该算法修复的基本单位是
像素，会导致图像在修复的过程中由于计算量大与计算复杂等产生运行速度较慢的问题；整体变分(total variation，TV)算法考虑了图像的平滑特性，采用
各向异性扩散的形式对破损的边缘区域进行修复，但是缺失区域较大时会产生模糊，在修复小的缺失区域和消除噪音时很有效，可以将图像中的边缘信息进行延伸，但是此修复方法仅适用于较小区域的缺失情况很难满足人类视觉连通性；Criminisi算法充分考虑了图像的结构信息和纹理信息，相比于其他修复技术此修复技术在大区域的修复中有着较好的视觉效果，但是该方法优先权的计算、匹配
块的搜索方式和匹配块的大小过于依赖图像已知信息容易造成错误信息累计。
[0004] 大多数经典的图像修复方法由于缺乏高级上下文联系，主要针对单一图像进行修复，视觉认知程度低，往往达不到良好的修复效果。
发明内容
[0005] 本发明的目的是提供一种基于SSGAN的古代残损纺织物图像修复方法。解决了
现有技术中存在的图像大面积缺失修复产生模糊现象及任意部分信息缺失修复视觉连贯性差的问题。
[0006] 本发明所采用的技术方案是，
[0007] 一种基于SSGAN的古代残损纺织物图像修复方法，具体按照如下方式实施：
[0008] 步骤1，采集残损或信息丢失的古代纺织物的图片，对图片进行预处理，得到尺寸统一的图片，所有尺寸统一的图片组成训练集；
[0009] 步骤2，建立半监督生成式对抗网络模型，其中半监督生成式对抗网络模型包括生成器G(z)和判别器D(x)；
[0010] 步骤3，对其中半监督生成式对抗网络模型进行训练；
[0011] 步骤4，在训练集中选取一张图片作为输入图片，利用训练好的半监督生成式对抗网络模型对输入图片进行修复，输出修复后的图片。
[0012] 其中生成器G(z)表达式为：
[0013]
[0014] 其中判别器D(x)为K+1分类器，表达式为：
[0015] D(x)＝1-pmodel(y＝K+1|x) (2)
[0016] 其中pmodel表示判别器判别假图像的概率。
[0017] 其中判别器D(x)采用优化函数logpmodel(y∈{1,......,k}|x)来训练；
[0018] 其中判别器D(x)训练时的损失函数由
监督学习损失和
无监督学习损失两部分构成，具体公式如下：
[0019] L＝Lsupervised+Lunsupervised (3)
[0020] 其中Lsupercised为监督学习的损失函数，公式如式(2)所示，Lunsupercised为无监督学习损失函数，公式如式(3)所示
[0021]
[0022]
[0023] 其中pmodel表示判别器判别假图像的概率，
[0024] 其中 表示生成真实数据的期望值，Ex～Glog[pmodel(y＝K+1|x)]表示生成假数据的期望。
[0025] 其中判别器D(x)＝1-pmodel(y＝K+1|x)的时价值函数为：
[0026]
[0027] 其中 为图像数据x服从纺织物图像数据集pdata(x)的期望值 为随机噪声z服从高斯分布的期望。
[0028] 其中步骤3中采用随机
梯度下降法对半监督生成式对抗网络模型进行参数更新。
[0029] 其中参数更新的具体方式为：
[0030] 给定图像数据样本(x,y)，将其输入到SSGAN网络中，由图像数据样本(x,y)构成的数据集，其中数据集的代价函数为：
[0031]
[0032] 其中模型pmodel(y|x)＝Ν(y；xTw+b,1)是
优化算法为求解代价函数梯度为零的正规方程；
[0033] 参数更新时将权重衰减加到线性回归的代价函数中：
[0034]
[0035] 在
半监督学习中，
指定一个代价函数做为第一个主向量，其中λ为学习率；
[0036]
[0037] 模型r(x)＝wTxw为重构函数，限制w范数为“1”。
[0038] 其特征在于，其中步骤4具体按照以下方式进行：
[0039] 步骤4.1，在训练集中选取一张图片作为输入图片分别输入生成器G(z)和判别器D(x)中；
[0040] 步骤4.2，生成器G(z)从输入图片中提取随机噪声对图像的纹理、轮廓、边缘细节进行修复，同时对图像
颜色实现恢复，输出修复后的图片；
[0041] 步骤4.3，将其中修复后的图片输入至判别器D(x)，其中判别器D(x)从输入图片中提取有效的特征作为真实数据，其中判别器D(x)将修复后的图片数据与真实数据进行匹配，获得匹配度；
[0042] 步骤4.4，设定匹配
阈值，若其中匹配度小于匹配阈值，则返回步骤4.2，否则，输出修复后的图片。
[0043] 本发明的有益效果是
[0044] 一、判别器D(x)不在采用简单的二分类而是k+1的分类器，其优点在于能准确的判断真实图像数据和生成图像数据的匹配度大小、生成的图像更加逼真；
[0045] 二、本方法采用随机梯度算法对半监督生成式对抗网络模型，有利于简化参数并加快训练速度；
[0046] 三、本方法采用优化函数来训练判别器D(x)，能够最大概率地正确分类生成和真实样本；
[0047] 四、本方法采用半监督生成式对抗网络模型(SSGAN模型)，生成器G(z)目的是能够生成使得判别器无法正确分辨真实数据和生成数据的数据，判别器D(x)作用是为了能够分辨出真实数据和来自生成器的生成数据；对于在训练过程中，固定生成器G(z)和判别器D(x)中任意一方的权重，更新另一方的网络权重，两个模块交替训练，互相竞争，直到达到纳什均衡，此时意味着，生成器生成的数据可以以假乱真，与真实数据基本相当，所以SSGAN模型的收敛目标是生成器能够从随机噪声生成真实数据。
附图说明
[0048] 图1是本发明一种基于SSGAN的古代残损纺织物图像修复方法的原理
框图；
[0049] 图2是本发明一种基于SSGAN的古代残损纺织物图像修复方法
实施例1中的输入图片；
[0050] 图3是本发明一种基于SSGAN的古代残损纺织物图像修复方法实施例1中的输出图片；
[0051] 图4是本发明一种基于SSGAN的古代残损纺织物图像修复方法实施例2中的输入图片；
[0052] 图5是本发明一种基于SSGAN的古代残损纺织物图像修复方法实施例2中的输出图片；
[0053] 图6是本发明一种基于SSGAN的古代残损纺织物图像修复方法实施例3中的输入图片；
[0054] 图7是本发明一种基于SSGAN的古代残损纺织物图像修复方法实施例3中的输出图片；
[0055] 图8是本发明一种基于SSGAN的古代残损纺织物图像修复方法实施例4中的输入图片；
[0056] 图9是本发明一种基于SSGAN的古代残损纺织物图像修复方法实施例4中的输出图片；
[0057] 图10是本发明一种基于SSGAN的古代残损纺织物图像修复方法实施例5中的输入图片；
[0058] 图11是本发明一种基于SSGAN的古代残损纺织物图像修复方法实施例5中的输出图片；
[0059] 图12是本发明一种基于SSGAN的古代残损纺织物图像修复方法实施例6中的输入图片；
[0060] 图13是本发明一种基于SSGAN的古代残损纺织物图像修复方法实施例6中的输出图片。
具体实施方式
[0061] 下面结合附图和具体实施方式对本发明进行详细说明。
[0062] 本发明如一种基于SSGAN的古代残损纺织物图像修复方法，如图1所示，具体按照如下方式实施：
[0063] 步骤1，采集残损或信息丢失的古代纺织物的图片，对图片进行预处理，得到尺寸统一的图片，所有尺寸统一的图片组成训练集；
[0064] 步骤2，建立半监督生成式对抗网络模型(SSGAN模型)，其中半监督生成式对抗网络模型包括生成器G(z)和判别器D(x)；
[0065] 步骤3，对其中半监督生成式对抗网络模型进行训练；
[0066] 步骤4，在训练集中选取一张图片作为输入图片，利用训练好的半监督生成式对抗网络模型对输入图片进行修复，输出修复后的图片。
[0067] 其中步骤2中生成器G(z)表达式为：
[0068]
[0069] 判别器D(x)为K+1分类器，表达式为：
[0070] D(x)＝1-pmodel(y＝K+1|x) (2)
[0071] 其中pmodel表示判别器判别假图像的概率。
[0072] 步骤3中判别器D(x)采用优化函数logpmodel(y∈{1,......,k}|x)来训练；
[0073] 其中判别器D(x)的损失函数由监督学习损失和无监督学习损失两部分构成，具体公式如下：
[0074] L＝Lsupervised+Lunsupervised (3)
[0075] 其中Lsupercised为监督学习的损失函数，公式如式(2)所示，Lunsupercised为无监督学习损失函数，公式如式(3)所示
[0076]
[0077]
[0078] 其中pmodel表示判别器判别假图像的概率，
[0079] 其中 表示生成真实数据的期望值，Ex～Glog[pmodel(y＝K+1|x)]表示生成假数据的期望。
[0080] 其中判别器D(x)＝1-pmodel(y＝K+1|x)的时价值函数为：
[0081]
[0082] 其中 为图像数据x服从纺织物图像数据集pdata(x)的期望值 为随机噪声z服从高斯分布的期望。
[0083] 步骤3中采用随机梯度下降法对半监督生成式对抗网络模型进行参数更新，具体方式为：
[0084] 给定图像数据样本(x,y)，将其输入到SSGAN网络中，由图像数据样本(x,y)构成的数据集，其中数据集的代价函数为：
[0085]
[0086] 其中模型pmodel(y|x)＝Ν(y；xTw+b,1)是优化算法为求解代价函数梯度为零的正规方程；
[0087] 参数更新时将权重衰减加到线性回归的代价函数中：
[0088]
[0089] 在半监督学习中，指定一个代价函数做为第一个主向量，其中λ为学习率；
[0090]
[0091] 模型r(x)＝wTxw为重构函数，限制w范数为“1”。
[0092] 其中步骤4具体按照以下方式进行：
[0093] 步骤4.1，在训练集中选取一张图片作为输入图片分别输入生成器G(z)和判别器D(x)中；
[0094] 步骤4.2，生成器G(z)从输入图片中提取随机噪声对图像的纹理、轮廓、边缘细节进行修复，同时对图像颜色实现恢复，输出修复后的图片；
[0095] 步骤4.3，将其中修复后的图片输入至判别器D(x)，其中判别器D(x)从输入图片中提取有效的特征作为真实数据，其中判别器D(x)将修复后的图片数据与真实数据进行匹配，获得匹配度；
[0096] 步骤4.4，设定匹配阈值，若其中匹配度小于匹配阈值，则返回步骤4.2，否则，输出修复后的图片。
[0097] 实施例1
[0098] 执行步骤1～3，得到训练好的半监督生成式对抗网络模型；
[0099] 执行步骤4，输入图片2，利用训练好的半监督生成式对抗网络模型对输入图片进行修复，输出修复后的图片，如图3。
[0100] 实施例2
[0101] 执行步骤1～3，得到训练好的半监督生成式对抗网络模型；
[0102] 执行步骤4，输入图片4，利用训练好的半监督生成式对抗网络模型对输入图片进行修复，输出修复后的图片，如图5。
[0103] 实施例3
[0104] 执行步骤1～3，得到训练好的半监督生成式对抗网络模型；
[0105] 执行步骤4，输入图片6，利用训练好的半监督生成式对抗网络模型对输入图片进行修复，输出修复后的图片，如图7。
[0106] 实施例4
[0107] 执行步骤1～3，得到训练好的半监督生成式对抗网络模型；
[0108] 执行步骤4，输入图片8，利用训练好的半监督生成式对抗网络模型对输入图片进行修复，输出修复后的图片，如图9。
[0109] 实施例5
[0110] 执行步骤1～3，得到训练好的半监督生成式对抗网络模型；
[0111] 执行步骤4，输入图片10，利用训练好的半监督生成式对抗网络模型对输入图片进行修复，输出修复后的图片，如图11。
[0112] 实施例6
[0113] 执行步骤1～3，得到训练好的半监督生成式对抗网络模型；
[0114] 执行步骤4，输入图片12，利用训练好的半监督生成式对抗网络模型对输入图片进行修复，输出修复后的图片，如图13。
[0115] 由实施例1～实施例6输出的修复后的图片可知，使用SSGAN网络能有效修复残损及信息缺失的纺织物，修复后有明显的连贯性，避免了图像修复后的模糊现象，对残损图像的纹理修复可实现无限接近原图。
[0116] 综上所述，采用半监督生成式对抗网络(SSGAN)，可将图像缺失面积较大的区域的像素，通过生成网络生成相同的像素值，对缺失部分进行替换，修复后的图像符合人们视觉
感知。
