技术领域
[0001] 本
发明涉及图片复原技术领域，特别涉及一种基于残差连接的多维图像复原方法和设备。
背景技术
[0002] 在图像复原的实际应用当中，通常需要调节复原强度或效果来满足不同的要求。例如，用户总是希望用一个工具栏灵活地调整复原强度。现实中的图像通常携带多个退化种类，比如同时有模糊，噪声和JPEG
有损压缩。在这样的情况下，用户需要多个调节器来针对不同退化种类分别进行图像复原强度的调节。
[0003] 目前，
深度学习方法在图像复原领域被广泛应用，其中，有方案例如DnCNN(神经网络)可以处理不同程度的高斯噪声，但是该方法只能处理去噪这一个图像复原任务。
[0004] 在基于深度学习的图像复原模型中，已经有一些工作可以在测试阶段通过调节深度模型的少量参数来改变模型的复原强度，从而产生不同复原程度的输出图像。但这些方法只能针对单一退化种类进行调节。然而，现实中的图像通常携带多个退化种类，比如同时有模糊，噪声和压缩。在这样的情况下，用户需要多个调节器来针对不同的退化种类分别进行调节。
[0005] 另外，目前的基于深度学习的图像复原可调节工作通常都是基于插值来达到连续调节的目的。具体地说，这些方法会先训练一个基模型，这个基模型可以处理某种退化类型的某个退化级别的复原任务，例如：高斯噪声标准差15。然后通过在基模型中添加一些调节模
块，然后只训练这些调节模块的参数使之能解决另一个退化级别的复原任务，例如：高斯噪声标准差50。也就是说整个训练过程只用到了两个退化级别的数据，那么通过对调节模块进行插值来完成中间退化程度的图像复原难以保证其精确性。
[0006] 由此，目前需要一种更好的图像复原方案。
发明内容
[0007] 针对
现有技术中的
缺陷，本发明提出了一种基于残差连接的多维图像复原方法，可以允许用户针对不同的退化种类进行复原程度的调节，且调节的精确性高，实现了更灵活的图像复原。
[0008] 具体的，本发明提出了以下具体的
实施例：
[0009] 本发明实施例提出了一种基于残差连接的多维图像复原方法，包括：
[0010] 获取预设的训练图片，并对所述训练图片进行裁剪以获取图像块；
[0011] 对所述图像块进行随机的退化处理生成退化图片；其中，所述退化处理的退化程度服从贝塔分布；
[0012] 将所述退化图片的退化信息转换为条件向量；所述退化信息基于所述退化处理生成；
[0013] 通过所述退化图片和所述条件向量在附加有可控残差连接的深度复原网络进行训练，得到图像复原模型；
[0014] 对输入所述图像复原模型的待复原图片进行条件向量的连续调节，实现对所述待复原图片的复原。
[0015] 在一个具体的实施例中，所述退化处理包括以下一个类型或多个类型的任意组合：进行高斯模糊处理、加高斯噪声处理、进行有损压缩处理。
[0016] 在一个具体的实施例中，所述条件向量包括一个或多个元素，每个元素对应一种退化处理的类型；各所述元素的值均位于0到1之间。
[0017] 在一个具体的实施例中，所述深度复原网络包括附加有可控残差连接的主网络、由全连接层构成的条件网络；其中，
[0018] 所述“通过所述退化图片和所述条件向量在附加有可控残差连接的深度复原网络进行训练，得到图像复原模型”，包括：
[0019] 基于所述条件网络与所述条件向量获取控制变量；
[0020] 基于所述退化图片、所述控制变量与所述主网络中的可控残差连接，生成图像复原模型。
[0021] 在一个具体的实施例中，所述控制变量的通道数与所述主网络中的可控残差连接的通道数相同。
[0022] 在一个具体的实施例中，在获取预设的训练图片之前，还包括：
[0024] 对所获取的图片进行
水平翻转和/或垂直旋转，以生成新图片；
[0025] 将所述图片与所述新图片作为预设的训练图片。
[0026] 在一个具体的实施例中，所述“对所述图像块进行随机的退化处理生成退化图片”，包括：
[0027] 将所述图像块分为第一部分与第二部分；
[0028] 对第一部分的所述图像块进行随机的一种类型的退化处理，且对第二部分的所述图像块进行随机的多种类型的退化处理，以生成针对各所述图像块的退化图片。
[0029] 在一个具体的实施例中，所述“对输入所述图像复原模型的待复原图片进行条件向量的连续调节，实现对所述待复原图片的复原”，包括：
[0030] 针对输入所述图像复原模型的待复原图片，生成条件向量的调节栏；所述调节栏可实现条件向量的连续调节；
[0031] 基于在所述调节栏上对所述条件向量的连接调节，实现对所述待复原图片的复原操作。
[0032] 本发明实施例还提出了一种基于残差连接的多维图像复原设备，包括：
[0033] 获取模块，用于获取预设的训练图片，并对所述训练图片进行裁剪以获取图像块；
[0034] 退化模块，用于对所述图像块进行随机的退化处理生成退化图片；其中，所述退化处理的退化程度服从贝塔分布；
[0035] 转换模块，用于将所述退化图片的退化信息转换为条件向量；所述退化信息基于所述退化处理生成；
[0036] 训练模块，用于通过所述退化图片和所述条件向量在附加有可控残差连接的深度复原网络进行训练，得到图像复原模型；
[0037] 复原模块，用于对输入所述图像复原模型的待复原图片进行条件向量的连续调节，实现对所述待复原图片的复原。
[0038] 在一个具体的实施例中，所述退化处理包括以下一个类型或多个类型的任意组合：进行高斯模糊处理、加高斯噪声处理、进行有损压缩处理。
[0039] 以此，本发明实施例提出了一种基于残差连接的多维图像复原方法和设备，包括：获取预设的训练图片，并对所述训练图片进行裁剪以获取图像块；对所述图像块进行随机的退化处理生成退化图片；其中，所述退化处理的退化程度服从贝塔分布；将所述退化图片的退化信息转换为条件向量；所述退化信息基于所述退化处理生成；通过所述退化图片和所述条件向量在附加有可控残差连接的深度复原网络进行训练，得到图像复原模型；对输入所述图像复原模型的待复原图片进行条件向量的连续调节，实现对所述待复原图片的复原。可以允许用户针对不同的退化种类进行复原程度的调节，且调节的精确性高，实现了更灵活的图像复原。
附图说明
[0040] 为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0041] 图1为本发明实施例提出的一种基于残差连接的多维图像复原方法的流程示意图；
[0042] 图2为本发明实施例提出的一种基于残差连接的多维图像复原方法的中深度复原网络的示意图；
[0043] 图3为本发明实施例提出的一种基于残差连接的多维图像复原设备的结构示意图；
[0044] 图4为本发明实施例提出的一种基于残差连接的多维图像复原设备的结构示意图。
具体实施方式
[0045] 在下文中，将更全面地描述本公开的各种实施例。本公开可具有各种实施例，并且可在其中做出调整和改变。然而，应理解：不存在将本公开的各种实施例限于在此公开的特定实施例的意图，而是应将本公开理解为涵盖落入本公开的各种实施例的精神和范围内的所有调整、等同物和/或可选方案。
[0046] 在本公开的各种实施例中使用的术语仅用于描述特定实施例的目的并且并非意在限制本公开的各种实施例。如在此所使用，单数形式意在也包括复数形式，除非上下文清楚地另有指示。除非另有限定，否则在这里使用的所有术语(包括技术术语和科学术语)具有与本公开的各种实施例所属领域普通技术人员通常理解的含义相同的含义。所述术语(诸如在一般使用的词典中限定的术语)将被解释为具有与在相关技术领域中的语境含义相同的含义并且将不被解释为具有理想化的含义或过于正式的含义，除非在本公开的各种实施例中被清楚地限定。
[0047] 实施例1
[0048] 本发明实施例1公开了一种基于残差连接的多维图像复原方法，如图1所示，包括以下步骤：
[0049] 步骤101、获取预设的训练图片，并对所述训练图片进行裁剪以获取图像块；
[0050] 具体的，在一个具体的实施例中，在获取预设的训练图片之前，还包括：
[0051] 获取预设数据库中的图片；
[0052] 对所获取的图片进行水平翻转和/或垂直旋转，以生成新图片；
[0053] 将所述图片与所述新图片作为预设的训练图片。
[0054] 具体的，为了加大训练图片的数量，利于后续的训练过程，还可以使用水平翻转和/或垂直旋转的方式，增加训练图片的数量。
[0055] 步骤102、对所述图像块进行随机的退化处理生成退化图片；其中，所述退化处理的退化程度服从贝塔分布；
[0056] 在一个具体的实施例中，步骤102中的所述“对所述图像块进行随机的退化处理生成退化图片”，包括：
[0057] 将所述图像块分为第一部分与第二部分；具体的第一部分与第二部分的数量可以相同，也即
训练数据中的图像块有一半只进行一种类型的退化处理，而另一半会进行多种退化类型的处理；
[0058] 对第一部分的所述图像块进行随机的一种类型的退化处理，且对第二部分的所述图像块进行随机的多种类型的退化处理，以生成针对各所述图像块的退化图片。
[0059] 在一个实际的实施例中，可以利用公开数据库的训练数据图片进行剪裁得到图像块。然后对图片进行退化处理，例如可以首先进行高斯模糊出来，然后加高斯噪声处理，最后进行JPEG有损压缩处理。其中高斯模糊核宽度为0-A(A>0)，高斯噪声标准差大小0-B(B>0)，JPEG有损压缩
质量C(C<100)-100。
[0060] 在一个具体的实施例中，所述退化处理包括以下一个类型或多个类型的任意组合：进行高斯模糊处理、加高斯噪声处理、进行有损压缩处理。
[0061] 具体的，退化处理除了上述几个具体的实施例以外，还可以有其他的退化实施例，只要是能实现对图片的退化即可。
[0062] 假设这里有N种退化类型，D1-D2.对于每一个退化类型Dj,j∈[1,N]会有一个对应的退化程度范围：[0,Rj]。
[0063] 在训练过程当中，退化程度较轻的图像块在优化过程中通常被忽略，为此，通过使得退化处理的退化程度服从贝塔分布，能够生成更多的退化程度较轻的图像块。以此，获取到更多的退化程度较轻的图像块来解决训练中的
不平衡问题。
[0064] 步骤103、将所述退化图片的退化信息转换为条件向量；所述退化信息基于所述退化处理生成；
[0065] 在一个具体的实施例中，所述条件向量包括一个或多个元素，每个元素对应一种退化处理的类型；各所述元素的值均位于0到1之间。
[0066] 退化信息可以用作调节器来调节图像复原的强度。具体地说，例如对于高斯模糊D1，它的程度范围是[0,R1]；和高斯噪声D2，它的程度范围是[0,R2]。
[0067] 退化图像块这一过程对应的退化信息将被转换成条件向量，一同作为训练的输入。条件向量的所有元素都在0到1之间，其中每一个元素象征一个退化类型。例如，给定训练数据为高斯模糊核宽度0-4，高斯噪声标准差0-50，那么高斯模糊核宽度2和高斯噪声标准差30的退化图片的条件向量就是[0.5,0.6]。
[0068] 步骤104、通过所述退化图片和所述条件向量在附加有可控残差连接的深度复原网络进行训练，得到图像复原模型；
[0069] 在一个具体的实施例中，所述深度复原网络包括附加有可控残差连接的主网络、由全连接层构成的条件网络；其中，
[0070] 步骤104中的所述“通过所述退化图片和所述条件向量在附加有可控残差连接的深度复原网络进行训练，得到图像复原模型”，包括：
[0071] 基于所述条件网络与所述条件向量获取控制变量；
[0072] 基于所述退化图片、所述控制变量与所述主网络中的可控残差连接，生成图像复原模型。
[0073] 在一个具体的实施例中，所述控制变量的通道数与所述主网络中的可控残差连接的通道数相同。
[0074] 具体的，如图2所示，可控残差连接的深度复原网络分为两个部分，一个是“主网络”，一个是“条件网络”。
[0075] “主网络”是一个常见的图像复原网络，它包括网络两端的下
采样和上采样模块，和中间的一连串的残差块。
下采样和上采样的倍数为2。“主网络”包含一个全局残差连接和若干个局部残差连接。这些残差连接的残差都被条件网络生成的权重α所控制，所以每个残差连接都会输出残差和输入的加权和(输出＝残差×α+输入)；具体的，一个残差结构有两个分支；那么对于一个输入x,通过残差结构后，会产生两个结果：一个是它本身x；另一个是残差分支产生的f(x).最后这两个分支产生的结果会进行相加：y＝f(x)+x。而f()通常由几个卷积层构成。另残差结构和普通的结构不同的点就是：残差结构的输出为:y＝f(x)+x；普通结构的输出为:y＝f(x)。
[0076] 而条件网络是一系列全连接层，它们的输入是条件向量，输出为可控制变量α。条件向量的长度为退化类型的个数，而控制变量α的通道数和“主网络”中残差的通道数保持一致。在训练过程中，“主网络”和“条件网络”是联合训练优化(也即主网络与条件网络，这两个网络是一起被优化的)的，最终生成图像复原模型。
[0077] 步骤105、对输入所述图像复原模型的待复原图片进行条件向量的连续调节，实现对所述待复原图片的复原。
[0078] 在一个具体的实施例中，步骤105中的所述“对输入所述图像复原模型的待复原图片进行条件向量的连续调节，实现对所述待复原图片的复原”，包括：
[0079] 针对输入所述图像复原模型的待复原图片，生成条件向量的调节栏；所述调节栏可实现条件向量的连续调节；
[0080] 具体的，条件向量中存在有一个或多个元素，不同的元素对应不同的退化处理，具体的调节栏是针对条件向量中的元素来设置的，各调节栏可实现条件向量中所对应的元素的连接调节。
[0081] 基于在所述调节栏上对所述条件向量的连接调节，实现对所述待复原图片的复原操作。
[0082] 用户只需要改变条件向量中不同元素的数值，就可以对不同退化类型进行连续的调节。比如在一个实施例中，改变条件向量的第一个元素，可以达到
去模糊程度0-R1的一个连续变换。而改变条件向量的第二个元素可以达到去噪声程度0-R2的一个连续变换。经过不断的调节，显示调节的结构，最终可以将图片复原，当然若是有待复原图片本身的条件向量是已知的，则可以直接输入到图像复原模型中，得到恢复后的清晰的图像。
[0083] 实施例2
[0084] 为了对本发明进行进一步的说明，本发明实施例2还公开了一种基于残差连接的多维图像复原设备，如图3所示，包括：
[0085] 获取模块201，用于获取预设的训练图片，并对所述训练图片进行裁剪以获取图像块；
[0086] 退化模块202，用于对所述图像块进行随机的退化处理生成退化图片；其中，所述退化处理的退化程度服从贝塔分布；
[0087] 转换模块203，用于将所述退化图片的退化信息转换为条件向量；所述退化信息基于所述退化处理生成；
[0088] 训练模块204，用于通过所述退化图片和所述条件向量在附加有可控残差连接的深度复原网络进行训练，得到图像复原模型；
[0089] 复原模块205，用于对输入所述图像复原模型的待复原图片进行条件向量的连续调节，实现对所述待复原图片的复原。
[0090] 在一个具体的实施例中，所述退化处理包括以下一个类型或多个类型的任意组合：进行高斯模糊处理、加高斯噪声处理、进行有损压缩处理。
[0091] 在一个具体的实施例中，所述条件向量包括一个或多个元素，每个元素对应一种退化处理的类型；各所述元素的值均位于0到1之间。
[0092] 在一个具体的实施例中，所述深度复原网络包括附加有可控残差连接的主网络、由全连接层构成的条件网络；其中，
[0093] 所述训练模块204，用于：
[0094] 基于所述条件网络与所述条件向量获取控制变量；
[0095] 基于所述退化图片、所述控制变量与所述主网络中的可控残差连接，生成图像复原模型。
[0096] 在一个具体的实施例中，所述控制变量的通道数与所述主网络中的可控残差连接的通道数相同。
[0097] 在一个具体的实施例中，如图4所示，还包括：处理模块206，用于在获取预设的训练图片之前，获取预设数据库中的图片；
[0098] 对所获取的图片进行水平翻转和/或垂直旋转，以生成新图片；
[0099] 将所述图片与所述新图片作为预设的训练图片。
[0100] 在一个具体的实施例中，所述退化模块202，用于：
[0101] 将所述图像块分为第一部分与第二部分；
[0102] 对第一部分的所述图像块进行随机的一种类型的退化处理，且对第二部分的所述图像块进行随机的多种类型的退化处理，以生成针对各所述图像块的退化图片。
[0103] 在一个具体的实施例中，所述复原模块205，用于：
[0104] 针对输入所述图像复原模型的待复原图片，生成条件向量的调节栏；所述调节栏可实现条件向量的连续调节；
[0105] 基于在所述调节栏上对所述条件向量的连接调节，实现对所述待复原图片的复原操作。
[0106] 以此，本发明实施例提出了一种基于残差连接的多维图像复原方法和设备，包括：获取预设的训练图片，并对所述训练图片进行裁剪以获取图像块；对所述图像块进行随机的退化处理生成退化图片；其中，所述退化处理的退化程度服从贝塔分布；将所述退化图片的退化信息转换为条件向量；所述退化信息基于所述退化处理生成；通过所述退化图片和所述条件向量在附加有可控残差连接的深度复原网络进行训练，得到图像复原模型；对输入所述图像复原模型的待复原图片进行条件向量的连续调节，实现对所述待复原图片的复原。可以允许用户针对不同的退化种类进行复原程度的调节，且调节的精确性高，实现了更灵活的图像复原。
[0107] 本领域技术人员可以理解附图只是一个优选实施场景的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
[0108] 本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中，也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
[0109] 上述本发明序号仅仅为了描述，不代表实施场景的优劣。
[0110] 以上公开的仅为本发明的几个具体实施场景，但是，本发明并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。
