图像处理方法、装置、电子设备和存储介质
阅读：48发布：2020-05-08
专利汇可以提供图像处理方法、装置、电子设备和存储介质专利检索，专利查询，专利分析的服务。并且本 发明 实施例 公开了一种 图像处理 方法、装置、 电子 设备和存储介质；本发明实施例可以获取用户 指定 的用户线描图像、用户着色图像，以及，获取待上色的目标线描图像、参考图像、参考线描图像；基于参考图像、参考线描图像对待上色的目标线描图像进行着色处理，得到初始的目标着色图像；根据用户线描图像提取用户着色图像的着色信息；基于着色信息对初始的目标着色图像进行着 色调 整处理，得到最终的目标着色图像。在本发明实施例中可以先根据参考图像来对目标线描图像进行初步的着色，再根据用户着色图像来进一步调整着色，最终得到与用户着色图像着色 风 格相同的目标着色图像。由此，该方案可以提升图像处理方法的效率。，下面是图像处理方法、装置、电子设备和存储介质专利的具体信息内容。
1.一种图像处理方法，其特征在于，包括：
获取用户指定的用户线描图像、用户着色图像，以及，获取待上色的目标线描图像、参考图像、参考线描图像；
基于所述参考图像、参考线描图像对所述待上色的目标线描图像进行着色处理，得到初始的目标着色图像；
根据所述用户线描图像提取所述用户着色图像的着色信息；
基于所述着色信息对所述初始的目标着色图像进行着色调整处理，得到最终的目标着色图像。
2.如权利要求1所述的图像处理方法，其特征在于，所述获取用户指定的用户线描图像、用户着色图像，以及，获取待上色的目标线描图像、参考图像、参考线描图，包括：
获取目标视频的图像序列、用户指定的用户线描图像和用户着色图像；
对所述图像序列中的图像进行分镜镜头分类处理，得到所述目标视频中多个分镜镜头类型对应的图像组；
在所述图像组中确定目标图像，以及参考图像，其中，所述目标图像和参考图像均属于同一分镜镜头类型；
对所述目标图像、参考图像进行线描化处理，得到所述目标图像对应的待上色的目标线描图像，以及所述参考图像对应的参考线描图像。
3.如权利要求2所述的图像处理方法，其特征在于，对所述图像序列中的图像进行分镜镜头分类处理，得到所述目标视频中多个分镜镜头类型对应的图像组，包括：
获取预设的分类阈值；
对所述图像序列中的图像进行颜色统计处理，得到所述图像的颜色统计信息；
基于所述图像的颜色统计信息，计算所述图像序列中图像两两之间的颜色差值；
当所述颜色差值低于所述分类阈值时，将所述图像归为同一分镜镜头类型。
4.如权利要求1所述的图像处理方法，其特征在于，基于所述参考图像、参考线描图像对所述待上色的目标线描图像进行着色处理，得到初始的目标着色图像，包括：
分别提取所述参考图像、参考线描图像以及待上色的目标线描图像的图像特征；
根据所述参考线描图像以及目标线描图像的图像特征确定所述参考线描图像和目标线描图像之间的图像相似度；
基于所述参考图像和图像相似度，对所述待上色的目标线描图像进行着色处理，得到初始的目标着色图像。
5.如权利要求4所述的图像处理方法，其特征在于，所述图像特征包括高维图像特征和低维图像特征，分别提取所述参考图像、参考线描图像以及待上色的目标线描图像的图像特征，包括：
分别提取所述参考图像、参考线描图像以及待上色的目标线描图像的高维图像特征和低维图像特征；
根据所述参考线描图像以及目标线描图像的图像特征确定所述参考线描图像和目标线描图像之间的图像相似度，包括：
对所述参考线描图像以及目标线描图像的高维图像特征进行特征匹配分析，得到所述目标线描图像的图像着色特征；
根据高维图像特征和低维图像特征，以及目标线描图像的图像着色特征确定所述参考线描图像和目标线描图像之间的图像相似度。
6.如权利要求1所述的图像处理方法，其特征在于，基于所述着色信息对所述初始的目标着色图像进行着色调整处理，得到最终的目标着色图像，包括：
对所述目标线描图像以及初始的目标着色图像进行下采样处理，得到低分辨率目标线描图像以及低分辨率目标着色图像；
采用正则残差块对所述着色信息、低分辨率目标线描图像、低分辨率目标着色图像进行着色调整处理，得到融合后的低分辨率目标着色图像；
对所述融合后的低分辨率目标着色图像进行上采样处理，得到最终的目标着色图像。
7.如权利要求6所述的图像处理方法，其特征在于，对所述目标线描图像以及初始的目标着色图像进行下采样处理，得到低分辨率目标线描图像以及低分辨率目标着色图像，包括：
对所述目标线描图像以及初始的目标着色图像进行多级下采样处理，得到多个低分辨率目标线描图像，以及多个低分辨率目标着色图像；
所述对所述融合后的低分辨率目标着色图像进行上采样处理，得到最终的目标着色图像，包括：
对所述融合后的低分辨率目标着色图像进行上采样处理，得到多个高分辨率目标着色图像；
将所述低分辨率目标着色图像和高分辨率目标着色图像进行两两图像融合，得到最终的目标着色图像。
8.如权利要求1所述的图像处理方法，其特征在于，根据所述用户线描图像提取所述用户着色图像的着色信息，包括：
采用着色卷积核对所述用户线描图像以及用户着色图像进行下采样处理，得到低分辨率用户着色图像；
对所述低分辨率用户着色图像进行降维处理，得到所述用户着色图像的着色信息。
9.如权利要求1所述的图像处理方法，其特征在于，如权利要求1所述的图像处理方法，其特征在于，还包括：
获取图像处理模型，所述图像处理模型包括着色网络、着色信息提取网络、着色调整网络，所述图像处理模型由训练样本训练而成；
采用所述图像处理模型基于所述参考图像、参考线描图像对所述待上色的目标线描图像进行着色处理，得到初始的目标着色图像，并根据所述用户线描图像提取所述用户着色图像的着色信息，以及基于所述着色信息对所述初始的目标着色图像进行着色调整处理，得到最终的目标着色图像。
10.如权利要求9所述的图像处理方法，其特征在于，所述获取图像处理模型，包括：
获取预设模型和训练样本，所述预设模型包括预设着色网络、预设着色信息提取网络、预设着色调整网络、预设判别网络，所述训练样本包括目标样本、目标线描样本、参考样本、参考线描样本、用户着色样本、用户线描样本；
采用预设着色网络基于所述参考样本、参考线描样本对所述目标线描样本进行着色处理，得到初始的预设着色样本；
采用预设着色信息提取网络提取网络根据所述用户线描样本提取所述初始的用户着色样本的着色信息；
采用预设着色调整网络基于所述着色信息对所述预设的目标着色样本进行着色调整处理，得到最终的目标着色样本；
采用预设判别网络判别所述最终的目标着色样本的图像类型，以及所述最终的目标着色样本与目标样本之间的图像相似度；
基于所述图像类型、标识相似度对所述预设模型进行模型收敛处理，得到图像处理模型。
11.如权利要求10所述的图像处理方法，其特征在于，所述预设模型包括初始着色网络，采用预设着色网络基于所述参考样本、参考线描样本对所述目标线描样本进行着色处理，得到初始的预设着色样本之前，还包括：
采用所述初始着色网络基于所述参考样本、参考线描样本对所述目标线描样本进行着色处理，得到初始的初始着色样本；
计算所述初始的初始着色样本和目标样本之间的损失值；
基于所述损失值对所述初始着色网络进行收敛，得到预设着色网络。
12.如权利要求11所述的图像处理方法，其特征在于，所述初始着色网络包括着色预测子网络，所述采用所述初始着色网络基于所述参考样本、参考线描样本对所述目标线描样本进行着色处理，得到初始的初始着色样本，还包括：
采用所述着色预测子网络基于所述参考样本、参考线描样本预测所述目标线描样本的初始预测着色样本；
所述基于所述损失值对所述初始着色网络进行收敛，得到预设着色网络，包括：
基于所述损失值以及初始预测着色样本对所述初始着色网络进行收敛，得到预设着色网络。
13.一种图像处理装置，其特征在于，包括：
获取单元，用于获取用户指定的用户线描图像、用户着色图像，以及，获取待上色的目标线描图像、参考图像、参考线描图像；
着色单元，用于基于所述参考图像、参考线描图像对所述待上色的目标线描图像进行着色处理，得到初始的目标着色图像；
提取单元，用于根据所述用户线描图像提取所述用户着色图像的着色信息；
调整单元，用于基于所述着色信息对所述初始的目标着色图像进行着色调整处理，得到最终的目标着色图像。
14.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有多条指令；所述处理器从所述存储器中加载指令，以执行如权利要求1～12任一项所述的图像处理方法中的步骤。
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1～12任一项所述的图像处理方法中的步骤。
图像处理方法、装置、电子设备和存储介质
技术领域
[0001] 本发明涉及图像处理领域，具体涉及一种图像处理方法、装置、电子设备和存储介质。
背景技术
[0002] 在计算机视觉中，图像着色(Image Colorization)技术是一种对黑白图像进行上色处理，从而生成彩色图像的技术。比如，对于灰度图而言，每个像素仅具有1个值(灰度值，也称亮度)，目前的图像着色技术是根据图像中某一像素的亮度，来推断该像素RGB值(Red，Green，Blue)中的3个值。
[0003] 然而，通过图像着色来进行图像处理时，很难对线描图像进行着色，目前常常采用人工着色的方法来针对线描图像进行人工上色，因此，目前用于图像着色的图像处理方法效率低下。
发明内容
[0004] 本发明实施例提供一种图像处理方法、装置、电子设备和存储介质，可以提升图像处理方法的效率。
[0005] 本发明实施例提供一种图像处理方法，包括：
[0007] 基于所述参考图像、参考线描图像对所述待上色的目标线描图像进行着色处理，得到初始的目标着色图像；
[0008] 根据所述用户线描图像提取所述用户着色图像的着色信息；
[0009] 基于所述着色信息对所述初始的目标着色图像进行着色调整处理，得到最终的目标着色图像。
[0010] 本发明实施例还提供一种图像处理装置，包括：
[0011] 获取单元，用于获取用户指定的用户线描图像、用户着色图像，以及，获取待上色的目标线描图像、参考图像、参考线描图像；
[0012] 着色单元，用于基于所述参考图像、参考线描图像对所述待上色的目标线描图像进行着色处理，得到初始的目标着色图像；
[0013] 提取单元，用于根据所述用户线描图像提取所述用户着色图像的着色信息；
[0014] 调整单元，用于基于所述着色信息对所述初始的目标着色图像进行着色调整处理，得到最终的目标着色图像。
[0015] 在一些实施例中，所述获取单元，包括：
[0016] 获取子单元，用于获取目标视频的图像序列、用户指定的用户线描图像和用户着色图像；
[0017] 分类子单元，用于对图像序列中的图像进行分镜镜头分类处理，得到目标视频中多个分镜镜头类型对应的图像组；
[0018] 确定子单元，用于在图像组中确定目标图像，以及参考图像，其中，目标图像和参考图像均属于同一分镜镜头类型；
[0019] 线描化子单元，用于对目标图像、参考图像进行线描化处理，得到目标图像对应的待上色的目标线描图像，以及参考图像对应的参考线描图像。
[0020] 在一些实施例中，所述分类子单元用于：
[0021] 获取预设的分类阈值；
[0022] 对图像序列中的图像进行颜色统计处理，得到图像的颜色统计信息；
[0023] 基于图像的颜色统计信息，计算图像序列中图像两两之间的颜色差值；
[0024] 当颜色差值低于分类阈值时，将图像归为同一分镜镜头类型。
[0025] 在一些实施例中，所述着色单元，包括：
[0026] 提取子单元，用于分别提取参考图像、参考线描图像以及待上色的目标线描图像的图像特征；
[0027] 相似度子单元，用于根据参考线描图像以及目标线描图像的图像特征确定参考线描图像和目标线描图像之间的图像相似度；
[0028] 着色子单元，用于基于参考图像和图像相似度，对待上色的目标线描图像进行着色处理，得到初始的目标着色图像。
[0029] 在一些实施例中，所述图像特征可以包括高维图像特征和低维图像特征，所述提取子单元用于：
[0030] 分别提取参考图像、参考线描图像以及待上色的目标线描图像的高维图像特征和低维图像特征。
[0031] 在一些实施例中，所述相似度子单元用于：
[0032] 对参考线描图像以及目标线描图像的高维图像特征进行特征匹配分析，得到目标线描图像的图像着色特征；
[0033] 根据高维图像特征和低维图像特征，以及目标线描图像的图像着色特征确定参考线描图像和目标线描图像之间的图像相似度。
[0034] 在一些实施例中，所述提取单元用于：
[0036] 对低分辨率用户着色图像进行降维处理，得到用户着色图像的着色信息。
[0037] 在一些实施例中，所述调整单元，包括：
[0038] 下采样子单元，用于对目标线描图像以及初始的目标着色图像进行下采样处理，得到低分辨率目标线描图像以及低分辨率目标着色图像；
[0039] 调整子单元，用于采用正则残差块对着色信息、低分辨率目标线描图像、低分辨率目标着色图像进行着色调整处理，得到融合后的低分辨率目标着色图像；
[0040] 上采样子单元，用于对融合后的低分辨率目标着色图像进行上采样处理，得到最终的目标着色图像；
[0041] 在一些实施例中，所述上采样子单元具体用于：
[0042] 对融合后的低分辨率目标着色图像进行上采样处理，得到多个高分辨率目标着色图像；
[0043] 将低分辨率目标着色图像和高分辨率目标着色图像进行两两图像融合，得到最终的目标着色图像。
[0044] 在一些实施例中，所述下采样子单元具体用于：
[0045] 对目标线描图像以及初始的目标着色图像进行多级下采样处理，得到多个低分辨率目标线描图像，以及多个低分辨率目标着色图像。
[0046] 在一些实施例中，所述图像处理装置，还包括：
[0047] 模型单元，用于获取图像处理模型，图像处理模型包括着色网络、着色信息提取网络、着色调整网络，图像处理模型由训练样本训练而成；
[0048] 模型图像处理单元，用于采用图像处理模型基于参考图像、参考线描图像对待上色的目标线描图像进行着色处理，得到初始的目标着色图像，并根据用户线描图像提取用户着色图像的着色信息，以及基于着色信息对初始的目标着色图像进行着色调整处理，得到最终的目标着色图像。
[0049] 其中，在一些实施例中，所述模型单元，包括：
[0050] 训练子单元，用于获取预设模型和训练样本，预设模型包括预设着色网络、预设着色信息提取网络、预设着色调整网络、预设判别网络，训练样本包括目标样本、目标线描样本、参考样本、参考线描样本、用户着色样本、用户线描样本；
[0051] 着色处理子单元，用于采用预设着色网络基于参考样本、参考线描样本对目标线描样本进行着色处理，得到初始的预设着色样本；
[0052] 着色信息子单元，用于采用预设着色信息提取网络提取网络根据用户线描样本提取初始的用户着色样本的着色信息；
[0053] 调整子单元，用于采用预设着色调整网络基于着色信息对预设的目标着色样本进行着色调整处理，得到最终的目标着色样本；
[0054] 判别子单元，用于采用预设判别网络判别最终的目标着色样本的图像类型，以及最终的目标着色样本与目标样本之间的图像相似度；
[0055] 收敛子单元，用于基于图像类型、标识相似度对预设模型进行模型收敛处理，得到图像处理模型。
[0056] 在一些实施例中，所述预设模型包括初始着色网络，所述着色处理子单元还用于：
[0057] 采用初始着色网络基于参考样本、参考线描样本对目标线描样本进行着色处理，得到初始的初始着色样本；
[0058] 计算初始的初始着色样本和目标样本之间的损失值；
[0059] 基于损失值对初始着色网络进行收敛，得到预设着色网络。
[0060] 本发明实施例还提供一种电子设备，包括存储器存储有多条指令；所述处理器从所述存储器中加载指令，以执行本发明实施例所提供的任一种图像处理方法中的步骤。
[0061] 本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本发明实施例所提供的任一种图像处理方法中的步骤。
[0062] 本发明实施例可以获取用户指定的用户线描图像、用户着色图像，以及，获取待上色的目标线描图像、参考图像、参考线描图像；基于参考图像、参考线描图像对待上色的目标线描图像进行着色处理，得到初始的目标着色图像；根据用户线描图像提取用户着色图像的着色信息。
[0063] 在本发明实施例中可以先根据参考图像来对目标线描图像进行初步的着色，再根据用户着色图像来进一步调整着色，最终得到与用户着色图像着色风格相同的目标着色图像。由此，本方案可以提升图像处理方法的效率。附图说明
[0064] 为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0065] 图1a是本发明实施例提供的图像处理方法的场景示意图；
[0066] 图1b是本发明实施例提供的图像处理方法的流程示意图；
[0067] 图2a是本发明实施例提供的图像处理方法的目标图像示意图；
[0068] 图2b是本发明实施例提供的图像处理方法的目标描线图像示意图；
[0069] 图2c是本发明实施例提供的图像处理方法的目标着色图像示意图；
[0070] 图2d是本发明实施例提供的图像处理方法的图像处理模型的结构示意图；
[0071] 图2e是本发明实施例提供的图像处理方法的着色网络的结构示意图；
[0072] 图2f是本发明实施例提供的图像处理方法的着色预测子网络的结构示意图；
[0073] 图2g是本发明实施例提供的图像处理方法的着色调整网络、着色信息提取网络、预设判别网络的结构示意图；
[0074] 图2h是本发明实施例提供的图像处理方法的预设的图像处理模型的结构示意图；
[0075] 图3a是本发明实施例提供的图像处理装置的第一种结构示意图；
[0076] 图3b是本发明实施例提供的图像处理装置的第二种结构示意图；
[0077] 图3c是本发明实施例提供的图像处理装置的第三种结构示意图；
[0078] 图3d是本发明实施例提供的图像处理装置的第四种结构示意图；
[0079] 图4是本发明实施例提供的电子设备的结构示意图。
具体实施方式
[0080] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0081] 本发明实施例提供一种图像处理方法、装置、电子设备和存储介质。
[0082] 其中，该图像处理装置具体可以集成在电子设备中，该电子设备可以为终端、服务器等设备。其中，终端可以为手机、平板电脑、智能蓝牙设备、笔记本电脑、或者个人电脑(Personal Computer，PC)等设备；服务器可以是单一服务器，也可以是由多个服务器组成的服务器集群。
[0083] 在一些实施例中，该图像处理装置还可以集成在多个电子设备中，比如，图像处理装置可以集成在多个服务器中，由多个服务器来实现本发明的图像处理方法。
[0084] 参考图1a，该电子设备可以获取用户指定的用户线描图像、用户着色图像，以及，获取待上色的目标线描图像、参考图像、参考线描图像；
[0085] 基于参考图像、参考线描图像对待上色的目标线描图像进行着色处理，得到初始的目标着色图像；
[0086] 最后根据用户线描图像来提取用户着色图像的着色信息；
[0087] 基于所述着色信息对所述初始的目标着色图像进行着色调整处理，得到最终的目标着色图像。
[0088] 以下分别进行详细说明。需说明的是，以下实施例的序号不作为对实施例优选顺序的限定。
[0089] 人工智能(Artificial Intelligence，AI)是一种利用数字计算机来模拟人类感知环境、获取知识并使用知识的技术，该技术可以使机器具有类似于人类的感知、推理与决策的功能。人工智能技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习、深度学习等几大方向。
[0090] 其中，计算机视觉(Computer Vision，CV)是利用计算机代替人眼对目标图像进行识别、测量等操作并进一步进行处理的技术。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、虚拟现实、增强现实、同步定位与地图构建等技术，比如，图像着色、图像描边提取等图像处理技术。
[0091] 在本实施例中，提供了一种基于计算机视觉的图像处理方法，如图1b所示，该图像处理方法的具体流程可以如下：
[0092] 101、获取用户指定的用户线描图像、用户着色图像，以及，获取待上色的目标线描图像、参考图像、参考线描图像。
[0093] 与普通的彩色图像不同，线描图像是指内容中包含有线条勾画的物体的图像，线描图像又可以称为线稿(Line art)，而普通的彩色图像的内容中不仅包含有线条勾画的物体，该物体还以大块色块的形式表现。故线描图像可以从普通的彩色图像中提取。
[0094] 着色图像与彩色图像不同，着色图像是指经过上色后的线描图像，该上色方式可以是人工上色、机器上色，等等。
[0095] 比如，参考图2a，图2a可以为某动画形象的彩色设计图(该彩色设计图在图2a中以灰值图的形式展示)，该图2a对应的线描图像可以参考图2b，当图2b所示的线描图像重新被人工上色后，可以生成人工着色的着色图像，比如，人工着色的着色图像可以参考图2c，由此可知，线描图像的人工着色图像和线描图像原来的彩色图像的着色风格、色彩分布等都可以不同。
[0096] 其中，用户着色图像是指用户指定的着色图像，用户线描图像是指该用户着色图像对应的线描图像。用户着色图像可以用于指导初始的目标着色图像进行着色调整，将初始的目标着色图像调整为用户着色图像所对应的着色风格。
[0097] 其中，待上色的目标线描图像是本实施例中将要进行着色的目标线描图像，该目标线描图像可以由目标图像(即目标线描图像原来对应的彩色图像)转换得到。
[0098] 需要注意的是，用户指定的用户线描图像、用户着色图像以及待上色的目标线描图像均可以由用户指定；待上色的目标线描图像可由用户任意选择，而用户线描图像和用户着色图像之间存在对应关系，即，用户着色图像是上色后的用户线描图像，故用户需指定一对对应的用户线描图像和用户着色图像。
[0099] 其中，参考图像是指参考线描图像原来的彩色图像。参考图像可以作为待上色的目标线描图像的着色参考对象，用于生成待上色的目标线描图像对应的初始目标着色图像。
[0100] 需要注意的是，在一些实施例中，当处于影像处理情景时，参考图像和目标图像具有相同分镜镜头类型。其中，分镜镜头(Storyboard)是指表现一个场景构成、人物构图、摄影角度的画面技巧。具体地，在一个影像中，可以包括多个采用了不同分镜镜头的连续画面。
[0101] 其中，分镜镜头类型可以指用户定义的具体类型，比如，渐远分镜类型、渐近分镜类型、人物特写分镜类型，等等。
[0102] 由于不同的分镜可以具有不同的画面风格、配色，等等，故在一些实施例中，目标线描图像、参考图像、参考线描图像均可以为同一种分镜镜头类型，即，目标线描图像对应的着色图像和参考图像，均为同一分镜镜头中的图像帧。
[0103] 比如，在动漫中具有3个分镜，分别为动漫角色A的脸部特写分镜、动漫角色A的手部特写分镜、动漫场景分镜，则可以将动漫角色A的脸部特写分镜中所有帧图像均归类为一类，将动漫角色A的手部特写分镜中所有帧图像均归类为一类，以及，将动漫场景分镜中所有帧图像均归类为一类。
[0104] 获取用户指定的用户线描图像、用户着色图像，以及，获取待上色的目标线描图像、参考图像、参考线描图像的方式具有多种，比如，从本地内存中读取、由技术人员导入获取、通过网络从数据库中获取，等等。
[0105] 在一些实施例中，可以应用在影像场景中，故步骤：获取用户指定的用户线描图像、用户着色图像，以及，获取待上色的目标线描图像、参考图像、参考线描图，包括以下具体步骤：
[0106] (1)获取目标视频的图像序列、用户指定的用户线描图像和用户着色图像。
[0107] 视频可以由多帧图像组成，这些图像可以以播放时间顺序进行排序，即，视频的本质为图像序列。
[0108] 用户线描图像和用户着色图像可以由用户指定，用于指导图像着色，从而控制使得图像着色的着色风格可以由用户控制，由此，本方案实施例具有普适性，可以应用于不同风格的图像着色场景中。
[0109] (2)对图像序列中的图像进行分镜镜头分类处理，得到目标视频中多个分镜镜头类型对应的图像组。
[0110] 比如，在动漫中具有3个分镜，分别为动漫角色A的脸部特写分镜、动漫角色A的手部特写分镜、动漫场景分镜。在对图像序列中的图像进行分镜镜头分类处理后，可以将动漫角色A的脸部特写分镜中所有帧图像均归类为一组，将动漫角色A的手部特写分镜中所有帧图像均归类为一组，以及，将动漫场景分镜中所有帧图像均归类为一组。
[0111] 具体地，在一些实施例中，步骤：对图像序列中的图像进行分镜镜头分类处理，得到目标视频中多个分镜镜头类型对应的图像组，具体可以包括如下步骤：
[0112] 获取预设的分类阈值；
[0113] 对图像序列中的图像进行颜色统计处理，得到图像的颜色统计信息；
[0114] 基于图像的颜色统计信息，计算图像序列中图像两两之间的颜色差值；
[0115] 当颜色差值低于分类阈值时，将图像归为同一分镜镜头类型。
[0116] 其中，颜色统计处理指统计一帧图像中的颜色信息以及颜色分布信息，比如，通过颜色统计处理得到的得到图像的颜色统计信息可以指计算一帧图像在RGB颜色空间中的颜色直方图。
[0117] 颜色差值是指两个图像的颜色统计信息之差，其差值越大，则这两个图像属于同一分镜镜头类型的概率越小。
[0118] 例如，在一些实施例中，可以计算目标视频中每一帧图像在RGB颜色空间中的颜色直方图，通过对比目标视频的相邻两帧的颜色直方图差值，来确定这两帧图像是否属于同一分镜镜头类型。当预设的分类阈值为300时，则该颜色直方图差值小于300时，将这两帧图像确定为同一分镜镜头类型。
[0119] 由此，本发明实施例可以提高同一镜头下线描图像着色的准确度，从而保证在同一镜头下，图像着色的效果、风格一致。
[0120] (3)在图像组中确定目标图像，以及参考图像，其中，目标图像和参考图像均属于同一分镜镜头类型。
[0121] 其中，在图像组中确定目标图像，以及参考图像的方式具有多种，比如，由用户在图像组中确定目标图像，以及参考图像；比如，根据历史日志等记录历史时刻图像处理过程的信息，可以自动地根据这些历史信息在图像组中确定当前时刻的目标图像，以及参考图像，等等。
[0122] (4)对目标图像、参考图像进行线描化处理，得到目标图像对应的待上色的目标线描图像，以及参考图像对应的参考线描图像。
[0123] 线描化处理是指对彩色图像进行线描，得到该彩色图像对应的线描图像。
[0125] 比如，在一些实施例中，可以将目标图像、参考图像导入图像处理软件，进行一系列图像处理后，可以得到目标图像、参考图像对应的初始线描图像，然后，再采用线描简化模型对目标图像、参考图像对应的初始线描图像，最终可以得到类似人类画家绘制的线描图像。
[0126] 102、基于参考图像、参考线描图像对待上色的目标线描图像进行着色处理，得到初始的目标着色图像。
[0127] 在本实施例中，通过机器学习，计算机可以根据参考图像、参考线描图像之间的关系，自动地推导出目标线描图像对应的着色图像，即初始的目标着色图像。
[0128] 具体地，着色处理的步骤如下：
[0129] (1)分别提取参考图像、参考线描图像以及待上色的目标线描图像的图像特征。
[0130] 图像特征可以包括图高维图像特征和低维图像特征。其中，高维图像特征是指图像在高维空间中的特征和低维图像特征是指图像在低维空间中的特征。
[0131] 故在一些实施例中，步骤：分别提取参考图像、参考线描图像以及待上色的目标线描图像的图像特征，可以是分别提取参考图像、参考线描图像以及待上色的目标线描图像的高维图像特征和低维图像特征。
[0132] 具体提取图像特征的方式可以包括：
[0133] 采用卷积核对图像进行卷积处理、采用残差网络(ResNet)对图像进行卷积处理，等等。
[0134] 例如，在一些实施例中，参考图2d，图像处理模型中可以包括着色网络、着色调整网络、着色信息提取网络，采用着色网络来分别提取参考图像、参考线描图像以及待上色的目标线描图像的图像特征。
[0135] 着色网络可以为各种深度神经网络(Deep Neural Network，DNN)，比如，U-Net(一种深度学习分割网络)、全卷积神经网络(Fully Convolutional Networks for Semantic Segmentation，FCN)，SegNet(一种深度学习分割网络)，等等。
[0136] 具体地，参考图2e，在一些实施例中，该着色网络是一种深度卷积神经网络。该着色网络采用U-Net网络结构，包括从左至右11个卷积层。
[0137] 其中，前5个卷积层可以由向下卷积的残差块(ResNet Block，Res)组成，用于降低输入图像的分辨率。
[0138] 在一些实施例中，为了帮助保存图像的空间信息，减少图像着色过程中的信息顺着，可以将第3～5个卷积层中得到的图像特征与第7～8个卷积层中得到的图像特征通过快捷通道(Short-cut)拼接在一起。
[0139] 在一些实施例中，第6个卷积层为着色预测子网络，该着色预测子网络可以不改变图像分辨率的大小，该着色预测子网络可以用于根据参考线描图像和目标线描图像之间的特征相似性，以及参考图像的颜色分布特征，来预测目标线描图像的着色图像。
[0140] 其中，第7～11个卷积层为向上的残差卷积层，其中卷积操作不改变图像分辨率的大小，在第7～11个卷积层可以通过对图像特征进行上采样来提高图像的分辨率。(2)根据参考线描图像以及目标线描图像的图像特征确定参考线描图像和目标线描图像之间的图像相似度。
[0141] 在一些实施例中，根据参考线描图像以及目标线描图像的图像特征确定参考线描图像和目标线描图像之间的图像相似度，包括：
[0142] 对参考线描图像以及目标线描图像的高维图像特征进行特征匹配分析，得到目标线描图像的图像着色特征；
[0143] 根据高维图像特征和低维图像特征，以及目标线描图像的图像着色特征确定参考线描图像和目标线描图像之间的图像相似度。
[0144] 该着色网络同时具有局部感知能力和全局感知能力，且可以将感受到的局部信息和全局信息结合，由此得到包括了全局和局部上的图像相似度，该相似度相比于其它网络模型输出的相似度更加准确，从而进一步提升了着色的准确度。
[0145] (3)基于参考图像和图像相似度，对待上色的目标线描图像进行着色处理，得到初始的目标着色图像。
[0146] 具体地，参考图2f，图2f为着色预测子网络的网络结构示意图，其中，X1为目标线描图像，X2为参考线描图像，Y2为参考图像；F(x)可以提取X1的图像特征，G(x)可以提取X2的图像特征，H(x)可以提取Y2的颜色分布特征。
[0147] 通过矩阵运算后，可以得到X1和X2的相似度。
[0148] 根据X1和X2的相似度，以及Y2颜色分布特征，进行矩阵运算后，可以得到X1的颜色分布特征Y1。
[0149] 其中，F(x)和G(x)可以将特征通道的数量缩减至1/2，从而减少计算特征X1和X2的计算量，由此，本实施例可以进一步地提升图像处理方法的效率。
[0150] 具体地，参考表1，着色网络的具体结构如下：
[0151]
[0152]
[0153] 表1
[0154] 其中，其中Layer代表着色网络中的卷积层的序号，Resolution代表该卷积层相对于输入图像分辨率的大小，Channel代表该卷积层的通道个数(其中，第一个卷积层分别有3个输入，其通道数分别为1/1/3)，Kernel代表卷积核的大小，Stride代表卷积核步长，Padding代表边缘填充的大小，Shortcut表示层与层之间的互连。
[0155] 此外，需要注意的是，表中未标注出池化层、归一化层、激活函数等网络结构。
[0156] 103、根据用户线描图像提取用户着色图像的着色信息。
[0157] 在本实施例中，用户着色图像的着色信息可以用于调整目标线描图像的着色，比如，用户着色图像为冷色调着色风格时，可以将目标线描图像的着色调整为偏冷色调风格。
[0158] 其中，着色信息可以包括颜色信息、颜色种类信息、颜色分布信息，等等。
[0159] 在一些实施例中，步骤103可以为：
[0160] 在着色信息提取网络中根据用户线描图像提取用户着色图像的着色信息。
[0161] 具体地，参考图2g的着色信息提取网络部分，步骤：在着色信息提取网络中根据用户线描图像提取用户着色图像的着色信息，可以包括如下步骤：
[0162] 采用着色卷积核对用户线描图像以及用户着色图像进行下采样处理，得到低分辨率用户着色图像；
[0163] 对低分辨率用户着色图像进行降维处理，得到用户着色图像的着色信息。
[0164] 其中，着色卷积核是指着色信息提取网络中的卷积核，着色信息提取网络中从左至右可以包括4个着色卷积核，以及2个全连接层。
[0165] 在本实施例中，可以在全连接层对低分辨率用户着色图像进行降维处理，得到用户着色图像的着色信息。
[0166] 其中，通过不同步长、填充大小的着色卷积核即可降低图像的分辨率，故本实施例可以降低计算量，从而进一步地提升图像处理方法的效率。
[0167] 104、基于着色信息对初始的目标着色图像进行着色调整处理，得到最终的目标着色图像。
[0168] 在本实施例中，可以根据步骤103中得到的着色信息来对步骤102中得到的初始的目标着色图像进行进一步地着色调整处理，使得最终的目标着色图像的着色风格与用户着色图像的着色风格类似，从而使得本方案的着色风格可控。
[0169] 着色调整处理的方法具有多种，比如，可以根据该着色信息对初始的目标着色图像进行RGB值的更改、替换，等等。
[0170] 比如，在一些实施例中，基于着色信息对初始的目标着色图像进行着色调整处理，得到最终的目标着色图像，包括：
[0171] (1)对目标线描图像以及初始的目标着色图像进行下采样处理，得到低分辨率目标线描图像以及低分辨率目标着色图像。
[0172] 在一些实施例中，步骤：对目标线描图像以及初始的目标着色图像进行下采样处理，得到低分辨率目标线描图像以及低分辨率目标着色图像，具体可以为：对目标线描图像以及初始的目标着色图像进行多级下采样处理，得到多个低分辨率目标线描图像，以及多个低分辨率目标着色图像。
[0173] 其中，通过不同步长、填充大小的着色卷积核即可降低图像的分辨率，故本实施例可以降低计算量，从而进一步地提升图像处理方法的效率。
[0174] (2)采用正则残差块对着色信息、低分辨率目标线描图像、低分辨率目标着色图像进行着色调整处理，得到融合后的低分辨率目标着色图像。
[0175] 采用正则残差块对着色信息、低分辨率目标线描图像、低分辨率目标着色图像进行着色调整处理，得到融合后的低分辨率目标着色图像可以高效地实现自动地图像上色，无需人工操作。
[0176] (3)对融合后的低分辨率目标着色图像进行上采样处理，得到最终的目标着色图像。
[0177] 在一些实施例中，步骤：对融合后的低分辨率目标着色图像进行上采样处理，得到最终的目标着色图像，可以包括：
[0178] 对融合后的低分辨率目标着色图像进行多级上采样处理，得到多个高分辨率目标着色图像；
[0179] 将低分辨率目标着色图像和高分辨率目标着色图像进行两两图像融合，得到最终的目标着色图像。
[0180] 具体地，参考图2g的着色调整网络部分，其中，着色调整网络可以为U-Net结构。着色调整网络中可以包括9个卷积层，前1～4层为向下的全卷积神经网络，第5层包含4个残差卷积核，前两个残差卷积核可以对每个样例以及每个通道都独立计算均值、方差，即前两个残差卷积核可以采用实例正则化(Instance normalization，IN)算法进行归一化；后两个残差卷积核可以采用自适应的实例正则化(Adaptive Instance normalization，AdaIN)算法进行归一化。
[0181] 着色调整网络的第6～9个卷积层可以与第2～4个卷积层输出的图像特征拼接在一起，同时通过多次上采样来放大图像的分辨率。
[0182] 其中，IN算法公式如下：
[0183]
[0184] 其中，γ、β为网络参数，μ(x)为每个样例以及每个通道都独立计算得出的均值，σ(x)为每个样例以及每个通道都独立计算得出的方差
[0185] AdaIN定义如下：
[0186]
[0187] 其中，x为目标线描图像，y为用户着色图像。
[0188] 在一些实施例中，为了进一步提高着色的准确度，以及，自动、高效地进行着色，可以采用图像处理模型来进行本方案的图像处理，从而实现自动化地的图像着色，故图像处理方法还可以包括如下步骤：
[0189] 获取图像处理模型，图像处理模型包括着色网络、着色信息提取网络、着色调整网络，图像处理模型由训练样本训练而成。
[0190] 采用图像处理模型基于参考图像、参考线描图像对待上色的目标线描图像进行着色处理，得到初始的目标着色图像，并根据用户线描图像提取用户着色图像的着色信息，以及基于着色信息对初始的目标着色图像进行着色调整处理，得到最终的目标着色图像。
[0191] 获取图像处理模型的方式具有多种，比如，通过网络从数据库中获得、由技术人员导入获得、从本地内存中调用获得、通过模型训练获得，等等。
[0192] 比如，在一些实施例中，为了提高着色的准确度，图像处理模型可以由训练样本训练得到，故步骤：获取图像处理模型，可以包括如下步骤：
[0193] (1)获取预设模型和训练样本，预设模型包括预设着色网络、预设着色信息提取网络、预设着色调整网络、训练样本包括目标样本、目标线描样本、参考样本、参考线描样本、用户着色样本、用户线描样本。
[0194] 其中，获得预设模型和训练样本具有多种，比如，通过网络从数据库中获得、由技术人员导入获得、从本地内存中调用获得、通过模型训练获得，等等。
[0195] 参考图2h，预设模型中还可以包括预设着色调整网络，用于指导着色。
[0196] 其中，该预设模型的网络参数可以是预先在大数据集上通过元学习阶段训练得到的，故在本方案中，只需要对该预设模型进行少量样本的训练，就可以得到准确、合适的图像处理模型。
[0197] 故本方案得到的图像处理模型可以对图像进行更准确地着色，且由于只需要少量的训练样本就可以训练出图像处理模型，故本方案的训练过程更加快速、高效，进而进一步地提升了图像处理方法的效率。
[0198] (2)采用预设着色网络基于参考样本、参考线描样本对目标线描样本进行着色处理，得到初始的预设着色样本。
[0199] 在一些实施例中，预设模型可以包括初始着色网络，采用预设着色网络基于参考样本、参考线描样本对目标线描样本进行着色处理，得到初始的预设着色样本之前，还可以包括：
[0200] 采用初始着色网络基于参考样本、参考线描样本对目标线描样本进行着色处理，得到初始的初始着色样本；
[0201] 计算初始的初始着色样本和目标样本之间的损失值；
[0202] 基于损失值对初始着色网络进行收敛，得到预设着色网络。
[0203] 其中，预设着色网络类似于着色网络，损失值可以反应初始的初始着色样本和目标样本之间的区别差异。
[0204] 具体地，收敛方式如下：
[0205] θ′＝argminΓ(F(X1,X2,Y2,θ))
[0206] 其中，其中Γ代表损失函数，F代表着色网络，θ’代表当前时刻着色网络的参数，θ代表上一时刻着色网络的参数。X1代表目标线描图像，X2代表参考线描图像，Y2代表参考图像。
[0207] 在一些实施例中，初始着色网络可以包括着色预测子网络，采用初始着色网络基于参考样本、参考线描样本对目标线描样本进行着色处理，得到初始的初始着色样本，还包括：
[0208] 采用着色预测子网络基于参考样本、参考线描样本预测目标线描样本的初始预测着色样本；
[0209] 基于损失值对初始着色网络进行收敛，得到预设着色网络，包括：
[0210] 基于损失值以及初始预测着色样本对初始着色网络进行收敛，得到预设着色网络。
[0211] 其中，该着色预测子网络可以类似着色网络中的第6～9个卷积层，却并未使用自适应的实例正则化算法，而是使用实例正则化算法，该着色预测子网络的输出可以用于提高模型训练过程中的稳定性从而解决梯度消失问题，提高着色的准确性。
[0212] 在一些实施例中，着色网络中的每层残差块可以由多个卷积核构成，且每个残差块中包括由实例正则化(Instance Normalization)以及激活函数(Rectified Linear Unit，ReLU)构成的Conv-Batchnorm-ReLU组合，从而加速模型训练的稳定性，使得收敛过程更加快速。
[0213] 在一些实施例中，着色网络中可以包括最大池化层(Max Pooling)，用于降低图像的分辨率。
[0214] (3)采用预设着色信息提取网络提取网络根据用户线描样本提取初始的用户着色样本的着色信息。
[0215] 其中，预设着色信息提取网络可以类似于着色信息提取网络。
[0216] 具体过程可以参考步骤103，在此不做赘述。
[0217] (4)采用预设着色调整网络基于着色信息对预设的目标着色样本进行着色调整处理，得到最终的目标着色样本。
[0218] 其中，预设着色调整网络可以类似于着色调整网络。
[0219] 具体过程可以参考步骤104，在此不做赘述。
[0220] (5)采用预设判别网络判别最终的目标着色样本的图像类型，以及最终的目标着色样本与目标样本之间的图像相似度。
[0221] 参考图2e，图2e所示的预设判别网络，其作用类似于损失函数，可以便于训练模型直至图像处理模型收敛，从而使得着色的准确度，以及着色的风格的准确度进一步提升。
[0222] 预设判别网络可以根据目标线描样本的标注，以及预设着色调整网络输出的目标着色样本来判断该目标着色样本是否与目标线描样本相同，即，该预设判别网络可以输出图像相似度。
[0223] 比如，若该目标着色样本与目标线描样本相同，则输出1，否则，输出0。
[0224] 此外，在一些实施例中，预设判别网络可以根据目标线描样本的标注，以及预设着色调整网络输出的目标着色样本来确定该目标着色样本所属的分镜镜头类型。
[0225] (6)基于图像类型、标识相似度对预设模型进行模型收敛处理，得到图像处理模型。
[0226] 由上可知，本发明实施例可以获取用户指定的用户线描图像、用户着色图像，以及，获取待上色的目标线描图像、参考图像、参考线描图像；基于参考图像、参考线描图像对待上色的目标线描图像进行着色处理，得到初始的目标着色图像；根据用户线描图像提取用户着色图像的着色信息；基于着色信息对初始的目标着色图像进行着色调整处理，得到最终的目标着色图像。在本发明实施例中可以先根据参考图像来对目标线描图像进行初步的着色，再根据用户着色图像来进一步调整着色，最终得到与用户着色图像着色风格相同的目标着色图像。本方案可以高效、自动地进行图像着色，且无需人工控制，由此，本方案可以提升图像处理方法的效率。
[0227] 为了更好地实施以上方法，本发明实施例还提供一种图像处理装置，该图像处理装置具体可以集成在电子设备中，该电子设备可以为终端、服务器等设备。
[0228] 比如，在本实施例中，将以图像处理装置具体集成在终端中为例，对本发明实施例的方法进行详细说明。
[0229] 例如，如图3a所示，该图像处理装置可以包括获取单元301、着色单元302、提取单元303以及调整单元304，如下：
[0230] (一)获取单元301。
[0231] 获取单元301可以获取用户指定的用户线描图像、用户着色图像，以及，获取待上色的目标线描图像、参考图像、参考线描图像。
[0232] 参考图3b在一些实施例中，获取单元301可以包括获取子单元3011、分类子单元3012、确定子单元3013以及线描化子单元3014，如下：
[0233] (1)获取子单元3011。
[0234] 获取子单元3011可以用于获取目标视频的图像序列、用户指定的用户线描图像和用户着色图像。
[0235] (2)分类子单元3012。
[0236] 分类子单元3012可以用于对图像序列中的图像进行分镜镜头分类处理，得到目标视频中多个分镜镜头类型对应的图像组。
[0237] 在一些实施例中，分类子单元3012可以用于：
[0238] 获取预设的分类阈值；
[0239] 对图像序列中的图像进行颜色统计处理，得到图像的颜色统计信息；
[0240] 基于图像的颜色统计信息，计算图像序列中图像两两之间的颜色差值；
[0241] 当颜色差值低于分类阈值时，将图像归为同一分镜镜头类型。
[0242] (3)确定子单元3013。
[0243] 确定子单元3013可以用于在图像组中确定目标图像，以及参考图像，其中，目标图像和参考图像均属于同一分镜镜头类型。
[0244] (4)线描化子单元3014。
[0245] 线描化子单元3014可以用于对目标图像、参考图像进行线描化处理，得到目标图像对应的待上色的目标线描图像，以及参考图像对应的参考线描图像。
[0246] (二)着色单元302。
[0247] 着色单元302可以用于基于参考图像、参考线描图像对待上色的目标线描图像进行着色处理，得到初始的目标着色图像。
[0248] 参考图3c，在一些实施例中，着色单元302可以包括提取子单元3021、相似度子单元3022以及着色子单元3023，如下：
[0249] (1)提取子单元3021。
[0250] 提取子单元3021可以用于分别提取参考图像、参考线描图像以及待上色的目标线描图像的图像特征。
[0251] 在一些实施例中，图像特征可以包括高维图像特征和低维图像特征，提取子单元3021可以用于：
[0252] 分别提取参考图像、参考线描图像以及待上色的目标线描图像的高维图像特征和低维图像特征；
[0253] (2)相似度子单元3022。
[0254] 相似度子单元3022可以用于根据参考线描图像以及目标线描图像的图像特征确定参考线描图像和目标线描图像之间的图像相似度。
[0255] 在一些实施例中，相似度子单元3022可以用于：
[0256] 对参考线描图像以及目标线描图像的高维图像特征进行特征匹配分析，得到目标线描图像的图像着色特征；
[0257] 根据高维图像特征和低维图像特征，以及目标线描图像的图像着色特征确定参考线描图像和目标线描图像之间的图像相似度。
[0258] (3)着色子单元3023。
[0259] 着色子单元3023可以用于基于参考图像和图像相似度，对待上色的目标线描图像进行着色处理，得到初始的目标着色图像。
[0260] (三)提取单元303，用于根据用户线描图像提取用户着色图像的着色信息。
[0261] 在一些实施例中，提取单元303可以用于：
[0262] 采用着色卷积核对用户线描图像以及用户着色图像进行下采样处理，得到低分辨率用户着色图像；
[0263] 对低分辨率用户着色图像进行降维处理，得到用户着色图像的着色信息。
[0264] (四)调整单元304，用于基于着色信息对初始的目标着色图像进行着色调整处理，得到最终的目标着色图像。
[0265] 参考图3d，在一些实施例中，调整单元304可以包括下采样子单元3041、调整子单元3042以及上采样子单元3043，如下：
[0266] (1)下采样子单元3041。
[0267] 下采样子单元3041可以用于对目标线描图像以及初始的目标着色图像进行下采样处理，得到低分辨率目标线描图像以及低分辨率目标着色图像。
[0268] 在一些实施例中，下采样子单元3041具体可以用于：
[0269] 对目标线描图像以及初始的目标着色图像进行多级下采样处理，得到多个低分辨率目标线描图像，以及多个低分辨率目标着色图像；
[0270] (2)调整子单元3042。
[0271] 调整子单元3042可以用于采用正则残差块对着色信息、低分辨率目标线描图像、低分辨率目标着色图像进行着色调整处理，得到融合后的低分辨率目标着色图像。
[0272] (3)上采样子单元3043。
[0273] 上采样子单元3043可以用于对融合后的低分辨率目标着色图像进行上采样处理，得到最终的目标着色图像。
[0274] 在一些实施例中，上采样子单元3043具体可以用于：
[0275] 对融合后的低分辨率目标着色图像进行上采样处理，得到多个高分辨率目标着色图像；
[0276] 将低分辨率目标着色图像和高分辨率目标着色图像进行两两图像融合，得到最终的目标着色图像。
[0277] 在一些实施例中，图像处理方法可以还包括模型单元和模型图像处理单元，如下：
[0278] 模型单元可以用于获取图像处理模型，图像处理模型包括着色网络、着色信息提取网络、着色调整网络，图像处理模型由训练样本训练而成。
[0279] 模型图像处理单元可以用于采用图像处理模型基于参考图像、参考线描图像对待上色的目标线描图像进行着色处理，得到初始的目标着色图像，并根据用户线描图像提取用户着色图像的着色信息，以及基于着色信息对初始的目标着色图像进行着色调整处理，得到最终的目标着色图像。
[0280] 在一些实施例中，模型单元可以包括训练子单元、着色处理子单元、着色信息子单元、调整子单元、判别子单元以及收敛子单元，如下：
[0281] (1)训练子单元。
[0282] 训练子单元可以用于获取预设模型和训练样本，预设模型包括预设着色网络、预设着色信息提取网络、预设着色调整网络、预设判别网络，训练样本包括目标样本、目标线描样本、参考样本、参考线描样本、用户着色样本、用户线描样本。
[0283] (2)着色处理子单元。
[0284] 着色处理子单元可以用于采用预设着色网络基于参考样本、参考线描样本对目标线描样本进行着色处理，得到初始的预设着色样本。
[0285] 在一些实施例中，预设模型可以包括初始着色网络，着色处理子单元还可以用于：
[0286] 采用初始着色网络基于参考样本、参考线描样本对目标线描样本进行着色处理，得到初始的初始着色样本；
[0287] 计算初始的初始着色样本和目标样本之间的损失值；
[0288] 基于损失值对初始着色网络进行收敛，得到预设着色网络。
[0289] (3)着色信息子单元。
[0290] 着色信息子单元可以用于采用预设着色信息提取网络提取网络根据用户线描样本提取初始的用户着色样本的着色信息。
[0291] (4)调整子单元。
[0292] 调整子单元可以用于采用预设着色调整网络基于着色信息对预设的目标着色样本进行着色调整处理，得到最终的目标着色样本。
[0293] (5)判别子单元。
[0294] 判别子单元可以用于采用预设判别网络判别最终的目标着色样本的图像类型，以及最终的目标着色样本与目标样本之间的图像相似度。
[0295] (6)收敛子单元。
[0296] 收敛子单元可以用于基于图像类型、标识相似度对预设模型进行模型收敛处理，得到图像处理模型。
[0297] 具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。
[0298] 由上可知，本方案可以由获取单元获取用户指定的用户线描图像、用户着色图像，以及，获取待上色的目标线描图像、参考图像、参考线描图像；由着色单元基于参考图像、参考线描图像对待上色的目标线描图像进行着色处理，得到初始的目标着色图像；由提取单元根据用户线描图像提取用户着色图像的着色信息；由调整单元基于着色信息对初始的目标着色图像进行着色调整处理，得到最终的目标着色图像。，由此，本方案可以提升图像处理方法的效率。
[0299] 本发明实施例还提供一种电子设备，该电子设备可以为终端、服务器等设备。其中，终端可以为手机、平板电脑、智能蓝牙设备、笔记本电脑、个人电脑，等等；服务器可以是单一服务器，也可以是由多个服务器组成的服务器集群，等等。
[0300] 在一些实施例中，该图像处理装置还可以集成在多个电子设备中，比如，图像处理装置可以集成在多个服务器中，由多个服务器来实现本发明的图像处理方法。
[0301] 在本实施例中，将以本实施例的电子设备是终端为例进行详细描述，比如，如图4所示，其示出了本发明实施例所涉及的终端的结构示意图，具体来讲：
[0302] 该终端可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403、输入模块404以及通信模块405等部件。本领域技术人员可以理解，图4中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
[0303] 处理器401是该终端的控制中心，利用各种接口和线路连接整个终端的各个部分，通过运行或执行存储在存储器402内的软件程序和/或模块，以及调用存储在存储器402内的数据，执行终端的各种功能和处理数据，从而对终端进行整体监控。在一些实施例中，处理器401可包括一个或多个处理核心；在一些实施例中，处理器401可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器401中。
[0304] 存储器402可用于存储软件程序以及模块，处理器401通过运行存储在存储器402的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器402还可以包括存储器控制器，以提供处理器401对存储器402的访问。
[0305] 终端还包括给各个部件供电的电源403，在一些实施例中，电源403可以通过电源管理系统与处理器401逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
[0307] 该终端还可包括通信模块405，在一些实施例中通信模块405可以包括无线模块，终端可以通过该通信模块405的无线模块进行短距离无线传输，从而为用户提供了无线的宽带互联网访问。比如，该通信模块405可以用于帮助用户收发电子邮件、浏览网页和访问流式媒体等。
[0308] 尽管未示出，终端还可以包括显示单元等，在此不再赘述。具体在本实施例中，终端中的处理器401会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中，并由处理器401来运行存储在存储器402中的应用程序，从而实现各种功能，如下：
[0309] 获取用户指定的用户线描图像、用户着色图像，以及，获取待上色的目标线描图像、参考图像、参考线描图像；
[0310] 基于参考图像、参考线描图像对待上色的目标线描图像进行着色处理，得到初始的目标着色图像；
[0311] 根据用户线描图像提取用户着色图像的着色信息；
[0312] 基于着色信息对初始的目标着色图像进行着色调整处理，得到最终的目标着色图像。
[0313] 以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
[0314] 由上可知，本方案可以提升图像处理方法的效率。
[0316] 为此，本发明实施例提供一种计算机可读存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本发明实施例所提供的任一种图像处理方法中的步骤。例如，该指令可以执行如下步骤：
[0317] 获取用户指定的用户线描图像、用户着色图像，以及，获取待上色的目标线描图像、参考图像、参考线描图像；
[0318] 基于参考图像、参考线描图像对待上色的目标线描图像进行着色处理，得到初始的目标着色图像；
[0319] 根据用户线描图像提取用户着色图像的着色信息；
[0320] 基于着色信息对初始的目标着色图像进行着色调整处理，得到最终的目标着色图像。
[0321] 其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。
[0322] 由于该存储介质中所存储的指令，可以执行本发明实施例所提供的任一种图像处理方法中的步骤，因此，可以实现本发明实施例所提供的任一种图像处理方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
[0323] 以上对本发明实施例所提供的一种图像处理方法、装置、电子设备和计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种基于两阶段神经网络模型的汉语唇语识别方法 | 2020-05-08 | 508 |
| 基于视觉显著性的HEVC优化算法 | 2020-05-08 | 403 |
| 用于驱动显示装置的数据处理装置以及数据驱动装置 | 2020-05-08 | 174 |
| 一种拼接影像楼面缺陷检测的故障定位方法及系统 | 2020-05-11 | 881 |
| 一种基于深度学习的2D+3D大飞机外形缺陷检测与分析方法 | 2020-05-11 | 712 |
| 一种基于步态能量图的身份识别方法及系统 | 2020-05-08 | 273 |
| 一种基于深度学习的监控中心辅助系统及方法 | 2020-05-08 | 780 |
| 基于动态模式分解的运动检测方法、终端设备及计算机可读存储介质 | 2020-05-08 | 569 |
| 一种基于时间序列图像的蓝藻覆盖率计算方法 | 2020-05-08 | 477 |
| 基于音频的动作序列生成方法、装置以及电子设备 | 2020-05-08 | 322 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈