技术领域
[0001] 本
发明涉及一种图像处理领域，特别是涉及一种图像处理方法。
背景技术
[0002] 图像包含了丰富且直观的信息，当前在互联网的社交、购物和旅游等领域，都需要大量的图像来给用户传递信息。由于互联网图像的来源很多，导致图像
质量参差不齐，存在着不少低
分辨率图像，这部分图像在展示的过程中会由于尺寸放大而出现图像模糊的问题，同时尺寸放大也会使图像的
块效应现象更加严重，这些低质量的图像严重影响了用户体验。近年来，随着社会的发展，人们对照片质量的要求也越来越高，人们提出了当图像放大之后，仍然能够使图像保持清晰等需求。然而图像在产生和传输过程中可能因为外部环境、拍摄条件、多次有损转换、信道传输等原因导致图像分辨率降低或者语义信息的缺失，这就对图像的分辨率造成了很大影响。
[0003] 随着互联网的飞速发展，图像提供方每天都会利用诸多途径获取大量图像，采用人工处理低分辨率图像的方式特别耗时，需要花费大量的人
力成本。因此，利用机器自动对低分辨率图像进行质量提升成为了迫切的需求。传统的基于插值的一系列图像质量提升方法，一方面较难消除由于图像尺寸变大(超分辨率)引入冗余信息带来的图像模糊问题，另外一方面无法解决图像块效应加深问题。现阶段，基于
深度学习的图像质量提升方法相继被提出，但是同时考虑解决图像模糊问题和图像块效应问题的方法较少，实现低分辨率图像质量的显著提升仍然是一项具有挑战性的任务。
发明内容
[0004] 为了解决上述图像在产生和传输过程中可能因为外部环境、拍摄条件、多次有损转换、信道传输等原因导致图像分辨率降低或者语义信息的缺失，无法显著地对低分辨率图像进行质量提升及复原的问题，本发明提供了一种图像处理方法，
[0005] 为了解决上述技术问题，本发明
实施例提供了一种图像处理方法，所述方法包括：
[0006] 通过迁移学习方式训练
编码器、生成对抗网络A、生成对抗网络B、图像处理生成对抗网络；
[0007] 设定学习到编码器的参数是Wva、生成对抗网络A的参数是Wga、生成对抗网络B的参数是Wgb、图像生成对抗网络的参数是Wsr，依据处理任务，编码器、生成对抗网络A、生成对抗网络B、图像生成对抗网络的
接口，分别记为Wva_Interface、Wga_Interface、Wgb_Interface、Wsr_Interface；
[0008] 生成原始图像，依据处理任务，训练编码器输入低分辨率图像、生成对抗网络A输入待复原图像、生成对抗网络B输入是白噪声，通过调整接口、调整网络参数来达到间接调整网络输出的目的，生成原始图像；
[0009] 图像处理生成对抗网络接收原始图像，作为图像处理生成对抗网络的输入，经过图像处理生成对抗网络处理后，输出处理图像。
[0010] 进一步的，所述训练编码器、生成对抗网络A时，Loss优化目标要求保留源输入图像的语义信息，生成对抗网络B用于随机生成。
[0011] 进一步的，所述在调整接口、调整网络参数时，
可视化观察编码器、生成对抗网络A、生成对抗网络B网络的输出以及图像处理生成对抗网络的最终输出。
[0012] 进一步的，所述图像处理包括将低分辨率图像处理为高分辨率图像，调用Wva_Interface去调整编码器网络参数以及图像处理生成对抗网络输出。
[0013] 进一步的，所述图像处理包括将低分辨率图像复原，调用Wga_Interface去调整抗网络A的参数以及图像处理生成对抗网络输出。
[0014] 进一步的，所述图像处理包括将低分辨率图像处理为艺术图像：调用Wgb_interface去调整生成对抗网络B的参数以及图像处理生成对抗网络输出。
[0015] 进一步的，所述生成对抗网络A、生成对抗网络B为一类基于零和博弈原理建模的深度学习生成模型，包括生成器Generator以及判别器Discriminator。
[0016] 进一步的，所述编码器为类基于概率图模型的深度学习生成模型，包括编码器Encoder以及
解码器Decoder。
[0017] 进一步的，所述图像处理生成对抗网络采用Super-Resolution GAN或pix2pix GAN模型。
[0018] 进一步的，所述编码器、生成对抗网络A、生成对抗网络B采用autoencoder或wsgan或lsgan生成模型。
[0019] 本发明的图像处理方法具有以下有益效果：通过迁移学习方式训练编码器、生成对抗网络A、生成对抗网络B、图像处理生成对抗网络；依据处理任务，编码器、生成对抗网络A、生成对抗网络B、图像生成对抗网络的接口；生成原始图像，依据处理任务，训练编码器输入低分辨率图像、生成对抗网络A输入待复原图像、生成对抗网络B输入是白噪声，通过调整接口、调整网络参数来达到间接调整网络输出的目的，生成原始图像；图像处理生成对抗网络接收原始图像，作为图像处理生成对抗网络的输入，经过图像处理生成对抗网络处理后，输出处理图像。图像在产生和传输过程中因为外部环境、拍摄条件、多次有损转换、信道传输等原因导致图像分辨率降低或者语义信息的缺失时，能够实现对低分辨率图像的质量进行显著地提升及复原，满足用户的不同处理需求，提升用户体验。
附图说明
[0020] 图1为本发明实施例中图像处理方法的
流程图。
具体实施方式
[0021] 下面将结合本发明实施例中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。
[0022] 具体实施例一
[0023] 本发明实施例公开了一种图像处理方法，该方法的流程图如图1所示，包括：
[0024] S1：通过迁移学习方式训练编码器、生成对抗网络A、生成对抗网络B、图像处理生成对抗网络；
[0025] 通过迁移学习方式训练编码器、生成对抗网络A、生成对抗网络B、图像处理生成对抗网络，其中，编码器、生成对抗网络A的Loss优化目标要求保留源输入图像的语义信息，生成对抗网络B用于随机生成；
[0026] S2：设学习到编码器的参数是Wva、生成对抗网络A的参数是Wga、生成对抗网络B的参数是Wgb、图像生成对抗网络的参数是Wsr，依据处理任务，编码器、生成对抗网络A、生成对抗网络B、图像生成对抗网络的接口，分别记为Wva_Interface、Wga_Interface、Wgb_Interface、Wsr_Interface；
[0027] 其中，生成对抗网络A、生成对抗网络B为一类基于零和博弈原理建模的深度学习生成模型，包括生成器Generator以及判别器Discriminator；编码器为类基于概率图模型的深度学习生成模型，包括编码器Encoder以及解码器Decoder；
[0028] S3：生成原始图像，依据处理任务，训练编码器输入低分辨率图像、生成对抗网络A输入待复原图像、生成对抗网络B输入是白噪声，通过调整接口、调整网络参数来达到间接调整网络输出的目的，生成原始图像；
[0029] 当图像处理任务为将低分辨率图像处理为高分辨率图像时，调用Wva_Interface去调整编码器网络参数以及图像处理生成对抗网络输出；
[0030] 在调整接口、调整网络参数时，可视化观察编码器、生成对抗网络A、生成对抗网络B网络的输出，可随时停止调整参数，此时中间网络输出可作为图像处理生成对抗网络的最终输出；
[0031] S4：图像处理生成对抗网络接收原始图像，作为图像处理生成对抗网络的输入，经过图像处理生成对抗网络处理后，输出处理图像；
[0032] 接收S3中原始图像，作为图像处理生成对抗网络的输入，其中，图像处理生成对抗网络采用Super-Resolution GAN或pix2pix GAN模型，经过图像处理生成对抗网络处理后，输出处理图像；
[0033] 本发明实施例中的编码器、生成对抗网络A、生成对抗网络B可以采用autoencoder或wsgan或lsgan生成模型替换。
[0034] 具体实施例二
[0035] 本发明实施例公开了一种图像处理方法，该方法的流程图如图1所示，包括：
[0036] S1：通过迁移学习方式训练编码器、生成对抗网络A、生成对抗网络B、图像处理生成对抗网络；
[0037] 通过迁移学习方式训练编码器、生成对抗网络A、生成对抗网络B、图像处理生成对抗网络，其中，编码器、生成对抗网络A的Loss优化目标要求保留源输入图像的语义信息，生成对抗网络B用于随机生成；
[0038] S2：设学习到编码器的参数是Wva、生成对抗网络A的参数是Wga、生成对抗网络B的参数是Wgb、图像生成对抗网络的参数是Wsr，依据处理任务，编码器、生成对抗网络A、生成对抗网络B、图像生成对抗网络的接口，分别记为Wva_Interface、Wga_Interface、Wgb_Interface、Wsr_Interface；
[0039] 其中，生成对抗网络A、生成对抗网络B为一类基于零和博弈原理建模的深度学习生成模型，包括生成器Generator以及判别器Discriminator；编码器为类基于概率图模型的深度学习生成模型，包括编码器Encoder以及解码器Decoder；
[0040] S3：生成原始图像，依据处理任务，训练编码器输入低分辨率图像、生成对抗网络A输入待复原图像、生成对抗网络B输入是白噪声，通过调整接口、调整网络参数来达到间接调整网络输出的目的，生成原始图像；
[0041] 当图像处理任务为将低分辨率图像复原时，调用Wga_Interface去调整抗网络A的参数以及图像处理生成对抗网络输出；
[0042] 在调整接口、调整网络参数时，可视化观察编码器、生成对抗网络A、生成对抗网络B网络的输出，可随时停止调整参数，此时中间网络输出可作为图像处理生成对抗网络的最终输出；
[0043] S4：图像处理生成对抗网络接收原始图像，作为图像处理生成对抗网络的输入，经过图像处理生成对抗网络处理后，输出处理图像；
[0044] 接收S3中原始图像，作为图像处理生成对抗网络的输入，其中，图像处理生成对抗网络采用Super-Resolution GAN或pix2pix GAN模型，经过图像处理生成对抗网络处理后，输出处理图像；
[0045] 本发明实施例中的编码器、生成对抗网络A、生成对抗网络B可以采用autoencoder或wsgan或lsgan生成模型替换。
[0046] 具体实施例三
[0047] 本发明实施例公开了一种图像处理方法，该方法的流程图如图1所示，包括：
[0048] S1：通过迁移学习方式训练编码器、生成对抗网络A、生成对抗网络B、图像处理生成对抗网络；
[0049] 通过迁移学习方式训练编码器、生成对抗网络A、生成对抗网络B、图像处理生成对抗网络，其中，编码器、生成对抗网络A的Loss优化目标要求保留源输入图像的语义信息，生成对抗网络B用于随机生成；
[0050] S2：设学习到编码器的参数是Wva、生成对抗网络A的参数是Wga、生成对抗网络B的参数是Wgb、图像生成对抗网络的参数是Wsr，依据处理任务，编码器、生成对抗网络A、生成对抗网络B、图像生成对抗网络的接口，分别记为Wva_Interface、Wga_Interface、Wgb_Interface、Wsr_Interface；
[0051] 其中，生成对抗网络A、生成对抗网络B为一类基于零和博弈原理建模的深度学习生成模型，包括生成器Generator以及判别器Discriminator；编码器为类基于概率图模型的深度学习生成模型，包括编码器Encoder以及解码器Decoder；
[0052] S3：生成原始图像，依据处理任务，训练编码器输入低分辨率图像、生成对抗网络A输入待复原图像、生成对抗网络B输入是白噪声，通过调整接口、调整网络参数来达到间接调整网络输出的目的，生成原始图像；
[0053] 当图像处理任务为将低分辨率图像处理为艺术图像时，调用Wgb_interface去调整生成对抗网络B的参数以及图像处理生成对抗网络输出；
[0054] 在调整接口、调整网络参数时，可视化观察编码器、生成对抗网络A、生成对抗网络B网络的输出，可随时停止调整参数，此时中间网络输出可作为图像处理生成对抗网络的最终输出；
[0055] S4：图像处理生成对抗网络接收原始图像，作为图像处理生成对抗网络的输入，经过图像处理生成对抗网络处理后，输出处理图像；
[0056] 接收S3中原始图像，作为图像处理生成对抗网络的输入，其中，图像处理生成对抗网络采用Super-Resolution GAN或pix2pix GAN模型，经过图像处理生成对抗网络处理后，输出处理图像；
[0057] 本发明实施例中的编码器、生成对抗网络A、生成对抗网络B可以采用autoencoder或wsgan或lsgan生成模型替换。
[0058] 可以理解，本发明是通过一些实施例进行描述的，本领域技术人员知悉的，在不脱离本发明的精神和范围的情况下，可以对这些特征和实施例进行各种改变或等效替换。另外，在本发明的教导下，可以对这些特征和实施例进行
修改以适应具体的情况及材料而不会脱离本发明的精神和范围。因此，本发明不受此处所公开的具体实施例的限制，所有落入本
申请的
权利要求范围内的实施例都属于本发明所保护的范围内。
