技术领域
[0001] 本
发明属于图像复原领域，尤其涉及一种结合多粒度的车联网图像复原方法。
背景技术
[0002] 现如今，自动驾驶技术日趋成熟，通过各方位的摄像头获取车辆周围信息，然而由于现实中自然环境的复杂性与多变性，机器获取到的图像信息经常产生缺失，例如强烈的阳光反射造成的信息缺失，障碍物造成的图像信息缺失。由于传统的复原方法在面对缺失信息较多情况时不能取得很好的效果，且生成式模型能够在生成图像时取得优异的结果，大量学者开始结合生成式模型对图像复原技术进行研究。
[0003] 目前，大致可以分为两种图像复原的方法：第一种是基于传统方法的图像复原技术，主要利用
纹理合成或
补丁搜索等传统方法进行实现；第二种方法是基于
深度学习的图像复原技术，主要通过
深度神经网络对缺失图像进行复原处理。
[0004] 当前的图像复原方法中，传统方法可以充分获取缺失区域边缘的图像信息，平滑地对缺失图像进行补全，但是无法有效地处理缺失区域较大的情况；深度学习的复原方法能够理解图像的整体语义，复原出具有复杂语义的缺失区域，但是无法平滑地与原始区域结合。因此需要综合考虑理解图像整体语义与缺失区域的边缘信息进行复原处理，以达到有效的复原结果。如果在提取缺失图像的多粒度信息的
基础上，再通过深度学习的方法对图像进行复原处理，则能提高模型对于图像的理解能
力，获得更好的复原效果。
发明内容
[0005] 基于
现有技术存在的问题，为了提高图像补全模型对缺失图像的理解能力、提升模型的性能，本发明提出一种结合多粒度的车联网图像复原方法，包括：
[0006] S1、利用多尺度MSR
算法对车联网图像进行图像增强处理，改善图像的视觉效果。
[0007] S2、将增强后的图像中损坏部分或遮挡物部分标记为缺失区域，并将缺失图像由RGB
颜色空间转换为包含
色调、
饱和度和明度特性的HSV空间；
[0008] S3、分别对缺失图像的色调粒度、饱和度粒度和明度粒度进行预处理，利用区域生长算法获取缺失图像三个粒度的结构信息；
[0009] S4、构建具有
编码器-
解码器结构的生成器，将缺失图像及其三个粒度的结构信息进行拼接后作为生成器的输入，对输入数据进行卷积、扩张卷积以及反卷积操作；
[0010] S5、对生成器进行预训练，直到生成器生成符合图像语意，但是缺少细节信息的图像；
[0011] S6、构建内容
鉴别器，在生成内容方面对生成器生成结果进行鉴别；
[0012] S7、构建
像素鉴别器，在清晰度方面对生成器生成结果进行鉴别；
[0013] S8、将生成器与两个鉴别器构建成生成对抗网络模型，并对其进行训练，优化模型参数，直到生成器生成与真实图像一致的完整图像；
[0014] S9、将生成图像中缺失区域对应部分作为补全结果，与缺失图像进行拼接，组合成一幅车联网图像；对拼接结果进行平滑处理，处理后的车联网图像即为最终的补全结果。
[0015] 进一步的，利用多尺度MSR算法对车联网图像进行图像增强处理，为了保证充分考虑图像高、中、低三个尺度的特征，选取尺度为3，每一尺度下的权重w的值都设置为 通过在三个尺度上对图像像素进行增强处理，从而改善图像的视觉效果。
[0016] 进一步的，针对长宽尺寸为h,w的缺失图像，从图像的色调、饱和度和明度三个粒度分别进行特征提取，获取原始图像在三个粒度上的结构信息，方便后续补全工作的进行。因此需要将原始缺失图像的
RGB颜色空间转换为HSV颜色空间，利用公式
将R、G、B三个值归一化，并计算Δ＝max(R',G',B')-min(R',
G ',B ')。根据公式V＝max(R ',G ',B ')计算图像的明度V，根据公式
计算图像的饱和度S；根据公式
[0017] 计算图像的色调H。
[0018] 进一步的，利用区域生长算法获取图像在三个粒度上的结构信息，即三个长宽尺寸分别为h，w的得分矩阵，矩阵中图像中的像素分为三类，缺失区域，与缺失区域边缘相似的像素以及其他像素，缺失区域得分为0，与缺失区域边缘相似的像素得分为1，剩余像素得分为0.5。
[0019] 进一步的，利用11个卷积层，4个扩张卷积层和2个反卷积层构造具有编码器-解码器结构的生成器。将三个得分矩阵与原始HSV图像进行拼接，构成一个尺寸为h×w×6的张量作为生成器的输入，输出为h×w×3尺寸的HSV图像。
[0020] 进一步的，利用大量图像以及完整图像与生成图像的L2损失为评价指标对生成器进行训练，更新生成器中的参数，具体训练的第一损失函数如下：
[0021] L(xl,c,xr)＝||G(xl|c)⊙xr||2
[0022] 其中xr是完整图像，xl是缺失图像，c为多粒度结构信息，G(·)为生成器生成图像；，G(xl|c)表示缺失图像xl与多粒度结构信息c作为输入时生成器生成的图像；||·||表示二范数；⊙表示内积。经过大量数据的多次
迭代训练，直到生成器可以根据缺失图像与多粒度结构信息生成一幅与完整图像相近的图像。
[0023] 进一步的，利用3个卷积层和2个全连接层构造内容鉴别器，尺寸为h×w×3的HSV图像作为内容鉴别器的输入，输出为区间[0,1]内的一个数值，表示输入图像在内容方面与完整图像一致的概率。
[0024] 进一步的，尺寸为h×w×3的HSV图像作为像素鉴别器的输入，通过对称填充方法将输入图像的尺寸扩展到95×95×3，并将其分割为h×w个尺寸为32×32×3的张量，这h×w个张量经过具有3个卷积层、2个
池化层和2个全连接层结构的Pixel-CNN模型后，输出为h×w个区间[0,1]内的数值，将这h×w个数值拼接在一起之后，再经过一个全连接层，输出一个在区间[0,1]内的一个数值，表示输入图像在清晰度方面与完整图像一致的概率。
[0025] 进一步的，利用生成器、内容鉴别器与像素鉴别器构造生成对抗网络模型，并定义损失函数：
[0026]
[0027] E[R]＝E[log(Dc(xr)∧Dp(xr))+log(1-(Dc(G(xl|c))∧Dp(G(xl|c))))]；
[0028] 其中E(·)表示所有
训练数据的均值，L(·)表示完整图像与生成图像的L2损失，xr是完整图像，xl是缺失图像，c为多粒度结构信息，α为超参数，minG、 表示最小化G(·)，且最大化Dc(·)与Dp(·)之和；Dc(·)是内容鉴别器的鉴别结果，Dp(·)是像素鉴别器的鉴别结果，G(·)为生成器生成图像，G(xl|c)表示缺失图像xl与多粒度结构信息c作为输入时生成器生成的图像；∧表示与运算。利用大量数据进行对抗训练，使得生成结果在图像内容与清晰度方面更加逼近完整图像。
[0029] 进一步的，将生成图像进行分割，分离出缺失图像对应的缺失
位置，并与原始缺失图像进行拼接，同时对拼接边缘利用均值滤波进行平滑处理，最终形成的完整图像即为最终的补全结果。
[0030] 本发明的有益效果：
[0031] 本发明充分提取了原始缺失图像的多粒度信息，通过充分获取图像在色调、饱和度和明度三个粒度上的结构信息，帮助模型充分理解图像语义，已有的工作很少有在输入深度模型之前进行多粒度信息的获取；在构造生成对抗网络模型时使用了两个鉴别器，分别从内容和清晰度两个方面对生成结果进行约束，提高了生成结果的
质量；生成器中的扩张卷积层增大了模型的感受野，充分提取到了输入数据的特征信息，提高了复原的效果；在对抗训练前，首先使用常规的训练方式，使模型尽快收敛，然后再进行生成对抗网络的对抗方式进行训练，避免了对抗训练过程中模型崩溃的情况；通过利用传统图像复原方法与深度学习相结合，提高了复原效果，能够有效地对自动驾驶情境下获取到的缺失图像进行复原并对遮挡物进行移除。
附图说明
[0032] 图1为本发明采用的流程示意图；
[0033] 图2为本发明采用的生成器结构示意图；
[0034] 图3为本发明采用的内容鉴别器结构示意图；
[0035] 图4为本发明采用的Pixel-CNN结构示意图；
[0036] 图5为本发明采用的对抗训练过程示意图。
具体实施方式
[0037] 为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图对本发明
实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
[0038] 本发明主要用于自动驾驶过程中对图像进行复原处理，包括补全因环境或设备造成的的残缺图像以及对于目标物的移除处理，包括将图像损坏部分或遮挡物部分标记为缺失区域，分别从缺失图像的色调，饱和度，明度三个粒度上利用区域生长算法对缺失图像进行预处理，获取缺失图像的结构信息；根据缺失图像及其结构信息，利用具有编码器-解码器结构的深度神经网络模型进行复原处理；利用
卷积神经网络作为内容鉴别器判断补全结果内容方面的完整性；利用Pixel-CNN模型作为像素鉴别器判断补全结果清晰度方面是否与原图一致；对生成器与两个鉴别器进行大量对抗训练优化复原结果；当生成器训练至最优时，模型训练结束，通过将生成结果与原始缺失图像进行拼接作为最终复原结果。
[0039] 具体的，本发明提出一种结合多粒度的车联网图像复原方法，如图1，包括：
[0040] S1、利用多尺度MSR算法对车联网图像进行图像增强处理，改善图像的视觉效果。
[0041] S2、将增强后的图像中损坏部分或遮挡物部分标记为缺失区域，并将缺失图像由RGB颜色空间转换为包含色调、饱和度和明度特性的HSV空间；
[0042] S3、分别对缺失图像的色调粒度、饱和度粒度和明度粒度进行预处理，利用区域生长算法获取缺失图像三个粒度的结构信息；
[0043] S4、构建具有编码器-解码器结构的生成器，将缺失图像及其三个粒度的结构信息进行拼接后作为生成器的输入，对输入数据进行卷积、扩张卷积以及反卷积操作；
[0044] S5、对生成器进行预训练，直到生成器生成符合图像语意，但是缺少细节信息的图像；
[0045] S6、构建内容鉴别器，在生成内容方面对生成器生成结果进行鉴别；
[0046] S7、构建像素鉴别器，在清晰度方面对生成器生成结果进行鉴别；
[0047] S8、将生成器与两个鉴别器构建成生成对抗网络模型，并对其进行训练，优化模型参数，直到生成器生成与真实图像一致的完整图像；
[0048] S9、将生成图像中缺失区域对应部分作为补全结果，与缺失图像进行拼接，组合成一幅车联网图像；对拼接结果进行平滑处理，处理后的车联网图像即为最终的补全结果。
[0049] 在本实施例中首先利用多尺度MSR算法对车联网图像进行图像增强处理，为了保证充分考虑图像高、中、低三个尺度的特征，选取尺度为3，每一尺度下的权重w的值都设置为 通过在三个尺度上对图像像素进行增强处理，从而改善图像的视觉效果。
[0050] 本实施例中，将图像中的缺失区域或者遮挡物进行标注，表示需要复原出的像素位置，进一步的，针对长宽尺寸为h,w的缺失图像，从图像的色调、饱和度和明度三个粒度分别进行特征提取，获取原始图像在三个粒度上的结构信息，方便后续补全工作的进行。因此需要将原始缺失图像的RGB颜色空间转换为HSV颜色空间，利用公式将R、G、B三个值归一化，并计算Δ＝max(R',G',B')-min(R',
G ',B ')。根据公式V＝max(R ',G ',B ')计算图像的明度V，根据公式
计算图像的饱和度S；根据公式
计算图像的色调H。
[0051] 颜色空间转换后，本实施例利用区域生长算法获取图像在三个粒度上的结构信息，即三个长宽尺寸分别为h，w的得分矩阵，矩阵中图像中的像素分为三类，缺失区域，与缺失区域边缘相似的像素以及其他像素，缺失区域得分为0，与缺失区域边缘相似的像素得分为1，剩余像素得分为0.5。
[0052] 本实施例利用11个卷积层，4个扩张卷积层和2个反卷积层构造具有编码器-解码器结构的生成器，如图2，其中卷积核尺寸为5或3，步长值均为2。将三个得分矩阵与原始HSV图像进行拼接，构成一个尺寸为h×w×6的张量作为生成器的输入，输出为h×w×3尺寸的HSV图像。
[0053] 本实施例的前期训练过程利用大量图像以及完整图像与生成图像的L2损失为评价指标对生成器进行训练，更新生成器中的参数，具体训练的损失函数如下：
[0054] L(xl,c,xr)＝||G(xl|c)⊙xr||2
[0055] 其中L(xl,c,xr)表示完整图像与生成图像的第一损失；xr是表示完整图像，集完整的车联网图像；xl是缺失图像，即缺失的车联网图像，c为多粒度结构信息，G(·)为生成器生成图像，G(xl|c)表示缺失图像xl与多粒度结构信息c作为输入时生成器生成的图像；||·||表示二范数；⊙表示内积。经过大量数据的多次迭代训练，直到生成器可以根据缺失图像与多粒度结构信息生成一幅与完整图像相近的图像。
[0056] 接着，本实施例利用3个卷积层和2个全连接层构造内容鉴别器，如图3，卷积核尺寸均为3，步长值均为2。尺寸为h×w×3的HSV图像作为内容鉴别器的输入，输出为区间[0,1]内的一个数值，表示输入图像在内容方面与完整图像一致的概率。
[0057] 同时，本实施例构造像素鉴别器，将尺寸为h×w×3的HSV图像作为像素鉴别器的输入，通过对称填充方法将输入图像的尺寸扩展到95×95×3，并将其分割为h×w个尺寸为32×32×3的张量，这h×w个张量经过具有3个卷积层、2个池化层和2个全连接层结构的Pixel-CNN模型后，如图4，输出为h×w个区间[0,1]内的数值，将这h×w个数值拼接在一起之后，再经过一个全连接层，输出一个在区间[0,1]内的一个数值，表示输入图像在清晰度方面与完整图像一致的概率。
[0058] 本实施例利用生成器、内容鉴别器与像素鉴别器构造生成对抗网络模型，如图5所示，并定义损失函数：
[0059]
[0060] E[R]＝E[log(Dc(xr)∧Dp(xr))+log(1-(Dc(G(xl|c))∧Dp(G(xl|c))))]；
[0061] 其中，E[R]表示所有训练数据的均值，L(xl,c,xr)表示完整图像与生成图像的第一损失；xr是完整图像，xl是缺失图像，c为多粒度结构信息，α为超参数，minG、 表示最小化G(·)，且最大化Dc(i)与Dp(·)之和；Dc(·)是内容鉴别器的鉴别结果，Dp(·)是像素鉴别器的鉴别结果，G(·)为生成器生成图像，G(xl|c)表示缺失图像xl与多粒度结构信息c作为输入时生成器生成的图像；∧表示与运算。利用大量数据进行后期的对抗训练，使得生成结果在图像内容与清晰度方面更加逼近完整图像。
[0062] 最后本实施例将生成图像进行分割，分离出缺失图像对应的缺失位置，并与原始缺失图像进行拼接，同时对拼接边缘利用均值滤波进行平滑处理，最终形成的完整图像即为最终的补全结果。
[0063] 目前已有的图像复原方法很少有在输入深度模型之前进行多粒度信息的获取；在构造生成对抗网络模型时使用了两个鉴别器，分别从内容和清晰度两个方面对生成结果进行约束，提高了生成结果的质量；生成器中的扩张卷积层增大了模型的感受野，充分提取到了输入数据的特征信息，提高了复原的效果；在对抗训练前，首先使用常规的训练方式，使模型尽快收敛，然后再进行生成对抗网络的对抗方式进行训练，避免了对抗训练过程中模型崩溃的情况；通过利用传统图像复原方法与深度学习相结合，提高了复原效果，能够有效地对自动驾驶情境下获取到的缺失图像进行复原并对遮挡物进行移除。
[0064] 本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的
硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：ROM、RAM、磁盘或光盘等。
[0065] 以上所举实施例，对本发明的目的、技术方案和优点进行了进一步的详细说明，所应理解的是，以上所举实施例仅为本发明的优选实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内对本发明所作的任何
修改、等同替换、改进等，均应包含在本发明的保护范围之内。
