训练方法及装置、去雨方法、终端设备、存储介质
阅读：46发布：2023-05-27
专利汇可以提供训练方法及装置、去雨方法、终端设备、存储介质专利检索，专利查询，专利分析的服务。并且本 发明 公开了一种训练方法及装置、去雨方法、终端设备、存储介质，涉及 图像处理 领域。该训练方法包括：读取一张带雨图像上的带雨图片 块 ；将所述带雨图片块作为特征图像依次通过去雨循环神经网络模型中的通道提升模块、全局信息注意 力 模块、雨层注意力模块和通道恢复模块，得到特征图像对应的雨 水 图片块；将所述雨水图片块对应的特征图像减去所述雨水图片块，得到所述带雨图片块对应的去雨图片块；将所述去雨图片块作为特征图像再次输入至去雨循环神经网络模型，直至得到的所述去雨图片块中的雨水被去除。本发明去雨循环神经网络模型对输入的带雨图片块进行雨水的训练，提高对雨水的识别能力。，下面是训练方法及装置、去雨方法、终端设备、存储介质专利的具体信息内容。
1.一种去雨循环神经网络模型的训练方法，其特征在于，包括：
读取一张带雨图像上的带雨图片块；
将所述带雨图片块作为特征图像依次通过去雨循环神经网络模型中的通道提升模块、全局信息注意力模块、雨层注意力模块和通道恢复模块，得到所述特征图像对应的雨水图片块；
将所述雨水图片块对应的特征图像减去所述雨水图片块，得到所述带雨图片块对应的去雨图片块；
将所述去雨图片块作为特征图像再次输入至去雨循环神经网络模型，直至得到的所述去雨图片块中的雨水被去除，完成了使用一张带雨图片块对所述去雨循环神经网络模型的训练。
2.如权利要求1所述的去雨循环神经网络模型的训练方法，其特征在于，所述特征图像通过去雨循环神经网络模型中的通道提升模块的过程包括：
所述特征图像通过所述通道提升模块的第一卷积层，得到通道数量变为第一预设通道的第一特征图像；
所述第一特征图像通过所述通道提升模块的第二卷积层，得到通道数量变为第二预设通道的第二特征图像；
所述第二特征图像通过所述通道提升模块的第三卷积层，得到通道数量变为第三预设通道的第三特征图像；
其中，所述第一预设通道＜第二预设通道＜第三预设通道。
3.如权利要求1所述的去雨循环神经网络模型的训练方法，其特征在于，所述特征图像依次通过去雨循环神经网络模型中的通道提升模块、全局信息注意力模块、雨层注意力模块和通道恢复模块，得到所述特征图像对应的雨水图片块中通过全局信息注意力模块的过程包括：
将所述特征图像通过所述通道提升模块后得到的第三特征图像输入至所述全局信息注意力模块中的三个并行的具有自由移动项的卷积层，分别得到三个移动项特征图像；
将所述三个移动项特征图像进行拼接，得到全局信息特征图像。
4.如权利要求3所述的去雨循环神经网络模型的训练方法，其特征在于，所述移动项特征图像中一个卷积单元的公式为：
其中，F(p0)为移动项特征图像中一个卷积单元，Gi为第i个具有自由移动项的卷积层的取样范围，w(pn)为pn的参数，p0为F(p0)对应的前一层第三特征图像上取样范围的中心点，pn为Gi中的一个位置，dn为pn对应的自由移动项，dn∈Gi。
5.如权利要求1所述的去雨循环神经网络模型的训练方法，其特征在于，所述特征图像依次通过去雨循环神经网络模型中的通道提升模块、全局信息注意力模块、雨层注意力模块和通道恢复模块，得到所述特征图像对应的雨水图片块中通过雨层注意力模块的过程包括：
将所述特征图像依次通过所述去雨循环神经网络模型中的通道提升模块、全局信息注意力模块得到的全局信息特征图像输入所述雨层注意力模块；
根据所述全局信息特征图像计算出与其通道数量相等的权重向量；
将所述权重向量上的每个数与所述全局信息特征图像上对应的通道上的卷积单元相乘，得到雨层特征图像。
6.如权利要求1所述的去雨循环神经网络模型的训练方法，其特征在于，所述特征图像依次通过去雨循环神经网络模型中的通道提升模块、全局信息注意力模块、雨层注意力模块和通道恢复模块，得到所述特征图像对应的雨水图片块中通过通道恢复模块的过程包括：
将所述特征图像依次通过所述去雨循环神经网络模型中的通道提升模块、全局信息注意力模块、雨层注意力模块得到的雨层特征图像输入所述通道恢复模块的第一卷积层，得到通道数量变为第三预设通道的第一恢复特征图像；
所述第一恢复特征图像通过所述通道恢复模块的第二卷积层，得到通道数量变为第二预设通道的第二恢复特征图像；
所述第二恢复特征图像通过所述通道恢复模块的第三卷积层，得到通道数量变为第一预设通道的第三恢复特征图像；
所述第三恢复特征图像通过所述通道恢复模块的第四卷积层，得到所述特征图像对应的雨水图片块。
7.一种去雨循环神经网络模型的训练方法，其特征在于，包括：
建立图像数据库，所述图像数据库中包括了多个带雨图像；
从每个带雨图像上获取多个带雨图片块，将每个所述带雨图片块分别作为特征图像，采用上述权利要求1-6任一所述的去雨循环神经网络模型的训练方法对去雨循环神经网络模型进行训练，得到训练好的去雨循环神经网络模型。
8.一种去雨循环神经网络模型的去雨方法，其特征在于，包括：采用权利要求7所述的去雨循环神经网络模型的训练方法训练好的去雨循环神经网络模型；
将待去雨的图像输入训练好的所述去雨循环神经网络模型中，得到对应的雨水图像；
将所述待去雨的图像减去所述雨水图像，得到对应的去雨图像。
9.一种去雨循环神经网络模型的训练装置，其特征在于，包括：
读取单元，用于读取一张带雨图像上的带雨图片块；
训练单元，将所述带雨图片块作为特征图像依次通过所述去雨循环神经网络模型中的通道提升模块、全局信息注意力模块、雨层注意力模块和通道恢复模块，得到所述特征图像对应的雨水图片块；
以及，将所述雨水图片块对应的特征图像减去所述雨水图片块，得到所述带雨图片块对应的去雨图片块；
以及，将所述去雨图片块作为特征图像再次输入至去雨循环神经网络模型，直至得到的所述去雨图片块中的雨水被去除，完成了使用一张带雨图片块对所述去雨循环神经网络模型的训练。
10.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器运行所述计算机程序时实现如权利要求1-7中任一项所述去雨循环神经网络模型的训练方法的步骤。
11.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述去雨循环神经网络模型的训练方法的步骤。
训练方法及装置、去雨方法、终端设备、存储介质
技术领域
背景技术
[0002] 随着计算机技术的发展，各种各样的计算机视觉算法已经渗透到日常生活中的方方面面。例如：自动驾驶汽车检测前方路况的语义分割算法、部署于户外的天网摄像头上，用于追踪逃犯的人脸识别算法、部署于户外交通监控探头上的车牌号识别算法等。这些算法的正常运行对维护道路安全，保持社会稳定起着至关重要的作用。
[0003] 然而，在下雨时，雨水带来的雨滴及雨雾对空气能见度造成严重影响，使得大部分部署于户外的计算机视觉算法的识别准确率大大降低甚至失效。
[0005] 然而，基于惯性思维的限制，现有的图像去雨方法，都是输入带雨水的图像，直接输出去雨的图像，其本质上是对整个图像进行训练，而不是对雨水进行单独训练，虽然也能得到去雨图像，但是去雨性能得不到满足。
发明内容
[0006] 本发明的目的是提供一种训练方法及装置、去雨方法、终端设备、存储介质，该训练方法中的去雨循环神经网络模型是针对雨水进行训练，使训练好的去雨循环神经网络模型提高了对雨水的识别能力，使用相应的去雨方法在输入待去雨的图像时可以得到去雨效果更好的去雨图像。
[0007] 本发明提供的技术方案如下：
[0008] 一种去雨循环神经网络模型的训练方法，包括：读取一张带雨图像上的带雨图片块；将所述带雨图片块作为特征图像依次通过去雨循环神经网络模型中的通道提升模块、全局信息注意力模块、雨层注意力模块和通道恢复模块，得到所述特征图像对应的雨水图片块；将所述雨水图片块对应的特征图像减去所述雨水图片块，得到所述带雨图片块对应的去雨图片块；将所述去雨图片块作为特征图像再次输入至去雨循环神经网络模型，直至得到的所述去雨图片块中的雨水被去除，完成了使用一张带雨图片块对所述去雨循环神经网络模型的训练。
[0009] 在上述技术方案中，去雨循环神经网络模型对输入的带雨图片块进行雨水的训练，提高对雨水的识别能力，并针对一张带雨图片块进行循环训练，进一步提高了对雨水训练的精确度。
[0010] 进一步，所述特征图像通过去雨循环神经网络模型中的通道提升模块的过程包括：所述特征图像通过所述通道提升模块的第一卷积层，得到通道数量变为第一预设通道的第一特征图像；所述第一特征图像通过所述通道提升模块的第二卷积层，得到通道数量变为第二预设通道的第二特征图像；所述第二特征图像通过所述通道提升模块的第三卷积层，得到通道数量变为第三预设通道的第三特征图像；其中，所述第一预设通道＜第二预设通道＜第三预设通道。
[0011] 在上述技术方案中，分多步进行通道提升，可使训练出来的雨水图片块具有更好的雨水识别效果。
[0012] 进一步，所述特征图像依次通过去雨循环神经网络模型中的通道提升模块、全局信息注意力模块、雨层注意力模块和通道恢复模块，得到所述特征图像对应的雨水图片块中通过全局信息注意力模块的过程包括：将所述特征图像通过所述通道提升模块后得到的第三特征图像输入至所述全局信息注意力模块中的三个并行的具有自由移动项的卷积层，分别得到三个移动项特征图像；将所述三个移动项特征图像进行拼接，得到全局信息特征图像。
[0013] 在上述技术方案中，卷积单元多了自由移动项，使取样时的范围不再固定，卷积单元可以更加高效地从形状不规则的前层第三特征图像的区域中取样，对处于同一雨层的多种同类型雨水信息建模，建模效率及性能显著提升。
[0014] 进一步，所述移动项特征图像中一个卷积单元的公式为：
[0015]
[0016] 其中，F(p0)为移动项特征图像中一个卷积单元，Gi为第i个具有自由移动项的卷积层的取样范围，w(pn)为pn的参数，p0为F(p0)对应的前一层第三特征图像上取样范围的中心点，pn为Gi中的一个位置，dn为pn对应的自由移动项，dn∈Gi。
[0017] 在上述技术方案中，相比于传统的神经网络的卷积单元，本实施例的卷积单元多了自由移动项dn，使取样时的范围不再固定，而dn也是去雨循环神经网络模型采用带雨图片块训练所要得到的参数之一。
[0018] 进一步，所述特征图像依次通过去雨循环神经网络模型中的通道提升模块、全局信息注意力模块、雨层注意力模块和通道恢复模块，得到所述特征图像对应的雨水图片块中通过雨层注意力模块的过程包括：将所述特征图像依次通过所述去雨循环神经网络模型中的通道提升模块、全局信息注意力模块得到的全局信息特征图像输入所述雨层注意力模块；根据所述全局信息特征图像计算出与其通道数量相等的权重向量；将所述权重向量上的每个数与所述全局信息特征图像上对应的通道上的卷积单元相乘，得到雨层特征图像。
[0019] 在上述技术方案中，计算每个通道的权重信息，通过按通道相乘，全局信息特征图像中各通道所占权重被重新调整，注意力机制被引入各雨层间，增加了所提出去雨循环神经网络模型的建模能力与去雨性能。
[0020] 进一步，所述特征图像依次通过去雨循环神经网络模型中的通道提升模块、全局信息注意力模块、雨层注意力模块和通道恢复模块，得到所述特征图像对应的雨水图片块中通过通道恢复模块的过程包括：将所述特征图像依次通过所述去雨循环神经网络模型中的通道提升模块、全局信息注意力模块、雨层注意力模块得到的雨层特征图像输入所述通道恢复模块的第一卷积层，得到通道数量变为第三预设通道的第一恢复特征图像；所述第一恢复特征图像通过所述通道恢复模块的第二卷积层，得到通道数量变为第二预设通道的第二恢复特征图像；所述第二恢复特征图像通过所述通道恢复模块的第三卷积层，得到通道数量变为第一预设通道的第三恢复特征图像；所述第三恢复特征图像通过所述通道恢复模块的第四卷积层，得到所述特征图像对应的雨水图片块。
[0021] 在上述技术方案中，分步进行恢复通道数量的恢复可提高去雨循环神经网络模型对雨水建模的精度。
[0022] 本发明还提供一种去雨循环神经网络模型的训练方法，包括：建立图像数据库，所述图像数据库中包括了多个带雨图像；从每个带雨图像上获取多个带雨图片块，将每个所述带雨图片块分别作为特征图像，采用上述任一所述的去雨循环神经网络模型的训练方法对去雨循环神经网络模型进行训练，得到训练好的去雨循环神经网络模型。
[0023] 在上述技术方案中，采用多个带雨图像对去雨循环神经网络模型进行训练，使训练出来的网络参数更精准。
[0024] 本发明还提供一种去雨循环神经网络模型的去雨方法，包括：采用第二种去雨循环神经网络模型的训练方法训练好的去雨循环神经网络模型；将待去雨的图像输入训练好的所述去雨循环神经网络模型中，得到对应的雨水图像；将所述待去雨的图像减去所述雨水图像，得到对应的去雨图像。
[0025] 在上述技术方案中，应用本发明的去雨循环神经网络模型可得到去雨性能更好的去雨图像。
[0026] 本发明还提供一种去雨循环神经网络模型的训练装置，包括：读取单元，用于读取一张带雨图像上的带雨图片块；训练单元，将所述带雨图片块作为特征图像依次通过所述去雨循环神经网络模型中的通道提升模块、全局信息注意力模块、雨层注意力模块和通道恢复模块，得到所述特征图像对应的雨水图片块；以及，将所述雨水图片块对应的特征图像减去所述雨水图片块，得到所述带雨图片块对应的去雨图片块；以及，将所述去雨图片块作为特征图像再次输入至去雨循环神经网络模型，直至得到的所述去雨图片块中的雨水被去除，完成了使用一张带雨图片块对所述去雨循环神经网络模型的训练。
[0027] 本发明还提供一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时实现如上述任一项所述去雨循环神经网络模型的训练方法的步骤。
[0028] 本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述去雨循环神经网络模型的训练方法的步骤。
[0029] 与现有技术相比，本发明的训练方法及装置、去雨方法、终端设备、存储介质有益效果在于：
[0030] 本发明去雨循环神经网络模型对输入的带雨图片块进行雨水的训练，提高对雨水的识别能力，且去雨循环神经网络模型设置了新的结构，进一步提高了去雨循环神经网络模型对雨水的建模精度，后续使用时可得到去雨效果更好的去雨图像。附图说明
[0031] 下面将以明确易懂的方式，结合附图说明优选实施方式，对一种训练方法及装置、去雨方法、终端设备、存储介质的上述特性、技术特征、优点及其实现方式予以进一步说明。
[0032] 图1是本发明去雨循环神经网络模型的训练方法一个实施例的流程图；
[0033] 图2是图1中特征图像通过通道提升模块一个实施例的流程图；
[0034] 图3是图1中特征图像通过全局信息注意力模块一个实施例的流程图；
[0035] 图4是传统神经网络取样范围一个实施例的结构示意图；
[0036] 图5是本发明终端设备一个实施例的结构示意图；
[0037] 图6是本发明全局信息注意力模块中取样范围一个实施例的结构示意图；
[0038] 图7是本发明特征图像通过雨层注意力模块一个实施例的流程图；
[0039] 图8是本发明特征图像通过通道恢复模块一个实施例的流程图；
[0040] 图9是本发明去雨循环神经网络模型的训练装置一个实施例的结构示意图；
[0041] 图10是老虎图片去雨效果对比图；
[0042] 图11是夜空图片去雨效果对比图；
[0043] 图12是图1中训练方法的示意图。
[0044] 附图标号说明：
[0045] 5.终端设备，51.存储器，52.计算机程序，53.处理器，9.去雨循环神经网络模型的训练装置，91.读取单元，92.训练单元。
具体实施方式
[0046] 以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其他实施例中也可以实现本申请。在其他情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
[0047] 应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所述描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其他特征、整体、步骤、操作、元素、组件和/或集合的存在或添加。
[0048] 为使图面简洁，各图中只示意性地表示出了与本发明相关的部分，它们并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个。在本文中，“一个”不仅表示“仅此一个”，也可以表示“多于一个”的情形。
[0049] 还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
[0050] 具体实现中，本申请实施例中描述的终端设备包括但不限于诸如具有触摸敏感表面(例如，触摸屏显示器和/或触摸板)的移动电话、膝上型计算机或平板计算机之类的其他便携式设备。还应当理解的是，在某些实施例中，所述终端设备并非便携式通信设备，而是具有触摸敏感表面(例如：触摸屏显示器和/或触摸板)的台式计算机。
[0052] 终端设备支持各种应用程序，例如以下中的一个或多个：去雨应用程序、绘图应用程序、演示应用程序、网络创建应用程序、文字处理应用程序、盘刻录应用程序、电子表格应用程序、游戏应用程序、电话应用程序、视频会议应用程序、电子邮件应用程序、即时消息收发应用程序、锻炼支持应用程序、照片管理应用程序、数码相机应用程序、数字摄像机应用程序、Web浏览应用程序、数字音乐播放器应用程序和/或数字视频播放器应用程序。
[0053] 可以在终端设备上执行的各种应用程序可以使用诸如触摸敏感表面的至少一个公共物理用户接口设备。可以在应用程序之间和/或相应应用程序内调整和/或改变触摸敏感表面的一个或多个功能以及终端上显示的相应信息。这样，终端的公共物理架构(例如，触摸敏感表面)可以支持具有对用户而言直观且透明的用户界面的各种应用程序。
[0054] 另外，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0055] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。
[0056] 图1示出了本发明的一个去雨循环神经网络模型的训练方法的实现流程图，该训练方法可以应用于终端设备(例如：计算机，本实施例中为方便理解，都以计算机作为主语解释，但本领域的技术人员均明白该训练方法也可应用于其他终端设备，只要能实现相应功能即可)，训练方法包括以下步骤：
[0057] S101读取一张带雨图像上的带雨图片块。
[0058] 具体的，去雨循环神经网络模型需要相应的图像进行训练。本实施例中的带雨图片块是一个w(即宽)*h(即高)像素大小的图片块，其是从一张完整的带雨图像上随机位置裁下的。带雨图像的w*h的具体数据不作限定，可以为128*128、64*64等，但其与去雨循环神经网络模型中的某些参数相关联，需要对应调整，例如：零填充、卷积核。
[0059] 无雨图片块则可以是从完整的带雨图像对应的完整的无雨图像的对应位置裁下的w*h像素大小的图片块。
[0060] 一般是将带雨图片块作为输入，而此带雨图片块对应的无雨图片块作为训练去雨循环神经网络模型时的答案，供其与训练出来的去雨图片块进行比对，从而改变后续的训练参数。
[0061] S102将带雨图片块作为特征图像依次通过去雨循环神经网络模型中的通道提升模块、全局信息注意力模块、雨层注意力模块和通道恢复模块，得到特征图像对应的雨水图片块。
[0062] 具体的，本实施例中的去雨循环神经网络模型采用的目标函数为：
[0063]
[0064] 其中，N是带雨图像被分解成的带雨图片块数量，w代表网络参数，λ是权重衰减系数，其为常数，根据经验设定，In是第n张带雨图片块，I是与In对应的无雨图片块，f代表所提出的去雨循环神经网络模型的映射函数，f(In)代表根据带雨图片块和经过去雨循环神经网络模型处理后的雨水图片块得到的去雨图片块， 是L2参数正则化。
[0065] 采用带雨图片块来训练完成上述目标函数，也可以理解为，得到上述目标函数的网络参数等。
[0066] 本实施例中去雨循环神经网络模型的结构包括：通道提升模块、全局信息注意力模块、雨层注意力模块和通道恢复模块。
[0067] 通道提升模块是为了将输入的特征图像的进行通道提升，以满足后续模块的输入需求。一般来说，输入通道提升模块的特征图像为w*h*3，即特征图像一开始为红蓝绿三通道，经过通道提升模块后，变为若干通道。
[0068] 特征图像通过通道提升模块的过程有多种实施方式：
[0069] 作为一种实施方式，特征图像通过去雨循环神经网络模型中的通道提升模块中的卷积层，直接将特征图像为w*h*3提升至通道数量变为第三预设通道的第三特征图像。
[0070] 根据实际需求设置第三预设通道，例如：第三预设通道为64或者32等。
[0071] 作为另一种实施方式，如图2所示，特征图像通过去雨循环神经网络模型中的通道提升模块的过程包括：
[0072] S21特征图像通过通道提升模块的第一卷积层，得到通道数量变为第一预设通道的第一特征图像；
[0073] S22第一特征图像通过通道提升模块的第二卷积层，得到通道数量变为第二预设通道的第二特征图像；
[0074] S23第二特征图像通过通道提升模块的第三卷积层，得到通道数量变为第三预设通道的第三特征图像；
[0075] 其中，第一预设通道＜第二预设通道＜第三预设通道。
[0076] 具体的，在此实施方式中，将特征图像(w*h*3)先将其的通道数量提升到第一预设通道，再将其提到至第二预设通道，然后将其提升至第三预设通道，也就是分步将特征图像的通道数量进行提升。
[0077] 相比于直接将特征图像的通道数量直接提升到最后的目标通道数量，分多步提升，可使训练出来的雨水图片块具有更好的雨水识别效果。
[0078] 根据实际使用情况，设置第一预设通道、第二预设通道、第三预设通道，例如：第一预设通道为16，第二预设通道为32，第三预设通道为64。
[0079] 同理，各卷积层的参数根据输入的特征图片的像素w、h和实际需求设置。
[0080] 例如，本实施例的通道提升模块的结构可设置为：
[0081]
[0082] 全局信息注意力模块是由若干个并行的卷积层构成，由于传统卷积神经网络结构的限制，特征图上的某个卷积单元只能从前层特征图中固定形状的区域内取样。而含有同种雨水信息的像素点并不一定分布在这个固定形状的区域中，这使得卷积单元无法高效地对分布于不规则区域中的同类型雨滴建模，削弱了卷积神经网络的去雨性能。
[0083] 因此，本实施例中的全局信息注意力模块由若干个并行的具有自由移动项的卷积层构成，具体的数量可根据实际情况决定，例如：三个并行的具有自由移动项的卷积层。
[0084] 如图3所示，S102中通过全局信息注意力模块的过程包括：
[0085] S31将特征图像通过通道提升模块后得到的第三特征图像输入至全局信息注意力模块中的三个并行的具有自由移动项的卷积层，分别得到三个移动项特征图像；
[0086] S32将三个移动项特征图像进行拼接，得到全局信息特征图像。
[0087] 具体的，全局信息注意力模块中的三个并行的具有自由移动项的卷积层的参数，例如：卷积核、膨胀系数等。
[0088] 以传统神经网络的卷积核输出的特征图像F上的一个卷积单元进行对比说明。
[0089] 传统的，假设是三个卷积层：
[0090] 第一个卷积层的卷积核大小为3x3，膨胀系数为1，则第一个卷积层的取样范围G1为：
[0091] G1＝{(-1,-1),(-1,0),(-1,1),(0,1),(0,0),(1,1),(1,0),(1,-1),(0,-1)}；
[0092] 第二个卷积层的卷积核大小为3x3，膨胀系数为2，则第二个卷积层的取样范围G2为：
[0093] G2＝{(-2,-2),(-2,0),(-2,2),(0,2),(0,0),(2,2),(2,0),(2,-2),(0,-2)}；
[0094] 第三个卷积层的卷积核大小为3x3，膨胀系数为3，则第三个卷积层的取样范围G3为：
[0095] G3＝{(-3,-3),(-3,0),(-3,3),(0,3),(0,0),(3,3),(3,0),(3,-3),(0,-3)}；
[0096] 传统神经网络输出的特征图像F’上的一个卷积单元为：
[0097]
[0098] 其中，这里的F’(p0)为传统神经网络输出的特征图像F’上的一个卷积单元，Gi为上述定义的第i个卷积层的取样范围，w(pn)为pn的参数，p0为F’(p0)对应的前一层特征图像(即输入的特征图像)上取样范围的中心点，pn为Gi中的一个位置，例如：G1中的(-1，-1)，pn会取遍Gi中的所有位置。
[0099] 传统的神经网络在取样时，其取样范围是固定的，例如上述实施例的取样范围就是一个如图4所示的位于左上角的具有9个位置的实线矩形(一个矩形相当于一个点)，取样时从这个取样范围内取9个点。
[0100] 本实施例中具有自由移动项的卷积层全局信息注意力模块的例子如下，假设也是三个卷积层：
[0101] 第一个卷积层的卷积核大小为3x3，膨胀系数为1，则第一个卷积层的取样范围G1为：
[0102] G1＝{(-1,-1),(-1,0),(-1,1),(0,1),(0,0),(1,1),(1,0),(1,-1),(0,-1)}；
[0103] 第二个卷积层的卷积核大小为3x3，膨胀系数为2，则第二个卷积层的取样范围G2为：
[0104] G2＝{(-2,-2),(-2,0),(-2,2),(0,2),(0,0),(2,2),(2,0),(2,-2),(0,-2)}；
[0105] 第三个卷积层的卷积核大小为3x3，膨胀系数为3，则第三个卷积层的取样范围G3为：
[0106] G3＝{(-3,-3),(-3,0),(-3,3),(0,3),(0,0),(3,3),(3,0),(3,-3),(0,-3)}；
[0107] 移动项特征图像中一个卷积单元的公式为：
[0108]
[0109] 其中，F(p0)为移动项特征图像中一个卷积单元，Gi为第i个具有自由移动项的卷积层的取样范围，w(pn)为pn的参数，p0为F(p0)对应的前一层第三特征图像上取样范围的中心点，pn为Gi中的一个位置，dn为pn对应的自由移动项，dn∈Gi。
[0110] 相比于传统的神经网络的卷积单元，本实施例的卷积单元多了自由移动项dn，使取样时的范围不再固定，而dn也是去雨循环神经网络模型采用带雨图片块训练所要得到的参数之一。
[0111] 本实施例的取样范围可参考图6，加了入自由移动项，使取样范围不再固定于矩形，9个点有了偏移，形状不再规则，此种取样方式被引入第三特征图片的各通道平面内，卷积单元可以更加高效地从形状不规则的前层第三特征图像的区域中取样，对处于同一雨层的多种同类型雨水信息建模，建模效率及性能显著提升。
[0112] 在实际应用时，本实施例中的全局信息注意力模块的结构可设置为：
[0113]
[0114] 在得到三个移动项特征图像后，会将其在第三维度拼接，第三维度是指区别于w和h的维度，若w和h代表的是平面上的x和y轴方向的话，第三维度指的是z轴方向，也可以理解为前后方向。
[0115] 本实施例所说的雨层注意力模块是为全局信息特征图像上的每个通道计算其对应的权重信息，将相应通道中的每个元素乘以所对应的权重实现通道间的注意力机制，以提高去雨循环神经网络模型对雨水模型建模的精度。
[0116] 如图7所示，S102中通过雨层注意力模块的过程包括：
[0117] S71将特征图像依次通过去雨循环神经网络模型中的通道提升模块、全局信息注意力模块得到的全局信息特征图像输入雨层注意力模块；
[0118] S72根据全局信息特征图像计算出与其通道数量相等的权重向量；
[0119] S73将权重向量上的每个数与全局信息特征图像上对应的通道上的卷积单元相乘，得到雨层特征图像。
[0120] 三层注意力模块的结构可设置如下，以输入的全局信息特征图像为128*128像素，192个通道为例说明：
[0121]
[0122] 层1至层5的作用是根据输入的全局信息特征图像计算出每个通道对应的权重，让其与输入的全局信息特征图像按通道相乘，得到最后的输出，即雨层特征图像。
[0123] 全局池化层是将输入的全局信息特征图像上的每个通道中的所有卷积单元在其所在通道内求和，之后除以该通道中的单元总数。换句话说，该操作在每个通道内求所有卷积单元的平均值，每个通道将计算得到一个数值，处理后得到的初始权重特征图大小为1*1*192。
[0125] 层5中输出的是一个长度与输入该模块的全局信息特征图像所具有的通道数相等的向量(即最后的权重特征图)，将该向量上的每个数与输入该模块的全局信息特征图像按通道相乘，具体地，每个数乘以输入的全局信息特征图像上所对应通道上的每个卷积单元，最终得到雨层注意力模块的输出。
[0126] 层5中输出的向量蕴含了输入雨层注意力模块的全局信息特征图像中每个通道的权重信息，通过按通道相乘，全局信息特征图像中各通道所占权重被重新调整，注意力机制被引入各雨层间，增加了所提出去雨循环神经网络模型的建模能力与去雨性能。
[0127] 通道恢复模块是为了将通过前几步处理后得到的雨层特征图像恢复到原始的红绿蓝三通道的图像，为后续图像之间的相减打下基础。
[0128] S102中通过通道恢复模块的过程有多种实施方式：
[0129] 作为一种实施方式，如图8所示，该过程包括：
[0130] S81将特征图像依次通过去雨循环神经网络模型中的通道提升模块、全局信息注意力模块、雨层注意力模块得到的雨层特征图像输入通道恢复模块的第一卷积层，得到通道数量变为第三预设通道的第一恢复特征图像；
[0131] S82第一恢复特征图像通过通道恢复模块的第二卷积层，得到通道数量变为第二预设通道的第二恢复特征图像；
[0132] S83第二恢复特征图像通过通道恢复模块的第三卷积层，得到通道数量变为第一预设通道的第三恢复特征图像；
[0133] S84第三恢复特征图像通过通道恢复模块的第四卷积层，得到特征图像对应的雨水图片块。
[0134] 具体的，在恢复时，可分步进行通道的恢复，第一预设通道＜第二预设通道＜第三预设通道。若通道提升时也是通过分步将特征图像的通道数量提升，可采用相应的反向的方式进行通道的恢复，分步恢复可提高去雨循环神经网络模型对雨水建模的精度。
[0135] 例如：通道提升时的通道变化情况为3、16、32、64，则若采用分步恢复的话，可从192、64、32、16、3这样恢复，相应的设置如下：
[0136]
[0137] 作为另一种实施方式，将雨层特征图像输入通道恢复模块中直接恢复至通道数量为3的雨水图片块。
[0138] S103将雨水图片块对应的特征图像减去雨水图片块，得到带雨图片块对应的去雨图片块。
[0139] S104将去雨图片块作为特征图像再次输入至去雨循环神经网络模型，直至得到的去雨图片块中的雨水被去除，完成了使用一张带雨图片块对去雨循环神经网络模型的训练。
[0140] 具体的，雨水图片块可被看作由真实背景和多层雨水组成，如图12所示，将最初输入的带雨图片块减去雨水图片块，便可获取一次去雨后的去雨图片块，将其再次作为特征图像(即新的雨水图片块)输入去雨循环神经网络模型中，重复操作，直到去雨图片块中的雨水被去除。
[0141] 重复次数可根据训练出来的去雨图片块与其对应的无雨图片块的相似度情况决定，可以设为5次、6次、7次、8次等，根据实际效果设置，在此不作限制。
[0142] 本实施例中，去雨循环神经网络模型对输入的带雨图片块进行雨水的训练，提高对雨水的识别能力，且去雨循环神经网络模型设置了新的结构，进一步提高了去雨循环神经网络模型对雨水的建模精度，为后续使用时得到去雨效果更好的去雨图像打下基础。
[0143] 在本发明的另一个实施例中，一种去雨循环神经网络模型的训练方法，包括：
[0144] 建立图像数据库，图像数据库中包括了多个带雨图像(和对应的无雨图像)；
[0145] 从每个带雨图像上获取多个带雨图片块，将每个带雨图片块分别作为特征图像，采用上述实施例的去雨循环神经网络模型的训练方法对去雨循环神经网络模型进行训练，得到训练好的去雨循环神经网络模型。
[0146] 具体的，上述实施例中阐述了采用一个带雨图片块在去雨循环神经网络模型中的训练过程，而一般训练去雨循环神经网络模型需要有很多张带雨图像进行训练，才可训练出效果较好的去雨循环神经网络模型。
[0147] 因此，本实施例中就是采用图像数据库的形式，从每个带雨图像上截取多个带雨图片块，输入至去雨循环神经网络模型进行训练，经过大量数据的训练，得到效果较好的去雨循环神经网络模型。
[0148] 在本发明的另一个实施例中，一种去雨循环神经网络模型的去雨方法，包括：采用第二个实施例的去雨循环神经网络模型的训练方法训练好的去雨循环神经网络模型；
[0149] 将待去雨的图像输入训练好的去雨循环神经网络模型中，得到对应的雨水图像；
[0150] 将待去雨的图像减去雨水图像，得到对应的去雨图像。
[0151] 具体的，本实施例中针对训练好的去雨循环神经网络模型的应用，将一张待去雨的图像输入至训练好的去雨循环神经网络模型中，得到对应的雨水图像，将待去雨的图像减去雨水图像后，即可得到去雨效果较好的去雨图像。
[0152] 实际的例子如下：
[0153] 本发明所提出的去雨循环神经网络模型使用PyTorch框架实现。在搭载NVIDIA Xp GPU的服务器上进行训练，使用ADAM优化算法。初始学习率设置为0.0005，在14000步时将学习率降低为0.00005，在16000步时降低为0.000005。batch size被设置为32。
[0154] 将输入图片放入所提出的去雨循环神经网络模型，并获得去雨后的“去雨图像”，图10、11展示了使用含有800对图片的图像数据库训练所提出的去雨循环神经网络模型的参数后，测试时的真实效果。其中，图10与11展示的是老虎和夜空图片的去雨效果对比。DSC、LP及ID是当前效果最好，作为对比的3种方法。运用老虎和夜空图片在数据集中不含雨水的“答案”，本发明采用结构相似性指数(SSIM)定量衡量本发明与其它去雨方法的去雨效果，SSIM值越高，去雨图与“答案”的相似度越高，去雨效果越好。
[0155] 使用本发明方法与其它方法去雨后图片的SSIM对比情况如下表所示：
[0156]
[0157] 从上述表格中可以看出，使用本发明提出的去雨方法去雨后的图片获得了最高的SSIM值。通过观察图10与11还可以发现，其它去雨方法在去雨时存在去雨不彻底，降低背景清晰度的问题，而本发明所提出的去雨方法能够在保证不降低带雨水图片背景清晰度的情况下将图片中含有的雨水较为彻底地去除，达到了较好的去雨效果。
[0158] 应理解，在上述实施例中，各步骤序号的大小并不意味着执行顺序的先后，各步骤的执行顺序应以功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
[0159] 图9是本申请提供的去雨循环神经网络模型的训练装置9的示意图，为了便于说明，仅示出了与本申请实施例相关的部分。
[0161] 去雨循环神经网络模型的训练装置9包括：
[0162] 读取单元91，用于读取一张带雨图像上的带雨图片块；
[0163] 训练单元92，用于将带雨图片块作为特征图像依次通过去雨循环神经网络模型中的通道提升模块、全局信息注意力模块、雨层注意力模块和通道恢复模块，得到特征图像对应的雨水图片块；
[0164] 以及，将雨水图片块对应的特征图像减去雨水图片块，得到带雨图片块对应的去雨图片块；
[0165] 以及，将去雨图片块作为特征图像再次输入至去雨循环神经网络模型，直至得到的去雨图片块中的雨水被去除，完成了使用一张带雨图片块对去雨循环神经网络模型的训练。
[0166] 可选地，训练单元92，用于将带雨图片块作为特征图像通过去雨循环神经网络模型中的通道提升模块的过程包括：
[0167] 训练单元92，让特征图像通过通道提升模块的第一卷积层，得到通道数量变为第一预设通道的第一特征图像；以及，第一特征图像通过通道提升模块的第二卷积层，得到通道数量变为第二预设通道的第二特征图像；以及，第二特征图像通过通道提升模块的第三卷积层，得到通道数量变为第三预设通道的第三特征图像；其中，第一预设通道＜第二预设通道＜第三预设通道。
[0168] 可选地，训练单元92，将特征图像依次通过去雨循环神经网络模型中的通道提升模块、全局信息注意力模块、雨层注意力模块和通道恢复模块，得到特征图像对应的雨水图片块中通过全局信息注意力模块的过程包括：
[0169] 训练单元92，将特征图像通过通道提升模块后得到的第三特征图像输入至全局信息注意力模块中的三个并行的具有自由移动项的卷积层，分别得到三个移动项特征图像；以及，将三个移动项特征图像进行拼接，得到全局信息特征图像。
[0170] 移动项特征图像中一个卷积单元的公式为：
[0171]
[0172] 其中，F(p0)为移动项特征图像中一个卷积单元，Gi为第i个具有自由移动项的卷积层的取样范围，w(pn)为pn的参数，p0为F(p0)对应的前一层第三特征图像上取样范围的中心点，pn为Gi中的一个位置，dn为pn对应的自由移动项，dn∈Gi。
[0173] 可选地，训练单元92，将特征图像依次通过去雨循环神经网络模型中的通道提升模块、全局信息注意力模块、雨层注意力模块和通道恢复模块，得到特征图像对应的雨水图片块中通过雨层注意力模块的过程包括：
[0174] 训练单元92，将特征图像依次通过去雨循环神经网络模型中的通道提升模块、全局信息注意力模块得到的全局信息特征图像输入雨层注意力模块；以及，根据全局信息特征图像计算出与其通道数量相等的权重向量；以及，将权重向量上的每个数与全局信息特征图像上对应的通道上的卷积单元相乘，得到雨层特征图像。
[0175] 可选地，训练单元92，将特征图像依次通过去雨循环神经网络模型中的通道提升模块、全局信息注意力模块、雨层注意力模块和通道恢复模块，得到特征图像对应的雨水图片块中通过通道恢复模块的过程包括：
[0176] 训练单元92，将特征图像依次通过去雨循环神经网络模型中的通道提升模块、全局信息注意力模块、雨层注意力模块得到的雨层特征图像输入通道恢复模块的第一卷积层，得到通道数量变为第三预设通道的第一恢复特征图像；以及，第一恢复特征图像通过通道恢复模块的第二卷积层，得到通道数量变为第二预设通道的第二恢复特征图像；以及，第二恢复特征图像通过通道恢复模块的第三卷积层，得到通道数量变为第一预设通道的第三恢复特征图像；以及，第三恢复特征图像通过通道恢复模块的第四卷积层，得到特征图像对应的雨水图片块。
[0177] 所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各程序单元/模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的程序单元/模块完成，即将所述装置的内部结构划分成不同的程序单元或模块，以完成以上描述的全部或者部分功能。实施例中的各程序模块可以集成在一个处理单元中，也可是各个单元单独物理存在，也可以两个或两个以上单元集成在一个处理单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件程序单元的形式实现。另外，各程序单元/模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。
[0178] 图5是本发明一个实施例中提供的终端设备5的结构示意图。如图5所示，本实施例的终端设备5包括：处理器53、存储器51以及存储在所述存储器51中并可在所述处理器53上运行的计算机程序52，例如：去雨循环神经网络模型的训练方法程序。所述处理器53执行所述计算机程序52时实现上述各个去雨循环神经网络模型的训练方法实施例中的步骤，或者，所述处理器53执行所述计算机程序52时实现上述各去雨循环神经网络模型的训练装置实施例中各模块/单元的功能。
[0179] 所述终端设备5可以为桌上型计算机、笔记本、掌上电脑、平板型计算机、手机等设备。所述终端设备5可包括，但不仅限于，处理器53、存储器51。本领域技术人员可以理解，图5仅仅是终端设备的示例，并不构成对终端设备5的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如：终端设备还可以包括输入输出设备、显示设备、网络接入设备、总线等。
[0180] 所述处理器53可以是中央处理单元(Central Processing Unit,CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0181] 所述存储器51可以是所述终端设备5的内部存储单元，例如：终端设备的硬盘或内存。所述存储器也可以是所述终端设备的外部存储设备，例如：所述终端设备上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器51还可以既包括所述终端设备5的内部存储单元也包括外部存储设备。所述存储器51用于存储所述计算机程序52以及所述终端设备5所需要的其他程序和数据。所述存储器还可以用于暂时地存储已经输出或者将要输出的数据。
[0182] 在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述或记载的部分，可以参见其他实施例的相关描述。
[0183] 本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
[0184] 在本申请所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其他的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性、机械或其他的形式。
[0185] 所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0186] 另外，在本申请各个实施例中的各功能单元可能集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0187] 所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序发送指令给相关的硬件完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括：计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如：在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
[0188] 应当说明的是，上述实施例均可根据需要自由组合。以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种适用于HEVC标准的帧内预测编码单元划分方法 | 2020-05-08 | 401 |
| 图像处理方法、装置、存储介质以及终端 | 2020-05-08 | 610 |
| 基于大数据实时网络流量异常检测方法 | 2020-05-08 | 966 |
| 一种道路表面信息采集系统 | 2020-05-08 | 382 |
| 一种HLA I型分子与多肽的亲和力预测方法 | 2020-05-08 | 618 |
| 一种商品推荐方法及电子设备 | 2020-05-11 | 371 |
| 一种基于互联网的铁建设备智能管理云平台 | 2020-05-08 | 830 |
| 基于语音识别的设备控制方法 | 2020-05-08 | 158 |
| 数据分类装置 | 2020-05-08 | 377 |
| 敏感数据的传输方法和系统、电子设备、存储介质 | 2020-05-08 | 140 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈