基于ConvNets的暗光图像处理方法及终端设备专利检索-黑电平图形技术专利检索查询-专利查询网

基于ConvNets的暗光图像处理方法及终端设备

阅读：251发布：2020-05-08

专利汇可以提供基于ConvNets的暗光图像处理方法及终端设备专利检索，专利查询，专利分析的服务。并且本发明涉及图像处理技术领域，提供了一种基于ConvNets的暗光图像处理方法及终端设备。该方法包括：对图像原始数据进行预处理；将经过所述预处理的原始数据输入到卷积神经网络模型进行特征增强；对所述卷积网络模型的输出数据进行通道重排处理，生成所述原始数据对应的图像。本发明能够在保证成像清晰度的前提下降低卷积神经网络模型处理的数据量，降低功耗，提高成像速度。，下面是基于ConvNets的暗光图像处理方法及终端设备专利的具体信息内容。

权利要求

1.一种基于ConvNets的暗光图像处理方法，其特征在于，包括：
对图像原始数据进行预处理；
将经过所述预处理的原始数据输入到卷积神经网络模型进行特征增强；
对所述卷积网络模型的输出数据进行通道重排处理，生成所述原始数据对应的图像。
2.如权利要求1所述的基于ConvNets的暗光图像处理方法，其特征在于，所述对所述原始数据进行预处理包括：
对所述原始数据进行重排，得到预设个数的通道数据；同一通道的数据对应同一颜色；
分别对各个通道的数据进行去黑电平处理；
分别将经过所述去黑电平处理的各个通道的数据乘以预设放大倍数进行放大处理。
3.如权利要求1所述的基于ConvNets的暗光图像处理方法，其特征在于，所述将经过所述预处理的原始数据输入到卷积神经网络模型进行特征增强包括；
对输入所述卷积神经网络模型的数据进行特征编码；
对经过所述特征编码的数据进行特征增强；
对经过所述特征编码的数据与经过所述特征增强的数据进行解码及融合。
4.如权利要求3所述的基于ConvNets的暗光图像处理方法，其特征在于，所述对经过所述特征编码的数据与经过所述特征增强的数据进行解码及融合包括：
通过深度可分离卷积结构的卷积层、反卷积层和特征融合层对经过所述特征编码的数据与经过所述特征增强的数据进行解码及融合。
5.如权利要求3所述的基于ConvNets的暗光图像处理方法，其特征在于，所述对经过所述特征编码的数据进行特征增强包括：
通过卷积核个数为4*N的点积卷积对经过所述特征编码的数据进行卷积，得到通道数为4*N的第一数据；其中，所述经过所述特征编码的数据的通道数为N，其中N为大于1的整数；
通过深度卷积对通道数为4*N的第一数据进行特征提取，得到通道数为4*N的第二数据；
通过卷积核个数为N的点积卷积对通道数为4*N的第二数据进行通道特征融合。
6.如权利要求1至5任一项所述的基于ConvNets的暗光图像处理方法，其特征在于，所述对所述卷积网络模型的输出数据进行通道重排处理，生成所述原始数据对应的图像包括：
将所述卷积网络模型输出的各个通道的数据进行通道重排，得到第一颜色通道、第二颜色通道和第三颜色通道的数据。
7.一种基于ConvNets的暗光图像处理装置，其特征在于，包括：
预处理单元，用于对图像原始数据进行预处理；
处理单元，用于将经过所述预处理的原始数据输入到卷积神经网络模型进行特征增强；
生成单元，用于对所述卷积网络模型的输出数据进行通道重排处理，生成所述原始数据对应的图像。
8.如权利要求7所述的基于ConvNets的暗光图像处理装置，其特征在于，所述卷积神经网络模型包括特征编码模块、特征增强模块和特征解码与融合模块；
所述特征编码模块用于对输入所述卷积神经网络模型的数据进行特征编码；
所述特征增强模块用于对所述特征编码模块输出的数据进行特征增强；
所述特征解码与融合模块用于对所述特征增强模块输出的数据与所述特征编码模块输出的数据进行解码及融合。
9.如权利要求8所述的基于ConvNets的暗光图像处理装置，其特征在于，所述特征编码模块包括步长为2的卷积层且不包括最大池化层。
10.如权利要求8所述的基于ConvNets的暗光图像处理装置，其特征在于，所述特征解码与融合模块包括深度可分离卷积结构的卷积层、反卷积层和特征融合层。
11.如权利要求7至10任一项所述的基于ConvNets的暗光图像处理装置，其特征在于，所述特征增强模块包括至少一层，每层包括第一子层、第二子层和第三子层；所述特征增强模块的输入数据的通道数为N，其中N为大于1的整数；
所述第一子层通过卷积核个数为4*N的点积卷积对输入数据进行卷积，将通道数提升为4*N；
所述第二子层通过深度卷积对所述第一子层输出4*N个通道的数据进行特征提取；
所述第三子层通过卷积核个数为N的点积卷积对所述第二子层输出的4*N个通道的数据进行通道特征融合。
12.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述方法的步骤。
13.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述方法的步骤。

说明书全文

基于ConvNets的暗光图像处理方法及终端设备

技术领域

[0001] 本发明涉及图像处理技术领域，尤其涉及一种基于ConvNets的暗光图像处理方法及终端设备。

背景技术

[0002] 暗光条件下，基于单目单张图像的快速清晰成像是一个非常具有挑战的任务。常用到的解决方法有物理解决方法和图像处理解决方法。其中物理解决方法有打开光圈、增大曝光时间、采用高感光度、打开闪光灯等；而图像处理方法有基于传统多步骤的方法、基于多帧的方法和基于端到端的深度学习方法。但目前的这些方法各有各的缺点，比如增大曝光时间会因抖动造成模糊；传统多步骤方法过程繁琐，效果也差；基于多帧的方法在暗光条件下，存在匹配困难问题；基于深度学习的端到端的处理方法虽然成像效果良好，但其功耗高、运算时间长，无法在移动端使用。

发明内容

[0003] 有鉴于此，本发明实施例提供了基于ConvNets的暗光图像处理方法及终端设备，以解决目前基于深度学习的端到端的图像处理方法功耗高且运算时间长的问题。

[0004] 本发明实施例的第一方面提供了基于ConvNets的暗光图像处理方法，包括：

[0005] 对图像原始数据进行预处理；

[0006] 将经过所述预处理的原始数据输入到卷积神经网络模型进行特征增强；

[0007] 对所述卷积网络模型的输出数据进行通道重排处理，生成所述原始数据对应的图像。

[0008] 本发明实施例的第二方面提供了基于ConvNets的暗光图像处理装置，包括：

[0009] 预处理单元，用于对图像原始数据进行预处理；

[0010] 处理单元，用于将经过所述预处理的原始数据输入到卷积神经网络模型进行特征增强；

[0011] 生成单元，用于对所述卷积网络模型的输出数据进行通道重排处理，生成所述原始数据对应的图像。

[0012] 本发明实施例的第三方面提供了终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现第一方面中的基于ConvNets的暗光图像处理方法。

[0013] 本发明实施例的第四方面提供了计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现第一方面中的基于ConvNets的暗光图像处理方法。

[0014] 本发明实施例与现有技术相比存在的有益效果是：通过卷积神经网络模型对数据进行特征增强，能够实现在暗光条件下的清晰成像，在保证成像清晰度的前提下降低卷积神经网络模型处理的数据量，降低功耗，提高成像速度。附图说明

[0015] 为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

[0016] 图1是本发明实施例提供的基于ConvNets的暗光图像处理方法的实现流程图；

[0017] 图2是本发明实施例提供的基于ConvNets的暗光图像处理方法中对原始数据进行预处理的实现流程图；

[0018] 图3是本发明实施例提供的基于ConvNets的暗光图像处理方法中将经过预处理的原始数据输入到卷积神经网络模型进行特征增强的实现流程图；

[0019] 图4是本发明实施例提供的基于ConvNets的暗光图像处理方法中对经过特征编码的数据进行特征增强的实现流程图；

[0020] 图5是本发明实施例提供的基于ConvNets的暗光图像处理方法流程示意图；

[0021] 图6是本发明实施例提供的传统用于暗光条件下成像的端到端的卷积神经网络模型的示意图；

[0022] 图7是本发明实施例提供的基于ConvNets的暗光图像处理方法中卷积神经网络模型的示意图；

[0023] 图8是本发明实施例提供的暗光条件下相机输出的原始数据的图像示例；

[0024] 图9是本发明实施例提供的对原始数据进行亮度线性放大后的图像示例；

[0025] 图10是本发明实施例提供的基于ConvNets的暗光图像处理方法得到的图像示例；

[0026] 图11是本发明实施例提供的基于ConvNets的暗光图像处理装置的示意图；

[0027] 图12是本发明实施例提供的终端设备的示意图。

具体实施方式

[0028] 以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。

[0029] 为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。

[0030] 图1为本发明实施例提供的基于ConvNets的暗光图像处理方法的实现流程图，详述如下：

[0031] 在S101中，对图像原始数据进行预处理。

[0032] 在本实施例中，可以获取图像传感器感应的原始数据。其中，图像传感器感应的原始数据是指图像传感器中光电转换器件感应到的原始数据。在将原始数据输入到卷积神经网络前，可以对原始数据进行预处理，以校正图像传感器的偏差，调节图像亮度。

[0033] 作为本发明的一个实施例，如图2所示，S101可以包括：

[0034] 在S201中，对所述原始数据进行重排，得到预设个数的通道数据；同一通道的数据对应同一颜色。

[0035] 在本实施中，原始数据包括多种图像颜色对应的数据，可以通过对原始数据进行重排处理，得到预设个数的通道的数据，同一个通道的数据都对应同一颜色。例如，预设个数为四，四个通道可以为对应红色的红色通道、对应绿色的第一绿色通道、对应蓝色的蓝色通道以及对应绿色的第二绿色通道。

[0036] 在S202中，分别对各个通道的数据进行去黑电平处理。

[0037] 在本实施例中，可以通过对各个通道的数据进行去黑电平处理，以实现黑电平校正，这样可以矫正图像传感器的偏差。例如，可以将各个通道的数据减去预设黑电平数值。

[0038] 在S203中，分别将经过所述去黑电平处理的各个通道的数据乘以预设放大倍数进行放大处理。

[0039] 在本实施例中，通过对各个通道的数据乘以预设放大倍数，可以起到ISO亮度调节的作用。其中，ISO是感光度的意思，它也是国际标准化组织(International Standardization Organization)的缩写，同时也正是这个组织对感光度做了量化规定。

[0040] 在S102中，将经过所述预处理的原始数据输入到卷积神经网络模型进行特征增强。

[0041] 在本实施例中，可以通过卷积神经网络模型对经过预处理的原始数据进行特征增强，从而在保证暗光条件下图像清晰度的情况下提高成像速度。

[0042] 作为本发明的一个实施例，如图3所示，S102可以包括：

[0043] 在S301中，对输入所述卷积神经网络模型的数据进行特征编码。

[0044] 在S302中，对经过所述特征编码的数据进行特征增强。

[0045] 在S303中，对经过所述特征编码的数据与经过所述特征增强的数据进行解码及融合。

[0046] 在本实施例中，可以首先对经过预处理的原始数据进行特征编码，然后对对经过特征编码的数据进行特征增强，最后对经过特征编码的数据与经过特征增强的数据进行解码及融合，从而通过卷积神经网络实现对数据的特征增强。作为本发明的一个实施例，S303可以包括：

[0047] 通过深度可分离卷积结构的卷积层、反卷积层和特征融合层对经过所述特征编码的数据与经过所述特征增强的数据进行解码及融合。

[0048] 在本实施例中，反向深度可分离卷积结构的卷积层和反卷积层用于对数据进行解码。特征融合层用于将经过特征编码的数据与经过特征增强的数据中对应的数据进行特征融合。

[0049] 作为本发明的一个实施例，如图4所示，S302可以包括：

[0050] 在S401中，通过卷积核个数为4*N的点积卷积对经过所述特征编码的数据进行卷积，得到通道数为4*N的第一数据；其中，所述经过所述特征编码的数据的通道数为N，其中N为大于1的整数。

[0051] 在S402中，通过深度卷积对通道数为4*N的第一数据进行特征提取，得到通道数为4*N的第二数据。

[0052] 在S403中，通过卷积核个数为N的点积卷积对通道数为4*N的第二数据进行通道特征融合。

[0053] 在本实施例中，经过特征编码的数据的通道数为N，首先通过卷积核个数为4*N的点积卷积对经过特征编码的数据进行卷积，得到通道数为4*N的第一数据；然后通过深度卷积对通道数为4*N的第一数据进行特征提取，得到通道数为4*N的第二数据；最后通过卷积核个数为N的点积卷积对通道数为4*N的第二数据进行通道特征融合，从而实现对经过特征编码的数据的特征增强。

[0054] 在S103中，对所述卷积网络模型的输出数据进行通道重排处理，生成所述原始数据对应的图像。

[0055] 本发明实施例通过卷积神经网络模型对数据进行特征增强，能够实现在暗光条件下的清晰成像，在保证成像清晰度的前提下降低卷积神经网络模型处理的数据量，降低功耗，提高成像速度。

[0056] 可选地，S103可以包括将所述卷积网络模型输出的各个通道的数据进行通道重排，得到第一颜色通道、第二颜色通道和第三颜色通道的数据。

[0057] 在本实施例中，共有三个颜色通道：第一颜色通道、第二颜色通道和第三颜色通道，每个颜色通道对应一个图像颜色。例如，卷积网络模型输出数据的通道数为12，则可以将第1、4、7、10通道进行深度通道重排成R通道，取第2、5、8、11通道进行深度通道重排成G通道，取第3、6、9、12通道进行深度通道重排成B通道。通道重排公式如下：

[0058]

[0059] 公式中的In(.)代表卷积网络模型的输出数据，Out(.)代表最终的RGB图像数据。假设In(.)的宽为w，高为h，那么i的范围为1,2,…,w，j的范围为1,2,…,h，Out(.)的宽为2*w，高为2*h。k的取值为1、2或3，1代表R通道、2代表G通道、3代表B通道。假如k取值为1，公式第1行代表取卷积网络模型输出的第1(k)通道中的第i行、第j列位置的数值，赋值给RGB图像数据中的R通道的第i*2行、第j*2列；公式第2行代表取卷积网络模型输出的第5(k+4)通道中的第i行、第j列位置的数值，赋值给RGB图像数据中的R通道的第i*2行、第j*2+1列；公式第1行代表取卷积网络模型输出的第8(k+7)通道中的第i行、第j列位置的数值，赋值给RGB图像数据中的R通道的第i*2+1行、第j*2列；公式第1行代表取卷积网络模型输出的第11(k+10)通道中的第i行、第j列位置的数值，赋值给RGB图像数据中的R通道的第i*2+1行、第j*2+1列。k取值为2、3时，以此类推。

[0060] 作为本发明的一个实施例，所述卷积神经网络模型包括特征编码模块、特征增强模块和特征解码与融合模块。其中，所述特征编码模块用于对输入所述卷积神经网络模型的数据进行特征编码。所述特征增强模块用于对所述特征编码模块输出的数据进行特征增强。所述特征解码与融合模块用于对所述特征增强模块输出的数据与所述特征编码模块输出的数据进行解码及融合。

[0061] 相对于传统的用于暗光条件下成像的端到端的卷积神经网络模型，本实施例提出了一种改进的卷积神经网络模型，该卷积神经网络模型包括特征增强模块，该特征增强模块用于对输入到特征增强模块的数据进行特征增强，以保证暗光条件的成像清晰度及成像速度。

[0062] 在本实施例中，卷积神经网络模型包括特征编码模块、特征增强模块以及特征解码与融合模块。在对原始数据进行预处理后，可以得到多个通道的数据，将各个通道的数据输入卷积神经网络模型后，特征编码模块首先对数据进行特征编码，并将数据的通道数提升，将通道数提升后的各个通道的数据输出给特征增强模块以及特征解码与融合模块。例如，可以通过多层卷积层将通道数由4提升到64。

[0063] 特征增强模块用于对数据进行特征增强，将特征增强后的数据输出给特征编码与融合模块。特征增强模块输入数据的通道数与输出数据的通道数保持一致，例如，特征增强模块输入数据的通道数与输出数据的通道数均为64。

[0064] 特征解码与融合模块用于对特征增强模块的输出数据进行特征解码，并将特征增强模块的输出数据与特征编码模块输出的对应数据进行特征融合。可以通过多层反卷积层联合卷积层对数据进行特征解码，并可以通过串联特征操作进行特征融合。在特征解码过程中，数据的通道数减少，即特征解码与融合模块输出数据的通道数小于输入数据的通道数。例如，特征解码与融合模块输入数据的通道数为64，输出数据的通道数减少为12。

[0065] 可选地，所述特征编码模块包括步长为2的卷积层且不包括最大池化层。

[0066] 其中，步长为2的卷积层是指采用步长为2的卷积核对数据进行卷积处理的卷积层。相对于传统的用于暗光条件下成像的端到端的卷积神经网络模型，本实施例通过在特征编码模块中采用步长为2的卷积来代替传统模型中步长为1的卷积以及步长为2的最大池化层，能够降低卷积神经网络模型的数据计算量和所需内存。

[0067] 可选地，所述特征解码与融合模块包括反向深度可分离卷积结构的卷积层、反卷积层和特征融合层。

[0068] 其中，反向深度可分离卷积结构的卷积层和反卷积层用于对数据进行解码。特征融合层用于将特征编码模块输出的数据与特征增强模块输出的对应数据进行特征融合，以及将特征编码模块输出的数据与特征解码与融合模块处理过程中的对应数据进行特征融合。相对于传统的用于暗光条件下成像的端到端的卷积神经网络模型，本实施例通过在特征解码与融合模块中的特征编码部分采用深度可分离卷积结构(depthwise separable convolution)来代替传统模型中的卷积层，能够进一步降低卷积神经网络模型的数据计算量，从而提高运算速度。

[0069] 作为本发明的一个实施例，所述特征增强模块包括至少一层，每层包括第一子层、第二子层和第三子层；所述特征增强模块的输入数据的通道数为N，其中N为大于1的整数。所述第一子层通过卷积核个数为4*N的点积卷积对输入数据进行卷积，将通道数提升为4*N。所述第二子层通过深度卷积对第一子层输出4*N个通道的数据进行特征提取。所述第三子层通过卷积核个数为N的点积卷积对第二子层输出的4*N个通道的数据进行通道特征融合。

[0070] 在本实施例中，特征增强模块可以包括预设层数的反向深度可分离卷积结构的卷积层。例如，特征增强模块可以包括但不仅限于5层反向深度可分离卷积结构的卷积层，每个反向深度可分离卷积结构的卷积层包括三个子层：第一子层、第二子层和第三子层。5层反向深度可分离卷积结构的卷积层依次对数据进行特征增强，前一个卷积层的输出数据作为后一个卷积层的输入数据。下面以其中一个反向深度可分离卷积结构的卷积层中的三个子层为例进行说明。

[0071] 三个子层依次对数据进行处理。通道数为N的数据输入到该该卷积层后，首先由第一子层采用卷积核个数为4*N的点积卷积(PW，Pointwise convolution)对通道数为N的数据进行卷积，将数据的通道数由N提升为4*N，将通道数提升后的数据输出给第二子层。例如，第一子层输入数据的通道数为64，第一子层通过256个1×1的卷积核对数据进行卷积，第一子层输出数据的通道数为256。第一子层通过点积卷积来提升数据的通道数，能够获取更丰富特征，提高特征去噪能力和颜色恢复能力。

[0072] 第二子层采用深度卷积(DW，depthwise convolution)分别对4*N个通道的数据进行特征提取，并将数据输出给第三子层。例如，第二子层输入数据的通道数为256，第二子层通过256个3×3的卷积核对数据进行卷积，第二子层输出数据的通道数为256。

[0073] 第三子层采用卷积核个数为N的点积卷积对第二子层的输出的4*N个通道的数据进行通道特征融合。例如，第三子层输入数据的通道数为256，第三子层通过64个1×1的卷积核对数据进行卷积，第三子层输出数据的通道数为64。第三子层通过点积卷积来恢复通道数，并进行通道特征融合。第二子层和第三自层共同完成高效特征处理。

[0074] 本实施例通过反向深度可分离卷积结构的第一子层、第二子层和第三子层能够提高特征去噪能力和颜色恢复能力，对特征进行高效的特征处理，并通过串联多层反向深度可分离卷积结构的卷积层来进一步提高性能，从而保证卷积神经网络模型对暗光条件下成像的成像清晰度。

[0075] 如图5所示为本发明实施例提供的一个流程示意图。线框S1内为图1中S101的示意图，其中图像传感器感应的原始数据的长为H，宽为W，通道数为1；对原始数据进行通道重排后得到的数据长为H/2，宽为W/2，通道数为4。线框S2内为图1中S102的示意图。线框S3内为图1中S103的示意图。

[0076] 如图6所示为本发明实施例提供的一个传统的用于暗光条件下成像的端到端的卷积神经网络模型的示意图。其中线框61内为传统模型中的特征编码模块的数据处理示意图，该模块的输入为经过预处理后的原始数据。该模块每行是一个子层，共4个子层，每个子层有3小层。小层与小层之间通过卷积核大小为3X3、步长为1的卷积进行处理，子层间通过步长为2的最大池化进行处理。通过子层间步长为2的最大池化处理后，输出数据的长和宽会减少一半，经过4个子层处理之后，该模块最终输出数据长、宽都为该模块输入数据长、宽的1/8。线框62内为传统模型中的＝特征提取模块的数据处理示意图，该模块的输入为特征编码模块输出数据通过卷积核大小为3X3、步长为2的卷积进行处理之后的数据，因此该模块数据长、宽都为特征编码模块输入数据长、宽的1/16。该模块仅有一层，该层有3个小层，小层间通过卷积核大小为3X3、步长为1的卷积进行处理。线框63内为传统模型中的特征解码与融合模块的数据处理示意图，该模块的输入为特征提取模块的输出经过步长为2的上采样处理而成的数据。经过步长为2的上采样操作后，输出数据的长和宽会比输入数据增加1倍，因此该模块的输入数据的长和宽恢复为编码模块输入数据长、宽的1/8。该模块每行是一个子层，共4个子层，每个子层又有3小层。该模块完成两个功能，融合和解码。融合功能为每个子层中第一小层，该小层通过串联特征编码模块对应子层中的输出数据与底部子层通过反卷积处理后的输出数据，来完成融合功能。小层间通过卷积核大小为3X3、步长为1的卷积进行处理，子层间通过积核大小为2X2、步长为2的反卷积处理。经过步长为2的反卷积处理之后，输出数据的长和宽会增加1倍，经过4个子层处理之后，该模块的输入数据长、宽为输入数据长、宽的8倍。经过解码过程，使得解码模块的输出数据长宽恢复到与编码模块输入数据长宽一致。线框中的数字表示卷积层处理数据的通道数。

[0077] 如图7所示为本发明实施例提出的端到端的卷积神经网络模型的示意图。其中线框71内为特征编码模块的数据处理示意图，该模块的输入数据为经过预处理后的原始数据。该模块每行是一个子层，共4个子层，第1子层有2小层。小层与小层之间通过卷积核大小为3X3、步长为1的卷积进行处理，子层间通过卷积核大小为3X3、步长为2的卷积进行处理。通过子层间步长为2的卷积进行卷积处理后，输出数据的长和宽会减少一半，经过4个子层处理之后，该模块最终输出数据长、宽都为输入数据长、宽的1/8。线框72内为特征增强模块的数据处理示意图，该模块的输入为特征编码模块的输出数据通过卷积核大小为3X3、步长为2的卷积进行处理后的数据，因此该模块输出数据长、宽都为特征编码模块输入数据长、宽的1/16。该模块通过5层反向深度可分离卷积串联而成，该模块输入和输出数据长宽保持不变。特征增强模块的具体结构及数据处理过程在上文中已有叙述，可参照上文内容，在此不再赘述。线框73内为特征解码与融合模块的数据处理示意图，该模块的输入为特征增强模块的输出数据经过步长为2的上采样处理而成的数据。经过步长为2的上采样操作后，输出数据的长和宽会增加1倍，因此该模块的输入数据的长和宽恢复为编码模块输入数据长和宽的1/8。该模块包含4个子层，各个子层有2个小层。该模块完成两个功能，融合和解码。
融合功能为每个子层中第一小层，该小层通过串联特征编码模块对应子层的输出数据与底部子层通过反卷积处理后的输出数据来完成融合功能。从底部向上数，第1、2子层的小层间通过卷积核大小为3X3、步长为1的卷积进行处理，第3、4子层的小层间通过深度可分离卷积处理；子层间通过积核大小为2X2、步长为2的反卷积处理。经过步长为2的反卷积处理之后，输出数据的长和宽会增加1倍，经过4个子层处理之后，该模块的输出数据的长和宽为输入数据长和宽的8倍，经过解码过程后，特征解码与融合模块的输出数据长宽与特征编码模块输入数据长宽一致。线框中的数字表示卷积层处理数据的通道数。

[0078] 通过对比图6和图7，可以看出本实施例提出的卷积神经网络模型相对于传统的神经网络模型做了如下改进：1)删掉了部分卷积层；2)减少了卷积核个数；3)采用步长为2的卷积，来代替步长为1的卷积+步长为2的最大池化层；4)采用深度可分离卷积结构(depthwise separable convolution)进一步降低计算量；5)通过特征增强模块取代传统的第二特征提取模块，采用能够高效进行特征提取的特征增强模块来降低由于1)至4)的结构变化所带来的精度损失，保持其增强复原能力。通过上述改进，本实施例实现了一种低功耗、速度快的暗光环境下快速清晰成像方法，能够应用于手机等移动设备，解决了移动设备难以实时进行暗光环境下快速清晰成像问题，提升移动设备的在暗光环境下的成像速度，提升用户体验。

[0079] 如图8至图10所示为本发明实施例提供的实验验证效果图。图8为暗光条件下相机输出的原始数据；图9为对原始数据进行亮度线性放大后的图像；图10为本发明实施例提供的图像处理方法得到的图像。表1所示为进行实验验证时输入图像为512*512*4的内存和耗时结果。如果处理整张图像，其总的运行耗时为1705ms(包括图像拼接时间)、内存占用为144.2MB。

[0080] 表1实验验证数据表

[0081]

[0082] 从图8至图10可以看出，本实施例提供的图像处理方法在暗光条件下能够生成清晰图像。结合表1和图8至图10，表明本实施例提供的图像处理方法功耗低、速度快，生成的图像清晰。

[0083] 本发明实施例通过在卷积神经网络模型中设置用于对各个通道数据进行特征增强的特征增强模块，能够使卷积层及通道数较少的卷积神经网络模型也能实现在暗光条件下的清晰成像，在保证成像精度的前提下降低卷积神经网络模型处理的数据量，降低功耗，提高成像速度。

[0084] 应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

[0085] 对应于上文实施例所述的基于ConvNets的暗光图像处理方法，图11示出了本发明实施例提供的基于ConvNets的暗光图像处理装置的示意图。为了便于说明，仅示出了与本实施例相关的部分。

[0086] 参照图11，该装置包括预处理单元111、处理单元112和生成单元113。

[0087] 预处理单元111，用于对图像原始数据进行预处理；

[0088] 处理单元112，用于将经过所述预处理的原始数据输入到卷积神经网络模型进行特征增强；

[0089] 生成单元113，用于对所述卷积网络模型的输出数据进行通道重排处理，生成所述原始数据对应的图像。

[0090] 可选地，所述预处理单元111用于：

[0091] 对所述原始数据进行重排，得到预设个数的通道数据；同一通道的数据对应同一颜色；

[0092] 分别对各个通道的数据进行去黑电平处理；

[0093] 分别将经过所述去黑电平处理的各个通道的数据乘以预设放大倍数进行放大处理。

[0094] 可选地，所述卷积神经网络模型还包括特征编码模块、特征增强模块和特征解码与融合模块；

[0095] 所述特征编码模块用于对输入所述卷积神经网络模型的数据进行特征编码；

[0096] 所述特征增强模块用于对所述特征编码模块输出的数据进行特征增强；

[0097] 所述特征解码与融合模块用于对所述特征增强模块输出的数据与所述特征编码模块输出的数据进行解码及融合。

[0098] 可选地，所述特征编码模块包括步长为2的卷积层且不包括最大池化层。

[0099] 可选地，所述特征解码与融合模块包括深度可分离卷积结构的卷积层、反卷积层和特征融合层。

[0100] 可选地，所述特征增强模块包括至少一层，每层包括第一子层、第二子层和第三子层；所述特征增强模块的输入数据的通道数为N，其中N为大于1的整数；

[0101] 所述第一子层通过卷积核个数为4*N的点积卷积对输入数据进行卷积，将通道数提升为4*N；

[0102] 所述第二子层通过深度卷积对所述第一子层输出4*N个通道的数据进行特征提取；

[0103] 所述第三子层通过卷积核个数为N的点积卷积对所述第二子层输出的4*N个通道的数据进行通道特征融合。

[0104] 可选地，所述生成单元113用于：

[0105] 将所述卷积网络模型输出的各个通道的数据进行通道重排，得到第一颜色通道、第二颜色通道和第三颜色通道的数据。

[0106] 本发明实施例通过在卷积神经网络模型中设置用于对数据进行特征增强的特征增强模块，能够使卷积层及通道数较少的卷积神经网络模型也能实现在暗光条件下的清晰成像，在保证成像清晰度的前提下降低卷积神经网络模型处理的数据量，降低功耗，提高成像速度。

[0107] 图12是本发明一实施例提供的终端设备的示意图。如图12所示，该实施例的终端设备12包括：处理器120、存储器121以及存储在所述存储器121中并可在所述处理器120上运行的计算机程序122，例如程序。所述处理器120执行所述计算机程序122时实现上述各个方法实施例中的步骤，例如图1所示的步骤101至103。或者，所述处理器120执行所述计算机程序122时实现上述各装置实施例中各模块/单元的功能，例如图11所示单元111至113的功能。

[0108] 示例性的，所述计算机程序122可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器121中，并由所述处理器120执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序122在所述终端设备12中的执行过程。

[0109] 所述终端设备12可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括，但不仅限于，处理器120、存储器121。本领域技术人员可以理解，图12仅仅是终端设备12的示例，并不构成对终端设备12的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入输出设备、网络接入设备、总线、显示器等。

[0110] 所称处理器120可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

[0111] 所述存储器121可以是所述终端设备12的内部存储单元，例如终端设备12的硬盘或内存。所述存储器121也可以是所述终端设备12的外部存储设备，例如所述终端设备12上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器121还可以既包括所述终端设备12的内部存储单元也包括外部存储设备。所述存储器121用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器121还可以用于暂时地存储已经输出或者将要输出的数据。

[0112] 所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

[0113] 在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

[0114] 本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

[0115] 在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

[0116] 所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

[0117] 另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

[0118] 所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括是电载波信号和电信信号。

[0119] 以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

标题	发布/更新时间	阅读量
一种用于CMOS图像传感器的高精度DAC	2020-05-08	746
显示装置和显示装置中的数据传输方法	2020-05-11	403
一种获取叶片可控振动形式下振动相位的装置	2020-05-11	496
图像传感器最短曝光时间测量系统及方法	2020-05-12	428
一种基于IPv6的校园智能浴室排队系统	2020-05-11	69
输电装置和用于操作输电装置的方法	2020-05-11	507
一种图像紫边消除装置及方法	2020-05-08	667
有机发光显示设备	2020-05-12	839
风电、光伏智能箱变测控装置	2020-05-08	692
一种用于内窥镜影像处理的LVDS信号免驱处理装置	2020-05-12	737

基于ConvNets的暗光图像处理方法及终端设备

基于ConvNets的暗光图像处理方法及终端设备

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：