技术领域
[0001] 本
发明涉及图像处理技术领域，特别是涉及一种基于自适应连接神经网络 的图像处理方法及装置。
背景技术
[0002]
人工神经网络在过去三十年中得到了广泛的研究和应用，在
人工智能和计 算机视觉领域取得了显著的成就。当前，基于人工神经网络的
深度学习技术已 经在诸如物体分类、文本处理、推荐引擎、图像搜索、面部识别、年龄和语音 识别、人机对话以及
情感计算等领域取得了巨大进展。
[0003] 在人工神经网络的发展过程中，有两种类型的人工神经网络对研究界产生 了很大的影响。第一类是多层
感知器(Multi-Layer Perceptron，MLP)，其由输 入层，
输出层和隐层构成，通过反向传播
算法，使网络获得拟合复杂数据的能
力。然而，由于MLP
隐藏层的每个神经元
节点不共享权重，MLP的网络参数往 往数量庞大，在训练阶段容易过拟合。此外，MLP难以表示二维数据(例如图 像)的空间结构；第二类是
卷积神经网络(CNN)，CNN将相邻神经元分组， 并通过捕获每个神经元的局部模式(即感受野)来表示二维数据。CNN实现了 权重共享，局部特征提取，尽管CNN已经被证明显著优于MLP，但它有两个缺 点：一方面，由于其只从局部邻域
像素间提取特征，CNN各层内部的卷积运算 不具备全局推理能力，因此，卷积运算在识别具有相似外观的对象方面有困难， 在实际应用中，CNN通过
叠加大量的局部卷积操作来捕获全局依赖关系，但仍 然存在计算效率低、优化困难、消息传递效率低等局限性，另一方面，传统的 CNN不能直接应用于非欧数据(如图数据)，这种无序的，散乱的数据形式CNN 难以处理。而随着人工智能技术的发展，卷积神经网络在近几年已被广泛应用 在
图像识别处理领域，因此，亟待解决卷积神经网络的上述问题。
[0004] 为了解决CNN中的局部性问题，最近提出的非局部网络对所有特征节点 施加全局依赖，然而，完全的非局部网络会造成退化，所以局部信息和全局信 息需要共同考虑，因此有必要从图像感知甚至像素感知的
角度联合考虑全局和 局部推理。最近还有许多其他工作设法来解决CNN上述问题，并取得了令人鼓 舞的成果。然而，所有这些方法要么过于局部化，要么过于全局化。
发明内容
[0005] 为克服上述
现有技术存在的不足，本发明之目的在于提供一种基于自适应 连接神经网络的图像处理方法及装置，通过引入新的自适应连接神经网络 (ACNET)，对传统的卷积神经网络(CNN)进行了改进，克服传统卷积神经 网络难以获取全局特征带来的影响，提高图像处理的效率。
[0006] 为达上述及其它目的，本发明提出一种基于自适应连接神经网络的图像处 理方法，包括如下步骤：
[0007] 步骤S1，构建自适应连接神经网络，对输入的特征图，分别提取其像素级 特征、局部特征以及全局特征，并自适应地融合所述像素级特征、局部特征、 全局特征；
[0008] 步骤S2，于图像处理任务中，选择适用的深度卷积网络结构，将其中部分 或全部卷积层替换成所述自适应连接神经网络的AC-Net模
块，或直接使用所述 自适应连接神经网络。
[0009] 优选地，步骤S1进一步包括：
[0010] 步骤S100，使用自变换操作提取所输入的特征图的像素级特征；
[0011] 步骤S101，使用卷积操作提取所输入的特征图的局部特征；
[0012] 步骤S102，使用
多层感知器操作提取所输入的特征图全局特征；
[0013] 步骤S103使用AC-Net模块融合自变换操作得到的像素级特征、使用卷积 操作得到的局部特征，以及使用多层感知器操作得到的全局特征，生成局部与 全局自适应的特征。
[0014] 优选地，于步骤S100中，所述自变换操作利用n×m个卷积核为1×1的 卷积对输入的n×h×w的特征做卷积操作后得到的m×h×w输出特征。
[0015] 优选地，于步骤S101中，所述卷积操作利用n×m个卷积核为3×3的卷 积对输入的n×h×w的特征做卷积操作后得到的m×h×w输出特征。
[0016] 优选地，步骤S102进一步包括：
[0017] 步骤S102a，对输入的特征图，使用平均
池化，得到m×1×1的中间特征；
[0018] 步骤S102b，对所述m×1×1的中间特征使用全连接操作，输出n×h×w的 特征图。
[0019] 优选地，步骤S103进一步包括：
[0020] 步骤S103a，对得到的像素级特征、局部特征、全局特征进行自适应的加 权求和操作；
[0021] 步骤S103b，对经步骤S103a得到的局部与全局自适应的特征做非线性激 活。
[0022] 优选地，于步骤S2中，在图像识别任务中，对所选择的深度卷积网络中 所有的3×3的卷积层，全部替换成所述ACNet模块。
[0023] 优选地，于步骤S2中，在图像检测及分割任务中，将其所选网络中所有3×3 的卷积层全部替换为所述ACNet模块。
[0024] 为达到上述目的，本发明还提供一种基于自适应连接神经网络的图像处理 装置，包括：
[0025] 自适应连接神经网络构建单元，用于构建自适应连接神经网络，对输入的 特征图，分别提取其像素级特征、局部特征以及全局特征，并自适应地融合像 素级特征、局部特征、全局特征；
[0026] 图像处理实现模块，用于在图像处理任务中，选择适用的深度卷积网络结 构，将其中部分或全部卷积层替换成所述自适应连接神经网络的AC-Net模块， 或直接使用所述自适应连接神经网络。
[0027] 优选地，所述自适应连接神经网络进一步包括：
[0028] Self Trans模块，用于使用自变换操作提取所输入的特征图的像素级特征；
[0029] 卷积模块，用于使用卷积操作提取所输入的特征图的局部特征；
[0030] MLP模块，用于使用多层感知器操作提取所输入的特征图的全局特征；
[0031] AC-Net模块，用于融合自变换操作得到的像素级特征、使用卷积操作得到 的局部特征，以及使用全连接操作得到的全局特征，生成局部与全局自适应的 特征。
[0032] 与现有技术相比，本发明一种基于自适应连接神经网络的图像处理方法及 装置通过引入自适应连接神经网络(ACNET)，ACNET通过自适应地确定特征 节点之间的连接状态，在处理特征表示时，自适应地融合像素级特征、局部特 征、全局特征，提高网络分类、分割的性能，对传统的卷积神经网络(CNN) 进行改进，克服了传统卷积神经网络难以获取全局特征带来的影响，提高图像 处理的效率。
附图说明
[0033] 图1为本发明一种基于自适应连接神经网络的图像处理方法的步骤
流程图；
[0034] 图2为本发明一种基于自适应连接神经网络的图像处理装置的系统架构图；
[0035] 图3为本发明具体
实施例中自适应连接神经网络的细部结构图。
具体实施方式
[0036] 以下通过特定的具体实例并结合附图说明本发明的实施方式，本领域技术 人员可由本
说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明 亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基 于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。
[0037] 图1为本发明一种基于自适应连接神经网络的图像处理方法的步骤流程图。 如图1所示，本发明一种基于自适应连接神经网络的图像处理方法，包括如下 步骤：
[0038] 步骤S1，构建自适应连接神经网络(AC-Net模块)，对输入的特征图，分 别提取其像素级特征、局部特征以及全局特征，并自适应地融合所述像素级特 征、局部特征、全局特征。在本发明具体实施例中，所构建的AC-Net模块是一 个堆叠的结构，在实际图像处理应用中，用于替换相应神经网络结构的卷积层， 其最上层为输入的图像，每层输出的特征图输出至下一层，这里所说的输入的 特征图则指的是其上一层的输出。
[0039] 具体地，步骤S1进一步包括：
[0040] 步骤S100，使用自变换操作(Self Trans模块)提取所输入的特征图的像 素级特征；
[0041] 在本发明具体实施例中，所述自变换操作，利用n×m个卷积核为1×1的 卷积对输入的n×h×w的特征做卷积操作后得到的m×h×w输出特征，n代表 通道，h，w代表特征图的高和宽。
[0042] 步骤S101，使用卷积操作(CNN模块)提取所输入的特征图的局部特征。
[0043] 在本发明具体实施例中，所述卷积操作利用n×m个卷积核为3×3的卷积 对输入的n×h×w的特征做卷积操作后得到的m×h×w输出特征。
[0044] 步骤S102，使用多层感知器操作(MLP模块)提取所输入的特征图的全 局特征；
[0045] 在本发明具体实施例中，所述多层感知器操作利用平均池化及全连接操作 对输入的n×h×w的特征提取全局特征。
[0046] 具体地，步骤S102进一步包括：
[0047] 步骤S102a，使用平均池化，得到一个的中间特征。具体地，于步骤S102 中，对输入的特征图，使用平均池化，先得到一个m×1×1的特征；
[0048] 步骤S102b，使用全连接操作，得到一个的输出特征。于步骤S102b中， 全连接操作的输入为平均池化后的m×1×1的特征图，然后经全连接操作得到的 输出为n×h×w的特征图。
[0049] 步骤103，利用自适应连接神经网络(AC-Net模块)融合自变换操作(Self Trans模块)得到的像素级特征、使用卷积操作(CNN模块)得到的局部特征， 以及使用全连接操作(MLP模块)得到的全局特征，生成局部与全局自适应的 特征。
[0050] 具体地，步骤S103进一步包括：
[0051] 步骤S103a，对得到的像素级特征、局部特征、全局特征进行自适应的加 权求和操作。
[0052] 具体地，假设x为输入
信号，即上一层得到的特征图，也即为Self Trans 模块、卷积模块以及MLP模块的输入，则AC-Net模块得到的输出为：
[0053]
[0054] 其中yi表示AC-Net网络结构中
输出信号的第i个数据点的输出，j为与第 i个数据点相关的数据点的索引。具体来说，第j个数据点可属于三个不同的集 合，包括{第i个数据点自身}，{第i个数据点的领域N(i)}，{所有x上的数据 点}。这三个集合也代表了三个不同的推理模态：自变换，局部变换，全局变换， 对应的模块为Self Trans模块，CNN模块，MLP模块，uij，vij，wij为可学习的 参数，其中α，β，γ满足以下约束：
[0055] α+β+γ＝1
[0056]
[0057]
[0058]
[0059] λα,λβ,λγ为控制参数，可通过学习确定，是自适应的，其所对应的模块即 为AC-Net模块。
[0060] 步骤S103b，对经步骤S103a得到的局部与全局自适应的特征做非线性激 活。
[0061] 在本发明具体实施例中，非线性激活可采用BatchNormalization批标准化 以及非线性激活函数，即将步骤S103a所得到的加权求和后的结果，经 BatchNormalization批标准化以及非线性激活函数处理，得到与输入的维度一样 的输出，n×h×w。
[0062] 步骤S2，于图像处理任务中，选择适用的深度卷积网络结构，将其中部分 或全部卷积层替换成所述AC-Net模块，或直接使用所述自适应连接神经网络 ACNET，实现图像处理任务。
[0063] 所述AC-Net模块能够与任何已有的深度卷积神经网络结构相融合，用户 既可以使用已公开的模型结构以及预训练模型，又可以使用步骤S1构建的网络 结构，在训练时所述AC-Net模块可无缝插入结构中，达到即插即用的效果。在 图像处理任务中，用户可以自行选择适用的深度卷积网络结构，将其中部分或 全部卷积层替换成本发明提出的AC-Net模块，或直接使用本发明构建的自适应 连接神经网络。
[0064] 在本发明一实施例中，假设图像识别任务中，采用图像分类数据集 ImageNet-1k，训练集有128万张图片，验证集有5万张图片，具有1000个类别 的图片。
[0065] 在本发明具体实施利中，可基于ResNet50，使用上述AC-Net模块对其进 行改进，具体地，对ResNet-50中所有的3×3的卷积层，全部替换成所述ACNet 模块，经过训练后，得到所需要图像识别模型，Top1分类准确率由76.4％上升 到77.5％。
[0066] 在本发明另一实施例中，假设在图像检测及分割任务中，使用以 ResNet50-FPN作为骨干网络的Mask-RCNN作为比较基准，同样的，可将其网 络中所3×3的卷积层全部替换为本发明的ACNet模块，经过COCO 2017检测 及分割数据集训练后，检测任务的AP由38.0％上升到39.5％，分割任务的AP 由34.6％上升到35.2。
[0067] 这里需说明的是，对于使用深度卷积神经网络的各种任务，都可以通过将 深度卷积神经网络中的卷积层替换为本发明相应的ACNet模块来生成局部与全 局自适应的特征，从而提高任务的性能。
[0068] 图2为本发明一种基于自适应连接神经网络的图像处理装置的系统架构图。 如图2所示，本发明一种基于自适应连接神经网络的图像处理装置，包括：
[0069] 自适应连接神经网络构建单元201，用于构建自适应连接神经网络 (AC-Net)，对每层提取的特征图，分别提取其像素级特征、局部特征以及全局 特征，以自适应地融合像素级特征、局部特征、全局特征。
[0070] 在本发明具体实施利中，所述自适应连接神经网络ACNet定义了一个简 单而基本的单元，名为“node”。如图3所示，节点可被视为图像的像素(图3(a))、 音频的
采样(图3(b))和一般图的节点(图3(c))，但需说明的是，本发明 之自适应连接神经网络ACNet仅需针对图像
数据处理。具体地，给定输入数据， 自适应地训练ACNet搜索每个节点的最优连接，即连接节点本身、其邻居节点、 所有可能的节点的连接，不同的节点是自适应连接的，也就是说，有些节点可 能是自己推测的，有些节点可能与它的邻域有关，而其他节点则具有全局
视野。 因此，自适应连接神经网络ACNet可以看作是Self Trans、CNN和MLP的综合 (图3(d))。通过学习不同类型连接的重要性程度，搜索最优连接是不同的， 这可以通过反向传播进行优化。
[0071] 具体地，自适应连接神经网络进一步包括：
[0072] Self Trans模块，用于使用自变换操作提取所输入的特征图的像素级特征；
[0073] 在本发明具体实施例中，所述Self Trans模块，利用n×m个卷积核为1×1 的卷积对输入的n×h×w的特征做卷积操作后得到的m×h×w输出特征。
[0074] 卷积(CNN)模块，用于使用卷积操作提取所输入的特征图的局部特征。
[0075] 在本发明具体实施例中，所述卷积(CNN)模块利用n×m个卷积核为3×3 的卷积对输入的n×h×w的特征做卷积操作后得到的m×h×w输出特征。
[0076] MLP模块，用于使用多层感知器操作提取所输入的特征图的全局特征；
[0077] MLP模块具体用于：
[0078] 使用平均池化，得到一个的中间特征，即对输入的特征图，使用平均池化， 先得到一个m×1×1的特征；
[0079] 使用全连接操作，得到一个的输出特征，即对平均池化后的m×1×1的特征 图，经全连接操作得到的输出为n×h×w的特征图。
[0080] AC-Net模块，用于融合自变换操作(Self Trans模块)得到的像素级特征、 使用卷积操作(CNN模块)得到的局部特征，以及使用全连接操作(MLP模块) 得到的全局特征，生成局部与全局自适应的特征。
[0081] 在本发明具体实施例中，假设x为
输入信号，则AC-Net模块得到的输出为：
[0082]
[0083] 其中yi表示网络结构中输出信号的第i个数据点的输出，j为与第i个数据 点相关的数据点的索引。具体来说，第j个数据点可属于三个不同的集合，包括 {第i个数据点自身}，{第i个数据点的领域N(i)}，{所有x上的数据点}。这三 个集合也代表了三个不同的推理模态：自变换，局部变换，全局变换，对应的 模块分别为Self Trans模块，CNN模块，MLP模块，uij，vij，wij是可学习的参 数。其中α，β，γ满足一下约束：
[0084] α+β+γ＝1
[0085]
[0086]
[0087]
[0088] λα,λβ,λγ为控制参数，可通过学习确定，是自适应的，其所对应的模块即 为AC-Net模块。
[0089] 图像处理实现模块202，用于在图像处理任务中，选择适用的深度卷积网 络结构，将其中部分或全部卷积层替换成所述AC-Net模块，或直接使用所述自 适应连接神经网络ACNET。
[0090] 本发明所构建的所述AC-Net模块能够与任何已有的深度卷积神经网络结 构相融合，用户既可以使用已公开的模型结构以及预训练模型，又可以使用步 骤S1构建的网络结构，在训练时所述AC-Net模块可无缝插入结构中，达到即 插即用的效果。在图像处理任务中，用户可以自行选择适用的深度卷积网络结 构，将其中部分或全部卷积层替换成本发明提出的AC-Net模块，或直接使用本 发明构建的自适应连接神经网络。
[0091] 综上所述，本发明一种基于自适应连接神经网络的图像处理方法及装置通 过引入自适应连接神经网络(ACNET)，ACNET通过自适应地确定特征节点之 间的连接状态，在处理特征表示时，自适应地融合像素级特征、局部特征、全 局特征，提高网络分类、分割的性能，对传统的卷积神经网络(CNN)进行改 进，克服了传统卷积神经网络难以获取全局特征带来的影响，提高图像处理的 效率。
[0092] 上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。 任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行 修饰与改变。因此，本发明的权利保护范围，应如
权利要求书所列。
