电子系统、非暂时性计算机可读记录媒体及计算装置
阅读：9发布：2020-05-13
专利汇可以提供电子系统、非暂时性计算机可读记录媒体及计算装置专利检索，专利查询，专利分析的服务。并且提供了 电子 系统、非暂时性计算机可读记录媒体及计算装置。一种被配置为执行包括多个层的神经网络的运算的计算装置包括： 存储器 ，其中存储有与所述多个层中的每一者对应的增益；以及处理器，被配置为接收输入图像，以在所述多个层中的每一者处产生多个原始特征图，应用与所述多个原始特征图中的每一者对应的增益，以产生多个输出特征图，并作为由图像重构层对所述多个输出特征图进行求和的结果而产生输出图像。，下面是电子系统、非暂时性计算机可读记录媒体及计算装置专利的具体信息内容。
1.一种接收输入数据并产生输出数据的电子系统，所述电子系统包括：
神经网络装置，包括多个层，所述神经网络装置进一步包括处理器，
其中所述处理器被配置为在所述多个层中的每一者处产生多个原始特征图，应用与所述多个原始特征图中的每一者对应的增益，以产生多个输出特征图，并使用图像重构层通过对所述多个输出特征图进行求和来产生所述输出数据；以及
存储器，存储分别与所述多个层中的每一者对应的多个增益。
2.根据权利要求1所述的电子系统，其中所述多个层包括N个层，所述N个层包括依序级联连接的第一层至第N层，其中所述N个层中的第i层将第i原始特征图提供到所述N个层中的第i+1层，且
对所述第i原始特征图应用与所述N个层中的第i层对应的第i增益，
其中i是从1至N不等的整数。
3.根据权利要求1所述的电子系统，其中所述多个层及所述图像重构层中的每一者是卷积层。
4.根据权利要求1所述的电子系统，其中所述处理器将通过对所述多个输出特征图进行求和而获得的求和后的特征图提供到所述图像重构层，且所述图像重构层提供所述输出数据。
5.根据权利要求1所述的电子系统，其中所述输入数据是由图像传感器捕获的图像数据且包含物体及噪声，并且所述输出数据是通过从输入图像移除所述噪声而获得的输出图像。
6.根据权利要求5所述的电子系统，其中所述输入图像及所述输出图像包含所述物体，且所述噪声使所述输入图像的分辨率降级。
7.根据权利要求1所述的电子系统，其中所述处理器进一步被配置为基于一对输入图像与输出图像来学习所述多个增益中的增益，并将所学习的所述增益存储在所述存储器中。
8.根据权利要求7所述的电子系统，其中对所学习的所述增益进行学习，以强化由与所述增益对应的层输出的特征图的特征值。
9.根据权利要求1所述的电子系统，其中所述增益被实现为增益内核，且所述多个输出特征图是基于所述原始特征图及与所述原始特征图对应的所述增益内核而产生。
10.根据权利要求9所述的电子系统，其中所述增益内核被实现成包含多个增益内核值的矩阵形式，且所述多个输出特征图是通过将所述原始特征图与所述增益内核进行卷积运算而产生。
11.一种记录有用于使用神经网络装置从输入图像产生输出图像的程序的非暂时性计算机可读记录媒体，所述程序包括：
接收所述输入图像；
基于所述输入图像从被级联连接的卷积层中的一些或全部产生多个原始特征图；
应用与所产生的所述多个原始特征图中的每一者对应的增益，并产生多个输出特征图；以及
基于所述多个输出特征图产生所述输出图像，
其中所述增益是通过学习算法学习的，且在所述程序被执行时加以更新。
12.根据权利要求11所述的非暂时性计算机可读记录媒体，其中所述程序进一步包括：
将从第x-1卷积层接收的第x-1原始特征图与第x权重图进行卷积运算；
产生第x原始特征图；以及
将所述第x原始特征图提供到第x+1卷积层，其中所述卷积运算、产生及提供是由第x卷积层执行，且x是大于1的整数。
13.根据权利要求11所述的非暂时性计算机可读记录媒体，其中所述被级联连接的卷积层包括N个卷积层，所述N个卷积层包括第一卷积层至第N卷积层，其中N是大于1的整数，所述产生所述多个原始特征图包括从所有所述被级联连接的卷积层产生所述多个原始特征图，且
除基于所述第N卷积层而产生的第N输出特征图之外的第一输出特征图至第N-1输出特征图的特征值均为0。
14.根据权利要求11所述的非暂时性计算机可读记录媒体，其中所述输入图像包含物体及噪声，所述噪声占据所述输入图像的至少局部区域，且
所述输出图像是通过从所述输入图像移除所述噪声而获得。
15.根据权利要求11所述的非暂时性计算机可读记录媒体，其中所述增益是基于一对所述输入图像与所述输出图像加以学习及存储的。
16.根据权利要求11所述的非暂时性计算机可读记录媒体，其中所述产生所述输出图像包括对所述多个输出特征图进行求和，以产生求和后的特征图，并重构所述求和后的特征图，以产生所述输出图像。
17.根据权利要求11所述的非暂时性计算机可读记录媒体，其中所述输出图像是由重构层产生，
所述重构层包括被配置为接收特征图作为输入值并输出图像的卷积层。
18.根据权利要求11所述的非暂时性计算机可读记录媒体，其中所述增益包括通过将单位矩阵与增益值相乘而获得的增益矩阵。
19.根据权利要求11所述的非暂时性计算机可读记录媒体，其中所述增益包括增益内核，并且小于被与所述增益内核进行卷积运算的原始特征图的矩阵大小。
20.一种被配置为使用包括多个层的神经网络来执行运算的计算装置，所述计算装置包括：
传感器模块，被配置为产生输入图像；
存储器，其中存储有与所述多个层中的每一者对应的增益；以及
处理器，被配置为接收所述输入图像，以在所述多个层中的每一者处产生多个原始特征图，应用与所述多个原始特征图中的每一者对应的增益，以产生多个输出特征图，并作为由图像重构层对所述多个输出特征图进行求和的结果而产生输出图像。
电子系统、非暂时性计算机可读记录媒体及计算装置
[0001] 相关申请的交叉参考
技术领域
[0003] 本发明概念涉及能够从输入图像移除噪声并产生输出图像的方法、以及包括能够执行上述操作的神经网络装置的电子系统。
背景技术
[0004] 神经网络装置是模拟生物学习活动的计算系统、结构或架构。随着神经网络装置及技术的最近发展，已针对被配置为分析输入数据，并提供从神经网络装置执行的过程导出的相应有效输出数据的各类电子系统进行了积极地研究。
发明内容
[0005] 本发明概念提供一种被配置为执行如下神经网络运算的装置及一种操作所述装置的方法：使用神经网络中所包括的多个层各自的特性从输入图像移除噪声并产生输出图像。
[0006] 根据本发明概念的方面，提供一种电子系统，其被配置为接收输入数据并产生输出数据。所述电子系统包括：神经网络装置，包括多个层，所述神经网络装置进一步包括处理器，其中所述处理器被配置为在所述多个层中的每一者处产生多个原始特征图，应用与所述多个原始特征图中的每一者对应的增益以产生多个输出特征图，并使用图像重构层通过对所述多个输出特征图进行求和来产生所述输出数据；以及存储器，存储分别与所述多个层中的每一者对应的多个增益。
[0007] 根据本发明概念的另一方面，提供一种记录有用于使用神经网络装置产生输出图像的程序的非暂时性计算机可读记录媒体。所述程序包括以下操作：接收输入图像；基于所述输入图像从被级联连接的卷积层中的一些或全部产生多个原始特征图；应用与所产生的所述多个原始特征图中的每一者对应的增益，并产生多个输出特征图；以及基于所述多个输出特征图产生所述输出图像。所述增益是通过学习算法学习的，且在所述操作被执行时加以更新。
[0008] 根据本发明概念的另一方面，提供一种被配置为使用包括多个层的神经网络来执行运算的计算装置。所述计算装置包括：传感器模块，被配置为产生包含第一物体的输入图像；存储器，其中存储有与所述多个层中的每一者对应的增益；以及处理器，被配置为接收所述输入图像，以在所述多个层中的每一者处产生多个原始特征图，应用与所述多个原始特征图中的每一者对应的增益，以产生多个输出特征图，并作为由图像重构层对所述多个输出特征图进行求和的结果而产生输出图像。
[0010] 结合附图阅读以下详细说明，将更清晰地理解本发明概念的实施例，附图中：
[0011] 图1是根据实施例的电子系统的框图。
[0012] 图2是神经网络结构的实例的图。
[0013] 图3是根据实施例的神经网络装置的框图。
[0014] 图4是根据实施例的增益单元的图。
[0015] 图5A是根据实施例使用增益乘法器的神经网络装置的图。
[0017] 图6是根据实施例的神经网络装置的框图。
[0018] 图7是根据实施例学习神经网络装置的操作的框图。
[0019] 图8A、图8B及图8C是用于解释输入图像以及通过移除所述输入图像中的噪声而获得的输出图像的图。
[0020] 图9是根据实施例操作电子系统的方法的流程图。
具体实施方式
[0021] 图(Figure，FIG.)1是示出根据实施例的电子系统10的框图。
[0022] 电子系统10可用于使用神经网络装置13来实时分析输入数据、从所分析的输入数据提取有效信息，并基于所提取的信息来控制电子系统10内部及外部的各种组件。电子系统10可应用于主机装置，例如智能电话、移动装置、图像显示装置、测量装置、智能电视机(TV)、无人机、机器人、高级驾驶员辅助系统(advanced drivers assistance system，ADAS)、医疗装置、及物联网(Internet of Things，IoT)装置等。就这点来说，电子系统10可以以操作方式安装在主机装置中，或者(全部或部分地)集成在主机装置内。
[0023] 在某些实施例中，可将图1所示的电子系统10实现为主机装置内的应用处理器(application processor，AP)。由于电子系统10执行神经网络运算以及可能的许多其他操作，因此电子系统10可被说成包括神经网络系统。
[0024] 参照图1，电子系统10可包括中央处理器(central processing unit，CPU)11、随机存取存储器(random access memory，RAM)12、神经网络装置13、存储器14及传感器模块15。如所属领域中的技术人员应理解的，电子系统10可进一步包括一个或多个额外组件，例如输入/输出(input/output，I/O)模块、安全模块及电源控制模块，但为清晰起见，图1中未示出此类模块。
[0025] 可在单个半导体芯片中实现电子系统10的构成组件(例如，CPU 11、RAM 12、神经网络装置13、存储器14及/或传感器模块15)中的一些或全部。举例来说，可将电子系统10实现为系统芯片(System-on-Chip，SoC)。
[0027] CPU 11可用于控制电子系统10的整体操作。就这点来说，CPU 11可包括具有各种架构的一个或多个处理核心。CPU 11可处理或执行存储器14中所存储的程序及/或数据。举例来说，CPU 11可执行存储器14中所存储的程序，以控制由神经网络装置13执行的各种功能。
[0028] RAM 12可用于临时存储程序、数据及/或指令。举例来说，存储器14中所存储的程序及/或数据可在CPU 11的控制下或者(例如)在电源开启操作期间响应于CPU 11对引导代码(boot code)的执行而临时存储在RAM 12中。可使用例如动态RAM(dynamic RAM，DRAM)及/或静态RAM(static RAM，SRAM)来以各种方式实现RAM 12。
[0029] 神经网络装置13可用于关于所接收的输入数据执行各种神经网络运算，以产生输出数据。换句话说，可使用神经网络装置13来分析(或处理)由电子系统10接收的输入数据，以产生下文将被称为“神经网络运算结果”的结果。
[0030] 在一个特定应用中，主机装置可包括图像捕获组件(例如照相机)，且通过使用所述照相机而获得的图像数据可作为输入数据被处理。一般来说，输入数据(例如由照相机捕获的图像数据)经常包含非期望的噪声分量，如果可能，则在对应输出数据的产生期间应移除所述噪声分量。在某些实施例中，可使用神经网络装置来从输入数据移除噪声。
[0031] 就这点来说，可将图1所示神经网络装置13以各种方式实现为(或以各种方式结构化为)计算装置或计算模块。所属领域中的技术人员应理解，存在许多类型的神经网络或神经网络装置，例如卷积神经网络(convolution neural network，CNN)、具有卷积神经网络的区域(region with convolution neural network，R-CNN)、区域提议网络(region proposal network，RPN)、循环神经网络(recurrent neural network，RNN)、基于堆叠的深度神经网络(stacking-based deep neural network，S-DNN)、状态空间动态神经网络(state-space dynamic neural network，S-SDNN)、解卷积网络、深度信念网络(deep belief network，DBN)、受限玻耳兹曼机(restricted Boltzman machine，RBM)、全卷积网络(fully convolutional network)、长短期记忆(long short-term memory，LSTM)网络、及分类网络(classification network)等。此外，被配置为执行一个或多个任务的神经网络可包括一个或多个子神经网络。将参照图2以一些额外细节来阐述神经网络结构的一个实例。
[0032] 参照图2，神经网络NN可包括第一层L1至第n层Ln，其中第一层L1至第n层Ln中的每一者可为线性层或非线性层。在一些实施例中，可将至少一个线性层与至少一个非线性层组合在特定层中。举例来说，线性层可包括卷积层(convolution layer)及全连接层(fully connected layer)，而非线性层可包括池化层(pooling layer)及激活层(activation layer)。
[0034] 第一层L1至第n层Ln中的每一者可：(1)接收输入图像帧或由上一层产生的特征图作为输入特征图；(2)对输入特征图执行运算；以及(3)产生输出特征图。此处，用语“特征图”指代其中表达所接收输入数据的各种特性的数据。举例来说，在图2中，特征图FM1、FM2及FMn可具有二维(two-dimensional，2D)矩阵形式或三维(three-dimensional，3D)矩阵形式。特征图FM1至FMn(包括FM1至FMn在内)可具有宽度W(下文称为列)、高度H(下文称为行)及深度D，这些参数可分别对应于由x轴、y轴及z轴定义的坐标。在图2所示出的实例中，深度D指代通道数目。
[0035] 第一层L1可使用权重图WM对第一特征图FM1进行卷积运算，以产生第二特征图FM2。权重图WM可有效地对第一特征图FM1进行滤波，且可被称为“滤波器”或“内核”。权重图WM的深度(即，通道数目)可与第一特征图FM1的深度(即，通道数目)相关联(例如，相等)，且权重图WM的通道可分别与对应的第一特征图FM1的通道进行卷积运算。可使用第一特征图FM1作为滑动窗(sliding window)来使权重图WM横移(或“移位”)。移位量可被称为“步长(stride length)”或“步幅(stride)”。在每次移位期间，可将权重图WM中所包含的权重中的每一者与和第一特征图FM1交叠的区域中的所有特征值相乘，并再进行相加。当使用权重图WM对第一特征图FM1进行卷积运算时，可产生第二特征图FM2的一个通道。虽然图2中仅示出单个权重图WM，然而所属领域中的技术人员应认识到，可使用第一特征图FM1实质上对多个权重图进行卷积运算，以产生第二特征图FM2的多个通道。换句话说，第二特征图FM2的通道的数目可对应于权重图的数目。
[0036] 第二层L2可用于根据池化运算来改变第二特征图FM2的空间大小，以产生第三特征图FM3。在某些实施例中，池化运算可采取采样运算或下采样运算的形式。可使2D池化窗PW在第二特征图FM2上以池化窗PW为大小单位而移位，且可选择与池化窗PW交叠的区域的特征值的最大值(或平均值)。因此，可从第二特征图FM2产生具有所期望空间大小的第三特征图FM3。第三特征图FM3的通道的数目可等于第二特征图FM2的通道的数目。
[0037] 在一些实施例中，第二层L2不需要是池化层。也就是说，第二层L2可为池化层或与第一层L1类似的卷积层。第二层L2可使用(第二)权重图对第二特征图FM2进行卷积运算，并产生第三特征图FM3。在此种情形中，在由第二层L2执行的卷积运算期间所使用的(第二)权重图可不同于在由第一层L1执行的卷积运算期间所使用的(第一)权重图WM。
[0038] 可通过包括第一层L1及第二层L2在内的多个层而在第N层处产生第N特征图。第N特征图可被输入到设置在神经网络NN的后端上的重构层(reconstruction layer)。因此，重构层可用于产生输出数据。在某些实施例中，重构层可使用权重图对第N特征图进行卷积运算，以产生输出数据(例如，在从照相机接收到输入图像的特定实例中，为输出图像)。因此，重构层可包括或可不包括卷积层，且在一些实施例中，重构层可被实现为能够从特征图适当地重构所期望输出数据的另一类层。
[0039] 返回参照图1，由神经网络装置13接收的“输入数据”可为与由照相机常规捕获的类型的静态图像或移动图像(例如，连续接收的图像帧)相关联的数据。神经网络装置13可产生包含输入数据特征值的特征图，且此后从特征图重构对应的“输出数据”。
[0040] 在此类实施例中，神经网络装置13可将特征图存储在内部存储器或外部存储器(例如，存储器14)中，加载所存储的特征图，并使用权重图来对所加载的特征图进行卷积运算。
[0041] 存储器14可包括能够存储及检索各种数据、程序(包括至少一个操作系统(operating system，OS))、数据值、信息等的数据存储媒体。在一些实施例中，存储器14可用于存储在由神经网络装置13执行的神经网络运算期间产生的特征图、以及所述神经网络运算所需的权重图及相关联信息(例如，增益)。
[0042] 在下文中，用语“增益”统指赋予由卷积层产生的原始特征图的值及/或数据。在一些实施例中，增益可包括通过由增益乘法器对原始特征图进行乘法运算而获得的增益值、或者增益内核(gain kernel)中所包含的增益内核值。
[0043] 可使用DRAM及/或SRAM中的一者或多者以各种方式实现存储器14。作为另一选择或另外，存储器14可包括至少一个非易失性存储器，例如只读存储器(read-only memory，ROM)、可编程ROM(programmable ROM，PROM)、电可编程ROM(electrically programmable ROM，EPROM)、电可擦除可编程ROM(electrically erasable and programmable ROM，EEPROM)、闪存存储器、相变RAM(phase-change RAM，PRAM)、磁性RAM(magnetic RAM，MRAM)、电阻性RAM(resistive RAM，RRAM)、及/或铁电性RAM(ferroelectric RAM，FRAM)。在一些实施例中，存储器14可包括以下中的至少一者：硬盘驱动器(hard disk drive，HDD)、固态驱动器(solid-state drive，SSD)、压缩闪存(compact flash，CF)、安全数字(secure digital，SD)、微型安全数字(micro secure digital，micro-SD)、小型SD(mini-SD)卡、极速数字(extreme digital，xD)、或存储棒(memory stick)。
[0044] 传感器模块15可用于收集与电子系统10(或并入有电子系统10的主机装置)和被成像物体的距离或电子系统10接近被成像物体相关联的信息。就这点来说，传感器模块15可用于感测图像信号或接收外部产生的图像信号，并将所感测或所接收的图像信号转换成图像数据(例如，图像帧数据)。为此，传感器模块15可包括一个或多个感测装置，例如光学成像装置及/或电成像装置、光学图像传感器及/或电图像传感器、光检测与测距(light detection and ranging，LIDAR)传感器、超声波传感器、红外(infrared，IR)传感器等。
[0045] 在某些实施例中，传感器模块15可将输入数据(例如，图像帧数据)提供到神经网络装置13。举例来说，传感器模块15可用于捕获从电子系统10的周围环境选择的图像并将对应的输入数据提供到神经网络装置13。
[0046] 图3是在一个实例(300)中进一步示出图1所示神经网络装置13的框图。
[0047] 神经网络装置300可包括层单元310、增益单元320、特征加法器330及重构层340。层单元310可包括第一层310_1至第N层310_N。增益单元320可包括第一增益乘法器321_1至第N增益乘法器321_N。可将第一层310_1至第N层310_N中的至少一些层实现为卷积层或池化层。可将重构层340实现为卷积层。在下文中，将阐述其中第一层310_1至第N层310_N为卷积层的情形。然而，可在各种卷积层之间或代替各种卷积层而设置各种其他层，例如池化层。
[0048] 关于图3所示出的实例，输入数据被接收为输入图像21。输入图像21可为从存储器(例如，图1所示存储器14)或传感器(例如，图1所示传感器模块15)加载到神经网络装置300的图像数据。假设输入图像21包含通常与光学成像相关联的类型的噪声。此种类型的图像噪声可由可能在被成像物体与成像传感器之间存在的各种非预期的或干扰性的物体引起。作为另一选择或另外，干扰性物体可包括雾、尘埃、烟、图像传感器的表面上的污点。不管干扰性物体的具体形式如何，干扰性物体均引起图像噪声，且图像噪声使输入图像21的分辨率降级。具体来说，图像噪声可与被成像物体的一部分(例如，炫目或反射性的)相关联，或者图像噪声可为物体周围的环境(例如，天气)的一般状况。
[0049] 神经网络装置300可被实现成执行与以下相关联的各种操作：接收输入图像21、从输入图像21移除不需要的图像噪声、及产生对应的输出图像22。
[0050] 神经网络装置300可使用层单元310产生包含输入图像21的特征值的特征图。根据一个实施例，神经网络装置300可在第一层310_1处将输入图像21与第一权重图进行卷积运算，并产生第一原始特征图RFM_1。神经网络装置300可将所产生的第一原始特征图RFM_1输入到第二层310_2。随后，神经网络装置300可在第i+1层处将第i原始特征图与第i+1权重图进行卷积运算，并将第i+1原始特征图提供到第i+2层。如下文中所使用，值‘i’是正整数(即，i＝1、2、3、...)。举例来说，神经网络装置300可在第二层310_2处将第一原始特征图RFM_1与第二权重图进行卷积运算，并将第二原始特征图RFM_2提供到第三层310_3。
[0051] 根据另一实施例，神经网络装置300可将在第一层310_1处产生的第一原始特征图RFM_1提供到第二层310_2，并将基于第一原始特征图RFM_1的第一输出特征图OFM_1提供到特征加法器330。
[0052] 此处，神经网络装置300可使用层单元310中所包括的第一层310_1至第N层310_N来处理输入图像21的一个或多个特性。作为实例，神经网络装置300可在第一层310_1至第N层310_N处处理输入图像21中所包含的各种频率数据。神经网络装置300可在第一层310_1处处理具有高频率范围的数据，并增大输入图像21的至少一个区域的分辨率。作为另一选择或另外，神经网络装置300可在第二层310_2处处理具有低频率范围的数据，并使输入图像21的至少一个区域柔化(soften)。
[0053] 作为另一选择，神经网络装置300可在每一层处调整各种图像参数值，例如色度、色温、对比度、亮度及伽马值。举例来说，神经网络装置300可在每一层处处理与不同图像参数相关的数据，并在每一层处的不同层级处处理与同一图像参数(例如，色温)相关的数据。也就是说，神经网络装置300可在第一层310_1处处理图像的对比度，并在第二层310_2处处理图像的色度。神经网络装置300还可在第一层310_1处比在第二层310_2处处理具有更高色温的数据。
[0054] 神经网络装置300可对第一原始特征图RFM_1应用第一增益值G_1并产生第一输出特征图OFM_1。举例来说，第一增益乘法器321_1可接收第一原始特征图RFM_1，将第一原始特征图RFM_1与第一增益值G_1相乘，并输出第一输出特征图OFM_1。
[0055] 也就是说，神经网络装置300可通过与第i原始特征图对应的增益来对第i原始特征图执行运算，并产生第i输出特征图。在此种情形中，第i+1原始特征图可为通过将第i原始特征图与第i权重图进行卷积运算而获得的特征图。通过对特定原始特征图RFM应用对应的增益，可反映出产生原始特征图RFM的每一层的特性。也就是说，对每一原始特征图RFM应用的增益可根据所述原始特征图RFM而为不同的，可使用增益来强调一些层的特性，而可使用一些其他增益来减弱一些其他层的特性。例如，为比第二层310_2的特性更重地强调第一层310_1的特性，与第一原始特征图RFM_1相乘的第一增益值G_1可大于第二增益值G_2。可将增益与原始特征图RFM中所包含的多个特征值相乘，以产生输出特征图OFM。举例来说，增益值可为实数值。由于第一增益值G_1至第N增益值G_N中的至少一些增益值具有不同的实数值，因此第一原始特征图RFM_1至第N原始特征图RFM_N的特性可被不同程度地强调。
[0056] 将参照图4以一些额外细节来阐述增益单元320的另一实例。不同于图3中所示出的实施例，增益单元320可包括第一增益内核322_1至第N增益内核322_N。因此，神经网络装置300可对第i原始特征图与第i增益内核执行运算，并产生第i输出特征图。
[0057] 根据实施例，神经网络装置300可将第一原始特征图RFM_1与第一增益内核322_1进行卷积运算，并产生第一输出特征图OFM_1。可将第一增益内核322_1至第N增益内核322_N实现为矩阵形式。
[0058] 在此种情形中，第i增益内核可对应于第i原始特征图的矩阵大小。举例来说，可将第一增益内核322_1实现为与第一原始特征图RFM_1的大小对应的矩阵。作为另一实例，可将第一增益内核322_1实现为大小比第一原始特征图RFM_1小的矩阵。神经网络装置300可将第一原始特征图RFM_1中所包含的多个特征值与第一增益内核322_1进行卷积运算，并产生第一输出特征图OFM_1。换句话说，神经网络装置300可将第一原始特征图RFM_1中所包含的特征值与第一增益内核322_1中所包含的增益内核值进行卷积运算，并产生第一输出特征图OFM_1中所包含的特征值。
[0059] 在某些实施例中，“增益”将为可由神经网络装置300学习的值。具体来说，以上参照图3所述的第一增益值G_1至第N增益值G_N可为可学习的值。此外，图4所示的第一增益内核322_1至第N增益内核322_N中所包含的增益内核值可为可学习的值。因此，增益内核322_1至322_N可为可学习的矩阵。
[0060] 举例来说，在由神经网络装置300执行的学习过程期间，神经网络装置300可连续地学习第一增益值G_1至第N增益值G_N及第一增益内核322_1至第N增益内核322_N，以从输入图像21移除噪声。可学习第一增益值G_1至第N增益值G_N及第一增益内核322_1至第N增益内核322_N来作为用于从输入图像21移除噪声的最优值。为实现神经网络装置300，可使用所接收的多对输入图像21与输出图像22来学习第一增益值G_1至第N增益值G_N或第一增益内核322_1至第N增益内核322_N。在此种情形中，所述多对输入图像21与输出图像22可由用户提供、或者通过网络服务而接收、或者由先前所存储的图像配对而成。
[0061] 同时，可将以上参照图3及图4所述的增益单元320实现为可学习的值或预设值。举例来说，可将增益单元320中所包含的第一增益值G_1至第N增益值G_N或第一增益内核322_1至第N增益内核322_N实现为预设值。
[0062] 返回参照图3，神经网络装置300可从可被级联连接(cascade-connected)的第一层310_1至第N层310_N中的一些或全部产生第一原始特征图RFM_1至第N原始特征图RFM_N。
[0063] 作为实例，神经网络装置300可仅从可被级联连接的第一层310_1至第N层310_N中的一些层产生原始特征图。可使用各层中的仅一些层来进行计算，以降低置于神经网络装置300上的计算负载。在此种情形中，神经网络装置300可产生与在一些层处产生的原始特征图对应的输出特征图。也就是说，神经网络装置300可仅产生第一输出特征图OFM_1至第N输出特征图OFM_N中与原始特征图对应的输出特征图。
[0064] 作为另一实例，神经网络装置300可从可被级联连接的所有第一层310_1至第N层310_N产生原始特征图。因此，神经网络装置300可对增益单元320应用第一原始特征图RFM_
1至第N原始特征图RFM_N，并产生第一输出特征图OFM_1至第N输出特征图OFM_N。
1至第N原始特征图RFM_N，并产生第一输出特征图OFM_1至第N输出特征图OFM_N。
[0065] 作为另一实例，神经网络装置300可仅产生一些输出特征图。神经网络装置300可从可被级联连接的所有第一层310_1至第N层310_N产生原始特征图。在此种情形中，神经网络装置300可仅使用增益单元320中所包含的一些增益乘法器或一些增益内核来产生输出特征图。神经网络装置300可控制增益单元320将一些增益值调整为0或将一些增益内核调整为0。举例来说，神经网络装置300可将除基于第N层310_N而产生的第N输出特征图OFM_N之外的第一输出特征图OFM_1至第N-1输出特征图OFM_N-1的特征值调整为0。
[0066] 神经网络装置300可用于使用特征加法器330来对第一输出特征图OFM_1至第N输出特征图OFM_N进行求和。作为实例，当第一输出特征图OFM_1至第N输出特征图OFM_N具有相同大小时，神经网络装置300可使用特征加法器330对输出特征图OFM_1至OFM_N进行求和。作为另一实例，输出特征图OFM_1至OFM_N可具有不同的矩阵大小。在此种情形中，神经网络装置300可对具有不同大小的输出特征图OFM_1至OFM_N的平均值进行求和。作为另一选择，神经网络装置300可执行缩小(downsizing)运算，以将输出特征图OFM_1至OFM_N的矩阵大小调整成具有最小矩阵大小的输出特征图。作为另一选择，神经网络装置300可执行增大(upsizing)运算，以将输出特征图OFM_1至OFM_N的矩阵大小调整为具有最大矩阵大小的输出特征图。
[0067] 另外，神经网络装置300可使用各种方法来对输出特征图OFM_1至OFM_N进行求和，例如，将相应输出特征图OFM_1至OFM_N的与同一行、列及深度对应的特征值相加并在求和过程中忽略具有不同矩阵大小的部分的方法。也就是说，神经网络装置300可使用用于反映输出特征图OFM_1至OFM_N的特征值的各种方法来对输出特征图OFM_1至OFM_N进行求和。
[0068] 神经网络装置300可将由特征加法器330产生的求和后的特征图(summed feature map)SFM提供到重构层340。重构层340可将求和后的特征图SFM重构成输出图像22。也就是说，重构层340可为被配置为再次将特征图重构成图像数据类型的各类层。举例来说，可将重构层340实现为卷积层。
[0069] 神经网络装置300可使用增益单元320对由层单元310中所包括的第一层310_1至第N层310_N输出的结果中的每一者应用增益，并控制由相应层310_1至310_N输出的特征值。可学习所述增益来作为使输入图像21的噪声最小化的最优增益。因此，神经网络装置300可有效地用于基于与层310_1至310_N相关联的所有特性而从输入图像21移除噪声。
[0070] 图5A是针对使用增益乘法器(例如，图3)的实施例进一步示出神经网络装置300的运算的概念图，图5B是进一步示出使用增益内核(例如，图4)的神经网络装置300的运算的另一概念图。
[0071] 参照图5A，神经网络装置300可对第一原始特征图RFM_1应用第一增益值G_1，并产生第一输出特征图OFM_1。举例来说，第一增益值G_1可为第一增益矩阵GM_1中所包含的值。神经网络装置300还可将第一权重图WM_1与第一原始特征图RFM_1进行卷积运算，并产生第二原始特征图RFM_2。
[0072] 根据实施例，增益乘法器321可将第一原始特征图RFM_1与第一增益值G_1相乘并产生第一输出特征图OFM_1。第一增益矩阵GM_1可具有与第一原始特征图RFM_1的那些在数值上相等的行H、列W及深度D。可将第一增益矩阵GM_1实现为通过将单位矩阵与第一增益值G_1相乘而获得的形状，如图5A中所示。类似于第一增益矩阵GM_1，也可将第二增益矩阵GM_2实现为通过将单位矩阵与第二增益值G_2相乘而获得的形状。也就是说，可将第i增益矩阵实现为通过将单位矩阵与第i增益值相乘而获得的形状。
[0073] 神经网络装置300可根据增益矩阵GM中所包含的增益值来增大或减小原始特征图RFM中所包含的特征值，并产生输出特征图OFM。神经网络装置300可使用特征加法器330对多个输出特征图OFM进行求和，并产生求和后的特征图SFM，且使用重构层340将求和后的特征图SFM重构成输出图像22。
[0074] 参照图5B，神经网络装置300可对第一原始特征图RFM_1应用第一增益内核322_1，并产生第一输出特征图OFM_1。第一增益内核322_1的行及列可分别等于或小于第一原始特征图RFM_1的行及列，且第一增益内核322_1的深度可等于第一原始特征图RFM_1的深度。神经网络装置300也可将第一权重图WM_1与第一原始特征图RFM_1进行卷积运算，并产生第二原始特征图RFM_2。
[0075] 在图5B中所示出的实施例中，神经网络装置300可将第一原始特征图RFM_1与第一增益内核322_1进行卷积运算，并产生第一输出特征图OFM_1。神经网络装置300可以如下方式执行移位及卷积运算：根据预定步幅(predetermined stride)使用第一原始特征图RFM_1作为滑动窗来使第一增益内核322_1横移。此处，第一增益内核322_1可包含呈矩阵形式的多个增益内核值。第一增益内核322_1中所包含的增益内核值可为参照多对输入图像与输出图像而学习的值。随后，使用特征加法器330及重构层340来产生输出图像22的过程可与参照图5A所述的过程相同或类似，且因此，将不再对此予以赘述。
[0076] 图6是在另一实例中进一步示出图1所示神经网络装置13的框图。
[0077] 参照图6，神经网络装置13可包括处理器40、控制器50及存储器60。处理器40可包括多个处理电路41及存储器42。另外，神经网络装置13可进一步包括直接存储器存取(direct memory access，DMA)控制器，以将数据存储在外部存储器中。虽然图6示出其中神经网络装置13包括一个处理器40的实例，然而本发明概念并非仅限于此，且神经网络装置13可包括数个处理器40。
[0078] 在某些实施例中，可将处理器40实现为硬件电路。因此，可将神经网络装置13实现为单个半导体芯片(例如，SoC)。作为另一选择，可将神经网络装置13实现为多个经互连的半导体芯片。在以下说明中，处理器40中所包括的存储器42将被称为第一存储器42，且处理器40外部的存储器60将被称为第二存储器60。
[0079] 控制器50可被实现为CPU或微处理器(microprocessor，MP)，且可用于控制神经网络装置13的整体操作。控制器50可设定及管理神经网络运算参数，使得处理器40可正常执行神经网络的各层的运算。另外，控制器50可基于神经网络装置13的管理策略来控制所述多个处理电路41高效地运行，且可控制数据在处理器40内/外的组件之间的输入/输出及操作流程。
[0080] 举例来说，控制器50可加载于所述多个处理电路41中的一个处理电路中，以对第一存储器42或第二存储器60中所存储的原始特征图RFM_1至RFM_N中的一个原始特征图及与所述一个原始特征图对应的增益进行计算。控制器50可控制处理电路产生第一输出特征图OFM_1至第N输出特征图OFM_N，对所有第一输出特征图OFM_1至第N输出特征图OFM_N进行求和，产生求和后的特征图SFM，并产生与求和后的特征图SFM对应的输出图像22。
[0082] 所述多个处理电路41可通过控制器50的控制而执行被分配的运算。所述多个处理电路41可被实现成同时并行地运行。此外，相应的处理电路41可独立地运行。举例来说，可将处理电路41中的每一者实现为能够执行指令的核心电路。处理电路41可根据以上参照图1、图2、图3、图4、图5A及图5B所述的神经网络系统的运算方法来执行神经网络运算。
[0083] 第一存储器42可为处理器40的嵌入式存储器且为SRAM。然而，本发明概念并非仅限于此，且可将第一存储器42实现为处理器40的简单缓冲器(simple buffer)、高速缓冲存储器、或另一类存储器(例如DRAM)。第一存储器42可存储因由所述多个处理电路41执行的运算而产生的数据，例如，在运算过程期间产生的特征图或各类的多条数据。第一存储器42可为所述多个处理电路41的共享存储器。
[0084] 可将第二存储器60实现为RAM，例如，DRAM或SRAM。然而，本发明概念并非仅限于此，且可将第二存储器60实现为非易失性存储器。第二存储器60可存储各种程序及数据。第二存储器60可由主机处理器(例如，图1中的CPU 11)或另一外部装置存取。在实施例中，第二存储器60的数据存储容量可大于第一存储器42的数据存储容量。在实施例中，第一存储器42的存取等待时间可小于第二存储器60的存取等待时间。
[0085] 图7是在另一实例中进一步示出根据实施例的图1所示电子系统10及由神经网络装置13执行的学习操作的框图。
[0086] 参照图7，电子系统10可包括数据获得单元81、模型学习单元82及模型估计单元83。
[0087] 电子系统10可学习用于确定输入图像21中的噪声部分的准则。此外，电子系统10可学习用于产生通过从输入图像21移除噪声而获得的输出图像22的准则。为此，电子系统10可学习分别与第一原始特征图RFM_1至第N原始特征图RFM_N对应的增益。举例来说，电子系统10可学习增益矩阵或增益内核并学习增益矩阵或增益内核中所包含的值(例如，增益值或增益内核值)。电子系统10可获得待用于学习的数据(在下文中，称为学习数据)，对模型学习单元82应用学习数据，并学习用于确定情景的准则。
[0088] 数据获得单元81可获得学习数据，例如，成对的输入图像21与输出图像22。举例来说，数据获得单元81可接收通过在噪声情景(例如，雾天)中捕获被摄体的图像而获得的输入图像21、以及通过在无噪声情景(例如，晴天)中捕获被摄体的图像而获得的输出图像22。也就是说，数据获得单元81可获得通过在不同的环境中捕获类似的被摄体的图像而获得的成对的输入图像21与输出图像22。
[0089] 可将数据获得单元81实现为一个或多个I/O接口。举例来说，可由传感器模块15捕获成对的输入图像21与输出图像22。在此种情形中，数据获得单元81可从传感器模块15获得图像。此外，成对的输入图像21与输出图像22可为存储器中所存储的图像。在此种情形中，数据获得单元81可从存储器14、第一存储器42及第二存储器60中的至少一者获得图像。此外，所述成对的输入图像21与输出图像22可为从外部装置及/或服务器接收的图像。在此种情形中，数据获得单元81可从各种通信模块(例如收发器)获得图像。
[0090] 模型学习单元82可基于学习数据来学习用于确定输入图像21的噪声并移除所述噪声的准则。模型学习单元82可学习增益来作为移除噪声的最优值。举例来说，模型学习单元82可比第二原始特征图RFM_2的特征值更重地强调第一原始特征图RFM_1的特征值，以从输入图像21移除噪声。经强调的特征值可在求和后的特征图SFM中比其它特征值显得更加突出且实现预定目标(例如噪声降低)。为此，模型学习单元82可对多个增益进行不同程度的学习。作为实例，模型学习单元82对与在第一层310_1处产生的第一原始特征图RFM_1对应的第一增益(例如，第一增益值G_1或第一增益内核322_1)的学习可不同于对与第二原始特征图RFM_2对应的第二增益(例如，第二增益值G_2或第二增益内核322_2)的学习。作为另一实例，模型学习单元82可学习第一增益值G_1及第二增益值G_2，使得第一增益值G_1大于第二增益值G_2。
[0091] 模型学习单元82可使用各种学习算法来使神经网络装置300进行学习。举例来说，所述学习算法可包括例如误差反向传播(error back-propagation)及梯度下降(gradient descent)等各种算法。此外，模型学习单元82可通过使用学习数据(例如，多对输入图像21与输出图像22)作为输入值进行监督式学习来使神经网络装置300进行学习。作为另一选择，模型学习单元82可通过使用通过输入图像21与输出图像22之间的比较而得到的关于是否已从输入图像21适当地移除噪声的反馈进行强化学习来使神经网络装置300进行学习。
[0092] 如上所述，模型学习单元82可将所学习的数据(例如，第一增益值G_1至第N增益值G_N、第一增益矩阵GM_1至第N增益矩阵GM_N及第一增益内核GK_1至第N增益内核GK_N中的至少一者)存储在电子系统10的存储器中。电子系统10的存储器可包括存储器14、第一存储器42及第二存储器60中的至少一者。此外，模型学习单元82可将经过学习的神经网络装置300以及神经网络装置300中所包含的数据及参数存储在存储器中。
[0093] 模型估计单元83可将估计数据输入到神经网络装置300，并在根据所述估计数据而输出的数据不满足预定准则时使模型学习单元82能够再次学习。在此种情形中，所述估计数据可为用于估计神经网络装置300的预设数据(例如，图像数据)。
[0094] 举例来说，当输入图像21的噪声剩余区域(noise-remaining region)对帧的比率超过预定临界值时，模型估计单元83可估计出被输入了估计数据的经过学习的神经网络装置300的输出数据不满足预定准则。
[0095] 同时，数据获得单元81、模型学习单元82及模型估计单元83中的至少一者可被制造为至少一个硬件芯片的类型且安装在电子系统10中。例如，数据获得单元81、模型学习单元82及模型估计单元83中的至少一者可被制造为专用于人工智能(artificial intelligence，AI)的硬件芯片或者专用于神经网络运算的硬件芯片(例如，神经元处理器(neuronal processing unit，NPU))的类型、或者被制造为现有通用处理器(例如，CPU或应用处理器)或图形专用处理器(例如，图形处理器(graphics processing unit，GPU))的一部分，并安装在各种电子装置中。
[0096] 此外，数据获得单元81、模型学习单元82及模型估计单元83可安装在一个电子系统10中或分别安装在单独的电子装置中。举例来说，数据获得单元81、模型学习单元82及模型估计单元83中的一些单元可包含于电子系统10中，且其余的单元可包含于服务器中。
[0097] 另外，可将数据获得单元81、模型学习单元82及模型估计单元83中的至少一者实现为软件模块。当将数据获得单元81、模型学习单元82及模型估计单元83中的至少一者实现为软件模块(或包含指令的程序模块)时，所述软件模块可存储在非暂时性计算机可读记录媒体中。在此种情形中，至少一个软件模块可由OS或预定应用提供。作为另一选择，至少一个软件模块中的一些软件模块可由OS提供，且其余软件模块可由预定应用提供。
[0098] 图8A、图8B及图8C分别是进一步示出从输入图像移除噪声以产生对应输出图像的可能效果的图。此处，在图8A、图8B及图8C所示的第一输入图像21a、第二输入图像21b及第三输入图像21c中显而易见的各种图像噪声91、92及93可为图像帧中各种图像参数(例如，分辨率、亮度、色度及RGB值)出现变化的至少局部图像区域。
[0099] 图8A示出其中在紧密靠近成像传感器(例如，照相机镜头)处存在小尺寸的非预期物体(例如，照相机镜头上的小尘埃或指纹)的情景。在此种情形中，噪声91可以以不规则的形式出现在第一输入图像21a的所选区域中。
[0100] 图8B示出其中在预期物体与成像传感器(例如，照相机镜头)之间距成像传感器比距物体稍微更近处存在非预期物体(例如，围栏金属丝)的情景。在此种情形中，可出现具有图案化形状的噪声92。举例来说，当照相机镜头被设置成距围栏金属丝比距预期物体更近时，照相机镜头的焦点可固定在物体上，然而所捕获的图像可包含与围栏相关联的前方荫蔽噪声(foreshadowing noise)。
[0101] 图8C示出其中在预期物体周围存在分散式非预期物体(例如，浓烟或浓雾)的情景。此种情景往往使所捕获的图像模糊(或发生颜色偏斜)，这是因为跨越图像广泛地包含噪声93。
[0102] 这些情景仅为由接近预期物体的各种类型的非预期物体引起的图像噪声的所选实例(例如，91、92、93)。然而，可使用像以上所述的包括神经网络装置13/300的实施例一样的实施例来从输入图像21有效地移除此种噪声并产生经改善的输出图像22。
[0103] 根据实施例，可使用成对的输入图像与输出图像(例如一对第一输入图像21a与输出图像22、一对第二输入图像21b与输出图像22及一对第三输入图像21c与输出图像22)来使神经网络装置300进行学习。举例来说，可学习增益值G_1至G_N、增益矩阵GM_1至GM_N及增益内核GK_1至GK_N中的至少一者。
[0104] 图9是在一个实施例中概述操作像以上参照图1、图3、图4、图6及图7所述的电子系统一样的电子系统的方法的流程图。在下文，将关于图1所示实施例来阐述示例性操作方法。
[0105] 在操作S710中，神经网络装置13可使用第一层310_1接收输入图像并将第一原始特征图RFM_1提供到第二层310_2。
[0106] 在操作S720中，神经网络装置13可使用第x层对第x-1原始特征图进行卷积运算并产生第x原始特征图。此处，x的初始值可为2。换句话说，神经网络装置13可使用第二层310_2将第一原始特征图RFM_1与第一权重图进行卷积运算并产生第二原始特征图RFM_2。
[0107] 在操作S730中，神经网络装置13可将第x原始特征图提供到第x+1层，对第x原始特征图应用第x增益并存储第x输出特征图。举例来说，神经网络装置13可将第二原始特征图RFM_2提供到第三层310_3，对第二原始特征图RFM_2应用与第二原始特征图RFM_2对应的第二增益，并产生第二输出特征图OFM_2。
[0108] 在执行操作S720及S730之后，神经网络装置13可重复操作S720及S730，以产生后续输出特征图，例如第三输出特征图及第四输出特征图。也就是说，神经网络装置13可重复地执行操作S720及S730，直至产生第N输出特征图OFM_N为止。
[0109] 在操作S740中，神经网络装置13可使用第N层310_N对第N原始特征图RFM_N应用第N增益并产生第N输出特征图OFM_N。在此种情形中，第一层310_1至第N层310_N可被级联连接。由于以上参照图3详细阐述了第一层310_1至第N层310_N的级联连接，因此不再对此予以赘述。
[0110] 根据实施例，神经网络装置13可通过以1为增量将x从2增大至N-1(N为多个层的数目)而重复地执行操作S720及S730，且执行操作S740。因此，神经网络装置13可产生第一输出特征图OFM_1至第N输出特征图OFM_N。
[0111] 根据另一实施例，只有当x是2至N-1的某一值时,神经网络装置13才可执行操作S720及S730，且可不执行操作S740。当不执行操作S740时，神经网络装置13可在执行操作S730之后执行操作S750。举例来说，神经网络装置13可产生第一输出特征图OFM_1至第N输出特征图OFM_N中的仅一些输出特征图，例如第一输出特征图、第四输出特征图及第六输出特征图。
[0112] 在操作S750中，神经网络装置13可对所产生的输出特征图进行求和并产生求和后的特征图SFM。举例来说，求和后的特征图SFM可为其中通过增益有区别地反映相应各层的特性的特征图。
[0113] 在操作S760中，神经网络装置13可将求和后的特征图SFM重构成输出图像22。作为实例，神经网络装置13可使用重构层340将求和后的特征图SFM重构成输出图像22。重构层340可为卷积层，且被实现为可将特征图重构成图像数据形式的各种层。
[0114] 在以上说明及附图中公开了本发明概念的典型示例性实施例。虽然采用了具体用语，然而所述用语应仅以一般性及说明性意义而非出于限制目的来加以使用。所属领域中的普通技术人员应理解，可在不背离由以上权利要求书界定的本发明概念的精神及范围的条件下对所公开的实施例作出形式及细节上的各种改变。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种基于多智能体Q学习的车载通信MAC层信道接入方法 | 2020-05-12 | 355 |
| 一种城市快速路智慧交通管控方法和系统 | 2020-05-13 | 25 |
| 一种基于强化学习的泊车路径规划方法 | 2020-05-08 | 724 |
| 一种作业推送的方法、系统、设备和存储介质 | 2020-05-11 | 968 |
| 一种基于奖励重塑强化学习的飞行器智能引导方法 | 2020-05-14 | 896 |
| 一种基于λ-回报的异策略多智能体强化学习协作方法 | 2020-05-11 | 375 |
| 一种多用户、多任务的移动边缘计算系统中可缓存的任务迁移方法 | 2020-05-12 | 739 |
| 一种IP-光网络通信业务联合分配方法及装置 | 2020-05-08 | 579 |
| 视频摘要模型的训练方法、视频摘要生成方法及装置 | 2020-05-13 | 605 |
| 一种基于奖励反馈的智能蜜罐系统 | 2020-05-11 | 212 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈