用于图像识别的深度学习模型、该模型的训练装置及方法专利检索-深度学习机器学习人工智能专利检索查询-专利查询网

用于图像识别的 深度学习模型、该模型的训练装置及方法

阅读：260发布：2020-05-08

专利汇可以提供用于图像识别的深度学习模型、该模型的训练装置及方法专利检索，专利查询，专利分析的服务。并且本发明实施例提供一种用于图像识别的深度学习模型、该模型的训练装置及方法，该模型具有用于确定特征图中的各个特征是否为关注对象所在位置的特征的确定层，并在对特征进行加权合成时对关注对象所在位置的特征和其他特征赋予不同的权值，因此能够引导该模型聚焦于需要关注的特征并做出正确的判断，从而提高了该模型的性能和精度。，下面是用于图像识别的深度学习模型、该模型的训练装置及方法专利的具体信息内容。

权利要求

1.一种用于图像识别的深度学习模型，所述模型包括：
多个卷积层，其对输入图像依次进行特征提取，输出多个尺寸相同的特征图；
确定层，其根据所述输入图像中的关注对象所在的位置，确定所述特征图包含的与位置相关的各个特征是否为所述关注对象所在位置的特征；
合成层，其根据所述确定层的输出结果，对所述多个卷积层输出的所述多个特征图中的特征进行加权合成处理，所述关注对象所在位置的特征的权值与其他特征的权值不同；
以及
全连接层，其根据所述合成层进行加权合成处理后的多个特征图，输出识别结果。
2.根据权利要求1所述的深度学习模型，其中，
所述合成层将所述多个特征图与所述特征图包含的与位置相关的各个特征的权值相乘，获得加权合成处理后的多个特征图。
3.根据权利要求1所述的深度学习模型，其中，所述深度学习模型还包括：
长短期记忆层，其设置在所述合成层和所述全连接层之间，
所述输入图像是在时间上连续的帧序列。
4.一种根据权利要求1-3中的任一项所述的深度学习模型的训练装置，所述装置包括：
输入单元，其用于向所述深度学习模型的所述多个卷积层输入训练图像；
第一计算单元，其用于根据所述深度学习模型的所述确定层的输出结果和预先设定的关注对象所在的位置的真值，计算关注损失；
第二计算单元，其用于根据所述深度学习模型的所述全连接层的输出结果和预先设定的分类真值，计算分类损失；以及
调整单元，其用于根据所述关注损失和所述分类损失进行反向传播，以调整所述深度学习模型的所述多个卷积层和所述确定层的参数。
5.根据权利要求4所述的装置，其中，
所述第一计算单元计算所述确定层输出的各个特征所在位置是关注对象的概率与所述位置是关注对象的真值的差值的累计值，获得所述关注损失。
6.根据权利要求4所述的装置，其中，
所述调整单元根据所述关注损失和所述分类损失的加权和进行反向传播，以调整所述深度学习模型的所述多个卷积层和所述确定层的参数。
7.根据权利要求6所述的装置，其中，所述装置还包括：
确定单元，其用于确定所述关注损失和分类损失各自的权值。
8.一种根据权利要求1-3中的任一项所述的深度学习模型的训练方法，所述方法包括：
向所述深度学习模型的所述多个卷积层输入训练图像；
根据所述深度学习模型的所述确定层的输出结果和预先设定的关注对象所在的位置的真值，计算关注损失；
根据所述深度学习模型的所述全连接层的输出结果和预先设定的分类真值，计算分类损失；以及
根据所述关注损失和所述分类损失进行反向传播，以调整所述深度学习模型的所述多个卷积层和所述确定层的参数。
9.根据权利要求8所述的方法，其中，
所述根据所述深度学习模型的所述确定层的输出结果和预先设定的关注对象所在的位置的真值，计算关注损失，包括：
计算所述确定层输出的各个特征所在位置是关注对象的概率与所述位置是关注对象的真值的差值的累计值，获得所述关注损失。
10.根据权利要求8所述的方法，其中，
所述根据所述关注损失和所述分类损失进行反向传播，以调整所述深度学习模型的所述多个卷积层和所述确定层的参数，包括：
根据所述关注损失和所述分类损失的加权和进行反向传播，以调整所述深度学习模型的所述多个卷积层和所述确定层的参数。

说明书全文

用于图像识别的 深度学习模型、该模型的训练装置及方法

技术领域

[0001] 本发明涉及信息技术领域，尤其涉及一种用于图像识别的深度学习模型、该模型的训练装置及方法。

背景技术

[0002] 近年来，在深度学习的帮助下，计算机视觉领域的研究取得了很大的进步。深度学习是指在分层神经网络上运用各种机器学习算法解决图像、文本等各种问题的算法集合。深度学习的核心是特征学习，旨在通过分层神经网络获取分层次的特征信息，从而解决以往需要人工设计特征的重要难题。常见的深度学习模型例如具有卷积神经网络(Convolutional Neural Network，CNN)，卷积神经网络通过将数据量庞大的图像特征不断降维，最终使得这些图像特征能够被训练。

[0003] 应该注意，上面对技术背景的介绍只是为了方便对本发明的技术方案进行清楚、完整的说明，并方便本领域技术人员的理解而阐述的。不能仅仅因为这些方案在本发明的背景技术部分进行了阐述而认为上述技术方案为本领域技术人员所公知。

发明内容

[0004] 发明人发现，在对卷积层输出的特征图进行可视化时，存在一些问题。例如，尽管深度学习模型做出了正确的判断，但是，深度学习模型提取的特征与真值无关。如果该深度学习模型在训练过程中学习到错误的信息，在训练过程中该深度学习模型就不具备良好的普适性。并且，由于该深度学习模型在训练过程中对于作为训练样本的特征都进行相同的处理，导致该模型的性能和精度受到了限制。

[0005] 本发明实施例提供一种用于图像识别的深度学习模型、该模型的训练装置及方法，该模型具有用于确定特征图中的各个特征是否为关注对象所在位置的特征的确定层，并在对特征进行加权合成时对关注对象所在位置的特征和其他特征赋予不同的权值，因此能够引导该模型聚焦于需要关注的特征并做出正确的判断，从而提高了该模型的性能和精度。

[0006] 根据本发明实施例的第一方面，提供一种用于图像识别的深度学习模型，所述模型包括：多个卷积层，其对输入图像依次进行特征提取，输出多个尺寸相同的特征图；确定层，其根据所述输入图像中的关注对象所在的位置，确定所述特征图包含的与位置相关的各个特征是否为所述关注对象所在位置的特征；合成层，其根据所述确定层的输出结果，对所述多个卷积层输出的所述多个特征图中的特征进行加权合成处理，所述关注对象所在位置的特征的权值与其他特征的权值不同；以及全连接层，其根据所述合成层进行加权合成处理后的多个特征图，输出识别结果。

[0007] 根据本发明实施例的第二方面，提供一种根据本发明实施例的第一方面所述的深度学习模型的训练装置，所述装置包括：输入单元，其用于向所述深度学习模型的所述多个卷积层输入训练图像；第一计算单元，其用于根据所述深度学习模型的所述确定层的输出结果和预先设定的关注对象所在的位置的真值，计算关注损失；第二计算单元，其用于根据所述深度学习模型的所述全连接层的输出结果和预先设定的分类真值，计算分类损失；以及调整单元，其用于根据所述关注损失和所述分类损失进行反向传播，以调整所述深度学习模型的所述多个卷积层和所述确定层的参数。

[0008] 根据本发明实施例的第三方面，提供一种电子设备，所述电子设备包括根据本发明实施例的第二方面所述的装置。

[0009] 根据本发明实施例的第四方面，提供一种根据本发明实施例的第一方面所述的深度学习模型的训练方法，所述方法包括：向所述深度学习模型的所述多个卷积层输入训练图像；根据所述深度学习模型的所述确定层的输出结果和预先设定的关注对象所在的位置的真值，计算关注损失；根据所述深度学习模型的所述全连接层的输出结果和预先设定的分类真值，计算分类损失；以及根据所述关注损失和所述分类损失进行反向传播，以调整所述深度学习模型的所述多个卷积层和所述确定层的参数。

[0010] 本发明的有益效果在于：由于该模型具有用于确定特征图中的各个特征是否为关注对象所在位置的特征的确定层，并在对特征进行加权合成时对关注对象所在位置的特征和其他特征赋予不同的权值，因此能够引导该模型聚焦于需要关注的特征并做出正确的判断，从而提高了该模型的性能和精度。

[0011] 参照后文的说明和附图，详细公开了本发明的特定实施方式，指明了本发明的原理可以被采用的方式。应该理解，本发明的实施方式在范围上并不因而受到限制。在所附权利要求的精神和条款的范围内，本发明的实施方式包括许多改变、修改和等同。

[0012] 针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。

[0013] 应该强调，术语“包括/包含”在本文使用时指特征、整件、步骤或组件的存在，但并不排除一个或更多个其它特征、整件、步骤或组件的存在或附加。

附图说明

[0014] 所包括的附图用来提供对本发明实施例的进一步的理解，其构成了说明书的一部分，用于例示本发明的实施方式，并与文字描述一起来阐释本发明的原理。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。在附图中：

[0015] 图1是本发明实施例1的用于图像识别的深度学习模型的一示意图；

[0016] 图2是本发明实施例1的输入图像的一示意图；

[0017] 图3是本发明实施例1的对输入图像的多个特征图进行加权和合成的一示意图；

[0018] 图4是本发明实施例2的训练装置的一示意图；

[0019] 图5是本发明实施例2的关注对象的真值设定的一示意图；

[0020] 图6是本发明实施例2的训练过程的一示意图；

[0021] 图7是本发明实施例3的电子设备的一示意图；

[0022] 图8是本发明实施例3的电子设备的系统构成的一示意框图；

[0023] 图9是本发明实施例4的训练方法的一示意图。

具体实施方式

[0024] 参照附图，通过下面的说明书，本发明的前述以及其它特征将变得明显。在说明书和附图中，具体公开了本发明的特定实施方式，其表明了其中可以采用本发明的原则的部分实施方式，应了解的是，本发明不限于所描述的实施方式，相反，本发明包括落入所附权利要求的范围内的全部修改、变型以及等同物。

[0025] 实施例1

[0026] 本发明实施例提供一种用于图像识别的深度学习模型。图1是本发明实施例1的用于图像识别的深度学习模型的一示意图。如图1所示，深度学习模型100包括：

[0027] 多个卷积层101-1～101-N，其对输入图像依次进行特征提取，输出多个尺寸相同的特征图；

[0028] 确定层102，其根据该输入图像中的关注对象所在的位置，确定该特征图包含的与位置相关的各个特征是否为该关注对象所在位置的特征；

[0029] 合成层103，其根据该确定层102的输出结果，对该多个卷积层输出的该多个特征图中的特征进行加权合成处理，该关注对象所在位置的特征的权值与其他特征的权值不同；以及

[0030] 全连接层104，其根据该合成层103进行加权合成处理后的多个特征图，输出识别结果。

[0031] 由上述实施例可知，由于该模型具有用于确定特征图中的各个特征是否为关注对象所在位置的特征的确定层，并在对特征进行加权合成时对关注对象所在位置的特征和其他特征赋予不同的权值，因此能够引导该模型聚焦于需要关注的特征并做出正确的判断，从而提高了该模型的性能和精度。

[0032] 在本实施例中，该多个卷积层101-1～101-N可以使用现有的网络结构，N为大于或等于2的整数，该卷积层的数量可以根据实际需要而设置。

[0033] 在本实施例中，多个卷积层101-1～101-N依次对输入图像依次进行特征提取，输出多个尺寸相同的特征图，该输入图像可以是各种类型的图像，例如，视频的至少一帧图像。

[0034] 在本实施例中，提取的特征可以是作为输入数据的各种特征，例如，轮廓、纹理、亮度等。

[0035] 在本实施例中，多个卷积层101-1～101-N对输入图像进行特征提取后得到多个尺寸相同的特征图，例如，多个尺寸相同的特征图可以表示为c×m×n，其中，c表示特征图的数量，c为大于或等于2的整数，其由卷积层的卷积核的个数决定；m×n表示各个特征图的尺寸，其由输入图像的尺寸以及卷积层的卷积步长决定，m表示该特征图的长度方向的尺寸，即在长度方向上具有m个特征，n表示该特征图的宽度方向的尺寸，即在宽度方向上具有n个特征。m和n为正整数，m和n可以相同，也可以不同。

[0036] 在多个卷积层101-1～101-N输出多个尺寸相同的特征图之后，确定层102根据该输入图像中的关注对象所在的位置，确定该特征图包含的与位置相关的各个特征是否为该关注对象所在位置的特征。

[0037] 在本实施例中，该关注对象是根据实际需要而预先确定的，例如，需要对篮球视频图像中的投篮进行识别，则可以将打球的人和篮球作为关注对象。打球的人和篮球所在的位置也就是是关注对象所在的位置。为了便于计算，可以将打球的人和篮球划入其中的框所在的区域作为关注对象所在的位置。

[0038] 图2是本发明实施例1的输入图像的一示意图。如图2所示，可以将打球的人所在的框201和篮球所在的框202所在的区域作为关注对象所在的位置。

[0039] 确定层102在获得了输入图像中的关注对象所在的位置之后，就能够确定特征图中的哪些特征是该关注对象所在位置的特征，并将确定结果输出。这样，合成层103根据该确定层102的输出结果，对多个卷积层101-1～101-N输出的多个特征图中的特征进行加权合成处理，该关注对象所在位置的特征的权值与其他特征的权值不同

[0040] 在本实施例中，可以将该关注对象所在位置的特征的权值设置为大于其他特征的权值。例如，将该关注对象所在位置的特征的权值设置为大于或等于1，将其他特征的权值设置为大于等于0且小于1的数值。

[0041] 另外，也可以是，可以将该关注对象所在位置的特征的权值设置为大于其他特征的权值。在本实施例中，只要这两种特征的权值不同，该模型就能够区分出这两种特征从而进行不同的处理。

[0042] 在本实施例中，该合成层103可以将该多个特征图与该特征图包含的与位置相关的各个特征的权值相乘，获得加权合成处理后的多个特征图。

[0043] 图3是本发明实施例1的对输入图像的多个特征图进行加权和合成的一示意图。图3所示，301表示输入图像，302表示从输入图像301中提取的多个特征图X，特征图的数量为c，各个特征图的尺寸为m×m，303表示一个特征图中的各个特征的权值柱状图，高度较高的权值为关注对象所在位置的特征的权值，高度较低的权值为其他特征的权值；将302表示的多个特征图X与303表示的一个特征图中的各个特征的权值相乘，得到以304表示的加权合成处理后的多个特征图另外，305表示对关注对象所在位置的特征进行加强(即增加权值)后得到的图像。

[0044] 在本实施例中，将合成层103输出加权合成处理后的多个特征图输入全连接层104，得到识别结果。

[0045] 在本实施例中，该全连接层104可以使用现有的网络结构。

[0046] 该识别结果是对输入图像的识别结果，例如，对于识别“投篮”为目的的模型，其输入了如图2所示的输入图像，得到的输出结果可以是：“投篮：0.8；非投篮：0.2”，即投篮的概率为0.8，不是投篮的概率为0.2。

[0047] 本实施例的深度学习模型100可以应用于各种具体的领域。例如，该深度学习模型100可以用于动作检测，例如上面的示例中的“投篮”动作。

[0048] 又例如，该深度学习模型100还可以用于事件检测，例如对于交通事故的检测，通过该深度学习模型100可以直接检测交通事故而不仅限于场景的变换，而传统方法则需要人工制定复杂的规则。

[0049] 当用于事件检测时，输入图像需要是在时间上连续的帧序列，例如监控视频的连续的帧序列。

[0050] 并且，该深度学习模型100还可以包括：

[0051] 长短期记忆(Long Short-Term Memory，LSTM)层105，其设置在合成层103和全连接层104之间。

[0052] 这样，通过在深度学习模型中设置LSTM层，能够利用其随着时间记忆有用信息而忘掉无用信息的特性，针对时间上连续的帧序列进行识别。

[0053] 由上述实施例可知，由于该模型具有用于确定特征图中的各个特征是否为关注对象所在位置的特征的确定层，并在对特征进行加权合成时对关注对象所在位置的特征和其他特征赋予不同的权值，因此能够引导该模型聚焦于需要关注的特征并做出正确的判断，从而提高了该模型的性能和精度。

[0054] 实施例2

[0055] 本发明实施例还提供一种如实施例1所述的用于图像识别的深度学习模型的训练装置。该深度学习模型的结构如图1所示，该深度学习模型100包括：多个卷积层101-1～101-N、确定层102、合成层103以及全连接层104。

[0056] 图4是本发明实施例2的训练装置的一示意图。如图4所示，训练装置400包括：

[0057] 输入单元401，其用于向该深度学习模型100的该多个卷积层101-1～101-N输入训练图像；

[0058] 第一计算单元402，其用于根据该深度学习模型100的该确定层102的输出结果和预先设定的关注对象所在的位置的真值，计算关注损失；

[0059] 第二计算单元403，其用于根据该深度学习模型100的该全连接层104的输出结果和预先设定的分类真值，计算分类损失；以及

[0060] 调整单元404，其用于根据该关注损失和该分类损失进行反向传播，以调整该深度学习模型100的该多个卷积层101-1～101-N和该确定层102的参数。

[0061] 这样，通过结合关注损失和分类损失进行反向传播，能够有效且迅速的对深度学习模型100进行训练。

[0062] 在本实施例中，该训练图像可以是各种类型的图像，其具体的内容可以根据深度学习模型的识别需求而确定。例如，其识别需求是检测“投篮”动作，那么可以将打篮球的视频的多个帧图像作为训练图像。

[0063] 在本实施例中，可以在卷积神经网络框架(Caffe，Convolutional Architecture for Fast Feature Embedding)上进行训练。

[0064] 在本实施例中，第一计算单元402可以计算该确定层输出的各个特征所在位置是关注对象的概率与该位置是关注对象的真值的差值的累计值，获得该关注损失。

[0065] 例如，第一计算单元402可以根据以下的公式(1)计算关注损失：

[0066]

[0067] 其中，Lossattention表示关注损失，li，j表示确定层102输出的特征(i，j)是关注对象所在位置的特征的概率，表示该特征(i，j)是关注对象所在位置的真值，m表示特征图的长和宽的尺寸，i，j，m均为正整数。

[0068] 图5是本发明实施例2的关注对象的真值设定的一示意图。如图5所示，对于输入图像501中的关注对象所在位置的真值进行标定，得到关注对象的位置真值图502，其中，标签“1”表示该位置是关注对象所在的位置，标签“0”表示该位置不是关注对象所在的位置，由于输入图像的特征经过卷积层后进行了降维，因此需要对该位置真值图502进行相应的降维，得到降维后的位置真值图503，其尺寸与特征图相同，均为m×m。

[0069] 在本实施例中，第二计算单元403根据该全连接层104的输出结果和预先设定的分类真值，计算分类损失。计算分类损失的具体方法可以参考现有技术。

[0070] 例如，输入了如图2所示的图像作为训练图像，得到的输出结果可以是：“投篮：0.7；非投篮：0.3”，即投篮的概率为0.7。对于该训练图像其预先设定的分类真值为“1”，则分类损失即为1-0.7＝0.3。

[0071] 在本实施例中，调整单元404根据该关注损失和该分类损失进行反向传播，以调整该多个卷积层101-1～101-N和该确定层102的参数

[0072] 例如，该调整单元404根据该关注损失和该分类损失的加权和进行反向传播，以调整该多个卷积层101-1～101-N和该确定层102的参数。

[0073] 例如，可以根据以下的公式(2)计算该关注损失和该分类损失的加权和：

[0074] Loss＝λ1Lossattention+λ2Lossclassification

[0075] 其中，Lossattention表示关注损失，Lossclassification表示分类损失，Loss表示该关注损失和该分类损失的加权和，λ1和λ2分别表示关注损失和分类损失的权值。

[0076] 在本实施例中，该调整单元404进行反向传播以调整该多个卷积层101-1～101-N和该确定层102的参数的方法可以参考现有技术。例如，根据该关注损失和该分类损失的加权和对于权重参数和偏置参数的偏导数，调整各层的权重参数和偏置参数。

[0077] 在本实施例中，该训练装置400还可以包括：

[0078] 确定单元405，其用于确定该关注损失和分类损失各自的权值。例如，确定单元405根据实际需要来确定其各自的权值。

[0079] 图6是本发明实施例2的训练过程的一示意图。如图6所示，输入单元401输出训练图像，训练图像被输入至待训练的深度学习模型，并根据该训练图像确定关注对象的位置真值以及分类真值，第一计算单元402根据该位置真值以及确定层102的输出结果计算位置损失，第二计算单元403根据该分类真值和全连接层104的输出结果计算分类损失，调整单元104根据该关注损失和该分类损失的加权和进行反向传播，以调整该多个卷积层101-1～101-N和该确定层102的参数，其中以虚线箭头表示对这些层参数的调整；当该关注损失和该分类损失的加权和收敛时，可以认为训练结束。

[0080] 由上述实施例可知，通过结合关注损失和分类损失进行反向传播，能够有效且迅速的训练得到实施例1记载的深度学习模型。

[0081] 实施例3

[0082] 本发明实施例还提供了一种电子设备，图7是本发明实施例3的电子设备的一示意图。如图7所示，电子设备700包括训练装置701，该训练装置701用于对如实施例1所述的深度学习模型进行训练，该训练装置701的结构和功能与实施例2中的记载相同，此处不再赘述。

[0083] 图8是本发明实施例3的电子设备的系统构成的一示意框图。如图8所示，电子设备800可以包括中央处理器801和存储器802；该存储器802耦合到该中央处理器801。该图是示例性的；还可以使用其它类型的结构，来补充或代替该结构，以实现电信功能或其它功能。

[0084] 如图8所示，该电子设备800还可以包括：输入单元803、显示器804、电源805。

[0085] 在一个实施方式中，实施例2所述的训练装置的功能可以被集成到该中央处理器801中。其中，该中央处理器801可以被配置为：向该深度学习模型的该多个卷积层输入训练图像；根据该深度学习模型的该确定层的输出结果和预先设定的关注对象所在的位置的真值，计算关注损失；根据该深度学习模型的该全连接层的输出结果和预先设定的分类真值，计算分类损失；以及根据该关注损失和该分类损失进行反向传播，以调整该深度学习模型的该多个卷积层和该确定层的参数。

[0086] 例如，该根据该深度学习模型的该确定层的输出结果和预先设定的关注对象所在的位置的真值，计算关注损失，包括：计算该确定层输出的各个特征所在位置是关注对象的概率与该位置是关注对象的真值的差值的累计值，获得该关注损失。

[0087] 例如，该根据该关注损失和该分类损失进行反向传播，以调整该深度学习模型的该多个卷积层和该确定层的参数，包括：根据该关注损失和该分类损失的加权和进行反向传播，以调整该深度学习模型的该多个卷积层和该确定层的参数。

[0088] 例如，该中央处理器801还可以被配置为：确定该关注损失和分类损失各自的权值。

[0089] 在另一个实施方式中，实施例2所述的训练装置可以与该中央处理器801分开配置，例如可以将该训练装置配置为与该中央处理器801连接的芯片，通过该中央处理器801的控制来实现该训练装置的功能。

[0090] 在本实施例中该电子设备800也并不是必须要包括图8中所示的所有部件。

[0091] 如图8所示，该中央处理器801有时也称为控制器或操作控件，可以包括微处理器或其它处理器装置和/或逻辑装置，该中央处理器801接收输入并控制该电子设备800的各个部件的操作。

[0092] 该存储器802，例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。并且该中央处理器801可执行该存储器802存储的该程序，以实现信息存储或处理等。其它部件的功能与现有类似，此处不再赘述。该电子设备800的各部件可以通过专用硬件、固件、软件或其结合来实现，而不偏离本发明的范围。

[0093] 由上述实施例可知，通过结合关注损失和分类损失进行反向传播，能够有效且迅速的训练得到实施例1记载的深度学习模型。

[0094] 实施例4

[0095] 本发明实施例还提供一种如实施例1所述的用于图像识别的深度学习模型的训练方法，该训练方法对应于实施例2的训练装置。图9是本发明实施例4的训练方法的一示意图。如图9所示，该方法包括：

[0096] 步骤901：向该深度学习模型的该多个卷积层输入训练图像；

[0097] 步骤902：根据该深度学习模型的该确定层的输出结果和预先设定的关注对象所在的位置的真值，计算关注损失；

[0098] 步骤903：根据该深度学习模型的该全连接层的输出结果和预先设定的分类真值，计算分类损失；以及

[0099] 步骤904：根据该关注损失和该分类损失进行反向传播，以调整该深度学习模型的该多个卷积层和该确定层的参数。

[0100] 在本实施例中，步骤902和步骤903可以先后执行，例如，先执行步骤902再执行步骤903，或者，先执行步骤903再执行步骤902。另外，也可以是，同时执行步骤902和步骤903。本发明实施例不对步骤902和步骤903的执行顺序进行限制。

[0101] 在本实施例中，上述各个步骤的具体实现方法与实施例2中的记载相同，此处不再重复。

[0102] 由上述实施例可知，通过结合关注损失和分类损失进行反向传播，能够有效且迅速的训练得到实施例1记载的深度学习模型。

[0103] 本发明实施例还提供一种计算机可读程序，其中当在深度学习模型的训练装置或电子设备中执行所述程序时，所述程序使得计算机在所述深度学习模型的训练装置或电子设备中执行实施例4所述的深度学习模型的训练方法。

[0104] 本发明实施例还提供一种存储有计算机可读程序的存储介质，其中所述计算机可读程序使得计算机在深度学习模型的训练装置或电子设备中执行实施例4所述的深度学习模型的训练方法。

[0105] 结合本发明实施例描述的在所述深度学习模型的训练装置或电子设备中执行深度学习模型的训练方法可直接体现为硬件、由处理器执行的软件模块或二者组合。例如，图4中所示的功能框图中的一个或多个和/或功能框图的一个或多个组合，既可以对应于计算机程序流程的各个软件模块，亦可以对应于各个硬件模块。这些软件模块，可以分别对应于图9所示的各个步骤。这些硬件模块例如可利用现场可编程门阵列(FPGA)将这些软件模块固化而实现。

[0106] 软件模块可以位于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、移动磁盘、CD-ROM或者本领域已知的任何其它形式的存储介质。可以将一种存储介质耦接至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息；或者该存储介质可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。该软件模块可以存储在移动终端的存储器中，也可以存储在可插入移动终端的存储卡中。例如，如果电子设备采用的是较大容量的MEGA-SIM卡或者大容量的闪存装置，则该软件模块可存储在该MEGA-SIM卡或者大容量的闪存装置中。

[0107] 针对图4描述的功能框图中的一个或多个和/或功能框图的一个或多个组合，可以实现为用于执行本申请所描述功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立门或晶体管逻辑器件、分立硬件组件、或者其任意适当组合。针对图4描述的功能框图中的一个或多个和/或功能框图的一个或多个组合，还可以实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、与DSP通信结合的一个或多个微处理器或者任何其它这种配置。

[0108] 以上结合具体的实施方式对本发明进行了描述，但本领域技术人员应该清楚，这些描述都是示例性的，并不是对本发明保护范围的限制。本领域技术人员可以根据本发明的精神和原理对本发明做出各种变型和修改，这些变型和修改也在本发明的范围内。

[0109] 关于包括以上实施例的实施方式，还公开下述的附记：

[0110] 附记1.一种用于图像识别的深度学习模型，所述模型包括：

[0111] 多个卷积层，其对输入图像依次进行特征提取，输出多个尺寸相同的特征图；

[0112] 确定层，其根据所述输入图像中的关注对象所在的位置，确定所述特征图包含的与位置相关的各个特征是否为所述关注对象所在位置的特征；

[0113] 合成层，其根据所述确定层的输出结果，对所述多个卷积层输出的所述多个特征图中的特征进行加权合成处理，所述关注对象所在位置的特征的权值与其他特征的权值不同；以及

[0114] 全连接层，其根据所述合成层进行加权合成处理后的多个特征图，输出识别结果。

[0115] 附记2.根据附记1所述的深度学习模型，其中，

[0116] 所述合成层将所述多个特征图与所述特征图包含的与位置相关的各个特征的权值相乘，获得加权合成处理后的多个特征图。

[0117] 附记3.根据附记1所述的深度学习模型，其中，所述深度学习模型还包括：

[0118] 长短期记忆层，其设置在所述合成层和所述全连接层之间，

[0119] 所述输入图像是在时间上连续的帧序列。

[0120] 附记4.一种根据附记1-3中的任一项所述的深度学习模型的训练装置，所述装置包括：

[0121] 输入单元，其用于向所述深度学习模型的所述多个卷积层输入训练图像；

[0122] 第一计算单元，其用于根据所述深度学习模型的所述确定层的输出结果和预先设定的关注对象所在的位置的真值，计算关注损失；

[0123] 第二计算单元，其用于根据所述深度学习模型的所述全连接层的输出结果和预先设定的分类真值，计算分类损失；以及

[0124] 调整单元，其用于根据所述关注损失和所述分类损失进行反向传播，以调整所述深度学习模型的所述多个卷积层和所述确定层的参数。

[0125] 附记5.根据附记4所述的装置，其中，

[0126] 所述第一计算单元计算所述确定层输出的各个特征所在位置是关注对象的概率与所述位置是关注对象的真值的差值的累计值，获得所述关注损失。

[0127] 附记6.根据附记4所述的装置，其中，

[0128] 所述调整单元根据所述关注损失和所述分类损失的加权和进行反向传播，以调整所述深度学习模型的所述多个卷积层和所述确定层的参数。

[0129] 附记7.根据附记6所述的装置，其中，所述装置还包括：

[0130] 确定单元，其用于确定所述关注损失和分类损失各自的权值。

[0131] 附记8.一种电子设备，所述电子设备包括根据附记4-7中的任一项所述的装置。

[0132] 附记9.一种根据附记1-3中的任一项所述的深度学习模型的训练方法，所述方法包括：

[0133] 向所述深度学习模型的所述多个卷积层输入训练图像；

[0134] 根据所述深度学习模型的所述确定层的输出结果和预先设定的关注对象所在的位置的真值，计算关注损失；

[0135] 根据所述深度学习模型的所述全连接层的输出结果和预先设定的分类真值，计算分类损失；以及

[0136] 根据所述关注损失和所述分类损失进行反向传播，以调整所述深度学习模型的所述多个卷积层和所述确定层的参数。

[0137] 附记10.根据附记9所述的方法，其中，

[0138] 所述根据所述深度学习模型的所述确定层的输出结果和预先设定的关注对象所在的位置的真值，计算关注损失，包括：

[0139] 计算所述确定层输出的各个特征所在位置是关注对象的概率与所述位置是关注对象的真值的差值的累计值，获得所述关注损失。

[0140] 附记11.根据附记9所述的方法，其中，

[0141] 所述根据所述关注损失和所述分类损失进行反向传播，以调整所述深度学习模型的所述多个卷积层和所述确定层的参数，包括：

[0142] 根据所述关注损失和所述分类损失的加权和进行反向传播，以调整所述深度学习模型的所述多个卷积层和所述确定层的参数。

[0143] 附记12.根据附记11所述的方法，其中，所述方法还包括：

[0144] 确定所述关注损失和分类损失各自的权值。

标题	发布/更新时间	阅读量
基于滑动输入来确定输入字符的系统和方法	2020-05-08	900
一种基于深度学习的光纤模式分解方法及可读介质	2020-05-11	187
一种用于深度学习的籽棉地膜高光谱可视化标签方法	2020-05-11	341
基于深度置信网络的慢性病精确干预方法及系统	2020-05-08	512
直播间弹幕显示方法、存储介质、设备及系统	2020-05-08	333
基于深度学习的无监督端到端的驾驶环境感知方法	2020-05-08	472
一种用于肠道息肉检测识别的智能辅助系统	2020-05-08	411
一种基于深度学习的商品二维码生成方法及系统	2020-05-08	40
一种HLA I型分子与多肽的亲和力预测方法	2020-05-08	576
一种基于LSTM的电网服务器运行状态预测装置	2020-05-11	365

用于图像识别的深度学习模型、该模型的训练装置及方法