脸部图像处理方法、装置及服务器
阅读：771发布：2023-02-26
专利汇可以提供脸部图像处理方法、装置及服务器专利检索，专利查询，专利分析的服务。并且本 发明 实施例 公开了一种脸部 图像处理 方法、装置及 服务器 ，包括下述步骤：获取待处理的人脸图像；将所述人脸图像输入到预先训练的 卷积神经网络 模型中，获取所述卷积神经网络模型响应所述人脸图像输入而输出分类数据，所述卷积神经网络模型以损失函数为约束条件，限定所述分类数据中每一类的特征余弦值趋向于1；获取所述分类数据，并根据所述分类数据对所述人脸图像进行内容理解。使维 特征向量 与损失函数权值之间的余弦值趋向于1，以此，达到类内距离收敛的效果，类内距离的收敛进而使分类数据的类间距离增大，类内距离的增大能够使分类数据区别更加的明显，数据的鲁邦性增加，同样也会提高内容理解的准确性。，下面是脸部图像处理方法、装置及服务器专利的具体信息内容。
1.一种脸部图像处理方法，其特征在于，包括下述步骤：
获取待处理的人脸图像；
将所述人脸图像输入到预先训练的卷积神经网络模型中，获取所述卷积神经网络模型响应所述人脸图像输入而输出分类数据，所述卷积神经网络模型以损失函数为约束条件，限定所述分类数据中每一类的特征余弦值趋向于1；
获取所述分类数据，并根据所述分类数据对所述人脸图像进行内容理解。
2.根据权利要求1所述的脸部图像处理方法，其特征在于，所述损失函数正向传播过程描述为：
L＝-λ1fnorm(x)*wi+λ2||||wi||2-1||2+Lcrossentropy
其中，i表示输入图像本身所属的类别，wi表示为第i类图像分类对应的交叉熵损失函数的权值，λ1和λ2分别表示超参系数，fnorm(x)为归一化的图像特征，Lcrossentropy表示为交叉熵损失函数。
3.根据权利要求1所述的脸部图像处理方法，其特征在于，所述损失函数反向传播过程描述为：
定义函数：
i表示输入图像本身所属的类别，t表示与i不同类别的分类类别，wi表示为第i类图像分类对应的交叉熵损失函数的权值，wt表示为第t类图像分类对应的交叉熵损失函数的权值，λ1和λ2分别表示超参系数，fnorm(x)为归一化的图像特征，Lcrossentropy表示为交叉熵损失函数。
4.根据权利要求1所述的脸部图像处理方法，其特征在于，所述卷积神经网络模型通过下述步骤训练形成：
获取标记有分类判断信息的训练样本数据；
将所述训练样本数据输入卷积神经网络模型获取所述训练样本数据的模型分类参照信息；
通过止损函数比对所述训练样本数据内不同样本的模型分类参照信息与所述分类判断信息是否一致；
当所述模型分类参照信息与所述分类判断信息不一致时，反复循环迭代的更新所述卷积神经网络模型中的权重，至所述比对结果与所述分类判断信息一致时结束。
5.根据权利要求1所述的脸部图像处理方法，其特征在于，所述获取所述分类数据，并根据所述分类数据对所述人脸图像进行内容理解的步骤，具体包括下述步骤：
获取所述卷积神经网络模型输出的分类数据；
将所述分类数据与预设的第一阈值进行比对，根据比对结果将所述分类数据转化为第一二值向量集；
将所述第一二值向量集作为检索向量，在预设的数据库中检索与所述第一二值向量集对应的图片作为检索结果。
6.根据权利要求5所述的脸部图像处理方法，其特征在于，所述将所述第一二值向量集作为检索向量，在预设的数据库中检索与所述第一二值向量集对应的图片作为检索结果的步骤，具体包括下述步骤：
将所述第一二值向量集作为检索向量，与所数据库中图片预设的第一索引标签进行比对；
将所述第一索引标签与所述第一二值向量集相同的图片进行提取作为检索结果。
7.根据权利要求5所述的脸部图像处理方法，其特征在于，所述将所述第一二值向量集作为检索向量，在预设的数据库中检索与所述第一二值向量集对应的图片作为检索结果的步骤之后，还包括下述步骤：
获取所述卷积神经网络模型输出的待分类数据；
将所述待分类数据与预设的第一阈值进行比对，根据比对结果将所述待分类数据转化为第二二值向量集；
将所述第二二值向量集作为排序向量对所述检索结果所得的图片进行排序。
8.根据权利要求7所述的脸部图像处理方法，其特征在于，所述将所述第二二值向量集作为排序向量对所述检索结果所得的图片进行排序，还包括下述步骤：
计算所述第二二值向量集与所述检索结果所得图片的预设索引标签之间的距离；
根据所述距离按由小到大的顺序对所述检索结果所得图片进行排序。
9.一种脸部图像处理装置，其特征在于，包括：
第一获取模块，用于获取待处理的人脸图像；
第一计算模块，用于将所述人脸图像输入到预先训练的卷积神经网络模型中，获取所述卷积神经网络模型响应所述人脸图像输入而输出分类数据，所述卷积神经网络模型以损失函数为约束条件，限定所述分类数据中每一类的特征余弦值趋向于1；
第一处理模块，用于获取所述分类数据，并根据所述分类数据对所述人脸图像进行内容理解。
10.一种服务器，其特征在于，包括：
一个或多个处理器；
存储器；
一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行权利要求1-9任意一项所述的脸部图像处理方法。
脸部图像处理方法、装置及服务器
技术领域
背景技术
[0002] 随着深度学习技术的发展，卷积神经网络已经成为提取人脸特征的有力工具，对于模型固定的卷积神经网络而言，最核心的技术是如何设计损失函数，使其能有效地监督卷积神经网络的训练，从而使卷积神经网络具有提取人脸特征的能力。现有技术中主要使用Softmax的交叉熵损失函数对卷积神经网络模型进行监督训练。其中，Softmax的交叉熵损失函数训练网络提取特征的能力，利用网络的最后一层作为人脸的表达，将人脸数据映射到余弦空间上，通过比对不同人脸的余弦空间距离来判断人脸的相似性，同一个人余弦空间距离更相近，不同的人余弦空间距离更远。
[0003] 但是本发明创造的发明人在研究中发现，Softmax的交叉熵损失函数的特征提取方法，是一种非端到端的方法，简单易于实现，但由于其训练所得到的类内数据内敛型不足，导致决定余弦空间距离大小的类间距离不够明显，分类数据离散性较差，导致内容理解准确率无法提高。
发明内容
[0004] 本发明实施例提供一种能够提高图像提取过程中图像类间距离的脸部图像处理方法、装置及服务器。
[0005] 为解决上述技术问题，本发明创造的实施例采用的一个技术方案是：提供一种脸部图像处理方法，包括下述步骤：
[0006] 获取待处理的人脸图像；
[0007] 将所述人脸图像输入到预先训练的卷积神经网络模型中，获取所述卷积神经网络模型响应所述人脸图像输入而输出分类数据，所述卷积神经网络模型以损失函数为约束条件，限定所述分类数据中每一类的特征余弦值趋向于1；
[0008] 获取所述分类数据，并根据所述分类数据对所述人脸图像进行内容理解。
[0009] 具体地，所述损失函数正向传播过程描述为：
[0010] L＝-λ1fnorm(x)*wi+λ2||||wi||2-1||2+Lcrossentropy
[0011] 其中，i表示输入图像本身所属的类别，wi表示为第i类图像分类对应的交叉熵损失函数的权值，λ1和λ2分别表示超参系数，fnorm(x)为归一化的图像特征，Lcrossentropy表示为交叉熵损失函数。
[0012] 具体地，所述损失函数反向传播过程描述为：
[0013]
[0014] 定义函数：
[0015]
[0016]
[0017] i表示输入图像本身所属的类别，t表示与i不同类别的分类类别，wi表示为第i类图像分类对应的交叉熵损失函数的权值，wt表示为第t类图像分类对应的交叉熵损失函数的权值，λ1和λ2分别表示超参系数，fnorm(x)为归一化的图像特征，Lcrossentropy表示为交叉熵损失函数。
[0018] 具体地，所述卷积神经网络模型通过下述步骤训练形成：
[0019] 获取标记有分类判断信息的训练样本数据；
[0020] 将所述训练样本数据输入卷积神经网络模型获取所述训练样本数据的模型分类参照信息；
[0021] 通过止损函数比对所述训练样本数据内不同样本的模型分类参照信息与所述分类判断信息是否一致；
[0022] 当所述模型分类参照信息与所述分类判断信息不一致时，反复循环迭代的更新所述卷积神经网络模型中的权重，至所述比对结果与所述分类判断信息一致时结束。
[0023] 具体地，所述获取所述分类数据，并根据所述分类数据对所述人脸图像进行内容理解的步骤，具体包括下述步骤：
[0024] 获取所述卷积神经网络模型输出的分类数据；
[0025] 将所述分类数据与预设的第一阈值进行比对，根据比对结果将所述分类数据转化为第一二值向量集；
[0026] 将所述第一二值向量集作为检索向量，在预设的数据库中检索与所述第一二值向量集对应的图片作为检索结果。
[0027] 具体地，所述将所述第一二值向量集作为检索向量，在预设的数据库中检索与所述第一二值向量集对应的图片作为检索结果的步骤，具体包括下述步骤：
[0028] 将所述第一二值向量集作为检索向量，与所数据库中图片预设的第一索引标签进行比对；
[0029] 将所述第一索引标签与所述第一二值向量集相同的图片进行提取作为检索结果。
[0030] 具体地，所述将所述第一二值向量集作为检索向量，在预设的数据库中检索与所述第一二值向量集对应的图片作为检索结果的步骤之后，还包括下述步骤：
[0031] 获取所述卷积神经网络模型输出的待分类数据；
[0032] 将所述待分类数据与预设的第一阈值进行比对，根据比对结果将所述待分类数据转化为第二二值向量集；
[0033] 将所述第二二值向量集作为排序向量对所述检索结果所得的图片进行排序。
[0034] 具体地，所述将所述第二二值向量集作为排序向量对所述检索结果所得的图片进行排序，还包括下述步骤：
[0035] 计算所述第二二值向量集与所述检索结果所得图片的预设索引标签之间的距离；
[0036] 根据所述距离按由小到大的顺序对所述检索结果所得图片进行排序。
[0037] 具体地，所述人脸图像进行内容理解包括：对人脸图像进行性别识别、年龄判断、颜值打分或人脸相似度比对。
[0038] 为解决上述技术问题，本发明实施例还提供一种脸部图像处理装置，包括：
[0039] 第一获取模块，用于获取待处理的人脸图像；
[0040] 第一计算模块，用于将所述人脸图像输入到预先训练的卷积神经网络模型中，获取所述卷积神经网络模型响应所述人脸图像输入而输出分类数据，所述卷积神经网络模型以损失函数为约束条件，限定所述分类数据中每一类的特征余弦值趋向于1；
[0041] 第一处理模块，用于获取所述分类数据，并根据所述分类数据对所述人脸图像进行内容理解。
[0042] 具体地，所述损失函数正向传播过程描述为：
[0043] L＝-λ1fnorm(x)*wi+λ2||||wi||2-1||2+Lcrossentropy
[0044] 其中，i表示输入图像本身所属的类别，wi表示为第i类图像分类对应的交叉熵损失函数的权值，λ1和λ2分别表示超参系数，fnorm(x)为归一化的图像特征，Lcrossentropy表示为交叉熵损失函数。
[0045] 具体地，所述损失函数反向传播过程描述为：
[0046]
[0047] 定义函数：
[0048]
[0049]
[0050] i表示输入图像本身所属的类别，t表示与i不同类别的分类类别，wi表示为第i类图像分类对应的交叉熵损失函数的权值，wt表示为第t类图像分类对应的交叉熵损失函数的权值，λ1和λ2分别表示超参系数，fnorm(x)为归一化的图像特征，Lcrossentropy表示为交叉熵损失函数。
[0051] 具体地，所述脸部图像处理装置还包括：
[0052] 第一获取子模块，用于获取标记有分类判断信息的训练样本数据；
[0053] 第一输入子模块，用于将所述训练样本数据输入卷积神经网络模型获取所述训练样本数据的模型分类参照信息；
[0054] 第一比对子模块，用于通过止损函数比对所述训练样本数据内不同样本的模型分类参照信息与所述分类判断信息是否一致；
[0055] 第一处理子模块，用于当所述模型分类参照信息与所述分类判断信息不一致时，反复循环迭代的更新所述卷积神经网络模型中的权重，至所述比对结果与所述分类判断信息一致时结束。
[0056] 具体地，所述脸部图像处理装置还包括：
[0057] 第二获取子模块，获取所述卷积神经网络模型输出的待分类数据；
[0058] 第二比对子模块，将所述待分类数据与预设的第一阈值进行比对，根据比对结果将所述待分类数据转化为第二二值向量集；
[0059] 第二处理子模块，用于将所述第一二值向量集作为检索向量，在预设的数据库中检索与所述第一二值向量集对应的图片作为检索结果。
[0060] 具体地，所述脸部图像处理装置还包括：
[0061] 第三比对子模块，将所述第一二值向量集作为检索向量，与所数据库中图片预设的第一索引标签进行比对；
[0062] 第三处理子模块，用于将所述第一索引标签与所述第一二值向量集相同的图片进行提取作为检索结果。
[0063] 具体地，所述脸部图像处理装置还包括：
[0064] 第三获取子模块，用于获取所述卷积神经网络模型输出的分类数据；
[0065] 第四比对子模块，用于将所述分类数据与预设的第一阈值进行比对，根据比对结果将所述分类数据转化为第二二值向量集；
[0066] 第四处理子模块，用于将所述第二二值向量集作为排序向量对所述检索结果所得的图片进行排序。
[0067] 具体地，所述脸部图像处理装置还包括：
[0068] 第四计算子模块，用于计算所述第二二值向量集与所述检索结果所得图片的预设索引标签之间的距离；
[0069] 第五处理子模块，用于根据所述距离按由小到大的顺序对所述检索结果所得图片进行排序。
[0070] 具体地，所述人脸图像进行内容理解包括：对人脸图像进行性别识别、年龄判断、颜值打分或人脸相似度比对。
[0071] 为解决上述技术问题，本发明实施例还提供一种服务器，包括：
[0072] 一个或多个处理器；
[0073] 存储器；
[0074] 一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行上述所述的脸部图像处理方法。
[0075] 本发明实施例的有益效果是：卷积神经网络模型以损失函数为约束条件，对卷积神经网络模型的分类数据进行限定，限定的结果使分类数据中每一维特征向量与损失函数权值之间的余弦值尽量的大，使维特征向量与损失函数权值之间的余弦值趋向于1，以此，达到类内距离收敛的效果，类内距离的收敛进而使分类数据的类间距离增大，类内距离的增大能够使分类数据区别更加的明显，数据的鲁邦性增加，同样也会提高内容理解的准确性。附图说明
[0076] 为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0077] 图1为本发明实施例卷积神经网络模型组成示意图；
[0078] 图2为本发明实施例脸部图像处理方法基本流程示意图；
[0079] 图3为本发明实施例卷积神经网络模型训练流程示意图；
[0080] 图4为本发明实施例图像处理方法在检索领域的一种基本应用流程图；
[0081] 图5为本发明实施例图像检索的一种具体实施方式流程示意图；
[0082] 图6为本发明实施例图像检索排序方法流程示意图；
[0083] 图7为本发明实施例检索结果排序的具体流程示意图；
[0084] 图8为本发明实施例脸部图像处理装置基本结构示意图；
[0085] 图9为本发明实施例服务器基本结构框图。
具体实施方式
[0086] 为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
[0087] 在本发明的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如101、102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。
[0088] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0089] 实施例
[0090] 需要指出的是卷积神经网络的基本结构包括两层，其一为特征提取层，每个神经元的输入与前一层的局部接受域相连，并提取该局部的特征。一旦该局部特征被提取后，它与其它特征间的位置关系也随之确定下来；其二是特征映射层，网络的每个计算层由多个特征映射组成，每个特征映射是一个平面，平面上所有神经元的权值相等。特征映射结构采用影响函数核小的sigmoid函数作为卷积网络的激活函数，使得特征映射具有位移不变性。此外，由于一个映射面上的神经元共享权值，因而减少了网络自由参数的个数。卷积神经网络中的每一个卷积层都紧跟着一个用来求局部平均与二次提取的计算层，这种特有的两次特征提取结构减小了特征分辨率。
[0091] 卷积神经网络主要用来识别位移、缩放及其他形式扭曲不变性的二维图形。由于卷积神经网络的特征检测层通过训练数据进行学习，所以在使用卷积神经网络时，避免了显示的特征抽取，而隐式地从训练数据中进行学习；再者由于同一特征映射面上的神经元权值相同，所以网络可以并行学习，这也是卷积网络相对于神经元彼此相连网络的一大优势。
[0092] VGG是牛津大学计算机视觉组(VisualGeometry Group)和GoogleDeepMind公司的研究员一起研发的的深度卷积神经网络。VGG探索了卷积神经网络的深度与其性能之间的关系，通过反复堆叠3*3的小型卷积核和2*2的最大池化层，VGG成功地构筑了16～19层深的卷积神经网络。VGG的拓展性很强，迁移到其他图片数据上的泛化性非常好。VGG的结构非常简洁，整个网络都使用了同样大小的卷积核尺寸(3*3)和最大池化尺寸(2*2)。到目前为止，VGG依然经常被用来提取图像特征。VGG训练后的模型参数在其官方网站上开源了，可用来在特定的图像分类任务上进行再训练(相当于提供了非常好的初始化权重)。
[0093] 本实施方式中，采用VGG卷积神经网络模型进行深度学习及内容理解。但不局限于此，在一些选择性实施方式中，能够采用CNN卷积神经网络模型或CNN卷积神经网络模型的分支模型。
[0094] 请参阅图1，图1为本实施例卷积神经网络模型组成示意图。
[0095] 如图1所示，卷积神经网络模型包括：多个卷积层(Conv1,2,3,4…n)、2个全连接层(CF1,2)和一个分类层(softmax1,2)组成。
[0096] 卷积神经网络模型由：卷积层、全连接和分类层组成。其中，卷积层被用于对人脸图像的局部进行感知，且卷积层通常以级联的方式进行连接，级联中位置越靠后的卷积层能够感知越全局化的信息。
[0097] 全连接层在整个卷积神经网络中起到“分类器”的作用。如果说卷积层、池化层和激活函数层等操作是将原始数据映射到隐层特征空间的话，全连接层则起到将学到的“分布式特征表示”映射到样本标记空间的作用。全连接层连接在卷积层输出位置，能够感知被测人脸图像的全具化特征。
[0098] 分类层连接在全连接层的输出端，分类层输出的每一维均表示被测人脸图像属于该类别的概率。
[0099] 请参阅图2，图2为本实施例脸部图像处理方法基本流程示意图。
[0100] 如图2所示，一种脸部图像处理方法，包括下述步骤：
[0101] S1100、获取待处理的人脸图像；
[0102] 获取人脸图像的方法包括实时采集和提取存储图像视频资料两种方法。实时采集主要用于智能终端(手机、平板电脑和监控设备)的实时应用(如：判断用户年龄、性别、颜值和相似度等)。提取存储图像视频资料主要用于对存储的图像和视频资料进行进一步的处理，也能够用于智能终端对历史照片进行应用。
[0103] S1200、将所述人脸图像输入到预先训练的卷积神经网络模型中，获取所述卷积神经网络模型响应所述人脸图像输入而输出分类数据，所述卷积神经网络模型以损失函数为约束条件，限定所述分类数据中每一类的特征余弦值趋向于1。
[0105] 在Softmax交叉熵损失函数的基础上，提出了一种衡量特征与softmax权值之间余弦距离的损失函数，该损失函数用于监督模型学习图像特征，使图像特征向量与权值之间的余弦值应尽量大，这样，经过学习后，同一个类的图像经过模型后，得到的特征余弦均趋向接近于1。
[0106] 具体地，本实施方式中的损失函数为如下：
[0107] 损失函数正向传播过程描述为：
[0108] L＝-λ1fnorm(x)*wi+λ2||||wi||2-1||2+Lcrossentropy
[0109] 其中，i表示输入图像本身所属的类别，wi表示为第i类图像分类对应的交叉熵损失函数的权值，λ1和λ2分别表示超参系数，fnorm(x)为归一化的图像特征，Lcrossentropy表示为交叉熵损失函数。
[0110] 具体的，余弦距离的计算方式为：
[0111]
[0112] 若使cos尽量大，则-cos尽量小，即 尽量小，那么，在实际模型中，需要固定住||f(x)||2wi||2不妨使||f(x)||2归一化到1，令正则化||wt||2-1||2添加到损失函数中，那么 小化即为-f(x)*wi最小化。则经过归一化和正则化的损失函数成为：
[0113] L＝-λ1fnorm(x)*wi+λ2||||wi||2-1||2+Lcrossentropy
[0114] 其中，λ1和λ2分别表示超参系数，通常设定λ1＝0.01，λ2＝0.05。
[0115] 本实施方式中损失函数反向传播的过程描述为：
[0116]
[0117] 定义函数：
[0118]
[0119]
[0120] i表示输入图像本身所属的类别，t表示与i不同类别的分类类别，wi表示为第i类图像分类对应的交叉熵损失函数的权值，wt表示为第t类图像分类对应的交叉熵损失函数的权值，λ1和λ2分别表示超参系数，fnorm(x)为归一化的图像特征，Lcrossentropy表示为交叉熵损失函数。
[0121] S1300、获取所述分类数据，并根据所述分类数据对所述人脸图像进行内容理解。
[0122] 获取到卷积神经网络模型的分类数据，该分类数据中包括输入的人脸图像的主要识别特征，是降维分类后表征着人脸图像最主要特征的分类数据，该分类数据中类间距离较大，及分类数据中类别之间差距的显著性进一步提高。
[0123] 得到人脸图像的分类数据后，能够使用该分类数据对人脸图像内容理解，内容理解包括(不限于)进行性别识别、年龄判断、颜值打分或人脸相似度比对。分类数据表示人脸图像中主要可识别特征，将该特征与预设的分类标准进行比对，就能够对人脸图像的性别、年龄和颜值做出判断。而根据两个人脸图像分类数据的cos(余弦空间)距离的比较，就能够计算出两个人脸图像之间的相似度。
[0124] 上述实施方式通过卷积神经网络模型以损失函数为约束条件，对卷积神经网络模型的分类数据进行限定，限定的结果使分类数据中每一维特征向量与损失函数权值之间的余弦值尽量的大，使维特征向量与损失函数权值之间的余弦值趋向于1，以此，达到类内距离收敛的效果，类内距离的收敛进而使分类数据的类间距离增大，类内距离的增大能够使分类数据区别更加的明显，数据的鲁邦性增加，同样也会提高内容理解的准确性。
[0125] 本实施方式中，卷积神经网络模型的深度学习训练如下：
[0126] 请参阅图3，图3为本实施例卷积神经网络模型训练流程示意图。
[0127] 如图3所示，卷积神经网络模型的训练方法如下：
[0128] S2100、获取标记有分类判断信息的训练样本数据；
[0129] 训练样本数据是整个训练集的构成单位，训练集是由若干个训练样本训练数据组成的。
[0130] 训练样本数据是由人脸数据以及对人脸数据对进行标记的分类判断信息组成的。
[0131] 分类判断信息是指人们根据输入卷积神经网络模型的训练方向，通过普适性的判断标准和事实状态对训练样本数据做出的人为的判断，也就是人们对卷积神经网络模型输出数值的期望目标。如，在一个训练样本数据中，人工识别出该人脸图像数据与预存储的目标人脸图像为同一个人，则标定该人脸图像分类判断信息为与预存储的目标人脸图像相同。
[0132] S2200、将所述训练样本数据输入卷积神经网络模型获取所述训练样本数据的模型分类参照信息；
[0133] 将训练样本集依次输入到卷积神经网络模型中，并获得卷积神经网络模型倒数第一个全连接层输出的模型分类参照信息。
[0134] 模型分类参照信息是卷积神经网络模型根据输入的人脸图像而输出的激励数据，在卷积神经网络模型未被训练至收敛之前，分类参照信息为离散性较大的数值，当卷积神经网络模型未被训练至收敛之后，分类参照信息为相对稳定的数据。
[0135] S2300、通过止损函数比对所述训练样本数据内不同样本的模型分类参照信息与所述分类判断信息是否一致；
[0136] 止损函数是用于检测卷积神经网络模型中模型分类参照信息，与期望的分类判断信息是否具有一致性的检测函数。当卷积神经网络模型的输出结果与分类判断信息的期望结果不一致时，需要对卷积神经网络模型中的权重进行校正，以使卷积神经网络模型的输出结果与分类判断信息的期望结果相同。
[0137] S2400、当所述模型分类参照信息与所述分类判断信息不一致时，反复循环迭代的更新所述卷积神经网络模型中的权重，至所述比对结果与所述分类判断信息一致时结束。
[0138] 当卷积神经网络模型的输出结果与分类判断信息的期望结果不一致时，需要对卷积神经网络模型中的权重进行校正，以使卷积神经网络模型的输出结果与分类判断信息的期望结果相同。
[0139] 具体的，以本实施方式在图像检索领域的应用，对人脸图像进行内容理解进行进一步的说明。
[0140] 具体请参阅图4，图4为本实施例图像处理方法在检索领域的一种基本应用流程图。
[0141] 如图4所示，步骤S1300包括下述步骤：
[0142] S1310、获取所述卷积神经网络模型输出的分类数据；
[0143] 如图1所示，获取由Softmax1(分类层)输出的128维的分类数据。
[0144] S1320、将所述分类数据与预设的第一阈值进行比对，根据比对结果将所述分类数据转化为第一二值向量集；
[0145] 将分类数据分别与预设的第一阈值进行比较，第一阈值具体的取值为0.5，但不局限与此，第一预制的设定能够根据实际应用的需求进行相应设置。
[0146] 由于卷积神经网络模型输出的分类数据为0-1之间的数字，将128个0-1之间的数字分别与第一阈值进行比较，大于或等于第一阈值的数字标记为二进制的数字1，而小于第一阈值的数字则标记为二进制数字的0。以此，将分类数据转化为长度为128二值向量，记为第一二值向量集。
[0147] S1330、将所述第一二值向量集作为检索向量，在预设的数据库中检索与所述第一二值向量集对应的图片作为检索结果。
[0148] 将第一二值向量集作为检索向量，对存储在数据库内的图片进行相似检索。存储在数据库内的图像设有至少两个索引标签，其中，一个索引标签为卷积神经网络模型对该图片进行分类后，根据分类数据得到的128位的二值向量，此为该图片的第一个索引标签。另一个为4096位长度的二值向量，该向量是根据卷积神经网络模型分类层与倒数第一个全连接层输出待分类数据，该向量为数据库图片的第二索引标签。
[0149] 第一二值向量集作为检索向量，在数据库找出第一索引标签与第一二值向量集相同的图片作为检索结果进行呈现。
[0150] 请参阅图5，图5为本实施例图像检索的一种具体实施方式流程示意图。
[0151] 如图5所示，步骤S1310还包括下述步骤：
[0152] S1311、将所述第一二值向量集作为检索向量，与所数据库中图片预设的第一索引标签进行比对；
[0153] 将人脸图像128位二值向量作为检索向量，依次与数据库中存储图像的第一索引标签进行比对。
[0154] S1312、将所述第一索引标签与所述第一二值向量集相同的图片进行提取作为检索结果。
[0155] 在数据库找出第一索引标签与第一二值向量集相同的图片作为检索结果进行呈现作为检索结果。
[0156] 为进一步的对检索结果进行排序，将与人脸图像相关度最高的图像排列在前方，方便用户查看需要进一步都检索结果进行排序。
[0157] 具体请参阅图6，图6为本实施例图像检索排序方法流程示意图。
[0158] 如图6所示，步骤S1310之后还包括下述步骤：
[0159] S1410、所述卷积神经网络模型输出的待分类数据；
[0160] 待分类数据卷积神经网络模型分类层与倒数第一个全连接层输出，输出长度为4096维。
[0161] S1420、将所述待分类数据与预设的第一阈值进行比对，根据比对结果将所述待分类数据转化为第二二值向量集；
[0162] 将待分类数据与预设的第一预制进行比对，第一阈值具体的取值为0.5，但不局限与此，第一预制的设定能够根据实际应用的需求进行相应设置。
[0163] 由于卷积神经网络模型输出的待分类数据为0-1之间的数字，将4096个0-1之间的数字分别与第一阈值进行比较，大于或等于第一阈值的数字标记为二进制的数字1，而小于第一阈值的数字则标记为二进制数字的0。以此，将分类数据转化为长度为4096位的二值向量，记为第二二值向量集。
[0164] S1430、将所述第二二值向量集作为排序向量对所述检索结果所得的图片进行排序。
[0165] 具体地，请参阅图7，图7为本实施例检索结果排序的具体流程示意图。
[0166] 如图所示，步骤S1430具体包括下述步骤：
[0167] S1431、计算所述第二二值向量集与所述检索结果所得图片的预设索引标签之间的距离；
[0168] 存储在数据库内的图像设有至少两个索引标签，其中，一个索引标签为卷积神经网络模型对该图片进行分类后，根据分类数据得到的128位的二值向量，此为该图片的第一个索引标签。另一个为4096位长度的二值向量，该向量是根据卷积神经网络模型分类层与倒数第一个全连接层输出待分类数据，该向量为数据库图片的第二索引标签。
[0169] 计算第二二值向量集与检索结果图片中第二索引标签的汉明距离。
[0170] S1432、根据所述距离按由小到大的顺序对所述检索结果所得图片进行排序。
[0171] 按计算出的汉明距离的大小，由小到大的依次对图片进行排序。
[0172] 上述实施方式，进行图像检索时，采用分类数据转化的128位二值向量进行检索，由于检索向量较短，因此，能够获得更多的图像召回率，检索完整度较好。而采用待分类数据转化的4096位二值向量进行排序，能够使与人脸图像最相关的图片排列在最前方，提高了检索的呈现时的准确率。
[0173] 上述实施方式中，是图像处理技术在检索领域的具体应用，是对人脸图像内容理解的一种具体实施方式。但本实施方式中内容理解不局限于图像检索领域，本实施方式的脸部图像处理方法还能够用于(不限于)对人脸图像进行性别识别、年龄判断、颜值打分或人脸相似度比对等领域。
[0174] 为解决上述技术问题，本发明实施例还提供脸部图像处理装置。
[0175] 具体请参阅图8，图8为本实施例脸部图像处理装置基本结构示意图。
[0176] 如图8所示，一种脸部图像处理装置，包括：第一获取模块1100、第一计算模块1200和第一处理模块1300。其中，第一获取模块1100用于获取待处理的人脸图像；第一计算模块1200用于将人脸图像输入到预先训练的卷积神经网络模型中，获取卷积神经网络模型响应人脸图像输入而输出分类数据，卷积神经网络模型以损失函数为约束条件，限定分类数据中每一类的特征余弦值趋向于1；第一处理模块1300用于获取分类数据，并根据分类数据对人脸图像进行内容理解。
[0177] 上述实施方式中，脸部图像处理装置通过卷积神经网络模型以损失函数为约束条件，对卷积神经网络模型的分类数据进行限定，限定的结果使分类数据中每一维特征向量与损失函数权值之间的余弦值尽量的大，使维特征向量与损失函数权值之间的余弦值趋向于1，以此，达到类内距离收敛的效果，类内距离的收敛进而使分类数据的类间距离增大，类内距离的增大能够使分类数据区别更加的明显，数据的鲁邦性增加，同样也会提高内容理解的准确性。
[0178] 在一些实施方式中，损失函数正向传播过程描述为：
[0179] L＝-λ1fnorm(x)*wi+λ2||||wi||2-1||2+Lcrossentropy
[0180] 其中，i表示输入图像本身所属的类别，wi表示为第i类图像分类对应的交叉熵损失函数的权值，λ1和λ2分别表示超参系数，fnorm(x)为归一化的图像特征，Lcrossentropy表示为交叉熵损失函数。
[0181] 在一些实施方式中，损失函数反向传播过程描述为：
[0182]
[0183] 定义函数：
[0184]
[0185]
[0186] i表示输入图像本身所属的类别，t表示与i不同类别的分类类别，wi表示为第i类图像分类对应的交叉熵损失函数的权值，wt表示为第t类图像分类对应的交叉熵损失函数的权值，λ1和λ2分别表示超参系数，fnorm(x)为归一化的图像特征，Lcrossentropy表示为交叉熵损失函数。
[0187] 在一些实施方式中，脸部图像处理装置还包括：第一获取子模块、第一输入子模块、第一比对子模块和第一处理子模块。其中，第一获取子模块用于获取标记有分类判断信息的训练样本数据；第一输入子模块用于将训练样本数据输入卷积神经网络模型获取训练样本数据的模型分类参照信息；第一比对子模块用于通过止损函数比对训练样本数据内不同样本的模型分类参照信息与分类判断信息是否一致；第一处理子模块用于当模型分类参照信息与分类判断信息不一致时，反复循环迭代的更新卷积神经网络模型中的权重，至比对结果与分类判断信息一致时结束。
[0188] 在一些实施方式中，脸部图像处理装置还包括：第二获取子模块、第二比对子模块和第二处理子模块。其中，第二获取子模块获取卷积神经网络模型输出的待分类数据；第二比对子模块将待分类数据与预设的第一阈值进行比对，根据比对结果将待分类数据转化为第二二值向量集；第二处理子模块用于将第一二值向量集作为检索向量，在预设的数据库中检索与第一二值向量集对应的图片作为检索结果。
[0189] 在一些实施方式中，脸部图像处理装置还包括：第三比对子模块和第三处理子模块。其中，第三比对子模块将第一二值向量集作为检索向量，与所数据库中图片预设的第一索引标签进行比对；第三处理子模块用于将第一索引标签与第一二值向量集相同的图片进行提取作为检索结果。
[0190] 在一些实施方式中，脸部图像处理装置还包括：第三获取子模块、第四比对子模块和第四处理子模块。其中，第三获取子模块用于获取卷积神经网络模型输出的分类数据；第四比对子模块用于将分类数据与预设的第一阈值进行比对，根据比对结果将分类数据转化为第二二值向量集；第四处理子模块用于将第二二值向量集作为排序向量对检索结果所得的图片进行排序。
[0191] 在一些实施方式中，脸部图像处理装置还包括：第四计算子模块和第五处理子模块。其中，第四计算子模块用于计算第二二值向量集与检索结果所得图片的预设索引标签之间的距离；第五处理子模块用于根据距离按由小到大的顺序对检索结果所得图片进行排序。
[0192] 在一些实施方式中，人脸图像进行内容理解包括：对人脸图像进行性别识别、年龄判断、颜值打分或人脸相似度比对。
[0193] 本实施例还提供一种服务器。具体请参阅图9，图9为本实施例服务器基本结构示意图。
[0194] 如图7所示，服务器包括：一个或多个处理器3110和存储器3120；一个或多个应用程序，其中一个或多个应用程序被存储在存储器中并被配置为由一个或多个处理器执行，一个或多个程序配置用于：
[0195] 获取待处理的人脸图像；
[0196] 将所述人脸图像输入到预先训练的卷积神经网络模型中，获取所述卷积神经网络模型响应所述人脸图像输入而输出分类数据，所述卷积神经网络模型以损失函数为约束条件，限定所述分类数据中每一类的特征余弦值趋向于1；
[0197] 获取所述分类数据，并根据所述分类数据对所述人脸图像进行内容理解。
[0198] 上述服务器通过卷积神经网络模型以损失函数为约束条件，对卷积神经网络模型的分类数据进行限定，限定的结果使分类数据中每一维特征向量与损失函数权值之间的余弦值尽量的大，使维特征向量与损失函数权值之间的余弦值趋向于1，以此，达到类内距离收敛的效果，类内距离的收敛进而使分类数据的类间距离增大，类内距离的增大能够使分类数据区别更加的明显，数据的鲁邦性增加，同样也会提高内容理解的准确性。
[0199] 需要指出的是本实施列中，服务器的存储器内存储用于实现本实施例中脸部图像处理方法中的所有程序，处理器能够调用该存储器内的程序，执行上述脸部图像处理方法所列举的所有功能。由于服务器实现的功能在本实施例中的脸部图像处理方法进行了详述，在此不再进行赘述。
[0200] 需要说明的是，本发明的说明书及其附图中给出了本发明的较佳的实施例，但是，本发明可以通过许多不同的形式来实现，并不限于本说明书所描述的实施例，这些实施例不作为对本发明内容的额外限制，提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。并且，上述各技术特征继续相互组合，形成未在上面列举的各种实施例，均视为本发明说明书记载的范围；进一步地，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种高强度低音钢琴琴弦的制备方法 | 2020-05-12 | 45 |
| 一种高铁接触网吊弦自动组装生产线 | 2020-05-12 | 677 |
| 一种便于精确调整贝斯弦高的品丝 | 2020-05-12 | 575 |
| 一种能灵活调整贝斯弦高的上弦枕 | 2020-05-11 | 841 |
| LCC谐振式高频正弦波电源 | 2020-05-13 | 681 |
| 韧性高的琴弦 | 2020-05-11 | 657 |
| 高速正余弦细分装置 | 2020-05-11 | 663 |
| 一种高强高耐磨琴弦 | 2020-05-11 | 339 |
| 提高振弦手持仪测试精度的实现方法 | 2020-05-12 | 343 |
| 一种中高音弦码 | 2020-05-12 | 814 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈