特征点定位方法及装置
阅读：512发布：2020-06-24
专利汇可以提供特征点定位方法及装置专利检索，专利查询，专利分析的服务。并且本公开是关于特征点 定位 方法及装置。该方法包括：根据 卷积神经网络 的第一子网络，提取待检测的人脸图像的第一特征图；第一子网络至少包括卷积神经网络的第一特征提取层；根据第一特征图，确定人脸图像的人脸 位置 框；根据人脸位置框、第一特征图和第二子网络，确定人脸图像中的特征点及其位置；第二子网络层至少包括卷积神经网络的第二特征提取层和全连接层。该技术方案可以在得到人脸位置 框图 之后，根据人脸位置框图、第一特征图和第二子网络得到人脸图像中的特征点及位置，这样，卷积神经网络可以一次性解决人来检测和特征点检测的两个问题，实现了神经网络的多任务处理的可能，提高了卷积神经网络的使用效率。，下面是特征点定位方法及装置专利的具体信息内容。
1.一种特征点定位方法，其特征在于，包括：
根据卷积神经网络的第一子网络，提取待检测的人脸图像的第一特征图；所述第一子网络至少包括所述卷积神经网络的第一特征提取层；
根据所述第一特征图，确定所述人脸图像的人脸位置框；
根据所述人脸位置框、所述第一特征图和第二子网络，确定所述人脸图像中的特征点及其位置；所述第二子网络层至少包括所述卷积神经网络的第二特征提取层和全连接层。
2.根据权利要求1所述的方法，其特征在于，所述根据所述人脸位置框、所述第一特征图和第二子网络，确定所述人脸图像中的特征点及位置包括：
根据所述第一特征图和所述人脸位置框，确定在所述人脸位置框内的第二特征图；
将所述第二特征图输入所述第二子网络，得到所述人脸图像中特征点及位置。
3.根据权利要求2所述的方法，其特征在于，所述卷积神经网络还包括区域生成网络RPN层；所述根据所述第一特征图，确定所述人脸图像的人脸位置框包括：
在RPN层中，通过锚箱从所述第一特征图中确定至少一个位置范围框及所述位置范围框的置信度；
在所述至少一个位置范围框中，将置信度高于预设值的位置范围框作为所述人脸位置框。
4.根据权利要求3所述的方法，其特征在于，所述卷积神经网络还包括ROIpooling层，所述根据所述第一特征图和所述人脸位置框，确定在所述人脸位置框内的第二特征图包括：
将所述第一特征图映射到所述人脸位置框中，得到所述人脸位置框内的第三特征图；
在所述ROIpooling层中，将所述第三特征图归一化为预设行列的所述第二特征图。
5.根据权利要求1所述的方法，其特征在于，所述将所述第二特征图输入所述第二子网络，得到所述人脸图像中特征点及位置包括：
在所述第二特征提取层中，从所述第二特征图中提取特征更紧密的第四特征图；
在所述全连接层中，根据所述第四特征图，从所述人脸图像中筛选出所述特征点及其位置。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
利用训练样本进行预选训练，得到所述卷积神经网络。
7.根据权利要求6所述的方法，其特征在于，所述训练样本包括一组训练图像、每张所述训练图像的人脸位置框及每张所述训练图像的特征点及其位置；对于所述一组训练图像中的第i张训练图像，所述i是正整数，所述利用训练样本进行预选训练，得到所述卷积神经网络包括：
将所述第i张训练图像输入所述卷积神经网络，从所述第一子网络输出训练特征图；
根据所述训练特征图，确定所述第i张训练图像的第一训练结果；
根据所述第一训练结果、所述第一特征图和所述第二子网络，确定所述第i张训练图像的第二训练结果；
确定所述第一训练结果和所述第i张训练图像的人脸位置框的第一误差；
确定所述第i张训练图像的特征点及其位置和所述第二结果的第二误差；
根据所述第一误差和所述第二误差，改进所述卷积神经网络的参数。
8.一种特征点定位装置，其特征在于，包括：
提取模块，用于根据卷积神经网络的第一子网络，提取待检测的人脸图像的第一特征图；所述第一子网络至少包括所述卷积神经网络的第一特征提取层；
第一确定模块，用于根据所述第一特征图，确定所述人脸图像的人脸位置框；
第二确定模块，用于根据所述人脸位置框、所述第一特征图和第二子网络，确定所述人脸图像中的特征点及其位置；所述第二子网络层至少包括所述卷积神经网络的第二特征提取层和全连接层。
9.根据权利要求8所述的装置，其特征在于，所述第二确定模块包括：
第一确定子模块，用于根据所述第一特征图和所述人脸位置框，确定在所述人脸位置框内的第二特征图；
第一输入子模块，用于将所述第二特征图输入所述第二子网络，得到所述人脸图像中特征点及位置。
10.根据权利要求9所述的装置，其特征在于，所述卷积神经网络还包括区域生成网络RPN层；所述第一确定模块包括：
第二确定子模块，用于在RPN层中，通过锚箱从所述第一特征图中确定至少一个位置范围框及所述位置范围框的置信度；
设置子模块，用于在所述至少一个位置范围框中，将置信度高于预设值的位置范围框作为所述人脸位置框。
11.根据权利要求10所述的装置，其特征在于，所述卷积神经网络还包括ROIpooling层，所述提取模块包括：
映射子模块，用于将所述第一特征图映射到所述人脸位置框中，得到所述人脸位置框内的第三特征图；
归一化子模块，用于在所述ROIpooling层中，将所述第三特征图归一化为预设行列的所述第二特征图。
12.一种特征点定位装置，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
根据卷积神经网络的第一子网络，提取待检测的人脸图像的第一特征图；所述第一子网络至少包括所述卷积神经网络的第一特征提取层；
根据所述第一特征图，确定所述人脸图像的人脸位置框；
根据所述人脸位置框、所述第一特征图和第二子网络，确定所述人脸图像中的特征点及其位置；所述第二子网络层至少包括所述卷积神经网络的第二特征提取层和全连接层。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-7任一项所述方法的步骤。
特征点定位方法及装置
技术领域
[0001] 本公开涉及深度学习，尤其涉及特征点定位方法及装置。
背景技术
[0002] 最近几年深度学习在计算机视觉领域取得了巨大的成功，而在显著性检测这一计算机视觉的经典问题上直到2015年才有了完全使用深度学习的方法。通过深度学习的方法实现显著性检测的方式也有很多种，其结果相较于传统的方法更加准确，而目前显著性检测大多用于目标检测和人脸检测。发明内容
[0003] 本公开实施例提供特征点定位方法及装置。所述技术方案如下：
[0004] 根据本公开实施例的第一方面，提供一种特征点定位方法，包括：
[0006] 根据所述第一特征图，确定所述人脸图像的人脸位置框；
[0007] 根据所述人脸位置框、所述第一特征图和第二子网络，确定所述人脸图像中的特征点及其位置；所述第二子网络层至少包括所述卷积神经网络的第二特征提取层和全连接层。
[0008] 本公开的实施例提供的技术方案可以包括以下有益效果：可以在得到人脸位置框图之后，根据人脸位置框图、第一特征图和第二子网络得到人脸图像中的特征点及位置，这样，卷积神经网络可以一次性解决人来检测和特征点检测的两个问题，实现了神经网络的多任务处理的可能，提高了卷积神经网络的使用效率。
[0009] 在一个实施例中，所述根据所述人脸位置框、所述第一特征图和第二子网络，确定所述人脸图像中的特征点及位置包括：
[0010] 根据所述第一特征图和所述人脸位置框，确定在所述人脸位置框内的第二特征图；
[0011] 将所述第二特征图输入所述第二子网络，得到所述人脸图像中特征点及位置。
[0012] 在一个实施例中，所述卷积神经网络还包括区域生成网络RPN层；所述根据所述第一特征图，确定所述人脸图像的人脸位置框包括：
[0013] 在RPN层中，通过锚箱从所述第一特征图中确定至少一个位置范围框及所述位置范围框的置信度；
[0014] 在所述至少一个位置范围框中，将置信度高于预设值的位置范围框作为所述人脸位置框。
[0015] 在一个实施例中，所述卷积神经网络还包括ROIpooling层，所述根据所述第一特征图和所述人脸位置框，确定在所述人脸位置框内的第二特征图包括：
[0016] 将所述第一特征图映射到所述人脸位置框中，得到所述人脸位置框内的第三特征图；
[0017] 在所述ROIpooling层中，将所述第三特征图归一化为预设行列的所述第二特征图。
[0018] 在一个实施例中，所述将所述第二特征图输入所述第二子网络，得到所述人脸图像中特征点及位置包括：
[0019] 在所述第二特征提取层中，从所述第二特征图中提取特征更紧密的第四特征图；
[0020] 在所述全连接层中，根据所述第四特征图，从所述人脸图像中筛选出所述特征点及其位置。
[0021] 在一个实施例中，所述方法还包括：
[0022] 利用训练样本进行预选训练，得到所述卷积神经网络。
[0023] 在一个实施例中，所述训练样本包括一组训练图像、每张所述训练图像的人脸位置框及每张所述训练图像的特征点及其位置；对于所述一组训练图像中的第i张训练图像，所述i是正整数，所述利用训练样本进行预选训练，得到所述卷积神经网络包括：
[0024] 将所述第i张训练图像输入所述卷积神经网络，从所述第一子网络输出训练特征图；
[0025] 根据所述训练特征图，确定所述第i张训练图像的第一训练结果；
[0026] 根据所述第一训练结果、所述第一特征图和所述第二子网络，确定所述第i张训练图像的第二训练结果；
[0027] 确定所述第一训练结果和所述第i张训练图像的人脸位置框的第一误差；
[0028] 确定所述第i张训练图像的特征点及其位置和所述第二结果的第二误差；
[0029] 根据所述第一误差和所述第二误差，改进所述卷积神经网络的参数。
[0030] 根据本公开实施例的第二方面，提供一种特征点定位装置，包括：
[0031] 提取模块，用于根据卷积神经网络的第一子网络，提取待检测的人脸图像的第一特征图；所述第一子网络至少包括所述卷积神经网络的第一特征提取层；
[0032] 第一确定模块，用于根据所述第一特征图，确定所述人脸图像的人脸位置框；
[0033] 第二确定模块，用于根据所述人脸位置框、所述第一特征图和第二子网络，确定所述人脸图像中的特征点及其位置；所述第二子网络层至少包括所述卷积神经网络的第二特征提取层和全连接层。
[0034] 在一个实施例中，所述第二确定模块包括：
[0035] 第一确定子模块，用于根据所述第一特征图和所述人脸位置框，确定在所述人脸位置框内的第二特征图；
[0036] 第一输入子模块，用于将所述第二特征图输入所述第二子网络，得到所述人脸图像中特征点及位置。
[0037] 在一个实施例中，所述卷积神经网络还包括区域生成网络RPN层；所述第一确定模块包括：
[0038] 第二确定子模块，用于在RPN层中，通过锚箱从所述第一特征图中确定至少一个位置范围框及所述位置范围框的置信度；
[0039] 设置子模块，用于在所述至少一个位置范围框中，将置信度高于预设值的位置范围框作为所述人脸位置框。
[0040] 在一个实施例中，所述卷积神经网络还包括ROIpooling层，所述提取模块包括：
[0041] 映射子模块，用于将所述第一特征图映射到所述人脸位置框中，得到所述人脸位置框内的第三特征图；
[0042] 归一化子模块，用于在所述ROIpooling层中，将所述第三特征图归一化为预设行列的所述第二特征图。
[0043] 在一个实施例中，所述第一输入子模块用于：
[0044] 在所述第二特征提取层中，从所述第二特征图中提取特征更紧密的第四特征图；
[0045] 在所述全连接层中，根据所述第四特征图，从所述人脸图像中筛选出所述特征点及其位置。
[0046] 在一个实施例中，所述装置还包括：
[0047] 训练模块，用于利用训练样本进行预选训练，得到所述卷积神经网络。
[0048] 在一个实施例中，所述训练样本包括一组训练图像、每张所述训练图像的人脸位置框及每张所述训练图像的特征点及其位置；对于所述一组训练图像中的第i张训练图像，所述i是正整数，所述训练模块包括：
[0049] 第二输入子模块，用于将所述第i张训练图像输入所述卷积神经网络，从所述第一子网络输出训练特征图；
[0050] 第三确定子模块，用于根据所述训练特征图，确定所述第i张训练图像的第一训练结果；
[0051] 第四确定子模块，用于根据所述第一训练结果、所述第一特征图和所述第二子网络，确定所述第i张训练图像的第二训练结果；
[0052] 第五确定子模块，用于确定所述第一训练结果和所述第i张训练图像的人脸位置框的第一误差；确定所述第i张训练图像的特征点及其位置和所述第二结果的第二误差；
[0053] 改进子模块，用于根据所述第一误差和所述第二误差，改进所述卷积神经网络的参数。
[0054] 根据本公开实施例的第三方面，提供特征点定位装置，包括：
[0055] 处理器；
[0056] 用于存储处理器可执行指令的存储器；
[0057] 其中，所述处理器被配置为：
[0058] 根据卷积神经网络的第一子网络，提取待检测的人脸图像的第一特征图；所述第一子网络至少包括所述卷积神经网络的第一特征提取层；
[0059] 根据所述第一特征图，确定所述人脸图像的人脸位置框；
[0060] 根据所述人脸位置框、所述第一特征图和第二子网络，确定所述人脸图像中的特征点及其位置；所述第二子网络层至少包括所述卷积神经网络的第二特征提取层和全连接层。
[0063] 图1是根据一示例性实施例示出的特征点定位方法的流程图。
[0064] 图2是根据一示例性实施例示出的特征点定位方法的流程图。
[0065] 图3是根据一示例性实施例示出的特征点定位方法的流程图。
[0066] 图4是根据一示例性实施例示出的特征点定位方法的流程图。
[0067] 图5是根据一示例性实施例示出的特征点定位方法的流程图。
[0068] 图6是根据一示例性实施例示出的卷积神经网络的示意图。
[0069] 图7是根据一示例性实施例示出的特征点定位装置的框图。
[0070] 图8是根据一示例性实施例示出的特征点定位装置的框图。
[0071] 图9是根据一示例性实施例示出的特征点定位装置的框图。
[0072] 图10是根据一示例性实施例示出的特征点定位装置的框图。
[0073] 图11是根据一示例性实施例示出的特征点定位装置的框图。
[0074] 图12是根据一示例性实施例示出的特征点定位装置的框图。
[0075] 图13是根据一示例性实施例示出的特征点定位装置的框图。
具体实施方式
[0076] 这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
[0077] 目前人脸位置框和人脸上特征点检测需要通过两个不同的神经网络完成，人脸图像先输入用于目标检测的神经网络，得到人脸位置框，人脸图像和人脸位置框再输入用于特征定位的神经网络，得到人脸的特征点及位置。用户需要检测特征点时，必须先进行人脸位置检测，上述两种方法都需要计算得到人脸图像的特征图，这样，需要多浪费一次资源计算特征图，因此，降低了计算机使用效率。
[0078] 图1是根据一示例性实施例示出的一种特征点定位方法的流程图，如图1所示，特征点定位方法用于特征点定位装置中，该装置应用于终端，该方法可以包括以下步骤101-103：
[0079] 在步骤101中，根据卷积神经网络的第一子网络，提取待检测的人脸图像的第一特征图。
[0080] 在步骤102中，根据第一特征图，确定人脸图像的人脸位置框。
[0081] 本实施例中，人脸位置框的检测方法有很多种，例如通过目标检测中锚箱(anchor box)来实现；通过adaboost人脸检测中的滑窗实现。
[0082] 在步骤103中，根据人脸位置框、第一特征图和第二子网络，确定人脸图像中的特征点及其位置。
[0083] 这里，第二子网络层至少包括卷积神经网络的第二特征提取层和全连接层。
[0084] 在一个实施例中，如图2所示，图1中步骤103，即根据人脸位置框、第一特征图和第二子网络，确定人脸图像中的特征点及位置，可以包括：
[0085] 在步骤1031中，根据第一特征图和人脸位置框，确定在人脸位置框内的第二特征图。
[0086] 在步骤1032中，将第二特征图输入第二子网络，得到人脸图像中特征点及位置。
[0087] 人脸图像通过五点来定位，即五官位置来点位，本实施例的特征点即五官的定位点。
[0088] 在一个实施例中，如图3所示，卷积神经网络还包括区域生成网络(Region Proposal Network，RPN)层；图1中步骤102，即根据第一特征图，确定人脸图像的人脸位置框，可以包括：
[0089] 在步骤1021中，在RPN层中，通过锚箱从第一特征图中确定至少一个位置范围框及位置范围框的置信度。
[0090] 位置范围用于人脸图像中的人脸。锚箱也可以不在RPN层中。
[0091] 在步骤1022中，在至少一个位置范围框中，将置信度高于预设值的位置范围框作为人脸位置框。
[0092] 在一个实施例中，卷积神经网络还包括ROIpooling层，图2中的步骤1031，即根据第一特征图和人脸位置框，确定人脸位置内第二特征图，可以包括：
[0093] 将第一特征图映射到人脸位置框中，得到人脸位置框内的第三特征图；在ROIpooling层中，将第三特征图归一化为预设行列的第二特征图。
[0094] 这里，第一特征图包含了人脸图像的特征，第一特征图和人脸图像具有映射关系，人脸位置框的位置是在人脸图像上的人脸位置，因此，通过第一特征图，人脸位置框内的图像就可以映射到相应出相应的特征图，即第三特征图。
[0095] 由于人脸位置框的尺寸不同，因此第三特征图包含的特征也不相同，因此，需要将所有的第三特征图归一化，使得所有的第二特征图所在的向量矩阵具有相同数量的行和列。
[0096] 在一个实施例中，所述方法还包括：
[0097] 接收一张显示人脸的显示图像。将显示图像的尺寸调整为卷积神经网络设定的预设尺寸，将调整后的显示图像作为人脸图像。
[0098] 在一个实施例中，图1中的步骤1042，即将第二特征图输入第二子网络，得到人脸图像中特征点及位置，可以包括：
[0099] 在第二特征提取层中，从第二特征图中提取特征更紧密的第四特征图；在全连接层中，根据第四特征图，从人脸图像中筛选出特征点及其位置。
[0100] 第二特征提取层可以是一个卷积层。
[0101] 在一个实施例中，如图4所示，方法还包括：
[0102] 在步骤100中，利用训练样本进行预选训练，得到卷积神经网络。
[0103] 在一个实施例中，如图5所示，训练样本包括一组训练图像、每张训练图像的人脸位置框及每张训练图像的特征点及其位置；对于一组训练图像中的第i张训练图像，i是正整数，步骤100，即利用训练样本进行预选训练，得到卷积神经网络，可以包括：
[0104] 在步骤1001中，将第i张训练图像输入卷积神经网络，从第一子网络输出训练特征图。
[0105] 在步骤1002中，根据训练特征图，确定第i张训练图像的第一训练结果。
[0106] 在步骤1003中，根据第一训练结果、第一特征图和第二子网络，确定第i张训练图像的第二训练结果。
[0107] 在步骤1004中，确定第一训练结果和第i张训练图像的人脸位置框的第一误差。
[0108] 在步骤1005中，确定第i张训练图像的特征点及其位置和第二结果的第二误差。
[0109] 在步骤1006中，根据第一误差和第二误差，改进卷积神经网络的参数。
[0110] 本实施例中，初始的卷积神经网络的参数是随机的。
[0111] 如图6所示的卷积神经网络，假设该卷积神经网络包括五层深度，第一层深度包括第一卷积层和第一池化层，第二层深度包括第二卷积层和第二池化层，第三层深度包括三层卷积层和第三层池化层，第四层深度包括ROIpooling层，第五层深度包括RPN层，第六层深度包括第四卷积层，第七层深度包括全连接层。第一特征提取子层可以包括前三层深度，第二特征提取子层可以包括第六层深度。本实施例中，第二子网络需要包括至少一层卷积层和全连接层。
[0112] 下述为本公开装置实施例，可以用于执行本公开方法实施例。
[0114] 提取模块201，用于根据卷积神经网络的第一子网络，提取待检测的人脸图像的第一特征图；所述第一子网络至少包括所述卷积神经网络的第一特征提取层；
[0115] 第一确定模块202，用于根据所述第一特征图，确定所述人脸图像的人脸位置框；
[0116] 第二确定模块203，用于根据所述人脸位置框、所述第一特征图和第二子网络，确定所述人脸图像中的特征点及其位置；所述第二子网络层至少包括所述卷积神经网络的第二特征提取层和全连接层。
[0117] 在一个实施例中，如图8所示，所述第二确定模块203包括：
[0118] 第一确定子模块2031，用于根据所述第一特征图和所述人脸位置框，确定在所述人脸位置框内的第二特征图；
[0119] 第一输入子模块2032，用于将所述第二特征图输入所述第二子网络，得到所述人脸图像中特征点及位置。
[0120] 在一个实施例中，如图9所示，所述卷积神经网络还包括区域生成网络RPN层；所述第一确定模块202包括：
[0121] 第二确定子模块2021，用于在RPN层中，通过锚箱从所述第一特征图中确定至少一个位置范围框及所述位置范围框的置信度；
[0122] 设置子模块2022，用于在所述至少一个位置范围框中，将置信度高于预设值的位置范围框作为所述人脸位置框。
[0123] 在一个实施例中，如图10所示，所述卷积神经网络还包括ROIpooling层，所述提取模块201包括：
[0124] 映射子模块2011，用于将所述第一特征图映射到所述人脸位置框中，得到所述人脸位置框内的第三特征图；
[0125] 归一化子模块2012，用于在所述ROIpooling层中，将所述第三特征图归一化为预设行列的所述第二特征图。
[0126] 在一个实施例中，所述第一输入子模块2032用于：
[0127] 在所述第二特征提取层中，从所述第二特征图中提取特征更紧密的第四特征图；
[0128] 在所述全连接层中，根据所述第四特征图，从所述人脸图像中筛选出所述特征点及其位置。
[0129] 在一个实施例中，如图11所示，所述装置还包括：
[0130] 训练模块204，用于利用训练样本进行预选训练，得到所述卷积神经网络。
[0131] 在一个实施例中，如图12所示，所述训练样本包括一组训练图像、每张所述训练图像的人脸位置框及每张所述训练图像的特征点及其位置；对于所述一组训练图像中的第i张训练图像，所述i是正整数，所述训练模块204包括：
[0132] 第二输入子模块2041，用于将所述第i张训练图像输入所述卷积神经网络，从所述第一子网络输出训练特征图；
[0133] 第三确定子模块2042，用于根据所述训练特征图，确定所述第i张训练图像的第一训练结果；
[0134] 第四确定子模块2043，用于根据所述第一训练结果、所述第一特征图和所述第二子网络，确定所述第i张训练图像的第二训练结果；
[0135] 第五确定子模块2044，用于确定所述第一训练结果和所述第i张训练图像的人脸位置框的第一误差；确定所述第i张训练图像的特征点及其位置和所述第二结果的第二误差；
[0136] 改进子模块2045，用于根据所述第一误差和所述第二误差，改进所述卷积神经网络的参数。
[0137] 根据本公开实施例的第三方面，提供一种特征点定位装置，包括：
[0138] 处理器；
[0139] 用于存储处理器可执行指令的存储器；
[0140] 其中，处理器被配置为：
[0141] 根据卷积神经网络的第一子网络，提取待检测的人脸图像的第一特征图；所述第一子网络至少包括所述卷积神经网络的第一特征提取层；
[0142] 根据所述第一特征图，确定所述人脸图像的人脸位置框；
[0143] 根据所述人脸位置框、所述第一特征图和第二子网络，确定所述人脸图像中的特征点及其位置；所述第二子网络层至少包括所述卷积神经网络的第二特征提取层和全连接层。
[0144] 上述处理器还可被配置为：
[0145] 所述根据所述人脸位置框、所述第一特征图和第二子网络，确定所述人脸图像中的特征点及位置包括：
[0146] 根据所述第一特征图和所述人脸位置框，确定在所述人脸位置框内的第二特征图；
[0147] 将所述第二特征图输入所述第二子网络，得到所述人脸图像中特征点及位置。
[0148] 所述卷积神经网络还包括区域生成网络RPN层；所述根据所述第一特征图，确定所述人脸图像的人脸位置框包括：
[0149] 在RPN层中，通过锚箱从所述第一特征图中确定至少一个位置范围框及所述位置范围框的置信度；
[0150] 在所述至少一个位置范围框中，将置信度高于预设值的位置范围框作为所述人脸位置框。
[0151] 所述卷积神经网络还包括ROIpooling层，所述根据所述第一特征图和所述人脸位置框，确定在所述人脸位置框内的第二特征图包括：
[0152] 将所述第一特征图映射到所述人脸位置框中，得到所述人脸位置框内的第三特征图；
[0153] 在所述ROIpooling层中，将所述第三特征图归一化为预设行列的所述第二特征图。
[0154] 所述将所述第二特征图输入所述第二子网络，得到所述人脸图像中特征点及位置包括：
[0155] 在所述第二特征提取层中，从所述第二特征图中提取特征更紧密的第四特征图；
[0156] 在所述全连接层中，根据所述第四特征图，从所述人脸图像中筛选出所述特征点及其位置。
[0157] 所述方法还包括：
[0158] 利用训练样本进行预选训练，得到所述卷积神经网络。
[0159] 所述训练样本包括一组训练图像、每张所述训练图像的人脸位置框及每张所述训练图像的特征点及其位置；对于所述一组训练图像中的第i张训练图像，所述i是正整数，所述利用训练样本进行预选训练，得到所述卷积神经网络包括：
[0160] 将所述第i张训练图像输入所述卷积神经网络，从所述第一子网络输出训练特征图；
[0161] 根据所述训练特征图，确定所述第i张训练图像的第一训练结果；
[0162] 根据所述第一训练结果、所述第一特征图和所述第二子网络，确定所述第i张训练图像的第二训练结果；
[0163] 确定所述第一训练结果和所述第i张训练图像的人脸位置框的第一误差；
[0164] 确定所述第i张训练图像的特征点及其位置和所述第二结果的第二误差；
[0165] 根据所述第一误差和所述第二误差，改进所述卷积神经网络的参数。
[0166] 关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
[0167] 图13是根据一示例性实施例示出的一种用于特征点定位装置的框图。例如，装置1900可以被提供为一服务器。装置1900包括处理组件1922，其进一步包括一个或多个处理器，以及由存储器1932所代表的存储器资源，用于存储可由处理组件1922的执行的指令，例如应用程序。存储器1932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1922被配置为执行指令，以执行上述方法。
[0168] 装置1900还可以包括一个电源组件1926被配置为执行装置1900的电源管理，一个有线或无线网络接口1950被配置为将装置1900连接到网络，和一个输入输出(I/O)接口1958。装置1900可以操作基于存储在存储器1932的操作系统，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM或类似。
[0169] 一种非临时性计算机可读存储介质，当所述存储介质中的指令由装置1900的处理器执行时，使得装置1900能够执行上述特征点定位方法，所述方法包括：
[0170] 根据卷积神经网络的第一子网络，提取待检测的人脸图像的第一特征图；所述第一子网络至少包括所述卷积神经网络的第一特征提取层；
[0171] 根据所述第一特征图，确定所述人脸图像的人脸位置框；
[0172] 根据所述人脸位置框、所述第一特征图和第二子网络，确定所述人脸图像中的特征点及其位置；所述第二子网络层至少包括所述卷积神经网络的第二特征提取层和全连接层。
[0173] 所述根据所述人脸位置框、所述第一特征图和第二子网络，确定所述人脸图像中的特征点及位置包括：
[0174] 根据所述第一特征图和所述人脸位置框，确定在所述人脸位置框内的第二特征图；
[0175] 将所述第二特征图输入所述第二子网络，得到所述人脸图像中特征点及位置。
[0176] 所述卷积神经网络还包括区域生成网络RPN层；所述根据所述第一特征图，确定所述人脸图像的人脸位置框包括：
[0177] 在RPN层中，通过锚箱从所述第一特征图中确定至少一个位置范围框及所述位置范围框的置信度；
[0178] 在所述至少一个位置范围框中，将置信度高于预设值的位置范围框作为所述人脸位置框。
[0179] 所述卷积神经网络还包括ROIpooling层，所述根据所述第一特征图和所述人脸位置框，确定在所述人脸位置框内的第二特征图包括：
[0180] 将所述第一特征图映射到所述人脸位置框中，得到所述人脸位置框内的第三特征图；
[0181] 在所述ROIpooling层中，将所述第三特征图归一化为预设行列的所述第二特征图。
[0182] 所述将所述第二特征图输入所述第二子网络，得到所述人脸图像中特征点及位置包括：
[0183] 在所述第二特征提取层中，从所述第二特征图中提取特征更紧密的第四特征图；
[0184] 在所述全连接层中，根据所述第四特征图，从所述人脸图像中筛选出所述特征点及其位置。
[0185] 所述方法还包括：
[0186] 利用训练样本进行预选训练，得到所述卷积神经网络。
[0187] 所述训练样本包括一组训练图像、每张所述训练图像的人脸位置框及每张所述训练图像的特征点及其位置；对于所述一组训练图像中的第i张训练图像，所述i是正整数，所述利用训练样本进行预选训练，得到所述卷积神经网络包括：
[0188] 将所述第i张训练图像输入所述卷积神经网络，从所述第一子网络输出训练特征图；
[0189] 根据所述训练特征图，确定所述第i张训练图像的第一训练结果；
[0190] 根据所述第一训练结果、所述第一特征图和所述第二子网络，确定所述第i张训练图像的第二训练结果；
[0191] 确定所述第一训练结果和所述第i张训练图像的人脸位置框的第一误差；
[0192] 确定所述第i张训练图像的特征点及其位置和所述第二结果的第二误差；
[0193] 根据所述第一误差和所述第二误差，改进所述卷积神经网络的参数。
[0194] 本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种批量切割放置图形生成方法及装置 | 2020-05-08 | 534 |
| 一种断路器控制回路可靠性评估方法及装置 | 2020-05-11 | 127 |
| 神经网络训练与构建方法和装置以及目标检测方法和装置 | 2020-05-13 | 102 |
| 一种同步旋转坐标系下三相并网逆变器小信号建模方法 | 2020-05-12 | 571 |
| 姿势估计方法、装置、设备及存储介质 | 2020-05-12 | 424 |
| 一种基于双闭环控制的双馈风机整流器阻抗计算方法 | 2020-05-12 | 298 |
| 嵌入式永磁同步电机的控制方法 | 2020-05-14 | 484 |
| 一种周期扰动观测器的设计方法 | 2020-05-11 | 544 |
| 灌浆压力波动程控方法 | 2020-05-12 | 435 |
| 应用于激光切割数控加工的图形切割排序处理方法 | 2020-05-11 | 554 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
框图热门专利
QQ群二维码
意见反馈
意见反馈