人脸关键点定位方法及装置
专利汇可以提供人脸关键点定位方法及装置专利检索，专利查询，专利分析的服务。并且本 发明 公开了一种人脸关键点 定位 方法及装置。该方法包括：通过多任务 卷积神经网络 进行粗定位，确定人脸关键点大体 位置 ；然后在关键点周围提取局部区域，通过全局级联卷积神经网络把关键点周围提取局部区域融合到一起，进行级联定位；最后在针对每个关键点单独训练卷积神经网络进行精细定位。本发明所用神经网络总体数目较少，定位效果相对较好。，下面是人脸关键点定位方法及装置专利的具体信息内容。
1.一种人脸关键点定位方法，其特征在于，包括如下步骤：
将待检测人脸图像缩放到第一指定分辨率，形成第一缩放待检测人脸图像；
将所述第一缩放待检测人脸图像输入至第一阶段多任务关键点定位模型中，得到第一关键点定位坐标和第一头部姿态估计值，其中，训练所述第一阶段多任务关键点定位模型包括构建第一阶段多任务深度卷积神经网络，构建第一阶段多任务深度卷积神经网络的目标函数为：
J＝Jr(Sg，f(I；Wr))+Jl(Pg，f(I；Wl))
g g
其中，Jr表示人脸关键点定位的损失函数，Jl表示头部姿态信息估计的损失函数，S ，P分别表示输入图像中标定的人脸关键点位置和头部姿态信息，I为输入图像，f(·)是第一阶段多任务深度卷积神经网络的非线性映射函数，Wr、Wl分别表示基于回归和基于分类的映射矩阵；
其中，Jr用回归形式的平方误差损失函数表示如下：
其中，N表示输入图像的个数， 是第i个输入图像中标定的人脸关键点位置， 表示第一阶段多任务深度卷积神经网络中第T层的输入， 为所述第一
阶段多任务深度卷积神经网络中第T层的映射函数， 为第一阶段多任务深度卷积神经网络中第T层的回归映射矩阵；
其中，Jl用分类形式的交叉熵损失函数表示如下：
g
其中，K为头部姿态信息的类别数目，Pi 表示第i个输入图像中标定的头部姿态信息；
表示第i个输入图像被分为第k类头部姿态信息的概率， 为预测的第i个
输入图像的头部姿态信息；
将所述待检测人脸图像缩放到第二指定分辨率，得到第二缩放待检测人脸图像，所述第二指定分辨率大于第一指定分辨率；
以缩放后的第二缩放待检测人脸图像中的第一关键点定位坐标为中心，提取周围第一预定大小的第一局部区域图像，将所有第一关键点周围提取的第一局部区域图像串联起来；
将所述串联后的第一局部区域图像输入至第二阶段关键点校准模型中，得到第二关键点定位坐标；
将所述待检测人脸图像缩放至第三指定分辨率，得到第三缩放待检测人脸图像，第三指定分辨率大于第二指定分辨率；
以缩放后的第三缩放待检测人脸图像中的第二关键点定位坐标为中心，提取周围第二预定大小的第二局部区域图像；
将所述第二局部区域图像输入至第三阶段关键点检测模型中，得到最终的关键点定位坐标；其中，不同关键点对应不同的所述第三阶段关键点检测模型。
2.如权利要求1所述的方法，其特征在于，所述第一阶段多任务关键点定位模型通过如下方式训练得到：
获取包括人脸图像样本的训练样本集，在人脸图像样本中标定人脸关键点位置和头部姿态信息；
通过人脸检测器获取人脸图像样本中的人脸目标区域，把人脸目标区域缩放到第一指定分辨率，并更新标定的人脸关键点位置；
构建第一阶段多任务深度卷积神经网络；
将人脸图像样本的人脸目标区域作为输入图像输入至第一阶段多任务深度卷积神经网络进行训练，得到第一阶段关键点定位模型。
3.如权利要求1所述的方法，其特征在于，所述 如下表示：
其中， 是第k类头部姿态信息的映射矩阵， 是第j类头部姿态信息的映射矩阵，
4.如权利要求1所述的方法，其特征在于，所述第二阶段关键点校准模型如下训练得到：
获取包括人脸图像样本的训练样本集，以及利用第一阶段多任务关键点定位模型定位得到的所述人脸图像样本的初始人脸关键点位置；
将所述人脸图像样本中的人脸目标区域缩放到第二指定分辨率，并更新所述初始人脸关键点位置；
以更新后的所述初始人脸关键点位置为中心，提取周边预定范围内的局部区域图像；
构建第二阶段全局卷积神经网络；所述第二阶段全局卷积神经网络包括多个子神经网络和一个全连接层，所述多个子神经网络中的每一个对应不同的人脸关键点，所述全连接层用于连接所述多个子神经网络；
将所提取每个人脸关键点的局部区域图像作为输入图像分别输入至第二阶段全局卷积神经网络中对应的子神经网络进行训练，得到第二阶段全局关键点定位模型。
5.如权利要求4所述的方法，其特征在于，所述第二阶段全局卷积神经网络的目标函数如下表示：
g
J＝Jr2(ΔS，f2(Ip；Wr))
其中，Jr2表示关键点定位的损失函数，ΔSg＝Sg-S0表示标定的人脸关键点位置和更新后的所述初始人脸关键点位置的差值，S0是更新后的所述初始人脸关键点位置，Ip表示输入图像，f2(·)是第二阶段全局卷积神经网络的非线性映射函数。
6.如权利要求1所述的方法，其特征在于，所述第三阶段关键点检测模型如下训练得到：
获取包括人脸图像样本的训练样本集，以及利用第二阶段关键点校准模型定位得到的所述人脸图像样本的校准人脸关键点位置；
将所述人脸图像样本中的人脸目标区域缩放到第三指定分辨率，并更新所述校准人脸关键点位置；
以更新后的所述校准人脸关键点位置为中心，提取周边预定范围内的局部区域图像；
根据所述提取的局部区域图像训练得到关键点检测模型，其中，根据不同人脸关键点对应的局部区域训练得到不同的关键点检测模型。
7.一种人脸关键点定位装置，其特征在于，包括：
第一缩放模块，用于将待检测人脸图像缩放到第一指定分辨率，形成第一缩放待检测人脸图像；
初始定位模块，用于将所述第一缩放待检测人脸图像输入至第一阶段多任务关键点定位模型中，得到第一关键点定位坐标和第一头部姿态估计值，其中，训练所述第一阶段多任务关键点定位模型包括构建第一阶段多任务深度卷积神经网络，构建第一阶段多任务深度卷积神经网络的目标函数为：
g g
J＝Jr(S，f(I；Wr))+Jl(P，f(I；Wl))
其中，Jr表示人脸关键点定位的损失函数，Jl表示头部姿态信息估计的损失函数，Sg，Pg分别表示输入图像中标定的人脸关键点位置和头部姿态信息，I为输入图像，f(·)是第一阶段多任务深度卷积神经网络的非线性映射函数，Wr、Wl分别表示基于回归和基于分类的映射矩阵；
其中，Jr用回归形式的平方误差损失函数表示如下：
其中，N表示输入图像的个数， 是第i个输入图像中标定的人脸关键点位置， 表示第一阶段多任务深度卷积神经网络中第T层的输入， 为所述第一
阶段多任务深度卷积神经网络中第T层的映射函数， 为第一阶段多任务深度卷积神经网络中第T层的回归映射矩阵；
其中，Jl用分类形式的交叉熵损失函数表示如下：
其中，K为头部姿态信息的类别数目，Pig表示第i个输入图像中标定的头部姿态信息；
表示第i个输入图像被分为第k类头部姿态信息的概率， 为预测的第i个
输入图像的头部姿态信息；
第二缩放模块，用于将所述待检测人脸图像缩放到第二指定分辨率，得到第二缩放待检测人脸图像，所述第二指定分辨率大于第一指定分辨率；
第一局部区域提取模块，用于以缩放后的第二缩放待检测人脸图像中的第一关键点定位坐标为中心，提取周围第一预定大小的第一局部区域图像，将所有第一关键点周围提取的第一局部区域图像串联起来；
校准模块，用于将所述串联后的第一局部区域图像输入至第二阶段关键点校准模型中，得到第二关键点定位坐标；
第三缩放模块，用于将所述待检测人脸图像缩放至第三指定分辨率，得到第三缩放待检测人脸图像，第三指定分辨率大于第二指定分辨率；
第二局部区域提取模块，用于以缩放后的第三缩放待检测人脸图像中的第二关键点定位坐标为中心，提取周围第二预定大小的第二局部区域图像；
最终定位模块，用于将所述第二局部区域图像输入至第三阶段关键点检测模型中，得到最终的关键点定位坐标；其中，不同关键点对应不同的所述第三阶段关键点检测模型。
8.如权利要求7所述的装置，其特征在于，还包括训练模块，用于训练所述第二阶段关键点校准模型，包括：
第一获取子模块，用于获取包括人脸图像样本的训练样本集，以及利用第一阶段多任务关键点定位模型定位得到的所述人脸图像样本的初始人脸关键点位置；
缩放子模块，用于将所述人脸图像样本中的人脸目标区域缩放到第二指定分辨率，并更新所述初始人脸关键点位置；
更新子模块，用于以更新后的所述初始人脸关键点位置为中心，提取周边预定范围内的局部区域图像；
构建子模块，用于构建第二阶段全局卷积神经网络；所述第二阶段全局卷积神经网络包括多个子神经网络和一个全连接层，所述多个子神经网络中的每一个对应不同的人脸关键点，所述全连接层用于连接所述多个子神经网络；
训练子模块，用于将所提取每个人脸关键点的局部区域图像作为输入图像分别输入至第二阶段全局卷积神经网络中对应的子神经网络进行训练，得到第二阶段全局关键点定位模型。
9.一种人脸关键点定位装置，其特征在于，包括：处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
将待检测人脸图像缩放到第一指定分辨率，形成第一缩放待检测人脸图像；
将所述第一缩放待检测人脸图像输入至第一阶段多任务关键点定位模型中，得到第一关键点定位坐标和第一头部姿态估计值，其中，训练所述第一阶段多任务关键点定位模型包括构建第一阶段多任务深度卷积神经网络，构建第一阶段多任务深度卷积神经网络的目标函数为：
g g
J＝Jr(S，f(I；Wr))+Jl(P，f(I；Wl))
其中，Jr表示人脸关键点定位的损失函数，Jl表示头部姿态信息估计的损失函数，Sg，Pg分别表示输入图像中标定的人脸关键点位置和头部姿态信息，I为输入图像，f(·)是第一阶段多任务深度卷积神经网络的非线性映射函数，Wr、Wl分别表示基于回归和基于分类的映射矩阵；
其中，Jr用回归形式的平方误差损失函数表示如下：
其中，N表示输入图像的个数， 是第i个输入图像中标定的人脸关键点位置， 表示第一阶段多任务深度卷积神经网络中第T层的输入， 为所述第一
阶段多任务深度卷积神经网络中第T层的映射函数， 为第一阶段多任务深度卷积神经网络中第T层的回归映射矩阵；
其中，Jl用分类形式的交叉熵损失函数表示如下：
g
其中，K为头部姿态信息的类别数目，Pi 表示第i个输入图像中标定的头部姿态信息；
表示第i个输入图像被分为第k类头部姿态信息的概率， 为预测的第i个
输入图像的头部姿态信息；
将所述待检测人脸图像缩放到第二指定分辨率，得到第二缩放待检测人脸图像，所述第二指定分辨率大于第一指定分辨率；
以缩放后的第二缩放待检测人脸图像中的第一关键点定位坐标为中心，提取周围第一预定大小的第一局部区域图像，将所有第一关键点周围提取的第一局部区域图像串联起来；
将所述串联后的第一局部区域图像输入至第二阶段关键点校准模型中，得到第二关键点定位坐标；
将所述待检测人脸图像缩放至第三指定分辨率，得到第三缩放待检测人脸图像，第三指定分辨率大于第二指定分辨率；
以缩放后的第三缩放待检测人脸图像中的第二关键点定位坐标为中心，提取周围第二预定大小的第二局部区域图像；
将所述第二局部区域图像输入至第三阶段关键点检测模型中，得到最终的关键点定位坐标；其中，不同关键点对应不同的所述第三阶段关键点检测模型。
人脸关键点定位方法及装置
技术领域
背景技术
发明内容
具体实施方式
C1 卷积层 5x5x16 relu 32x32x16
P2 池化层 2x2 - 16x16x16
C3 卷积层 3x3x32 relu 18x18x32
P4 池化层 2x2 - 9x9x32
C5 局部卷积层 3x3x64 relu 9x9x64
F7 全连接层 - - 1x1x60
值和第二阶段全局卷积神经网络输出预测值的差值，S是第二阶段全局卷积神经网络预测的人脸关键点位置坐标，Ip表示以S2为中心提取的其周边预定范围内局部区域的像素值，f3(·)是第三阶段卷积神经网络的非线性映射函数。第三阶段输出的关键点位置就是我们三阶段级联神经网络的最终定位结果。以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 人脸姿态估计/三维人脸重构方法、装置及电子设备 | 2020-05-11 | 34 |
| 一种基于深度学习的RGBD机器人看护系统及方法 | 2020-05-16 | 9 |
| 人脸图像质量检测方法及装置 | 2020-05-19 | 732 |
| 分类采样方法、装置、系统、存储介质和计算机设备 | 2020-05-23 | 100 |
| 一种适用于多姿态下的驾驶人员抽烟行为检测方法 | 2020-05-24 | 766 |
| 一种模型训练的方法、媒体信息合成的方法及装置 | 2020-05-12 | 730 |
| 基于微笑范式和音视频行为分析的孤独症早期筛查系统 | 2020-05-19 | 665 |
| 一种基于智能手机和人工智能的投篮训练系统与方法 | 2020-05-08 | 35 |
| 一种基于AI技术的列车驾驶室作业规范监测系统 | 2020-05-16 | 507 |
| 基于多感官交互体验和学习注意力评估的教育方法 | 2020-05-24 | 352 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
