一种端到端的高分辨率多特征提取的人脸交换方法
专利汇可以提供一种端到端的高分辨率多特征提取的人脸交换方法专利检索，专利查询，专利分析的服务。并且本 发明 公开了一种端到端的高 分辨率 多特征提取的人脸交换方法。其步骤为：1)对输入视频进行解 帧 ，图像人脸对齐并提取面部特征点；2)构建网络模型；3)训练网络和更新参数；4)对生成人脸进行融合替换。本发明具有以下优点：使用了一种端到端的高分辨率多特征提取的人脸交换方法，能够生成目标神态表情；采用自 编码器 模型和残差结构对人脸的特征进行学习，可以提升人脸的细节；采用多特征的 卷积神经网络 的方法，能够捕捉到人脸的的更多特征，构造的神经网络模型中使用LeakyReLU激活函数提升网络性能；对于产生的结果，使用泊松融合 颜色 转换等方法使效果更加自然。，下面是一种端到端的高分辨率多特征提取的人脸交换方法专利的具体信息内容。
1.一种端到端的高分辨率多特征提取的人脸交换方法，其特征在于，包括以下步骤：
1)对输入视频进行解帧，标定人脸特征点，得到人脸的面部范围；选择人脸关键点，根据人脸关键点的坐标值进行人脸对齐操作；
2)构建深度神经网络，包括一个编码器和两个解码器；所述编码器包括多个特征提取器，并将多个特征提取器的输出叠加；两个解码器均包括交替连接的多个上采样层和残差块；
3)采集目标人脸样本和素材人脸样本作为训练样本，对深度神经网络进行训练，采用反向传递算法对深度神经网络中的权重进行更新，得到训练好的编码器和两个解码器；将两个解码器的位置对调，得到人脸交换的深度神经网络模型；
4)将待交换的目标人脸和素材人脸的图片序列输入到人脸交换的深度神经网络模型中，生成目标人脸的替换人脸，对生成的替换人脸进行融合以及颜色转换，得到换脸之后的结果。
2.根据权利要求1所述的一种端到端的高分辨率多特征提取的人脸交换方法，其特征在于，所述的步骤1)具体为：
1.1)人脸检测：
从输入视频中拆解出包含人脸的目标图像帧，得到目标图像和候选框，并采用边框回归的方法校正候选框；对候选框中的人脸上的特征点进行标定，得到多个人脸特征点坐标；
对人脸特征点采用级联回归， 其中t表示级联序号，rt(·,·)表示当
前级的回归器，I为输入图像， 为上一级回归器更新之后的特征形状；对于一张目标图像中的人脸，一共标定68个特征点；
1.2)人脸对齐：
选择鼻子、左眼右眼以及嘴唇部分的基准特征点为人脸关键点，根据人脸关键点坐标值将步骤1.1)标定后的人脸通过仿射变换进行人脸对齐，并截取仅包含人脸的图像区域，人脸关键点坐标也根据仿射变换矩阵重新映射到新的坐标。
3.根据权利要求1所述的一种端到端的高分辨率多特征提取的人脸交换方法，其特征在于，所述的步骤2)具体为：
构建深度神经网络，包括输入层、隐藏层和输出层；所述隐藏层由一个编码器和两个相同的解码器组成；所述编码器由4个特征提取器、全连接层和上采样层组成，每一个特征提取器由r个下采样层组成，将经步骤1)预处理后的图像通过输入层同时输入到4个特征提取器中，每一个特征提取器输出一个特征向量，将4个特征向量在通道上做叠加，输入到全连接层中，再经上采样层后输出隐空间变量；所述解码器包括多个上采样层和残差块，每一个上采样层之后连接一个残差块，最后一个残差块连接一个卷积层，两个解码器的输入为编码器的输出；
所述深度神经网络采用LeakyReLU激活函数，公式如下：
f(x)表示输入的LeakyReLU函数，x表示输入值，a为(0,1)区间内的固定参数。
4.根据权利要求1所述的一种端到端的高分辨率多特征提取的人脸交换方法，其特征在于，所述的步骤3)具体为：
搜集拍摄的视频，用ffmeng将视频分解为人脸图像作为训练样本，包括目标人脸样本和素材人脸样本，通过步骤1)对训练样本进行预处理；
将步骤2)建立的深度神经网络采用MSRA权重初始化，该初始化是均值为0，方差为2/n的高斯分布；将预处理后的目标人脸样本和素材人脸样本作为训练样本同时输入到深度学习网络中进行训练，采用反向传递算法对深度神经网络中的权重进行更新，得到训练好的编码器参数和解码器参数并将参数固定；将两个解码器互换，得到人脸交换的深度神经网络模型；
所述训练的过程采用像素损失函数和结构相似性损失函数，所述像素损失函数表达式为：
其中，x代表生成的图像，y代表原始图像，对每一个像素进行取L1距离作为像素损失；
所述结构相似性损失函数表达式为：
SSIM(X，Y)＝L(X，Y)×C(X，Y)×S(X，Y)
其中，L(X,Y)为亮度对比因子，C(X,Y)为对比度因子，S(X,Y)为结构对比因子。
5.根据权利要求4所述的一种端到端的高分辨率多特征提取的人脸交换方法，其特征在于，所述的步骤4)为：
4.1)将目标人脸和素材人脸的图片序列输入到人脸交换的深度神经网络模型中，生成替换人脸，经仿射变换矩阵重新进行人脸对齐操作；
4.2)根据目标人脸的面部范围，对对齐后的人脸进行泊松融合，公式如下：
4.3)对融合之后图像进行颜色转换，将源图像转换lαβ色彩空间，对图像的每个像素减去所有像素的均值，得到的新的像素值与参考空间上的像素值的标准差做乘积，得到的新像素加上参考空间像素值的均值，最终得到换脸之后的结果。
一种端到端的高分辨率多特征提取的人脸交换方法
技术领域
背景技术
发明内容
具体实施方式
256,3)。得到训练样本之后，需要训练一个编码器两个解码器，两个解码器分别对应两个个体，在训练完成时，得到训练好的编码器参数和解码器参数并将参数固定；将两个解码器互换，得到人脸交换的深度神经网络模型。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种基于生成对抗网络的空调用户调频能力评估方法 | 2020-05-08 | 271 |
| 一种桥梁防撞护栏结构及其施工方法 | 2020-05-11 | 488 |
| 一种单塔低压酸性水汽提装置操作性能的建模方法及装置 | 2020-05-08 | 424 |
| 乐谱处理方法、装置和电子设备 | 2020-05-08 | 576 |
| 一种柜子 | 2020-05-11 | 512 |
| 一种基于神经网络的古文翻译方法 | 2020-05-11 | 84 |
| 一种基于深度全连接网络的Himawari-8大气气溶胶反演方法 | 2020-05-08 | 366 |
| 基于多视图卷积神经网络的三维模型检索方法 | 2020-05-08 | 321 |
| 基于共享控制门结构的中文文本校正方法 | 2020-05-08 | 792 |
| 一种带手动采光调节百叶机构的双层中空玻璃 | 2020-05-08 | 952 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
