一种三维人脸重建方法、装置及相关设备
阅读：861发布：2020-05-22
专利汇可以提供一种三维人脸重建方法、装置及相关设备专利检索，专利查询，专利分析的服务。并且本 申请 实施例 公开了一种 三维人脸重建 方法、装置及相关设备，在获取对人脸进行拍摄得到的第一彩色图像和对应的第一 深度图 像 后，可以在第一彩色图像中识别出位于人脸中心区域的多个中心特征点，根据第一深度图像确定多个中心特征点的三维坐标，根据多个中心特征点的三维坐标构建三维感兴趣区域，基于第一感兴趣区域中的第一数据进行三维人脸重建，第一感兴趣区域中的第一数据根据第一深度图像确定。本申请实施例中的三维感兴趣区域是根据位于人脸中心区域的多个中心特征点的三维坐标构建的，而人脸中心区域的中心特征点在深度图像中受到噪声干扰的影响较小，因此得到的三维感兴趣区域较为准确，基于三维感兴趣区域进行的三维人脸重建也较为可靠。，下面是一种三维人脸重建方法、装置及相关设备专利的具体信息内容。
1.一种三维人脸重建方法，其特征在于，所述方法包括：
获取对人脸进行拍摄得到的第一彩色图像和对应的第一深度图像；
在所述第一彩色图像中识别出位于人脸中心区域的多个中心特征点；
根据所述第一深度图像确定所述多个中心特征点的三维坐标；
基于所述多个中心特征点的三维坐标构建第一感兴趣区域；
基于所述第一感兴趣区域中的第一数据进行三维人脸重建，所述第一感兴趣区域中的第一数据根据所述第一深度图像确定。
2.根据权利要求1所述的方法，其特征在于，所述基于所述多个中心特征点的三维坐标构建第一感兴趣区域，包括：
计算所述中心特征点的中心点的坐标；
在所述中心点与拍摄所述第一彩色图像的相机的连线方向上，调整所述中心点的坐标；
将调整后的中心点作为区域中心点，构建三维感兴趣区域。
3.根据权利要求2所述的方法，其特征在于，所述将调整后的中心点作为区域中心点，构建三维感兴趣区域，包括：
将调整后的中心点作为区域中心点，将预设值作为半径，构建球形的第一感兴趣区域；
或，
将所述调整后的中心点作为区域中心点，将预设值作为区域中心点到区域表面的距离，构建立方体的第一感兴趣区域。
4.根据权利要求1所述的方法，其特征在于，所述基于所述第一感兴趣区域中的第一数据进行三维人脸重建，包括：
将所述第一感兴趣区域中的第一数据与全局模型进行迭代最近点配准，得到所述第一数据与所述全局模型的刚性变换；
基于所述刚性变换，将所述第一数据融合到所述全局模型中。
5.根据权利要求1-4任意一项所述的方法，其特征在于，还包括：
获取对人脸进行拍摄得到的第i彩色图像和对应的第i深度图像，所述第i彩色图像和第i-1彩色图像为同一视频流中间隔的图像数量小于或等于预设阈值的不同图像；所述i为大于1的整数；
基于所述第i-1个感兴趣区域中的第i数据进行三维人脸重建，所述第i-1感兴趣区域中的第i数据根据所述第i深度图像确定；
基于所述第i数据调整所述第i-1感兴趣区域，以得到第i感兴趣区域。
6.一种三维人脸重建装置，其特征在于，包括：
第一图像获取单元，用于获取对人脸进行拍摄得到的第一彩色图像和对应的第一深度图像；
特性点识别单元，用于在所述第一彩色图像中识别出位于人脸中心区域的多个中心特征点；
坐标确定单元，用于根据所述第一深度图像确定所述多个中心特征点的三维坐标；
第一感兴趣区域构建单元，用于基于所述多个中心特征点的三维坐标构建第一感兴趣区域；
第一人脸重建单元，用于基于所述第一感兴趣区域中的第一数据进行三维人脸重建，所述第一感兴趣区域中的第一数据根据所述第一深度图像确定。
7.根据权利要求6所述的装置，其特征在于，所述第一感兴趣区域构建单元，包括：
坐标计算单元，用于计算所述中心特征点的中心点的坐标；
坐标调整单元，用于在所述中心点与拍摄所述第一彩色图像的相机的连线方向上，调整所述中心点的坐标；
感兴趣区域构建子单元，用于将调整后的中心点作为区域中心点，构建三维感兴趣区域。
8.根据权利要求7所述的装置，其特征在于，所述感兴趣区域构建子单元具体用于：
将调整后的中心点作为区域中心点，将预设值作为半径，构建球形的第一感兴趣区域；
或，
将所述调整后的中心点作为区域中心点，将预设值作为区域中心点到区域表面的距离，构建立方体的第一感兴趣区域。
9.根据权利要求6所述的装置，其特征在于，所述第一人脸重建单元，包括：
配准单元，用于将所述第一感兴趣区域中的第一数据与全局模型进行迭代最近点配准，得到所述第一数据与所述全局模型的刚性变换；
融合单元，用于基于所述刚性变换，将所述第一数据融合到所述全局模型中。
10.根据权利要求6-9任意一项所述的装置，其特征在于，还包括：
第二图像获取单元，用于获取对人脸进行拍摄得到的第i彩色图像和对应的第i深度图像，所述第i彩色图像和第i-1彩色图像为同一视频流中间隔的图像数量小于或等于预设阈值的不同图像；所述i为大于1的整数；
第二人脸重建单元，用于基于所述第i-1个感兴趣区域中的第i数据进行三维人脸重建，所述第i-1感兴趣区域中的第i数据根据所述第i深度图像确定；
感兴趣区域调整单元，用于基于所述第i数据调整所述第i-1感兴趣区域，以得到第i感兴趣区域。
11.一种三维人脸重建设备，其特征在于，所述设备包括：
处理器以及存储器；
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行权利要求1至5任一项所述的三维人脸重建方法。
一种三维人脸重建方法、装置及相关设备
技术领域
背景技术
[0002] 三维人脸重建技术是计算机视觉和计算机图形学领域的一大研究热点，其在虚拟显示/增强显示、自动驾驶、机器人等各个方面发挥着重大作用，有着广泛的应用。近年来许多消费级深度相机的出现，使得能够对一些场景与物体进行实时三维重建，此类相机一般同时带有颜色传感器和深度传感器，能够同时获取场景物体的彩色图像和深度图像，其中彩色图像能够记录相机的视角中场景物体的颜色信息，而深度图像能够记录场景内物体的位置关系以及物体到相机的距离信息，这类相机可以称为RGB-D(RGB彩色图像和Depth深度图像)相机。
[0003] 现有的三维人脸重建方法中，在同时获得人脸的彩色图像和深度图像后，可以利用人脸特征点检测算法在彩色图像中检测人脸特征点的位置，根据人脸特征点的位置以及深度图像可以确定每个人脸特征点的三维坐标，根据人脸特征点的三维坐标可以确定人脸所在区域，从而去除非人脸区域，将人脸所在区域中的各个点云对应到全局模型中，实现三维人脸重建。
[0004] 然而，消费级相机得到的深度图像可能存在噪声，因此得到的人脸特征点的三维坐标不一定是准确的，确定的人脸所在区域误差较大，影响三维人脸重建的准确性。
发明内容
[0006] 本申请实施例提供了一种三维人脸重建方法，所述方法包括：
[0007] 获取对人脸进行拍摄得到的第一彩色图像和对应的第一深度图像；
[0008] 在所述第一彩色图像中识别出位于人脸中心区域的多个中心特征点；
[0009] 根据所述第一深度图像确定所述多个中心特征点的三维坐标；
[0010] 基于所述多个中心特征点的三维坐标构建第一感兴趣区域；
[0011] 基于所述第一感兴趣区域中的第一数据进行三维人脸重建，所述第一感兴趣区域中的第一数据根据所述第一深度图像确定。
[0012] 可选的，所述基于所述多个中心特征点的三维坐标构建第一感兴趣区域，包括：
[0013] 计算所述中心特征点的中心点的坐标；
[0014] 在所述中心点与拍摄所述第一彩色图像的相机的连线方向上，调整所述中心点的坐标；
[0015] 将调整后的中心点作为区域中心点，构建三维感兴趣区域。
[0016] 可选的，所述将调整后的中心点作为区域中心点，构建三维感兴趣区域，包括：
[0017] 将调整后的中心点作为区域中心点，将预设值作为半径，构建球形的第一感兴趣区域；或，
[0018] 将所述调整后的中心点作为区域中心点，将预设值作为区域中心点到区域表面的距离，构建立方体的第一感兴趣区域。
[0019] 可选的，所述基于所述第一感兴趣区域中的第一数据进行三维人脸重建，包括：
[0020] 将所述第一感兴趣区域中的第一数据与全局模型进行迭代最近点配准，得到所述第一数据与所述全局模型的刚性变换；
[0021] 基于所述刚性变换，将所述第一数据融合到所述全局模型中。
[0022] 可选的，所述方法还包括：
[0024] 基于所述第i-1个感兴趣区域中的第i数据进行三维人脸重建，所述第i-1感兴趣区域中的第i数据根据所述第i深度图像确定；
[0025] 基于所述第i数据调整所述第i-1感兴趣区域，以得到第i感兴趣区域。
[0026] 本申请实施例还提供了一种三维人脸重建装置，包括：
[0027] 第一图像获取单元，用于获取对人脸进行拍摄得到的第一彩色图像和对应的第一深度图像；
[0028] 特性点识别单元，用于在所述第一彩色图像中识别出位于人脸中心区域的多个中心特征点；
[0029] 坐标确定单元，用于根据所述第一深度图像确定所述多个中心特征点的三维坐标；
[0030] 第一感兴趣区域构建单元，用于基于所述多个中心特征点的三维坐标构建第一感兴趣区域；
[0031] 第一人脸重建单元，用于基于所述第一感兴趣区域中的第一数据进行三维人脸重建，所述第一感兴趣区域中的第一数据根据所述第一深度图像确定。
[0032] 可选的，所述第一感兴趣区域构建单元，包括：
[0033] 坐标计算单元，用于计算所述中心特征点的中心点的坐标；
[0034] 坐标调整单元，用于在所述中心点与拍摄所述第一彩色图像的相机的连线方向上，调整所述中心点的坐标；
[0035] 感兴趣区域构建子单元，用于将调整后的中心点作为区域中心点，构建三维感兴趣区域。
[0036] 可选的，所述感兴趣区域构建子单元具体用于：
[0037] 将调整后的中心点作为区域中心点，将预设值作为半径，构建球形的第一感兴趣区域；或，
[0038] 将所述调整后的中心点作为区域中心点，将预设值作为区域中心点到区域表面的距离，构建立方体的第一感兴趣区域。
[0039] 可选的，所述第一人脸重建单元，包括：
[0040] 配准单元，用于将所述第一感兴趣区域中的第一数据与全局模型进行迭代最近点配准，得到所述第一数据与所述全局模型的刚性变换；
[0041] 融合单元，用于基于所述刚性变换，将所述第一数据融合到所述全局模型中。
[0042] 可选的，所述装置还包括：
[0043] 第二图像获取单元，用于获取对人脸进行拍摄得到的第i彩色图像和对应的第i深度图像，所述第i彩色图像和第i-1彩色图像为同一视频流中间隔的图像数量小于或等于预设阈值的不同图像；所述i为大于1的整数；
[0044] 第二人脸重建单元，用于基于所述第i-1个感兴趣区域中的第i数据进行三维人脸重建，所述第i-1感兴趣区域中的第i数据根据所述第i深度图像确定；
[0045] 感兴趣区域调整单元，用于基于所述第i数据调整所述第i-1感兴趣区域，以得到第i感兴趣区域。
[0046] 本申请实施例还提供了一种三维人脸重建设备，所述设备包括：
[0047] 处理器以及存储器；
[0048] 所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
[0049] 所述处理器用于根据所述程序代码中的指令执行所述三维人脸重建方法。
[0050] 本申请实施例还提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行所述的三维人脸重建方法。
[0051] 本申请实施例还提供了一种包括指令的计算机程序产品，其特征在于，当其在计算机上运行时，使得所述计算机执行所述的三维人脸重建方法。
[0052] 本申请实施例提供了一种三维人脸重建方法、装置及相关设备，在获取对人脸进行拍摄得到的第一彩色图像和对应的第一深度图像后，可以在第一彩色图像中识别出位于人脸中心区域的多个中心特征点，根据第一深度图像确定多个中心特征点的三维坐标，根据多个中心特征点的三维坐标构建三维感兴趣区域，基于第一感兴趣区域中的第一数据进行三维人脸重建，第一感兴趣区域中的第一数据根据第一深度图像确定。也就是说，本申请实施例中的三维感兴趣区域是根据位于人脸中心区域的多个中心特征点的三维坐标构建的，而人脸中心区域的中心特征点在深度图像中受到噪声干扰的影响较小，因此得到的三维感兴趣区域较为准确，基于三维感兴趣区域进行的三维人脸重建也较为可靠。附图说明
[0053] 为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
[0054] 图1为本申请实施例提供的一种三维人脸重建方法的流程图；
[0055] 图2为本申请实施例提供的一种第一彩色图像的示意图；
[0056] 图3为本申请实施例提供的一种第一深度图像的示意图；
[0057] 图4为本申请实施例提供的一种第一彩色图像中人脸分割区域的示意图；
[0058] 图5为本申请实施例提供的一种彩色图像的示意图；
[0059] 图6为本申请实施例提供的一种深度图像的示意图；
[0060] 图7为本申请实施例提供的一种彩色图像中人脸分割区域的示意图；
[0061] 图8为本申请实施例中三维人脸重建装置的结构示意图；
[0062] 图9为本申请实施例中服务器的结构示意图；
[0063] 图10为本申请实施例中终端的结构示意图。
具体实施方式
[0064] 为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0065] 正如背景技术中的描述，现有的三维人脸重建方法中，在得到对齐的人脸彩色图像和深度图像后，可以利用人脸特征点检测算法在彩色图像中检测人脸特征点的位置，根据人脸特征点的位置以及深度图像可以确定每个人脸特征点的三维坐标，根据人脸特征点的三维坐标可以确定人脸所在区域，从而去除非人脸区域，实现对人脸区域的有效分割，将分割后的人脸区域中的各个点云对应到全局模型中，实现三维人脸重建。
[0066] 然而，现有的消费级相机得到的彩色图像的分辨率和准确性都要高于得到的深度图像，而深度图像中通常含有噪声，尤其是在人脸的边缘区域，噪声对确定的深度值影响更大，因此根据深度图像确定出的人脸特征点的三维坐标通常是不准确的，根据这些不准确的人脸特征点进行人脸区域的分割，通常会具有较大的误差，将分割后的人脸区域的各个点云对应到全局模型中，也具有较大的误差，因此会影响三维人脸重建的准确性。
[0067] 基于此，本申请实施例提供了一种三维人脸重建方法、装置及相关设备，在获取对人脸进行拍摄得到的第一彩色图像和对应的第一深度图像后，可以在第一彩色图像中识别出位于人脸中心区域的多个中心特征点，根据第一深度图像确定多个中心特征点的三维坐标，根据多个中心特征点的三维坐标构建三维感兴趣区域，基于第一感兴趣区域中的第一数据进行三维人脸重建，第一感兴趣区域中的第一数据根据第一深度图像确定。也就是说，本申请实施例中的三维感兴趣区域是根据位于人脸中心区域的多个中心特征点的三维坐标构建的，而人脸中心区域的中心特征点在深度图像中受到噪声干扰的影响较小，因此得到的三维感兴趣区域较为准确，基于三维感兴趣区域进行的三维人脸重建也较为可靠。
[0068] 下面结合附图，通过实施例来详细说明本申请实施例提供的一种三维人脸重建方法、装置及相关设备的具体实现方式。
[0069] 本申请提供的三维人脸重建方法，可以应用在动漫制作、沉浸式虚拟交互和生物医学成像等领域中，可以理解，本申请提供的三维人脸重建方法可以应用于任意具有图像处理能力的处理设备，如具有中央处理器(Central Processing Unit/Processor，CPU)和/或图形处理器(Graphics Processing Unit，GPU)的终端或服务器。其中，终端可以是台式机、笔记本电脑等桌面终端，也可以是智能手机、平板电脑等移动终端，还可以是车载终端、可穿戴智能终端等等。
[0070] 本申请提供的三维人脸重建方法可以以计算机程序的形式存储于处理设备中，处理设备通过执行上述计算机程序，以实现本申请提供的三维人脸重建方法。
[0071] 参考图1所示，为本申请实施例提供的一种三维人脸重建方法的流程图，可以包括以下步骤。
[0072] S101，获取对人脸进行拍摄得到的第一彩色图像和对应的第一深度图像。
[0073] 本申请实施例中，可以通过RGBD相机中的颜色传感器和深度传感器同时对人脸进行拍摄，得到第一彩色图像和第一深度图像，这样第一彩色图像和第一深度图像是对齐的，第一彩色图像中的颜色信息与第一深度图像中的深度信息是具有对应关系的。第一彩色图像和第一深度图像的横向尺寸可以一致，纵向尺寸也可以一致。参考图2所示，为第一彩色图像的示意图，参考图3所示为第一深度图像的示意图。
[0074] 在第一彩色图像中，人脸的颜色信息可能与其他物体或背景较为接近，从而单一依据第一彩色图像进行人脸区域的分割，实现难度较大。而在第一深度图像中，由于其反映场景中各物体的深度信息，因此如果人脸与其他物体的深度信息不同，即可较便捷地将人脸从其他物体或背景中区分出来。但是，第一深度图像中往往存在很多噪声，尤其是在人脸的边缘区域，噪声对确定的深度值的影响更大。
[0075] S102，在第一彩色图像中识别出位于人脸中心区域的多个中心特征点。
[0076] 在本申请实施例中，可以利用人脸特征点检测算法在第一彩色图像中进行特征点检测，在实际应用中存在多种人脸特征点检测算法，在此不做限定。这样可以在第一彩色图像中识别出位于人脸中心区域的多个中心特征点，人脸中心区域是与边缘区域相对的，作为一种实例，人脸中心区域可以是以鼻尖在第一彩色图像中的位置为中心点的区域，人脸中心区域可以是圆形、椭圆形、多边形、T形等。
[0077] 当然，利用人脸特征点检测算法还可以在第一彩色图像中识别出位于人脸边缘区域的边缘特征点，即位于人脸区域中、中心区域外的其他区域中的特征点，例如人脸轮廓位置的特征点，例如脸颊、下巴等位置的特征点。
[0078] 具体的，可以利用人脸特征点检测算法在第一彩色图像中识别出所有特征点，并对所有特征点进行归类，以区分中心区域中的中心特征点和边缘区域中的边缘特征点；也可以利用人脸特征点检测算法直接在第一彩色图像中分别识别出中心区域的中心特征点和边缘区域的边缘特征点。其具体过程可以根据具体的人脸特征点检测算法的功能而有所不同。
[0079] S103，根据第一深度图像确定多个中心特征点的三维坐标。
[0080] 由于中心特征点位于人脸中心区域，则这些中心特征点对应的深度信息受到噪声的影响较小，较为准确，因此可以根据第一深度图像确定多个中心特征点的三维坐标，确定出的多个中心特征点的三维坐标较为准确。
[0081] 具体的，第一深度图像中的深度值可以理解为特征点与深度传感器的距离值，根据第一深度图像中的深度值和第一彩色图像中的像素点的对应关系、中心特征点在第一彩色图像中所在位置，可以确定这些中心特征点的深度值，进而根据相机的位置确定这些中心特征点的三维坐标。举例来说，n个中心特征点在第一彩色图像中的像素位置坐标为qi＝2 3
(ui，vi)∈R ，确定出的n个中心特征点的三维坐标为pi＝(xi，yi，zi)∈R ，其中，i小于或等于n。
(ui，vi)∈R ，确定出的n个中心特征点的三维坐标为pi＝(xi，yi，zi)∈R ，其中，i小于或等于n。
[0082] S104，基于多个中心特征点的三维坐标建立第一感兴趣区域。
[0083] 由于中心特征点的深度信息是受噪声影响较小的特征点，因此确定出的多个中心点的三维坐标较为准确，根据这些准确的三维坐标可以确定出第一感兴趣区域(Region of Interest，ROI)，这样可以得到较为准确的第一ROI，利用确定出的第一ROI进行人脸分割，也可以得到较好的人脸分割结果。参考图4所示，为根据第一ROI对第一彩色图像进行人脸分割，得到的人脸分割区域的示意图。
[0084] 也就是说，本申请实施例中，只利用人脸区域中位于中心区域中的中心特征点的三维坐标来确定第一ROI，而不再考虑人脸区域中位于边缘区域中的边缘特征点的三维坐标，避免边缘特征点的深度信息受噪声影响大，导致的第一ROI确定不准确的问题，在一定程度上提高了人脸分割的准确性。
[0085] 在本申请实施例中，可以在计算得到多个中心特征点的三维坐标后，计算这些中心特征点的中心点的坐标；由于得到的中心点在人脸区域的中心，位于头部较为表面的位置，因此可以在该中心点和拍摄第一彩色图像的相机的连线方向上，调整中心点的坐标，通常来说，可以向远离相机的方向上做调整，使调整后的中心点更接近人的头部的中心点；然后将调整后的中心点可以作为区域中心点，从而可以构建第一ROI。
[0086] 举例来说，计算得到的中心特征点的中心点的坐标pc1＝(xc1，yc1，zc1)∈R3，可以由下式计算得到：
[0087]
[0088] 调整后的中心点的坐标pc2＝(xc2，yc2，zc2)∈R3，可以由下式计算得到：
[0089] pc2＝pc1+pt,pt＝(0,0,zt),k≤n，
[0090] 其中，pi为中心特征点的三维坐标，pt为调整参数，zt为在该中心点和拍摄第一彩色图像的相机的连线方向上调整中心点的距离，zt的具体值可以根据实际情况而定。需要说明的是，调整后的中心点位置接近于人的头部的中心位置，调整距离可以跟中心点和该中心点和拍摄第一彩色图像的相机的连线方向上的中心特征点的最远距离rt，以及人的头部的半径r确定，例如调整距离可以为zt＝r-rt。
[0091] 作为一种可能的构建第一ROI的方式，可以将调整后的中心点作为区域中心点，将预先设置的预设值作为半径，构建球形的第一ROI。这里的预设值可以是根据第一彩色图像确定的，例如边缘特征点可以确定人脸区域的大致位置，从而根据边缘特征点之间的最远距离以及相机内参确定预设值；预设值也可以根据经验确定，例如通常人的头部可以被半径为r的球体包围，则可以将r作为预设值。
[0092] 作为另一种可能的构建第一ROI的方式，可以将调整后的中心点作为区域中心点，将预设值作为区域中心点到区域表面的距离，构建立方体的第一ROI。预设值的确定方式可以参考前述实现方式。
[0093] S105，基于第一感兴趣区域中的第一数据进行三维人脸重建，所述第一感兴趣区域中的第一数据根据所述第一深度图像确定。
[0094] 在构建第一ROI后，可以根据第一ROI在第一彩色图像中进行人脸分割，得到人脸分割区域，事实上，第一ROI可以完全包围人脸所在区域，通常大于人脸所在区域，人脸分割结果也是包围第一彩色图像中的人脸所在区域的区域。第一ROI中可以包括大量的点，这些点可以包括中心特征点、边缘特征点以及其他未被特征点识别算法识别出的点，这些点在第一彩色图像中对应有像素点，在第一深度图像中对应有深度值。
[0095] 具体实施时，根据第一深度图像，可以确定图像中各个点的深度值，继而确定各个点的三维坐标，根据这些三维坐标以及第一ROI，可以确定哪些点位于第一ROI中，将位于第一ROI中的点的三维坐标作为第一ROI中的第一数据。在第一ROI为球形的区域时，位于第一ROI中的点pf到调整后的中心点pc2的距离小于或等于第一ROI的区域半径r。
[0096] 具体实施时，也可以根据第一彩色图像中的人脸分割结果，以及第一深度图像确定在第一ROI中的各个点的三维坐标。实际上，在人脸分割结果所在的区域中的像素点，对应第一ROI中的各个点。
[0097] 基于第一感兴趣区域中的第一数据，可以进行三维重建。具体的，可以将第一数据与全局模型进行迭代最近点(Iterative Closest Point，ICP)配准，得到第一数据与全局模型之间的刚性变换，然后根据该刚性变换，将第一数据融合到全局模型的截断有符号距离函数(Truncated Signed Distance Function，TSDF)中，实现对全局模型的完善，进而得到第一彩色图像对应的场景模型。其中，第一数据与全局模型融合的过程可以使用点融合、TSDF、Voxel Hashing、Surfel等方法，也可以使用其他方式。
[0098] 在将第一数据融合到全局模型的TSDF中后，可以根据第一彩色图像进行三维人脸表面重建，具体的，可以采用表面重建方法对3D模型进行网格化重建，例如利用Marching Cube、泊松重建等方法对全局模型进行网格化，并根据第一彩色图像进行多视角纹理贴图，以及渲染显示，实现三维人脸重建。
[0099] 通常来说，可以对于每一帧图像均执行以上步骤，来得到每一帧图像的数据与全局模型之间的刚性变换，从而实现对每一帧图像的三维人脸重建。然而，在一些图像中，人脸特征点检测算法可能失败，例如彩色图像中仅包括侧脸时，利用人脸特征点检测算法将不能准确检测到人脸特征点的位置，因此也不能确定特征点的深度信息，影响后续的感兴趣区域的构建。
[0100] 基于此，本申请实施例可以在获取到第二彩色图像和对应的第二深度图像后，若第二彩色图像和第一彩色图像为同一视频流中的不同帧的图像，且第二彩色图像和第一彩色图像在视频流中间隔的图像数量小于或等于预设阈值，则可以认为人脸在第一彩色图像和第二彩色图像中的姿态相差不大，人脸在其中的位置也相差不大，因此可以根据第二深度图像确定第一ROI中的第二数据，根据第二数据进行三维人脸重建，其中第二数据为根据第二深度图像确定的第一ROI中的点的三维坐标。
[0101] 具体的，可以将第二数据与全局模型进行ICP配准，得到第二数据与全局模型的刚性变换，根据该刚性变换，将第二数据融合到全局模型的TSDF中，实现全局模型的更新，进而得到第二数据对应的场景模型，根据第二彩色图像和第二数据对应的场景模型可以实现三维人脸表面重建。
[0102] 也就是说，在本申请实施例中，若前一张图像与后一张图像在视频流中间隔的图像数量小于或等于预设阈值时，对后一张图像进行三维人脸重建时可以不必对后一张图像进行特征点识别，而是使用由前一张图像确定出的感兴趣区域，在感兴趣区域中进行人脸三维重建，这样可以避免特征点不准确或特征点识别困难带来的图像分割困难的问题，提高三维重建的准确率和效率。这里的前一张图像和后一张图像指的是三维人脸重建的“先”和“后”，对于这两张图像的获取顺序，在此不做限定。
[0103] 基于此，对于同一视频流中的多个图像，可以使用根据特定的前一张图像确定出的感兴趣区域，这里的特定的前一张图像为与待重建的图像在视频流中间隔的图像数量小于或等于预设阈值。
[0104] 本申请实施例中，在对第二彩色图像和第二深度图像进行三维人脸重建的过程中，还可以根据第二数据调整第一ROI，从而得到第二ROI。具体的，可以在得到第二数据与全局模型之间的刚性变换后，还可以根据该刚性变换对第一ROI进行调整。具体实施时，可以通过该刚性变换对第一ROI的中心点pc2进行调整，将调整后的中心点pc3作为区域中心点，构建第二ROI，构建第二ROI的方式可以参考构建第一ROI的方式。举例来说，若T为第二数据到全局模型的刚性变换，则pc3＝T*pc2。
[0105] 综上，根据第i彩色图像和对应的第i深度图像进行三维人脸重建的过程，可以具体为，在获取到第i彩色图像和对应的第i深度图像后，若第i彩色图像和第i-1彩色图像为同一视频流中的不同帧的图像，且第i彩色图像和第i-1彩色图像在视频中间隔的图像数量小于或等于预设阈值，则可以认为人脸在第i-1彩色图像和第i彩色图像中的姿态相差不大，人脸在其中的位置也相差不大，因此可以根据第i深度图像确定第i-1ROI中的第i数据，根据第i数据进行三维人脸重建，其中第i数据为根据第i深度图像确定的第i-1ROI中的点的三维坐标。当然，在对第i彩色图像和第i深度图像进行三维人脸重建的过程中，还可以根据第i数据调整第i-1ROI，从而得到第i ROI，其中，i可以为大于1的整数，以便根据第i+1彩色图像和对应的第i+1深度图像进行三维人脸重建。
[0106] 这样，即使后续存在彩色图像中仅包括侧脸的情况，也能够得到其对应的ROI区域，参考图5和图6所示为包括侧脸的彩色图像和深度图像的示意图，图7所示为对上述彩色图像进行人脸分割得到的人脸分割区域的示意图。
[0107] 本申请实施例提供了一种三维人脸重建方法，在获取对人脸进行拍摄得到的第一彩色图像和对应的第一深度图像后，可以在第一彩色图像中识别出位于人脸中心区域的多个中心特征点，根据第一深度图像确定多个中心特征点的三维坐标，根据多个中心特征点的三维坐标构建三维感兴趣区域，基于第一感兴趣区域中的第一数据进行三维人脸重建，第一感兴趣区域中的第一数据根据第一深度图像确定。也就是说，本申请实施例中的三维感兴趣区域是根据位于人脸中心区域的多个中心特征点的三维坐标构建的，而人脸中心区域的中心特征点在深度图像中受到噪声干扰的影响较小，因此得到的三维感兴趣区域较为准确，基于三维感兴趣区域进行的三维人脸重建也较为可靠。
[0108] 此外，在得到第一感兴趣区域后，可以作为后续图像的初始感兴趣区域，便于对后续图像进行三维人脸重建，减少特征点识别次数，降低特征点识别准确性对三维人脸重建的影响，提高三维人脸重建的准确性和效率。
[0109] 基于以上一种三维人脸重建方法，本申请实施例还提供了一种三维人脸重建装置，参考图8所示，为本申请实施例提供的一种三维人脸重建装置的结构框图，所述装置包括：
[0110] 第一图像获取单元110，用于获取对人脸进行拍摄得到的第一彩色图像和对应的第一深度图像；
[0111] 特性点识别单元120，用于在所述第一彩色图像中识别出位于人脸中心区域的多个中心特征点；
[0112] 坐标确定单元130，用于根据所述第一深度图像确定所述多个中心特征点的三维坐标；
[0113] 第一感兴趣区域构建单元140，用于基于所述多个中心特征点的三维坐标构建第一感兴趣区域；
[0114] 第一人脸重建单元150，用于基于所述第一感兴趣区域中的第一数据进行三维人脸重建，所述第一感兴趣区域中的第一数据根据所述第一深度图像确定。
[0115] 可选的，所述第一感兴趣区域构建单元，包括：
[0116] 坐标计算单元，用于计算所述中心特征点的中心点的坐标；
[0117] 坐标调整单元，用于在所述中心点与拍摄所述第一彩色图像的相机的连线方向上，调整所述中心点的坐标；
[0118] 感兴趣区域构建子单元，用于将调整后的中心点作为区域中心点，构建三维感兴趣区域。
[0119] 可选的，所述感兴趣区域构建子单元具体用于：
[0120] 将调整后的中心点作为区域中心点，将预设值作为半径，构建球形的第一感兴趣区域；或，
[0121] 将所述调整后的中心点作为区域中心点，将预设值作为区域中心点到区域表面的距离，构建立方体的第一感兴趣区域。
[0122] 可选的，所述第一人脸重建单元，包括：
[0123] 配准单元，用于将所述第一感兴趣区域中的第一数据与全局模型进行迭代最近点配准，得到所述第一数据与所述全局模型的刚性变换；
[0124] 融合单元，用于基于所述刚性变换，将所述第一数据融合到所述全局模型中。
[0125] 可选的，所述装置还包括：
[0126] 第二图像获取单元，用于获取对人脸进行拍摄得到的第i彩色图像和对应的第i深度图像，所述第i彩色图像和第i-1彩色图像为同一视频流中间隔的图像数量小于或等于预设阈值的不同图像；所述i为大于1的整数；
[0127] 第二人脸重建单元，用于基于所述第i-1个感兴趣区域中的第i数据进行三维人脸重建，所述第i-1感兴趣区域中的第i数据根据所述第i深度图像确定；
[0128] 感兴趣区域调整单元，用于基于所述第i数据调整所述第i-1感兴趣区域，以得到第i感兴趣区域。
[0129] 本申请实施例还提供了一种三维人脸重建设备，所述设备包括：
[0130] 处理器以及存储器；
[0131] 所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
[0132] 所述处理器用于根据所述程序代码中的指令执行所述三维人脸重建方法。
[0133] 本申请实施例提供了一种三维人脸重建装置，在获取对人脸进行拍摄得到的第一彩色图像和对应的第一深度图像后，可以在第一彩色图像中识别出位于人脸中心区域的多个中心特征点，根据第一深度图像确定多个中心特征点的三维坐标，根据多个中心特征点的三维坐标构建三维感兴趣区域，基于第一感兴趣区域中的第一数据进行三维人脸重建，第一感兴趣区域中的第一数据根据第一深度图像确定。也就是说，本申请实施例中的三维感兴趣区域是根据位于人脸中心区域的多个中心特征点的三维坐标构建的，而人脸中心区域的中心特征点在深度图像中受到噪声干扰的影响较小，因此得到的三维感兴趣区域较为准确，基于三维感兴趣区域进行的三维人脸重建也较为可靠。
[0134] 基于本申请实施例提供的三维人脸重建方法及装置，本申请还提供了在一种用于三维人脸重建的设备，该设备可以是服务器，也可以是终端，下面将从硬件实体化的角度对本申请实施例提供的设备进行详细说明。
[0135] 图9是本申请实施例提供的一种服务器结构示意图，该服务器500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(central processing units，CPU)522(例如，一个或一个以上处理器)和存储器532，一个或一个以上存储应用程序542或数据544的存储介质530(例如一个或一个以上海量存储设备)。其中，存储器532和存储介质530可以是短暂存储或持久存储。存储在存储介质530的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器522可以设置为与存储介质530通信，在服务器500上执行存储介质530中的一系列指令操作。
[0136] 服务器500还可以包括一个或一个以上电源526，一个或一个以上有线或无线网络接口550，一个或一个以上输入输出接口558，和/或，一个或一个以上操作系统541，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。
[0137] 上述实施例中由服务器所执行的步骤可以基于该图5所示的服务器结构。
[0138] 其中，CPU 522用于执行如下步骤：
[0139] 获取对人脸进行拍摄得到的第一彩色图像和对应的第一深度图像；
[0140] 在所述第一彩色图像中识别出位于人脸中心区域的多个中心特征点；
[0141] 根据所述第一深度图像确定所述多个中心特征点的三维坐标；
[0142] 基于所述多个中心特征点的三维坐标构建第一感兴趣区域；
[0143] 基于所述第一感兴趣区域中的第一数据进行三维人脸重建，所述第一感兴趣区域中的第一数据根据所述第一深度图像确定。
[0144] 可选的，CPU 522还可以用于执行本申请实施例中三维人脸重建方法的任意一种实现方式的步骤。
[0145] 本申请实施例还提供了另一种用于三维人脸重建的设备，如图10所示，为了便于说明，仅示出了与本申请实施例相关的部分，具体技术细节未揭示的，请参照本申请实施例方法部分。该终端可以为包括手机、平板电脑、个人数字助理(英文全称：Personal Digital Assistant，英文缩写：PDA)、销售终端(英文全称：Point of Sales，英文缩写：POS)、车载电脑等任意终端设备，以终端为手机为例：
[0146] 图10示出的是与本申请实施例提供的终端相关的手机的部分结构的框图。参考图10，手机包括：射频(英文全称：Radio Frequency，英文缩写：RF)电路610、存储器620、输入单元630、显示单元640、传感器650、音频电路660、无线保真(英文全称：wireless fidelity，英文缩写：WiFi)模块670、处理器680、以及电源690等部件。本领域技术人员可以理解，图6中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
[0147] 所述传感器650包括深度摄像头，也称3D摄像头，该摄像头除了能够获取彩色图像以外，还能采集深度图像，本申请实施例基于上述3D摄像头采集的彩色图像和深度图像实现三维人脸重建。
[0148] 存储器620可用于存储软件程序以及模块，处理器680通过运行存储在存储器620的软件程序以及模块，从而执行手机的各种功能应用以及数据处理。存储器620可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器620可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
[0149] 处理器680是手机的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器620内的软件程序和/或模块，以及调用存储在存储器620内的数据，执行手机的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器680可包括一个或多个处理单元；优选的，处理器680可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器680中。
[0150] 在本申请实施例中，该终端包括的处理器680具有以下功能；
[0151] 获取对人脸进行拍摄得到的第一彩色图像和对应的第一深度图像；
[0152] 在所述第一彩色图像中识别出位于人脸中心区域的多个中心特征点；
[0153] 根据所述第一深度图像确定所述多个中心特征点的三维坐标；
[0154] 基于所述多个中心特征点的三维坐标构建第一感兴趣区域；
[0155] 基于所述第一感兴趣区域中的第一数据进行三维人脸重建，所述第一感兴趣区域中的第一数据根据所述第一深度图像确定。
[0156] 可选的，处理器680还可以用于执行本申请实施例中三维人脸重建方法的任意一种实现方式的步骤。
[0157] 本申请实施例还提供一种计算机可读存储介质，用于存储程序代码，该程序代码用于执行前述各个实施例所述的一种三维人脸重建方法中的任意一种实施方式。
[0158] 本申请实施例还提供一种包括指令的计算机程序产品，当其在计算机上运行时，使得计算机执行前述各个实施例所述的一种三维人脸重建方法中的任意一种实施方式。
[0159] 所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0160] 在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0161] 所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0162] 另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0163] 所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文全称：Read-Only Memory，英文缩写：ROM)、随机存取存储器(英文全称：Random Access Memory，英文缩写：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
[0164] 以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种基于人脸三维重建的改进PCA算法 | 2020-05-11 | 146 |
| 一种表情图片生成方法及其设备、存储介质 | 2020-05-15 | 428 |
| 一种活体检测方法和装置 | 2020-05-16 | 495 |
| 三维人脸识别方法、装置、终端设备及计算机可读介质 | 2020-05-14 | 444 |
| 定制人脸混合表情模型自动生成方法及装置 | 2020-05-18 | 483 |
| 一种面向压缩人脸图像的自适应去块效应方法 | 2020-05-17 | 671 |
| 一种基于智能手机和人工智能的投篮训练系统与方法 | 2020-05-12 | 609 |
| 基于单张图像的三维头部重建方法 | 2020-05-17 | 220 |
| 三维人脸重建方法、装置及终端设备 | 2020-05-13 | 792 |
| 监测人眼注视时间的方法和装置、存储介质、电子设备 | 2020-05-14 | 506 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈