技术领域
[0001] 本
发明涉及面皮重构的方法，特别涉及一种基于层次化回归模型的颅面重构方法，属于法医人类学技术领域。
背景技术
[0002] 颅骨是人类面貌的内在
生物特征，根据颅骨形态实现面貌重构是法医人类学领域的典型应用项目。传统的手工方法是在待定颅骨的
基础上，借助解剖测量和针刺测量途径获得人脸软组织的厚度规律，由艺术家雕塑而成，即需要人类学家、艺术家和医生合作完成，其缺点是较多的依赖重构者个人对颅面特征和艺术的把握，因此其面貌重构的结果受主观因素影响较大，不具备科学推广的价值，并且重构一个颅面需要几天的时间。
[0003] 目前，现有的根据颅骨形态实现面貌重构的较为科学的方法基本上分为两类：一类是基于软组织厚度测量的方法。通过测量一定数量的颅面样本在颅骨上一些关键特征点处的平均软组织厚度作为经验知识，对于目标颅骨，首先根据这些平均软组织厚度的经验值，获得颅骨关键特征点处的面皮
位置，然后通过插值、
变形等技术得到整个颅骨的面皮。这类方法只要求在颅骨上标注少量关键特征点，并获得这些点的软组织厚度，所需的数据较少。然而，这些关键特征点处的软组织厚度和颅面形状之间并没有直接的相关关系；另一类是基于统计变形模型的方法。这类方法将一套颅骨和面皮数据组织为一个整体形成一个向量，通过对大量的训练样本进行主成份分析(PCA)，建立参数化的颅面统计变形模型，通过优化的方法将统计模型匹配到目标颅骨，获得模型参数实现颅面重构。上述现有方法本质上是针对仅具有小部分数据的颅面样本求解数据缺失这一病态问题，其缺点是优化过程容易陷入局部极小区域，很难体现颅骨的特征点对面皮重构的决定性作用。
发明内容
[0004] 为了克服现有方法的不足，本发明利用颅骨与面皮的内在本质关系，提供一种能够根据颅骨进行面皮重构的基于层次化回归模型的颅面重构方法。主要用于刑侦、考古、法医人类学、医学手术、美容整容等领域。
[0005] 为实现上述目的，本发明的技术方案是从面皮中分割出眼睛、鼻子、嘴巴三个特征区域，分别将颅骨、面皮、眼睛、鼻子、嘴巴投影到不同的低维子空间，在低维子空间建立层次化回归模型，包括眼睛、鼻子、嘴巴三个特征区域的局部回归模型和面皮整体的回归模型。对待重构的目标颅骨，利用层次化回归模型能够得到面皮整体重构和眼睛、鼻子、嘴巴三个局部特征区域的重构结果，通过融合整体和局部重构结果得到最终的面皮。
[0006] 本发明的方法的具体步骤包括：
[0007] 1)模型训练：
[0008] 1.1)
数据处理：对训练样本集中的颅骨和面皮分别进行非刚性三维数据配准，并将颅骨和面皮的
姿态和大小规格化，分别得到
顶点个数相同、语义相同、连接关系一致的颅骨三维
网格模型样本集和面皮
三维网格模型样本集，然后从每个面皮的三维网格模型中分割出眼睛、鼻子、嘴巴三个区域的三维网格模型，最后分别将每个颅骨、面皮、眼睛、鼻子、嘴巴的三维网格模型按点的坐标规格化为一个高维原始
特征向量。这里以颅骨数据的配准为例来描述本
权利要求中的非刚性三维数据配准过程，面皮数据的配准过程与颅骨数据的配准过程相同。假定参考颅骨用S0表示，目标颅骨用T表示，其步骤为：
[0009] ①在参考颅骨S0上随机选择N个点M′0＝{L′0j|L′0j＝(x′0j,y′0j,z′0j),j＝1,...,N},N＞6作为特征点，并通过ICP(Iterative Closest Point)方法在目标颅骨T上得到其对应点M′2＝{L′ 2j|L′2j＝(x′ 2j,y′2j,z′2j),j＝1,...,N}，将这N对对应点作为TPS变换的控制点集，求取S0和T间的TPS变换φ，对S0进行变换φ后得到变换后参考颅骨S1；
[0010] ②在参考颅骨S0上重新随机选择N个点M0＝{L0j|L0j＝(x0j,y0j,z0j),j＝1,...,N}，根据TPS变换φ求取点集M0在S1上的对应点集M1＝{L1j|L1j＝(x1j,y1j,z1j),j＝1,...,N}，再通过对S1和目标颅骨T进行ICP，得到M1在目标颅骨T上的对应点集M2＝{L2j|L2j＝(x2j,y2j,z2j),j＝1,...,N}，将M0,M2这组对应点作为新的控制点集重新求取S0和T间的TPS变换，得到更新的变换φ，并对S0进行变换φ以更新S1；
[0011] ③如果S1与目标颅骨T间对应点的误差之和达到给定的
阈值要求，或
迭代次数超过设定的次数,转入下一步，否则转步骤②；
[0012] ④根据最后获得的TPS变换φ确定目标颅骨T与参考颅骨S0间的点对应，利用点对应计算两者间的旋转和平移变换，并对目标颅骨T进行变换以实现姿态调整。
[0013] 1.2)子空间分析：对步骤1.1)中得到的训练样本的颅骨、面皮、眼睛、鼻子、嘴巴的高维原始特征向量集分别进行独立成份分析，得到五个子空间投影矩阵，并将这些高维数据投影到相应的低维子空间；
[0014] 1.3)层次化回归模型建立：采用偏最小二乘回归方法分别建立面皮、眼睛、鼻子、嘴巴的子空间特征对颅骨子空间特征的回归模型；
[0015] 2)颅面重构：
[0016] 2.1)数据处理：将未知颅骨与训练样本集中的颅骨进行非刚性三维数据配准，将未知颅骨的姿态和大小规格化，并按点的坐标将未知颅骨规格化为一个高维原始特征向量；
[0017] 2.2)层次化面皮模型重构：利用步骤1.2)中的颅骨子空间投影矩阵将步骤2.1)中得到的未知颅骨的高维原始特征向量投影到颅骨子空间，利用步骤1.3)建立的层次化回归模型得到相应于未知颅骨的面皮、眼睛、鼻子、嘴巴的子空间特征，根据相应的子空间特征恢复出未知颅骨的面皮整体三维网格模型和眼睛、鼻子、嘴巴这三个区域的局部三维网格模型；
[0018] 2.3)模型融合：融合面皮整体三维网格模型和眼睛、鼻子、嘴巴这三个局部的三维网格模型得到未知颅骨的重构面皮。模型融合采用如下方法：
[0019] 首先，定义三维网格模型上顶点P的K阶邻接点如下：定义P本身为P的0阶邻接点；存在一条边与P直接相连的顶点称为P的1阶邻接点；与P的K-1阶邻接点直接相连且不属于P的0阶到K-1阶邻接点集的顶点称为P的K阶邻接点；模型融合的具体步骤为：
[0020] a.根据眼睛、鼻子、嘴巴局部三维网格模型与面皮整体三维网格模型上的点对应确定眼睛、鼻子、嘴巴局部三维网格模型到面皮整体三维网格模型的旋转平移变换，并将眼睛、鼻子、嘴巴局部三维网格模型变换到面皮整体三维网格模型；
[0021] b.确定变换后眼睛、鼻子、嘴巴局部三维网格模型的边界顶点集L0＝{Xi,i＝1,2,...,n0}，以及L0的0阶到K阶邻接点集 h＝0,1,...,K，假定L0
在面皮整体三维网格模型上的对应点集为G0＝{Yi,i＝1,2,...,n0}，确定一个TPS插值变换f满足下面的插值要求
[0022]
[0023] c.对所述局部三维网格模型上的顶点作下述变换，对L0的邻接点集Lh,h＝0,1,...,K施行变换f，而所述局部三维网格模型上除这些邻接点以外的其它顶点保持不变，用变换后的顶点代替面皮整体三维网格模型上的对应点，得到融合后的重构面皮。
[0024] 优选地，所述邻接点阶数K取K＝4。
[0025] 本发明构建了层次化回归模型，包括眼睛、鼻子、嘴巴三个特征区域的局部回归模型和一个面皮整体回归模型。对待重构的目标颅骨，利用层次化回归模型可以得到面皮整体重构和三个局部特征区域的重构结果，通过融合整体和局部重构结果得到最终的重构面皮。与以往针对整体结构或分区的统计方法相比，本发明不但能够实现基本形状和整体结构的精确重构，而且能较好地重构局部特征区域，重构准确度高。此外，本方法更能体现颅骨决定面貌这一本质联系。主要用于刑侦、考古、法医人类学、医学手术、美容整容等领域。
附图说明
[0026] 图1为本发明所述基于层次化回归模型的颅面重构方法的
流程图。
具体实施方式
[0027] 下面结合附图对本发明所述基于层次化回归模型的颅面重构方法的具体实施方式作进一步详细的说明。
[0028] 如图1所示，本发明所述基于层次化回归模型的颅面重构方法的主要步骤包括：
[0029] 1)模型训练：
[0030] 1.1)数据处理：对训练样本集中的颅骨和面皮分别进行非刚性三维数据配准，并将颅骨和面皮的姿态和大小规格化，分别得到顶点个数相同、语义相同、连接关系一致的颅骨三维网格模型样本集和面皮三维网格模型样本集，然后从每个面皮的三维网格模型中分割出眼睛、鼻子、嘴巴三个区域的三维网格模型，最后分别将每个颅骨、面皮、眼睛、鼻子、嘴巴的三维网格模型按点的坐标规格化为一个高维原始特征向量。这里以颅骨数据的配准为例来描述本权利要求中的非刚性三维数据配准过程，面皮数据的配准过程与颅骨数据的配准过程相同。假定参考颅骨用S0表示，目标颅骨用T表示，其步骤为：
[0031] ①在参考颅骨S0上随机选择N个点M′0＝{L′0j|L′0j＝(x′0j,y′0j,z′0j),j＝1,...,N},N＞6作为特征点，并通过ICP(Iterative Closest Point)方法在目标颅骨T上得到其对应点M′2＝{L′ 2j|L′2j＝(x′ 2j,y′2j,z′2j),j＝1,...,N}，将这N对对应点作为TPS变换的控制点集，求取S0和T间的TPS变换φ，对S0进行变换φ后得到变换后参考颅骨S1；
[0032] ②在参考颅骨S0上重新随机选择N个点M0＝{L0j|L0j＝(x0j,y0j,z0j),j＝1,...,N}，根据TPS变换φ求取点集M0在S1上的对应点集M1＝{L1j|L1j＝(x1j,y1j,z1j),j＝1,...,N}，再通过对S1和目标颅骨T进行ICP，得到M1在目标颅骨T上的对应点集M2＝{L2j|L2j＝(x2j,y2j,z2j),j＝1,...,N}，将M0,M2这组对应点作为新的控制点集重新求取S0和T间的TPS变换，得到更新的变换φ，并对S0进行变换φ以更新S1；
[0033] ③如果S1与目标颅骨T间对应点的误差之和达到给定的阈值要求，或迭代次数超过设定的次数,转入下一步，否则转步骤②；
[0034] ④根据最后获得的TPS变换φ确定目标颅骨T与参考颅骨S0间的点对应，利用点对应计算两者间的旋转和平移变换，并对目标颅骨T进行变换以实现姿态调整。
[0035] 1.2)子空间分析：对步骤1.1)中得到的训练样本的颅骨、面皮、眼睛、鼻子、嘴巴的高维原始特征向量集分别进行独立成份分析，得到五个子空间投影矩阵，并将这些高维数据投影到相应的低维子空间；
[0036] 1.3)层次化回归模型建立：采用偏最小二乘回归方法分别建立面皮、眼睛、鼻子、嘴巴的子空间特征对颅骨子空间特征的回归模型；
[0037] 2)颅面重构：
[0038] 2.1)数据处理：将未知颅骨与训练样本集中的颅骨进行非刚性三维数据配准，将未知颅骨的姿态和大小规格化，并按点的坐标将未知颅骨规格化为一个高维原始特征向量；
[0039] 2.2)层次化面皮模型重构：利用步骤1.2)中的颅骨子空间投影矩阵将步骤2.1)中得到的未知颅骨的高维原始特征向量投影到颅骨子空间，利用步骤1.3)建立的层次化回归模型得到相应于未知颅骨的面皮、眼睛、鼻子、嘴巴的子空间特征，根据相应的子空间特征恢复出未知颅骨的面皮整体三维网格模型和眼睛、鼻子、嘴巴这三个区域的局部三维网格模型；
[0040] 2.3)模型融合：融合面皮整体三维网格模型和眼睛、鼻子、嘴巴这三个局部的三维网格模型得到未知颅骨的重构面皮。模型融合采用如下方法：
[0041] 首先，定义三维网格模型上顶点P的K阶邻接点如下：定义P本身为P的0阶邻接点；存在一条边与P直接相连的顶点称为P的1阶邻接点；与P的K-1阶邻接点直接相连且不属于P的0阶到K-1阶邻接点集的顶点称为P的K阶邻接点；模型融合的具体步骤为：
[0042] a.根据眼睛、鼻子、嘴巴局部三维网格模型与面皮整体三维网格模型上的点对应确定眼睛、鼻子、嘴巴局部三维网格模型到面皮整体三维网格模型的旋转平移变换，并将眼睛、鼻子、嘴巴局部三维网格模型变换到面皮整体三维网格模型；
[0043] b.确定变换后眼睛、鼻子、嘴巴局部三维网格模型的边界顶点集L0＝{Xi,i＝1,2,...,n0}，以及L0的0阶到K阶邻接点集 h＝0,1,...,K，假定L0
在面皮整体三维网格模型上的对应点集为G0＝{Yi,i＝1,2,...,n0}，确定一个TPS插值变换f满足下面的插值要求
[0044]
[0045] c.对所述局部三维网格模型上的顶点作下述变换，对L0的邻接点集Lh,h＝0,1,...,K施行变换f，而所述局部三维网格模型上除这些邻接点以外的其它顶点保持不变，用变换后的顶点代替面皮整体三维网格模型上的对应点，得到融合后的重构面皮。
[0046] 本
实施例中假定有n个训练样本，以下为具体的实施步骤：
[0047] 步骤1).模型训练
[0048] 步骤1.1)数据处理：把训练样本集中的所有三维颅面数据统一到
法兰克福
坐标系,按颅骨左
耳孔Lp和右耳孔Rp这两个特征点间的距离将颅骨和面皮的大小规格化，选择一个参考颅骨和参考面皮，对训练样本集中的颅骨和面皮分别进行非刚性三维数据配准，分别得到顶点个数相同、语义相同、连接关系一致的颅骨三维网格模型样本集和面皮三维网格模型样本集，人工去除颅骨三维网格模型和面皮三维网格模型中不属于面部的部分,然后从每个面皮的三维网格模型中分割出眼睛、鼻子、嘴巴三个区域的三维网格模型，最后将每个颅骨、面皮、眼睛、鼻子、嘴巴的三维网格模型按点的坐标分别规格化为s,f,e,n,m维的原始特征向量。由于颅骨和面皮数据已经经过配准，所有颅骨的三维网格模型和所有面皮的三维网格模型都分别具有严格的顶点对应和一致的连接关系，因此，在去除每个颅骨和面皮三维网格模型中不属于面部的部分以及分割眼睛、鼻子、嘴巴区域时，仅需对参考数据进行手工操作，其它数据根据对应关系自动实现。非刚性三维数据配准是一个较成熟的技术，有大量的方法供选用，这里以一种迭代的TPS(Thin Plate Spline)配准方法为例描述对颅骨数据的配准，面皮数据的配准过程与颅骨数据的配准过程相同。假定参考颅骨用S0表示，目标颅骨用T表示，其步骤为：
[0049] ①在参考颅骨S0上随机选择N个点M′0＝{L′0j|L′0j＝(x′0j,y′0j,z′0j),j＝1,...,N},N＞6作为特征点，并通过ICP(Iterative Closest Point)方法在目标颅骨T上得到其对应点M′2＝{L′ 2j|L′2j＝(x′ 2j,y′2j,z′2j),j＝1,...,N}，将这N对对应点作为TPS变换的控制点集，求取S0和T间的TPS变换φ，对S0进行变换φ后得到变换后参考颅骨S1；
[0050] ②在参考颅骨S0上重新随机选择N个点M0＝{L0j|L0j＝(x0j,y0j,z0j),j＝1,...,N}，根据TPS变换φ求取点集M0在S1上的对应点集M1＝{L1j|L1j＝(x1j,y1j,z1j),j＝1,...,N}，再通过对S1和目标颅骨T进行ICP，得到M1在目标颅骨T上的对应点集M2＝{L2j|L2j＝(x2j,y2j,z2j),j＝1,...,N}，将M0,M2这组对应点作为新的控制点集重新求取S0和T间的TPS变换，得到更新的变换φ，并对S0进行变换φ以更新S1；
[0051] ③如果S1与目标颅骨T间对应点的误差之和达到给定的阈值要求，或迭代次数超过设定的次数,转入下一步，否则转步骤②,所述阈值和迭代次数能够根据经验来设定；
[0052] ④根据最后获得的TPS变换φ确定目标颅骨T与参考颅骨S0间的点对应，利用点对应计算两者间的旋转和平移变换，并对目标颅骨T进行变换以实现姿态调整。
[0053] 步骤1.2).子空间分析:对训练样本的颅骨、面皮、眼睛、鼻子、嘴巴的高维原始特征向量集分别进行子空间分析，子空间分析采用独立成份分析ICA，得到五个子空间投影矩阵Ss×s′,Ff×f′,Ee×e′,Nn×n′,Mm×m′，并将这些高维数据投影到相应的低维子空间，s′,f′,e′,n′,m′为相应的子空间维数。
[0054] 步骤1.3)层次化回归模型建立：分别建立面皮、眼睛、鼻子、嘴巴的子空间特征对颅骨子空间特征的回归模型，采用偏最小二乘回归方法，建立的回归模型为：
[0055]
[0056] 其中Xs,Yf,Ye,Yn,Ym分别为颅骨、面皮、眼睛、鼻子、嘴巴子空间特征。
[0057] 步骤2)颅面重构
[0058] 步骤2.1)数据处理：将未知颅骨的三维数据统一到法兰克福坐标系，按颅骨左耳孔Lp和右耳孔Rp这两个特征点间的距离将颅骨的大小规格化，并将未知颅骨与训练样本集中的颅骨进行步骤1.1)中所述的非刚性三维数据配准，得到与训练样本集中颅骨一致的未知颅骨的三维网格模型，去除其中不属于面部的部分，按点的坐标排列为一个s维原始特征向量V。
[0059] 步骤2.2)层次化面皮模型重构：利用步骤1.2)中的颅骨子空间投影矩阵Ss×s′将未知颅骨的规格化数据V投影到颅骨子空间，得到颅骨子空间特征利用步骤1.3)建立的层次化回归模型得到相应于未知颅骨的面皮、眼睛、鼻子、嘴巴的子空间特征Yf,Ye,Yn,Ym，利用子空间投影矩阵Ss×s′,Ff×f′,Ee×e′,Nn×n′,Mm×m′，恢复面皮整体三维数据模型Ff×f′Yf和眼睛、鼻子、嘴巴这三个区域的局部三维数据模型Ee×e′Ye,Nn×n′Yn,Mm×m′Ym。
[0060] 步骤2.3)模型融合：融合面皮整
体模型和眼睛、鼻子、嘴巴这三个局部模型得到未知颅骨的重构面皮。
[0061] 为叙述方便，定义网格模型上顶点P的K阶邻接点如下：定义P本身为P的0阶邻接点；存在一条边与P直接相连的顶点称为P的1阶邻接点；与P的K-1阶邻接点直接相连且不属于P的0阶到K-1阶邻接点集的顶点称为P的K阶邻接点。
[0062] 模型融合的具体步骤为：
[0063] a.根据眼睛、鼻子、嘴巴局部三维网格模型与面皮整体三维网格模型上的点对应确定眼睛、鼻子、嘴巴局部三维网格模型到面皮整体三维网格模型的旋转平移变换，并将眼睛、鼻子、嘴巴局部三维网格模型变换到面皮整体三维网格模型；
[0064] b.确定变换后眼睛、鼻子、嘴巴局部三维网格模型的边界顶点集L0＝{Xi,i＝1,2,...,n0}，以及L0的0阶到K阶邻接点集 h＝0,1,...,K，假定L0
在面皮整体三维网格模型上的对应点集为G0＝{Yi,i＝1,2,...,n0}，确定一个TPS插值变换f满足下面的插值要求，即下述公式(b)；
[0065]
[0066] c.对所述局部三维网格模型上的顶点作下述变换，对L0的邻接点集Lh,h＝0,1,...,K施行变换f，而所述局部三维网格模型上除这些邻接点以外的其它顶点保持不变，用变换后的顶点代替面皮整体三维网格模型上的对应点，得到融合后的重构面皮。邻接点阶数K能够根据经验确定,一般取K＝4。
[0067] 总之，本发明的实施例公布的是其较佳的实施方式，但并不限于此。本领域的技术人员极易根据上述实施例领会本发明的精神，只要不脱离本发明的技术方案的基础所作出的任何变型或替换，都在本发明的保护范围之内。
