首页 / 专利库 / 联轴器,法兰和接头 / 运动链 / 闭式运动链 / 一种基于3D扫描的人物身体形状估计方法

一种基于3D扫描的人物身体形状估计方法

阅读:958发布:2020-06-11

专利汇可以提供一种基于3D扫描的人物身体形状估计方法专利检索,专利查询,专利分析的服务。并且本 发明 中提出的一种基于3D扫描的人物身体形状估计方法,其主要内容包括:使用身 体模 型确定姿势向量,定义单 帧 目标函数,融合形状估计,姿势和形状 跟踪 ,其过程为,先使用多人物线性模型确定姿势向量,模拟形状和姿势的相关 变形 ,再用 皮肤 项、布料项、模型耦合项和先验项定义单帧目标函数,接着将单帧目标扩展到多个帧并联合优化,通过再次使用单帧目标获得单个形状估计,最后使用融合形状进行跟踪,使估计的形状保持靠近融合形状。本发明使用多人物线性模型跟踪复杂的姿势,能够高效地估计联合模型参数和主体特定的自由形状;同时,还增加了细节部分的检测,提高了精确度。,下面是一种基于3D扫描的人物身体形状估计方法专利的具体信息内容。

1.一种基于3D扫描的人物身体形状估计方法,其特征在于,主要包括使用身体模型确定姿势向量(一);定义单目标函数(二);融合形状估计(三);姿势和形状跟踪(四)。
2.基于权利要求书1所述的使用身体模型确定姿势向量(一),其特征在于,多人物线性模型(MPLM)使用具有6890个顶点的学习装配模板T的主体模型;根据形状参数和骨架姿态适配MPLM的顶点位置;人体的骨骼结构由运动链建模,运动链由通过24个关节连接的刚性骨段组成;每个关节建模为具有3个旋转自由度(DoF)的球形关节,用指数坐标ω进行参数化;包括平移在内,姿势θ由3×23+3=72个参数的姿势向量确定。
3.基于权利要求书2所述的多人物线性模型(MPLM),其特征在于,为了模拟形状和姿势的相关变形,MPLM以加总的方式修改模板,并从变形的模板预测关节位置;
M(β,θ)=W(T(β,θ),J(β),θ,W)    (1)
T(β,θ)=Tμ+Bs(β)+Bp(θ)   (2)
其中, 是线性混合蒙皮函数,其在静止姿态Tμ、联合
位置J、姿态θ和混合权重W中取顶点,并返回所提出的顶点;参数Bs(β)和Bp(θ)是来自模板的顶点偏移向量;使用M引用MPLM生成的网格。
4.基于权利要求书1所述的定义单帧目标函数(二),其特征在于,将单帧目标函数定义为:
E(TEst,M(β,0),θ;S)=λskinEs+λcEc+λcplEcpl+λpriorEprior   (3)其中,Es是皮肤项,Ec是布料项,Ecpl是模型耦合项,Eprior包括姿势、形状和平移的先验项;
M(β,0)=Tu+Bs(β)   (4)
Tu是MPLM的默认模板,β是形状空间的系数。
5.基于权利要求书4所述的皮肤项,其特征在于,惩罚项与模型的偏差,扫描标记为皮肤si∈Ss的点;为了使损失函数平滑,先计算对齐的点与最近的布料点的测地距离,并应用逻辑函数来映射0和1之间的测地距离;将此函数命名为 结果值以最近距
离传播到扫描点,并用于对每个扫描残余加权;靠近皮肤-布料边界的点具有平滑减小的重量;
其中,dist是点到表面距离,ρ(·)是Geman-McClure惩罚函数;dist()计算网格三形、边或点上最接近的基元;在每种情况下相应地计算分析导数。
6.基于权利要求书4所述的布料项,其特征在于,由于Ec=Eo+Ei,外部惩罚项穿透网格的布点,拟合项鼓励网格靠近布料表面;假设进行闭合扫描,并将模型推入内部;外部项在数学上是标记为布料的每个扫描点的惩罚的总和s∈Sc,其穿透形状网格:
其中,如果扫描点si位于网格内部,则δi返回1的指示符函数,否则为0;通过计算网格表面法线、连接扫描顶点和网格中最近点的矢量之间的角度,可获得激活δi。
7.基于权利要求书4所述的耦合项,其特征在于,仅优化Es和Ec导致结果不稳定,因为没有强制人体测量约束;因此,限制模板TEst,保持接近统计形状主体模型;
Ecpl(TEst,M(0,β))=‖diag(w)(TEst-M(0,β))‖2   (7)
其中,对角矩阵diag(w)简单地增加了诸如手和脚部分的耦合强度;联合优化TEst和β,形状的模型表示被拉向TEst,反之亦然;优化的结果是详细的估计TEst和形状β的模型表示。
8.基于权利要求书4所述的先验项,其特征在于,使用从MPLM的姿势训练集计算高斯先验对姿势进行正则化;具体来说,在姿势上执行氏距离:
其中,从姿态训练集中计算平均值μθ和协方差 类似的先验可以强制在形状空间系数β,为了优化单帧目标,使用自动分解工具计算导数。
9.基于权利要求书1所述的融合形状估计(三),其特征在于,将单帧目标扩展到多帧,并联合优化单个TEst,β和Nframes姿势 按顺序将所有扫描记录到单个衣物模板;使用单帧目标函数λc=0;由此获得每帧穿着的模板 模板集包含非刚性布料运动;裸体形状位于所有的衣物模板内部;收集所有模板,并将其视为单个点,称之为融合扫描因此,可以通过再次使用单帧目标获得单个形状估计:
所获得的融合形状已经相当准确。
10.基于权利要求书1所述的姿势和形状跟踪(四),其特征在于,使用融合形状进行跟踪,使估计的形状保持靠近融合形状;通过将估计耦合到融合形状来实现:
用上式表示,故耦合项现在是

说明书全文

一种基于3D扫描的人物身体形状估计方法

技术领域

[0001] 本发明涉及身体形状估计领域,尤其是涉及了一种基于3D扫描的人物身体形状估计方法。

背景技术

[0002] 随着新兴三维非接触测量技术的发展,三维全人体扫描技术已经成为科学家们关注和研究的重要课题之一,它被用来侦测和分析人类个体的形状和外观数据,其应用领域非常广泛,如人体三维数据收集、人像打印;服装设计、虚拟试衣、个性化量身定做;美体塑身行业体型分析、评价;影视行业真人三维建模;医学工程、生理解剖;工业模型扫描与设计;文物研究与修复等。然而,先前使用的模型太过简单,无法跟踪复杂的姿态,缺乏细节部分的检测,精确度不高,因此无法满足使用需求。
[0003] 本发明提出了一种基于3D扫描的人物身体形状估计方法,先使用多人物线性模型(MPLM)确定姿势向量,模拟形状和姿势的相关变形,再用皮肤项、布料项、模型耦合项和先验项定义单目标函数,接着将单帧目标扩展到多个帧并联合优化,通过再次使用单帧目标获得单个形状估计,最后使用融合形状进行跟踪,使估计的形状保持靠近融合形状。本发明使用多人物线性模型跟踪复杂的姿势,能够高效地估计联合模型参数和主体特定的自由形状;同时,还增加了细节部分的检测,提高了精确度。

发明内容

[0004] 针对模型太过简单、无法跟踪复杂的姿态等问题,本发明的目的在于提供一种基于3D扫描的人物身体形状估计方法,先使用多人物线性模型(MPLM)确定姿势向量,模拟形状和姿势的相关变形,再用皮肤项、布料项、模型耦合项和先验项定义单帧目标函数,接着将单帧目标扩展到多个帧并联合优化,通过再次使用单帧目标获得单个形状估计,最后使用融合形状进行跟踪,使估计的形状保持靠近融合形状。
[0005] 为解决上述问题,本发明提供一种基于3D扫描的人物身体形状估计方法,其主要内容包括:
[0006] (一)使用身体模型确定姿势向量;
[0007] (二)定义单帧目标函数;
[0008] (三)融合形状估计;
[0009] (四)姿势和形状跟踪。
[0010] 其中,所述的使用身体模型确定姿势向量,多人物线性模型(MPLM)使用具有6890个顶点的学习装配模板T的主体模型;根据形状参数和骨架姿态适配MPLM的顶点位置;人体的骨骼结构由运动链建模,运动链由通过24个关节连接的刚性骨段组成;每个关节建模为具有3个旋转自由度(DoF)的球形关节,用指数坐标ω进行参数化;包括平移在内,姿势θ由3×23+3=72个参数的姿势向量确定。
[0011] 进一步地,所述的多人物线性模型(MPLM),为了模拟形状和姿势的相关变形,MPLM以加总的方式修改模板,并从变形的模板预测关节位置;
[0012] M(β,θ)=W(T(β,θ),J(β),θ,W)                   (1)
[0013] T(β,θ)=Tμ+Bs(β)+Bp(θ)                    (2)
[0014] 其中, 是线性混合蒙皮函数,其在静止姿态Tμ、联合位置J、姿态θ和混合权重W中取顶点,并返回所提出的顶点;参数Bs(β)和Bp(θ)是来自模板的顶点偏移向量;使用M引用MPLM生成的网格。
[0015] 其中,所述的定义单帧目标函数,将单帧目标函数定义为:
[0016] E(TEst,M(β,0),θ;S)=λskinEs+λcEc+λcplEcpl+λpriorEprior     (3)[0017] 其中,Es是皮肤项,Ec是布料项,Ecpl是模型耦合项,Eprior包括姿势、形状和平移的先验项;
[0018] M(β,0)=Tu+Bs(β)                         (4)
[0019] Tu是MPLM的默认模板,β是形状空间的系数。
[0020] 进一步地,所述的皮肤项,惩罚项与模型的偏差,扫描标记为皮肤si∈Ss的点;为了使损失函数平滑,先计算对齐的点与最近的布料点的测地距离,并应用逻辑函数来映射0和1之间的测地距离;将此函数命名为 结果值以最近距离传播到扫描点,并
用于对每个扫描残余加权;靠近皮肤-布料边界的点具有平滑减小的重量;
[0021]
[0022] 其中,dist是点到表面距离,ρ(·)是Geman-McClure惩罚函数;dist()计算网格三形、边或点上最接近的基元;在每种情况下相应地计算分析导数。
[0023] 进一步地,所述的布料项,由于Ec=Eo+Ei,外部惩罚项穿透网格的布点,拟合项鼓励网格靠近布料表面;假设进行闭合扫描,并将模型推入内部;外部项在数学上是标记为布料的每个扫描点的惩罚的总和s∈Sc,其穿透形状网格:
[0024]
[0025] 其中,如果扫描点si位于网格内部,则δi返回1的指示符函数,否则为0;通过计算网格表面法线、连接扫描顶点和网格中最近点的矢量之间的角度,可获得激活δi。
[0026] 进一步地,所述的耦合项,仅优化Es和Ec导致结果不稳定,因为没有强制人体测量约束;因此,限制模板TEst,保持接近统计形状主体模型;
[0027] Ecpl(TEst,M(0,β))=‖diag(w)(TEst-M(0,β))‖2       (7)
[0028] 其中,对角矩阵diag(w)简单地增加了诸如手和脚部分的耦合强度;联合优化TEst和β,形状的模型表示被拉向TEst,反之亦然;优化的结果是详细的估计TEst和形状β的模型表示。
[0029] 进一步地,所述的先验项,使用从MPLM的姿势训练集计算高斯先验对姿势进行正则化;具体来说,在姿势上执行氏距离:
[0030]
[0031] 其中,从姿态训练集中计算平均值μθ和协方差 类似的先验可以强制在形状空间系数β,为了优化单帧目标,使用自动分解工具计算导数。
[0032] 其中,所述的融合形状估计,将单帧目标扩展到多帧,并联合优化单个TEst,β和Nframes姿势 按顺序将所有扫描记录到单个衣物模板;使用单帧目标函数λc=0;由此获得每帧穿着的模板 模板集包含非刚性布料运动;裸体形状位于所有的衣物模板内部;收集所有模板,并将其视为单个点,称之为融合扫描 因此,可
以通过再次使用单帧目标获得单个形状估计:
[0033]
[0034] 所获得的融合形状已经相当准确。
[0035] 其中,所述的姿势和形状跟踪,使用融合形状进行跟踪,使估计的形状保持靠近融合形状;通过将估计耦合到融合形状来实现:
[0036]
[0037] 用上式表示,故耦合项现在是附图说明
[0038] 图1是本发明一种基于3D扫描的人物身体形状估计方法的系统流程图
[0039] 图2是本发明一种基于3D扫描的人物身体形状估计方法的皮肤项。
[0040] 图3是本发明一种基于3D扫描的人物身体形状估计方法的融合形状估计。

具体实施方式

[0041] 需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互结合,下面结合附图和具体实施例对本发明作进一步详细说明。
[0042] 图1是本发明一种基于3D扫描的人物身体形状估计方法的系统流程图。主要包括使用身体模型确定姿势向量,定义单帧目标函数,融合形状估计,姿势和形状跟踪。
[0043] 使用身体模型确定姿势向量,多人物线性模型(MPLM)使用具有6890个顶点的学习装配模板T的主体模型;根据形状参数和骨架姿态适配MPLM的顶点位置;人体的骨骼结构由运动链建模,运动链由通过24个关节连接的刚性骨段组成;每个关节建模为具有3个旋转自由度(DoF)的球形关节,用指数坐标ω进行参数化;包括平移在内,姿势θ由3×23+3=72个参数的姿势向量确定。
[0044] 为了模拟形状和姿势的相关变形,MPLM以加总的方式修改模板,并从变形的模板预测关节位置;
[0045] M(β,θ)=W(T(β,θ),J(β),θ,W)           (1)
[0046] T(β,θ)=Tμ+Bs(β)+Bp(θ)              (2)
[0047] 其中, 是线性混合蒙皮函数,其在静止姿态Tμ、联合位置J、姿态θ和混合权重W中取顶点,并返回所提出的顶点;参数Bs(β)和Bp(θ)是来自模板的顶点偏移向量;使用M引用MPLM生成的网格。
[0048] 将单帧目标函数定义为:
[0049] E(TEst,M(β,0),θ;S)=λskinEs+λcEc+λcplEcpl+λpriorEprior       (3)[0050] 其中,Es是皮肤项,Ec是布料项,Ecpl是模型耦合项,Eprior包括姿势、形状和平移的先验项;
[0051] M(β,0)=Tu+Bs(β)            (4)
[0052] Tu是MPLM的默认模板,β是形状空间的系数。
[0053] 布料项,由于Ec=Eo+Ei,外部惩罚项穿透网格的布点,拟合项鼓励网格靠近布料表面;假设进行闭合扫描,并将模型推入内部;外部项在数学上是标记为布料的每个扫描点的惩罚的总和s∈Sc,其穿透形状网格:
[0054]
[0055] 其中,如果扫描点si位于网格内部,则δi返回1的指示符函数,否则为0;通过计算网格表面法线、连接扫描顶点和网格中最近点的矢量之间的角度,可获得激活δi。
[0056] 耦合项,仅优化Es和Ec导致结果不稳定,因为没有强制人体测量约束;因此,限制模板TEst,保持接近统计形状主体模型;
[0057] Ecpl(TEst,M(0,β))=||diag(w)(TEst-M(0,β))||2       (6)
[0058] 其中,对角矩阵diag(w)简单地增加了诸如手和脚部分的耦合强度;联合优化TEst和β,形状的模型表示被拉向TEst,反之亦然;优化的结果是详细的估计TEst和形状β的模型表示。
[0059] 先验项,使用从MPLM的姿势训练集计算高斯先验对姿势进行正则化;具体来说,在姿势上执行马氏距离:
[0060]
[0061] 其中,从姿态训练集中计算平均值μθ和协方差 类似的先验可以强制在形状空间系数β,为了优化单帧目标,使用自动分解工具计算导数。
[0062] 姿势和形状跟踪,使用融合形状进行跟踪,使估计的形状保持靠近融合形状;通过将估计耦合到融合形状来实现:
[0063]
[0064] 用上式表示,故耦合项现在是
[0065] 图2是本发明一种基于3D扫描的人物身体形状估计方法的皮肤项。惩罚项与模型的偏差,扫描标记为皮肤si∈Ss的点;为了使损失函数平滑,先计算对齐的点与最近的布料点的测地距离,并应用逻辑函数来映射0和1之间的测地距离;将此函数命名为结果值以最近距离传播到扫描点,并用于对每个扫描残余加权;靠近皮肤-布料边界的点具有平滑减小的重量;
[0066]
[0067] 其中,dist是点到表面距离,ρ(·)是Geman-McClure惩罚函数;dist()计算网格三角形、边或点上最接近的基元;在每种情况下相应地计算分析导数。
[0068] 图3是本发明一种基于3D扫描的人物身体形状估计方法的融合形状估计。将单帧目标扩展到多帧,并联合优化单个TEst,β和Nframes姿势 按顺序将所有扫描记录到单个衣物模板;使用单帧目标函数λc=0;由此获得每帧穿着的模板 模板集包含非刚性布料运动;裸体形状位于所有的衣物模板内部;收集所有模板,并将其视为单个点云,称之为融合扫描 因此,可以通过再次使用单帧目标获得单个形状估计:
[0069]
[0070] 所获得的融合形状已经相当准确。
[0071] 对于本领域技术人员,本发明不限制于上述实施例的细节,在不背离本发明的精神和范围的情况下,能够以其他具体形式实现本发明。此外,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围,这些改进和变型也应视为本发明的保护范围。因此,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈