身体成像
阅读：56发布：2020-05-12
专利汇可以提供身体成像专利检索，专利查询，专利分析的服务。并且在一个方面，公开了用于身体成像的装置。在一种布置中，所述装置包括： 控制器 ；存储用于控制所述控制器的 电子 程序指令的 存储器 ；用于显示 用户界面 的显示器；和输入装置。在一种形式中，所述控制器在所述电子程序指令的控制下可操作以：经由所述输入装置接收输入，所述输入包括身体的第一表象；处理所述第一表象；基于所述第一表象的处理产生所述身体的第二表象；和通过所述显示器显示所述产生的第二表象。，下面是身体成像专利的具体信息内容。
1.一种用于身体成像的装置，所述装置包括：
控制器；
存储用于控制所述控制器的电子程序指令的存储器；
用于显示用户界面的显示器；和
输入装置；
其中所述控制器在所述电子程序指令的控制下可操作以：
提供视觉和/或听觉辅助，以指导用户经由所述输入装置捕获输入；
经由所述输入装置接收输入，所述输入包括捕获图像；
检查所述输入；
处理所述输入和/或所述经检查的输入；
在所述处理的基础上产生所述身体的表象；和
经由所述显示器显示所述产生的表象。
2.权利要求1所述的装置，其中所述捕获图像包括以下的一个或多个：图像；来自不同视图的图像；图像特征或图案；标记；或标志；或可见或可被检测、可被识别和可被提取的数据；可被检测、可被识别和可被估计，但不可见或无法可视化的特征和数据；深度数据；关键点；独特的身体特征或标志；时空特征。
3.权利要求1或2所述的装置，其中所述输入装置包括一个或多个传感器，且其中所述一个或多个传感器是一组传感器的部分，所述一组传感器包括以下的一个或多个：运动传感器；远红外传感器；无线传感器；深度传感器；三维成像传感器；惯性传感器；微机电(MEMS)传感器；成像装置；加速度传感器；方位传感器；方向传感器；位置传感器和可操作以产生所述身体的外壳的传感器。
4.权利要求3所述的装置，其中所述捕获图像包括所述身体的一个或多个视觉表象，其中所述一个或多个传感器包括可操作以捕获所述身体的一个或多个视觉表象的成像装置，并且其中所述一个或多个传感器包括可操作以提供方位数据的方位传感器，所述方位数据用于捕获所述身体的一个或多个视觉表象以促进其与平面的对齐，增加精确度。
5.权利要求4所述的装置，其中所述身体的一个或多个视觉表象包括至少一张身体的正视图的照片和至少一张身体的侧视图的照片。
6.权利要求5所述的装置，其中所述照片包括以下的至少一种：标准二维(2D)二进制的灰色或彩色图像；具有或不具有颜色和/或纹理的深度图像；具有或不具有颜色和/或纹理的完整的三维(3D)点云或身体的多个不完整的点云；和/或具有或不具有颜色和/或纹理的身体的三维(3D)网格。
7.前述权利要求中任一项所述的装置，其中提供视觉和听觉辅助包括经由可听见的声音/话语/语音指导用户根据对准过程对准身体的各部分，其中所述电子程序指令可操作以通过包括形状、姿势、运动和时空的特征之间计算的误差来控制对齐过程。
8.权利要求4-7中任一项所述的装置，其中所述控制器还在所述电子程序指令的控制下可操作以：
分割至少一个前景，其包含身体的捕获图像的身体的一个或多个视觉表象；
将所述捕获图像的一个或多个视觉表象的一个或多个分割的前景转化为相应的剪影；
使用一个或多个分割的前景和它们相应的剪影来构建身体形状的外壳或身体化身的外壳；和/或提取特征；和/或提取关键点的测量值；和/或描述符；和/或特征；和使用一个或多个外壳、化身、和/或特征、和/或关键点的测量值、和/或描述符、和/或特征对身体的3D模型(平均身体模型)进行修改、装入和变形，以产生作为表象的修改的受试者特定的3D模型图像。
9.权利要求8所述的装置，其中在任何具有或不具有颜色和/或纹理的深度图像、点云和网格的情况下，所述控制器在所述电子程序指令的控制下可操作以重构身体的三维受试者特定的形状。
10.前述权利要求中任一项所述的装置，其中所述控制器还在所述电子程序指令的控制下可操作以：
通过分割所述捕获图像处理所述捕获图像以获得多个剪影，所述剪影以身体形状的基本上真正的三维扫描的投影阴影的简单形式表示；和
基于所述剪影和使用智能机器学习技术离线学习的大量已知人类形状产生所述身体的所述表象。
11.前述权利要求中任一项所述的装置，其中所述控制器还在所述电子程序指令的控制下可操作以：
基于提交的用户身高信息、图像尺寸(以像素表示的图像高度和宽度)、图像特征和/或关键点，使用二进制图像的斑点分析、投影理论和相机模型，计算以下：
捕获相机的固有参数和外部参数的初始估计，其中包括每个图像中的相机位置和方位，定义为姿势P；和
代表身体骨骼的骨骼模型的关节运动学的初步估计，定义为JK，包括骨骼模型的每个关节的3D位置和3D方位。
12.前述权利要求中任一项所述的装置，其中所述控制器还在所述电子程序指令的控制下可操作以：
基于提交的用户身高和体重信息，或仅用户身高信息，预测初始平均化身，定义为Av，其随用户输入的身高、体重或其他身体测量(如果已知)而变化；和
将平均化身Av装入尺寸为N关节的参考骨骼，所述参考骨骼具有参考姿势的已知的骨骼模型JK，以及定义为W的骨重量/身高矩阵。
13.权利要求12所述的装置，其中所述矩阵W仅在预测过程的学习过程中离线计算一次，然后与待用于预测或产生其他化身的参考骨骼模型JK一起保存，W的目的是限制、控制和建模关节、骨和由其顶点V、边E和面F表示的真实的3D化身表面之间的关系。
14.权利要求13所述的装置，其中所述预测初始平均化身Av的过程遵循基于复杂多变量的机器学习方法。
15.权利要求1-9中任一项所述的装置，其中所述输入包括将所述身体分类，且所述控制器还在所述电子程序指令的控制下可操作以：
基于所述身体的分类，获得与所述身体分类对应的数据；
通过比较所述捕获图像和获得的所述数据处理所述捕获图像；和基于所述比较产生身体的表象。
16.权利要求15所述的装置，其中获得的所述数据包括以下的至少一个：模板；身体的先前表象；和所述身体和/或其他身体的一个或多个先前表象的整合、数据或关联。
17.权利要求1所述的装置，其中所述身体是用户的身体，且所述捕获图像包括所述身体的一个或多个视觉表象，并且其中所述控制器还在所述电子程序指令的控制下可操作以：
使用户能够将捕获图像中的身体与所产生的用户特定的骨骼对齐，至少部分地通过(i)沿着所述身体的一个或多个实时捕获图像显示所述用户特定的骨骼和(ii)指导用户以使所显示的身体与所显示的用户特定的骨骼对齐的方式移动；
当所显示的身体已经与所显示的用户特定的骨骼对齐时，通过分割所述捕获图像的身体的一个或多个视觉表象，以获得多个剪影，所述剪影对应于身体形状的基本上真正的三维扫描的投影阴影；和
基于所述多个剪影和所述身体分类产生所述身体的所述表象。
18.前述权利要求中任一项所述的装置，其中所述身体是以下的至少一种：人体或其一个或多个部分；生物或其一个或多个部分；非生物或其一个或多个部分。
19.一种用于身体成像的方法，所述方法包括：
存储用于控制控制器的电子程序指令；和
经由所述电子程序指令控制所述控制器以：
提供视觉和/或听觉辅助，以指导用户经由所述输入装置捕获输入；经由所述输入装置接收输入，所述输入包括捕获图像；
检查所述输入；
处理所述输入和/或所述经检查的输入；
在所述处理的基础上产生所述身体的表象；和
经由所述显示器显示所述产生的表象。
20.权利要求19所述的方法，其中所述捕获图像包括以下的一个或多个：图像；来自不同视图的图像；图像特征或图案；标记；或标志；或可见或可被检测、可被识别和可被提取的数据；可被检测、可被识别和可被估计，但不可见或无法可视化的特征和数据；深度数据；关键点；独特的身体特征或标志；时空特征。
21.权利要求19或20所述的方法，其中提供视觉和听觉辅助包括经由可听见的声音/话语/语音指导用户根据对准过程对准身体的各部分，其中所述电子程序指令可操作以通过包括形状、姿势、运动和时空的特征之间计算的误差来控制对齐过程。
22.权利要求19-21中任一项所述的方法，还包括经由电子程序指令控制所述控制器，以：
分割至少一个前景，其包含身体的捕获图像的身体的一个或多个视觉表象；
将所述捕获图像的一个或多个视觉表象的一个或多个分割的前景转化为相应的剪影；
使用一个或多个分割的前景和它们相应的剪影来构建身体形状的外壳，和/或提取特征，和/或提取关键点的测量值，和/或描述符，和/或特征；和
使用一个或多个外壳、化身、和/或特征、和/或关键点的测量值、和/或描述符、和/或特征对所选模板的身体3D模型(平均身体模型)进行修改、装入和变形，以产生作为表象的修改的受试者特定的3D模型图像。
23.权利要求22所述的方法，其中在任何具有或不具有颜色和/或纹理的深度图像、点云和网格的情况下，经由所述电子程序指令控制所述控制器以重构身体的三维受试者特定的形状。
24.权利要求19-23中任一项所述的方法，还包括经由所述电子程序指令控制所述控制器，以：
通过分割所述捕获图像处理所述捕获图像以获得多个剪影，所述剪影以身体基本上真正的三维扫描的投影阴影的简单形式表示；和
基于所述剪影和使用智能机器学习技术离线学习的大量已知人类形状产生所述身体的所述表象。
25.权利要求19-24中任一项所述的方法，还包括经由所述电子程序指令控制所述控制器，以：
基于提交的用户身高信息、图像尺寸(以像素表示的图像高度和宽度)、图像特征和/或关键点，使用二进制图像的斑点分析、投影理论和相机模型，计算以下：
捕获相机的固有参数和外部参数的初始估计，其中包括每个图像中的相机位置和方位，定义为姿势P；和
代表身体骨骼的骨骼模型的关节运动学的初步估计，定义为JK，包括骨骼模型的每个关节的3D位置和3D方位。
26.权利要求19-25中任一项所述的方法，还包括经由所述电子程序指令控制所述控制器，以：
基于提交的用户身高和体重信息，或仅用户身高信息，预测初始平均化身，定义为Av，其随用户输入的身高、体重或其他身体测量(如果已知)而变化；和
将平均化身Av装入尺寸为N关节的参考骨骼，所述参考骨骼具有参考姿势的已知的骨骼模型JK，以及定义为W的骨重量/身高矩阵。
27.权利要求26所述的方法，其中所述矩阵W仅在预测过程的学习过程中离线计算一次，然后与待用于预测或产生其他化身的参考骨骼模型JK一起保存，W的目的是限制、控制和建模关节、骨和由其顶点V、边E和面F表示的真实的3D化身表面之间的关系。
28.权利要求27所述的方法，其中所述预测初始平均化身Av的过程遵循基于复杂多变量的机器学习方法。
29.权利要求19-21中任一项所述的方法，其中所述输入包括将所述身体分类，还包括经由所述电子程序指令控制所述控制器，以：
基于所述身体的分类，获得与所述身体分类对应的数据；
通过比较所述捕获图像和获得的所述数据处理所述捕获图像；和基于所述比较产生身体的表象。
30.权利要求29所述的方法，其中获得的所述数据包括以下的至少一个：模板；身体的先前表象；和所述身体和/或其他身体的一个或多个先前表象的整合、数据或关联。
31.权利要求19-21所述的方法，其中所述身体是用户的身体，且所述捕获图像包括所述身体的一个或多个视觉表象，还包括经由所述电子程序指令控制所述控制器，以：
使用户能够将捕获图像中的身体与所产生的用户特定的骨骼对齐，至少部分地通过(i)沿着所述身体的一个或多个实时捕获图像显示所述用户特定的骨骼和(ii)指导用户以使所显示的身体与所显示的用户特定的骨骼对齐的方式移动；
当所显示的身体已经与所显示的用户特定的骨骼对齐时，通过分割所述捕获图像的身体的一个或多个视觉表象，以获得多个剪影，所述剪影对应于身体形状的基本上真正的三维扫描的投影阴影；和
基于所述多个剪影和所述身体分类产生所述身体的所述表象。
32.权利要求19-31所述的方法，其中所述身体是以下的至少一种：人体或其一个或多个部分；生物或其一个或多个部分；非生物或其一个或多个部分。
33.一种其上存储有指令的计算机可读存储介质，当由计算装置执行时，所述指令使得计算装置执行根据权利要求19-32任一项所述的方法。
34.一种计算装置，其被编程为执行根据权利要求19-32中任一项所述的方法。
35.一种数据信号，其包括能够由计算系统接收和解释的至少一个指令，其中所述指令实施根据权利要求19-32中任一项所述的方法。
36.一种用于身体成像的系统，包括权利要求1-18中任一项所述的装置。
37.权利要求1-18中任一项所述的装置，用于经由显示器产生和显示身体的一个或多个表象，以提供用于实现该目的的动机。
38.权利要求37所述的装置，其中所述身体是人体，其中所述一个或多个表象包括所述人体的精确的个性化的受试者特定的图像，从而通过有效且准确地监测所述人体来促进和帮助实现个人健身目标。
39.权利要求1-18中任一项所述的装置，其中所述输入包括所述身体的分类。
40.权利要求1-18或39中任一项所述的装置，其中所述控制器还在所述电子程序指令的控制下可操作，以经由安全网络和/或服务器传送所生成的表象。
41.权利要求19-32中任一项所述的方法，其中所述输入包括所述身体的分类。
42.权利要求19-32或41中任一项所述的方法，其中所述控制器还在所述电子程序指令的控制下可操作，以经由安全网络和/或服务器传送所生成的表象。
身体成像
技术领域
[0002] 本发明总体上涉及身体成像。
[0003] 尽管将特别参照人体成像以便于实现包括个人健身目标的目的来描述本发明，将理解其也可以用于其他事物的身体和用于额外和/或替代目的。
背景技术
[0004] 人类肥胖已被确定为全球流行病。根据世界卫生组织2008的出版物：全球疾病负担研究2013，The Lancet,分类为超重的人数从1980年的8.57亿人增加到2013年的21亿人，到2030年，预测有40亿人会超重。
[0005] 这有经济成本。例如，在英国，估计2007年有42％的男性和32％的女性超重，估计经济成本为260亿美元，在美国，估计2010年有74％的男性和64％的女性超重，估计经济成本为1470亿美元，在澳大利亚，估计2012年有42％的男性和28％的女性超重，估计经济成本为530亿美元。[National Health and Medical Research Council(NHMRC),Australian Heart Foundation；Centre for Disease Control(CDC)；National Health and Nutrition Examination Survey(NHANES)；The Health and Social Care Information Centre(HSCIC)]。
[0006] 此外，已经报道：超过一半的澳大利亚人(55.7％)和美国人(51％)正尝试减肥；在健康体重范围的45％女性和23％男性认为他们是超重的；约91％女性对她们的身体不满意；且肥胖的增加主要在20-40岁发生。[Jeffery RW,Sherwood NE,Brelje K,et al.Mail and phone interventions for weight loss in a managed-care setting:Weigh-To-Be one-year outcomes.Int J Obes Related Metab Disord.2003；27(12):1584-1592；Linde JA,Jeffery RW,French SA,Pronk NP,Boyle RG.Self-weighing in weight gain prevention and weight loss trials.Ann Behav Med.2005；30(3):210-216；Butryn ML,Phelan S,Hill JO,Wing RR.Consistent self-monitoring of weight:a key component of successful weight loss maintenance.Obesity.2007；15(12):3091-3096；The Technology Boom:A New Era in Obesity Management.Gilmore,Duhé,Frost,Redman.J Diabetes Sci Technol.2014 Feb 27；8(3):596-608]。
[0007] 鉴于这些统计数据，毫不意外很多人有减肥、增重或维持/监测体重，和/或改善他们的身材大小或形状的个人健身目标。
[0008] 研究反复表明，频繁的自我监测，例如称重和/或测量围度在实现减肥或增重以及其他健身目标方面起重要作用(如果不是关键作用)。
[0009] 目前，监测体重的方法包括：
[0010] ·使用称重秤(即用于确定物体的重量或质量的测量仪器)。这种技术具有廉价和快速的优点，但是不能指示体形变化。
[0011] ·使用卷尺。虽然廉价，但这种技术容易出现用户错误，不切实际和耗时。
[0012] ·使用双能X射线吸收测定法(DXA或DEXA)。该技术有助于精确测量身体组成，但是具有不提供体周/围度测量、昂贵并且耗时的缺点。此外，它可能有相关的健康影响。在这方面，虽然在技术中使用的辐射量通常非常小，低于标准胸部x射线的剂量的十分之一，且少于一天在自然辐射下的暴露，为了临床和商业用途，有建议因为健康影响，个人每年应只能扫描两次。
[0013] ·使用三维(3D)身体扫描仪和映射器，例如以商标Image Twin TM和mPortTM提供的那些。虽然Image TwinTM系统允许创建身体的精确3D化身表象，它是昂贵的，且需要使用通常位于实验室的专门设备。mPortTM系统允许创建身体的精确3D化身表象，并提供围度测量。然而，它也是昂贵的，且需要在规定位置使用专门设备，并且仅提供重量变化的图形数据。
[0014] ·使用虚拟减肥模拟器，如以商标Model My DietTM、Change in SecondsTM和Virtual Weight Loss Model LiteTM提供的模拟器。这些系统通常允许生成身体“之前”和“之后”的卡通化身表象。它们只能作为在计算机上运行的可执行文件，例如桌面，且只使用基本的人体测量数据提供基本评估。
[0015] ·使用虚拟产品模拟器，如以OptitexTM商标所提供的模拟器。OptitexTM系统允许生成身体的单一卡通化身表象。它只能作为在计算机上运行的可执行文件提供，且只使用基本的人体测量数据提供基本评估。
[0016] ·使用照片，例如以商标Good HousekeepingTM提供的照片。Good HousekeepingTM系统是基于照片的，但仅允许在二维(2D)空间中简单缩小和放大上传的照片，这是图像处理/加工软件(例如photoshop)中使用的基本类型的图像变形方法。
[0017] 一项研究(在J Diabetes Sci Technol.2013 Jul 1；7(4):1057-65中发表。Using avatars to model weight loss behaviors:participant attitudes and technology development)显示对基于化身的程序非常感兴趣，具有表示承诺的形成性工作。鉴于与体内曝光和实践相关的高成本，该项研究表明基于化身的技术用作建模减肥行为的工具的潜力。
[0018] 针对以上背景开发了本发明。
[0019] 发明简述
[0022] 根据本发明的一个广泛的方面，提供用于身体成像的装置，所述装置包括：
[0023] 控制器；
[0026] 输入装置；
[0027] 其中所述控制器在所述电子程序指令的控制下可操作以：
[0028] 经由所述输入装置接收输入，所述输入包括所述身体的分类和所述身体的第一表象(representation)；
[0029] 处理给予所述身体分类的所述第一表象；
[0030] 基于所述第一表象的处理产生所述身体的第二表象；和
[0031] 通过显示器显示所述产生的第二表象。
[0032] 根据本发明的第一个广泛的方面，提供用于身体成像的装置，所述装置包括：
[0033] 控制器；
[0034] 存储用于控制所述控制器的电子程序指令的存储器；
[0035] 用于显示用户界面的显示器；和
[0036] 输入装置；
[0037] 其中所述控制器在所述电子程序指令的控制下可操作以：
[0038] 经由所述输入装置接收输入，所述输入包括所述身体的第一表象；
[0039] 通过显示器显示所述第一表象；
[0040] 产生一旦接收到输入就会出现在显示器上的用户特定的骨骼；
[0041] 使用户能够将第一表象中的身体与用户特定的骨骼对齐；
[0042] 当身体已经与用户特定的骨骼对齐时，通过分割身体的所述第一表象处理所述第一表象；
[0043] 基于所述第一表象的处理产生所述身体的第二表象；和
[0044] 通过显示器显示所述产生的第二表象。
[0045] 在一个实施方案中，控制器在所述电子程序指令的控制下可操作以：通过分割身体的所述第一表象处理身体的所述第一表象以获得多个剪影(silhouettes)，并基于所述剪影产生所述身体的第二表象，所述剪影以身体基本上真正的三维扫描的投影阴影的简单形式表示。
[0046] 在一个实施方案中，剪影可以包括例如投影和人体运动基础。
[0047] 在另一个实施方案中，所述控制器在所述电子程序指令的控制下可操作以：通过分割身体的所述第一表象处理身体的所述第一表象以获得多个剪影，所述剪影以身体基本上真正的三维扫描的投影阴影的简单形式表示；和基于所述剪影和使用智能机器学习技术离线学习的大量已知人类形状产生所述身体的所述第二表象。
[0048] 有利地，控制器还在所述电子程序指令的控制下可操作以：
[0049] 通过可听见的声音、话语或语音指导用户将身体的一部分与所显示的用户特定的骨骼对齐，其中电子程序指令可操作以通过包括从生成的骨骼和身体的一个或多个实时捕获图像提取的形状特征、姿势特征和时空特征的特性之间计算的误差来控制对齐过程。
[0050] 优选地，控制器还在所述电子程序指令的控制下可操作以：
[0053] 代表身体骨骼的骨骼模型的关节运动学的初步估计，定义为JK，包括骨骼模型的每个关节的3D位置和3D方位。
[0054] 在该实施方案中，控制器也在所述电子程序指令的控制下可操作以：
[0055] 基于提交的用户身高和体重信息，或仅用户身高信息，预测初始平均化身，定义为Av，其一般随用户输入的身高、体重或其他身体测量(如果已知)而变化；和
[0056] 将平均化身Av装入尺寸为N关节的参考骨骼，所述参考骨骼具有参考姿势的已知的骨骼模型JK，以及定义为W的骨重量/热矩阵。
[0057] 优选地，矩阵W仅在人体形态的离线机器学习过程中离线计算一次，然后与待用于预测或产生之前没有学习过的其他化身或人体形态的参考骨骼模型JK一起保存，其中W用于限制、控制和建模关节、骨和真实的3D化身表面或包括人皮肤上发生的天然变形的3D拓扑之间的关系。表面或3D拓扑可以由其顶点V、边E和面F来唯一地建模和表示。
[0058] 有利地，预测初始平均化身Av的过程遵循基于多变量的机器学习方法。优选地，基于多变量的机器学习方法包括使用独特和显著的3D特征的人造3D模型的离线学习，所述3D特征提取自不同年龄、种族和不同身体姿势的真实人类(男性和女性)的多次操纵和渲染的三维扫描。通常，基于多变量的机器学习方法进一步包括不同身体测量之间的各种统计学关系，其定义为具有L数量的不同测量的向量M＝(m1,m2,…,mL)，其中在使用中，给出一个或多个不同测量值可以预测一个或多个测量值，且给出一个或多个这些测量值可以预测平均化身Av。
[0059] 优选地，为了使化身变形或简单地将化身动画化为新化身(定义为身体的Av1，如新的第一表象所示)，将参考或平均化身数据(V、E、F、JK、W)和已知的或新的第一表象的用户关节运动学的估计(定义为JK1)反馈到定义为￡的成本函数，该成本函数将Av优化并变形至Av1，其受到已知或从自然人体运动所了解的许多物理约束，其中在使用中，可以将新的动画化身Av1(为简单起见，假定它具有与平均化身Av相同的身体测量值)建模为参考或平均化身数据的非线性函数，即Av1＝f(Av、W、JK、JK1)。通常，成本函数￡的实施来自合并两个或多个加权能量最小化函数：
[0060] 使用V、F和E的拉普拉斯平坦度矩阵的表面平滑度函数；和
[0061] 使用V、F和E以确保对应关系限制在化身顶点与其骨骼结构之间的骨骼附着函数。
[0062] 优选地，为产生真实身体的3D表象(3D化身)，使用自适应非线性优化来匹配和比较Av1的一个或多个表象和一个或多个剪影或其表象。该过程将调整Av1数据的初始估计和包括M、JK的测量值，直到达到匹配。
[0063] 在进一步的实施方案中，输入包括身体分类，且控制器在所述电子程序指令的控制下可操作以：基于身体分类，获得与身体分类对应的数据；通过比较第一表象和所得数据处理所述第一表象；和基于所述比较产生身体的第二表象。
[0064] 在一个实施方案中，输入包括身体细节。细节可以包括与身体有关的数据和/或信息。
[0065] 在本发明的实施方案中，可以从一个或多个来源通过一次或多次检索、接收、提取和识别来获得数据。在一个实施方案中，所得数据包括至少一种：模板；身体的先前表象，其中身体分类可包括身体识别；和所述身体和/或其他身体的一个或多个先前表象的整合、数据或关联。
[0066] 在一个实施方案中，身体的第一表象包括身体分类。
[0067] 在一个实施方案中，身体是人体或其一个或多个部分。在这种情况下，可以根据人体测量学将身体分类。在一个实施方案中，装置包括多个模板，各模板具有与其相关的模板数据，包括具有标准平均人体测量学的测量值的人体三维模型。这可以称为平均身体模型。标准平均人体测量学的测量值可以是一个或多个测量值，包括性别、大小(例如人衣服的大小)、体重、身高、年龄和种族群体的变化的测量值。
[0068] 在一个实施方案中，身体是生物的身体或其一个或多个部分。
[0069] 在一个实施方案中，身体是非生物的身体或其一个或多个部分。
[0070] 输入装置可以包括至少一个传感器，其可以是传感系统或一组传感器的一部分。
[0071] 在一个实施方案中，第一表象包括身体的视觉表象。在这种实施下，至少一种传感器可以包括可操作以捕获身体的视觉表象的成像装置。成像装置可以是数码相机。
[0072] 一组传感器里的单个传感器可以包括：运动传感器；远红外传感器；深度传感器；三维成像传感器；惯性传感器；微机电(MEMS)传感器；成像装置；加速度传感器；方位传感器；方向传感器；和位置传感器。
[0073] 在实施方案中，第一表象包括身体的一个或多个视觉表象。在该实施方案中，当提供时，一个或多个传感器可以包括可操作以捕获身体的一个或多个视觉表象的成像装置。此外，一个或多个传感器可以包括可操作以提供方位数据的方位传感器，所述方位数据用于捕获身体的一个或多个视觉表象期间以加快其与平面的对齐，增加精确度。
[0074] 在一个实施方案中，身体的一个或多个视觉表象包括身体的至少一个正面和至少一个侧面影像。在本发明的实施方案中，所述影像可以包括：标准二维(2D)二进制的灰色或彩色图像；具有或不具有颜色和/或纹理的深度图像；具有或不具有颜色和/或纹理的完整的三维(3D)点云或身体的多个不完整的点云；和/或具有或不具有颜色和/或纹理的身体的三维(3D)网格。
[0075] 在一个实施方案中，控制器进一步在所述电子程序指令的控制下可操作以：
[0076] 分割至少一个前景，其包含身体的第一表象的一个或多个视觉表象；
[0077] 将第一表象的一个或多个视觉表象的一个或多个分割的前景转化为相应的剪影；
[0078] 用一个或多个分割的前景和它们相应的剪影来进行以下的一种或多种：(i)构建身体外形的3D视觉外壳、(ii)提取特征或(iii)提取关键点的测量值；和
[0080] 在一个实施方案中，在具有或不具有颜色和/或纹理的深度图像、点云和网格的情况下，控制器在所述电子程序指令的控制下可操作以重构身体的三维受试者特定的形状。在一个实施方案中，控制器进一步在所述电子程序指令的控制下可操作以删除第一表象的一个或多个视觉表象。
[0081] 显示器、用户界面和输入装置可以例如整合为触摸屏。或者，它们可以是离散的。
[0082] 在一个实施方案中，输入包括由用户通过输入装置输入的用户指令。用户指令可以包括进行动作的命令，这种情况下，控制器在所述电子程序指令的控制下可操作以根据接收到的用户指令进行动作。
[0083] 动作可以包括交互动作，且可以包括以下的一个或多个：选择产生的第二表象的区域或部分以获得其测量值细节。
[0084] 可以从装置的存储器或从远离装置的存储器检索模板。
[0085] 在一个实施方案中，一个或多个第一表象、模板和第二表象可以存储在一个或多个数据库中或一个或多个数据库间。
[0086] 在实施方案中，电子程序指令包括软件。装置可以是移动通信装置，在这种情况下，它可以包括其上安装有软件的智能电话、笔记本/平板电脑/台式计算机、照相机或便携式媒体装置。软件可以作为可下载到装置的软件应用来提供。
[0087] 优选地，由装置进行的操作自动出现而不需要人为干预。
[0088] 根据本发明的第二广泛的方面，提供用于身体成像的方法，所述方法包括：
[0089] 存储用于控制控制器的电子程序指令；和
[0090] 通过所述电子程序指令控制所述控制器，以：
[0091] 通过输入装置接收输入，所述输入包括身体的第一表象；
[0092] 在用户显示器上显示第一表象；
[0093] 产生一旦接收到输入就会出现在显示器上的用户特定的骨骼；
[0094] 使用户能够将第一表象中的身体与用户特定的骨骼对齐；
[0095] 当身体已经与用户特定的骨骼对齐时，通过分割身体的所述第一表象处理所述第一表象；
[0096] 基于所述第一表象的处理产生所述身体的第二表象。
[0097] 在一个实施方案中，方法可以进一步包括传送所生成的第二表象。传送可以包括经由显示器显示生成的第二表象。
[0098] 在一个实施方案中，方法进一步包括经由电子程序指令控制控制器以：通过分割身体的所述第一表象处理所述第一表象以获得多个剪影并基于所述剪影产生所述身体的第二表象，所述剪影以身体基本上真正的三维扫描的投影阴影的简单形式表示。
[0099] 优选地，使用户能够的步骤包括通过可听见的声音、话语或语音指导用户将身体的一部分与所显示的用户特定的骨骼对齐，其中电子程序指令可操作以通过从生成的骨骼和身体的一个或多个实时捕获图像提取的形状特征、姿势特征、时空特征之间计算的误差来控制对齐过程。
[0100] 有利地，方法进一步包括经由电子程序指令控制控制器以：
[0101] 基于提交的用户身高信息、图像尺寸(以像素表示的图像高度和宽度)，使用二进制图像的斑点分析、投影理论和相机模型，计算以下：
[0102] 捕获相机的固有参数和外部参数的初始估计，其中包括每个图像中的相机位置和方位，定义为姿势P；和
[0103] 代表身体骨骼的骨骼模型的关节运动学的初步估计，定义为JK，包括骨骼模型的每个关节的3D位置和3D方位。
[0104] 有利地，方法进一步包括经由电子程序指令控制控制器以：
[0105] 基于提交的用户身高信息、图像尺寸(以像素表示的图像高度和宽度)，使用二进制图像的斑点分析、投影理论和相机模型，计算以下：
[0106] 捕获传感器或相机的固有参数和外部参数的初始估计，其中包括每个图像中的相机位置和方位，定义为姿势P；和
[0107] 代表身体骨骼的骨骼模型的关节运动学的初步估计，定义为JK，包括骨骼模型的每个关节的3D位置和3D方位。
[0108] 通常，方法进一步包括经由电子程序指令控制控制器以：
[0109] 基于提交的用户身高和体重和性别信息，或仅用户身高和性别信息，预测初始平均化身，定义为Av，其一般随用户输入的身高、体重或其他身体测量(如果已知)而变化；和[0110] 将平均化身Av装入尺寸为N关节的参考骨骼，所述参考骨骼具有参考姿势的已知的骨骼模型JK，以及定义为W的骨重量/身高矩阵。优选地，矩阵W仅在预测过程的学习过程中离线计算一次，然后与待用于预测或产生其他化身的参考骨架模型JK一起保存，其中W用于限制、控制和建模关节、骨和真实的3D化身表面之间的关系，所述3D化身表面由其顶点V、边E和面F来表示。
[0111] 通常，方法进一步包括经由电子程序指令控制控制器以：
[0112] 基于提交的用户身高和体重信息，或仅用户身高信息，预测初始平均化身，定义为Av，其一般随用户输入的身高、体重或其他身体测量(如果已知)而变化；和
[0113] 将平均化身Av装入尺寸为N关节的参考骨骼，所述参考骨骼具有参考姿势的已知的骨骼模型JK，以及定义为W的骨重量/热矩阵。优选地，矩阵W仅在人体形态的离线机器学习过程中离线计算一次，然后与待用于预测或产生之前没有学习过的其他化身或人形态的参考骨骼模型JK一起保存，其中W用于限制、控制和建模关节、骨和真实的3D化身表面或包括人皮肤上发生的天然变形的3D拓扑之间的关系。表面或3D拓扑可以由其顶点V、边E和面F来唯一地表示。
[0114] 优选地，预测初始平均化身Av的过程遵循基于多变量的机器学习方法。通常，基于多变量的机器学习方法包括使用独特和显著的3D特征的人造3D模型的离线学习，所述3D特征提取自不同年龄和姿势的真实人类(男性和女性)的多次操纵和渲染的三维扫描。
[0115] 有利地，基于多变量的机器学习方法进一步包括不同身体测量之间的各种统计学关系的机器智能学习，其定义为具有L数量的不同测量的向量M＝(m1,m2,…,mL)，其中在使用中，给出一个或多个不同测量值可以预测一个或多个测量值，且给出一个或多个这些测量值可以预测平均化身Av。
[0116] 在该实施方案中，为了使化身变形或简单地将化身动画化为新化身(定义为身体的Av1，如新的第一表象所示)，将参考或平均化身数据(V、E、F、JK、W)和已知的或新的第一表象的用户关节运动学的估计(定义为JK1)反馈到定义为 的成本函数，该成本函数将Av优化并变形至Av1，其受到已知或从自然人体运动所了解的许多物理约束，其中在使用中，可以将新的动画化身Av1(为简单起见，假定它具有与平均化身Av相同的身体测量值)建模为参考或平均化身数据的非线性函数，即Av1＝f(Av，W，JK，JK1)。通常，成本函数 的实施来自合并两个或多个加权能量最小化函数：
[0117] 使用V、F和E的例如拉普拉斯平坦度矩阵的表面平滑度函数；和
[0118] 使用V、F和E以确保对应关系限制在化身顶点与其骨骼之间的骨骼附着函数。
[0119] 在进一步的实施方案中，为产生真实身体的3D表象(3D化身)，使用自适应非线性优化来匹配和比较Av1的一个或多个表象和一个或多个剪影或其表象。该过程将调整Av1数据的初始估计和包括M、JK的测量值，直到达到匹配。
[0120] 在进一步的实施方案中，输入包括身体分类，且该方法进一步包括通过电子程序指令控制控制器以：
[0121] 基于身体分类，获得与身体分类对应的数据；
[0122] 通过比较第一表象和所得数据处理所述第一表象；和
[0123] 基于所述比较产生身体的第二表象。
[0124] 根据本发明的第三个广泛的方面，提供其上存储有指令的计算机可读存储介质，当由计算装置执行时，所述指令使得计算装置执行根据如上所述的本发明的第二广泛方面的方法。
[0125] 根据本发明的第四个广泛的方面，提供被编程为执行根据如上所述的本发明的第二广泛方面的方法的计算装置。
[0127] 根据本发明的第六个广泛的方面，提供一种用于身体成像的系统，包括如上所述的根据本发明的第一广泛方面的装置。
[0128] 根据本发明的第七个广泛的方面，提供一种用于实现目的的方法，所述方法包括使用如上所述的根据本发明的第一广泛方面的装置来生成并经由显示器显示身体的一个或多个第二表象以提供用于实现该目的的动机。
[0129] 在一个实施方案中，身体是人体，且目的包括人体的个人健身目标。
附图说明
[0130] 为更全面理解本发明并将其用于实践，将参考附图描述优选实施方案，其中：
[0131] 图1描绘了根据本发明的方面，使用系统的第一实施方案的方法的第一实施方案的用户完成动作的流程图；
[0132] 图2描绘了根据本发明的一个方面的装置的实施方案的示意图；
[0133] 图3描绘了图1的系统的简化系统图；
[0134] 图4描绘了根据本发明的方面，使用系统的第二实施方案的方法的第二实施方案的用户完成动作的流程图；
[0135] 图5描绘了在方法和系统的第二实施方案的使用期间标记图像中的很可能的用户身体的过程。
[0136] 发明详述
[0137] 以下具体实施方案并不限制本发明的范围。该详细说明旨在用于示例的目的。功能上等同的产品、组合物和方法在本文所述的发明范围内。与该观点一致，本领域技术人员将理解，除了具体描述的那些之外，本文所述的发明易于变化和修改。将理解本发明包括所有这些变化和修改。本发明还包括在说明书中(单独或总体)引用或指出的所有步骤、特征、组合物和化合物，以及任意两个或多个步骤或特征的任何和所有组合。
[0138] 本文实施例将更完整地描述本发明的进一步的特征。然而，将理解该详细说明仅用于示例本发明，不应以任何方式理解为对之前所述的本发明的广泛描述的限制。
[0139] 本文引用的所有出版物(包括专利、专利申请、期刊文章、实验室手册、书籍或其他文件)通过引用并入本文。不承认任何参考文献构成现有技术或是本发明涉及领域的工作人员的公知常识的一部分。
[0140] 贯穿全文，除非另有要求，“包括(comprise)”或变形例如“包括(comprises)”或“包括(comprising)”将理解为暗指包含所述整数或整数组，但不排除任何其他整数或整数组。
[0141] 本文使用的所选术语的其它定义可以在本发明的详细描述内找到并且贯穿始终适用。除非另有定义，本文使用的所有其它科学和技术术语具有与本发明所属领域的普通技术人员通常理解的相同的含义。
[0142] 本文描述的发明可以包括一个或多个值的范围(例如尺寸、位移和场强等)。一系列值将理解为包括范围内的所有值，包括定义范围的值以及导致与定义范围边界的值紧邻的值有相同或基本相同的结果的与范围相邻的值。例如，本领域技术人员将理解，范围的上限或下限的10％变化可以是完全适当的并且包括在本发明中。更具体地，范围的上限或下限的变化将为5％，或者如本领域通常认可的，取较大者。
[0144] 在附图中，相同的特征引用相同的参考号。
[0145] 在图1中，描绘了根据本发明的方面，在使用系统10的第一个实施方案中使用装置12成像身体的动作。
[0146] 在所述的实施方案中，身体是希望实现目的的人16(系统10的用户)的身体14，所述目的包括减肥、增重或维持/监测体重，和/或改善他们的身材大小或形状的个人健身目标。因此，它尤其适用于：年龄为16-48岁的女性、新娘/新郎、运动员和健身者；怀孕前/后和用于医疗监测。如以下将进一步详细描述的，系统10可操作以提供人16的准确的个性化的受试者特定的图像，从而通过有效且准确地监测他们的身体14来促进并帮助实现他们的个人健身目标。提供的图像可以称为“化身”。
[0147] 虽然本发明将特别参照成像人体来描述以促进和提供实现个人健身目标的动机，但是应当理解，本发明可以用于其他事物的身体，以及用于额外和/或替代的目的或目标。
[0148] 应当理解，本发明不限于成像的身体或其被成像的目的，并且在替代实施方案中，本发明可以用于成像额外和/或替代物体的身体，用于额外和/或替代目的。根据实施，身体可以是生物体的身体或其一个或多个部分，或非生物的身体或其一个或多个部分。本发明的实施方案特别适用于成像其中在一个和另一个的身体之间存在变化的物体的身体，例如动物(包括家畜)和处于自然状态的食物。
[0149] 装置12由作为用户的人16携带。
[0150] 装置12包括通过适当的电路和连接可操作地耦合的多个组件、子系统和/或模块，以使得装置12能够执行本文所述的功能和操作。装置12包括接收、存储和执行合适的计算机指令所需的适当部件，所述指令例如用于成像身体的方法和根据本发明的实施方案的用于实现目的的方法。
[0151] 具体地，如图2所示，装置12包括计算装置，在该实施例中所述计算装置包括控制器18和用于存储用于控制控制器18的电子程序指令以及信息和/或数据的存储器20；用于显示用户界面24的显示器22；和输入装置26；所有这些都容纳在容器或外壳28内。
[0152] 如将进一步详细描述的，控制器18在电子程序指令的控制下可操作以：经由输入装置接收输入，该输入包括身体14的第一表象；处理第一表象；基于该处理生成身体14的第二表象；并通过显示器22显示生成的第二表象。
[0153] 此外，在第一个实施方案中，输入还包括身体14的分类，且控制器18在电子程序指令的控制下可操作以：基于身体14的分类获得对应于身体分类的数据；通过比较第一表象和所得数据处理所述第一表象；并基于该比较产生身体14的第二表象。
[0154] 在本发明的实施方案中，可以从一个或多个来源通过一次或多次检索、接收、提取和识别来获得数据。数据的一个或多个来源可以位于存储器20和/或远离装置12的其他地方。
[0155] 在所述的实施方案中，获得的数据以基于身体14的分类检索的模板的形式提供，且人体测量学用于分类身体14。
[0156] 提供多个模板，各模板具有与其相关的模板数据，包括具有对包括性别和种族群体变化的项目具有标准平均人体测量学的测量值的人体三维(3D)模型。模板是所有身体元素的高度和宽度的全尺寸的平均3D数字模型。在该实施方案中，该装置可操作以将这些子集作为可以显示或计算的数字测量值提取。如将进一步详细描述的，这些特定数据点用于与输入图像进行比较，并允许将模板修改为与图像尺寸数据相关。
[0157] 在本发明的实施方案中，获得的数据可以包括身体的先前表象，在这种情况下，身体分类可以包括身体的识别。
[0158] 在其他实施方案中，获得的数据可以包括所述身体和/或其他身体的一个或多个先前表象的整合、数据或关联。这样的数据可以通过操作装置12来产生和/或从一个或多个其他来源(例如一个或多个其他装置12或DEXA技术)获得。
[0159] 控制器18包括处理器形式的处理装置。
[0161] 装置12能够接收可以保存在ROM或RAM中并且可以由处理器执行的指令。处理器可操作以在电子程序指令的控制下执行动作，如将在下面进一步详细描述的，包括处理/执行指令并通过装置12管理数据和信息的流动。
[0162] 在实施方案中，通过单个软件应用(app)或模块(可以称为成像app)提供用于装置12的电子程序指令。在所述实施方案中，app以商标MYFIZIQTM销售，且可以从网页(或其他合适的电子设备平台)下载或保存或存储在装置12的存储器20上。
[0163] 在优选的本发明的实施方案中，装置12是移动通信设备且包括具有Android、WEBOS、Windows或其他电话app平台的智能手机，例如由Apple Inc.以商标 或其他供应商(如Nokia Corporation或Samsung Group)销售的智能手机。或者，装置10可以包括诸如个人、笔记本或平板计算机之类的其他计算装置，例如由Apple Inc.以商标或IPOD 或例如由其他供应商例如Hewlett-Packard Company或Dell Inc销售的那些，或其他合适的装置。
[0164] 装置12还包括能够发出命令并且被布置为与app相互作用以使装置12执行本文所述的根据本发明的实施方案的各个步骤、功能和/或程序的操作系统。操作系统可以适合于装置12。例如，在装置12包括 智能手机的情况下，操作系统可以是iOS。
[0165] 如图3所示，装置12可操作以经由一个或多个通信链路30进行通信，该通信链路30可以不同地连接到一个或多个远程装置32，例如服务器、个人计算机、终端、无线或手持计算设备、陆线通信设备或移动通信设备诸如移动(手机)电话。多个通信链路30中的至少一个可以通过电信网络连接到外部计算网络。
[0166] 在所述实施方案中，远程装置32包括由其他人所有和/或操作的其他装置12，以及由管理员所有和操作的计算系统34。
[0167] 在实施方案中，管理员计算系统34具有服务器36的形式。服务器36可以用于执行应用和/或系统服务，例如用于成像身体的系统和方法以及用于实现根据本发明的实施方案的目的的方法。
[0168] 在实施方案中，服务器36物理上位于中央管理的管理中心。在替代实施例中，它可以被保持在基于云的平台上。
[0169] 与装置12类似，服务器36包括接收、存储和执行适当的电子程序指令所必需的合适组件。组件包括服务器处理器形式的处理装置、包括只读存储器(ROM)和随机存取存储器(RAM)的服务器存储器、一个或多个服务器输入/输出装置(例如盘驱动器)和相关联的服务器用户界面。远程通信装置32(包括装置12)被布置成经由一个或多个通信链路30与服务器36通信。
[0170] 服务器32能够接收可以保存在ROM、RAM或盘驱动器中并且可以由服务器处理器执行的指令。服务器处理器可操作以在电子程序指令的控制下执行动作，如将在下面进一步详细描述的，包括处理/执行指令并通过计算系统34管理数据和信息的流动。
[0171] 服务器36包括服务器操作系统，其能够发出命令以访问位于其存储装置上的多个数据库或资料库。在该实施方案中，提供两个这样的数据库或资料库，包括：系统10的注册用户(RU)之一，其可以被称为RU数据库38；以及上述模板之一，包括模板数据，其可以被称为模板数据库40。操作系统被布置为与数据库38和40以及一套或多套服务器软件的一个或多个计算机程序交互以使服务器36执行根据本文所述的发明的实施方案的各个步骤、功能和/或程序。
[0172] 用于装置12和服务器36的计算组件的app、服务器软件组的计算机程序和其他电子指令或程序可以用本领域技术人员熟知的任何合适的语言来编写。例如，为了在包括智能手机的装置12上运行，成像app可以用Objective-C语言编写。在本发明的实施方案中，根据实现或实施方案的要求，电子程序指令可以作为独立应用，作为一组或多个应用、经由网络提供，或作为中间件添加。
[0173] 在本发明的替代实施方案中，软件可以包括一个或多个模块，并且可以在硬件中实施。在这种情况下，例如，可以用本领域公知的以下技术中的任何一种或组合来实施模块：具有用于在数据信号上实施逻辑功能的逻辑门的离散逻辑电路、具有合适的组合逻辑门的应用专用集成电路(ASIC)、可编程门阵列(PGA)、现场可编程门阵列(FPGA)等。
[0175] 相应的处理器可以是与计算装置相关联的多个处理器中的任何定制或商业可用处理器、中央处理单元(CPU)、数据信号处理器(DSP)或辅助处理器。在本发明的实施方案中，处理装置可以是例如基于半导体的微处理器(以微芯片的形式)或大型处理器。
[0176] 在本发明的实施方案中，相应的存储器可以包括易失性存储元件(例如随机存取存储器(RAM)，诸如动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM))和非易失性存储器存储器元件(例如只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁带、光盘只读存储器(CD-ROM)等)中的任意一个或组合。相应的存储器可以组合电子、磁性、光学和/或其他类型的存储介质。此外，相应的存储器可以具有分布式结构，其中各组件彼此远离但可由处理装置访问。例如，ROM可以存储要由处理装置执行的各种指令、程序、软件或应用程序，以控制装置12的操作，并且RAM可以暂时存储操作的变量或结果。
[0177] 使用软件应用来使用和运行计算机是本领域技术人员所熟知的，不需要在本文中进一步详细描述，除非与本发明相关。
[0178] 此外，可以使用任何合适的通信协议来促进装置12的任何子系统或组件、服务器36的任何子系统或组件、以及装置12和服务器36和其它装置或系统(包括有线和无线)之间的连接和通信，如本领域技术人员所熟知的，不需要在本文中进一步详细描述，除非与本发明相关。
[0179] 在本发明的上下文中，使用“存储”、“保持”和“保存”或类似单词的词语，应被理解为包括在存储装置、用于稍后检索的装置或介质中永久地和/或暂时地，并且瞬间或瞬时地保留或保持数据或信息，例如作为正在执行的处理操作的一部分。
[0180] 此外，在本发明的上下文中，使用术语“系统”、“装置”和“机器”，应被理解为包括任何一组功能相关或相互作用的、相互关联的、相互依赖的或相关的组件或元件，所述组件或元件可以位于彼此附近、彼此分离、彼此集成或彼此离散。
[0181] 此外，在本发明的实施方案中，词语“检测”应理解为包括接收或访问相关数据或信息。
[0182] 在本发明的实施方案中，用于显示用户界面24和用户输入装置26的显示器22集成在触摸屏42中。在替代实施方案中，这些组件可以作为离散元件或物品提供。
[0183] 触摸屏42可操作以感测或检测在装置12的显示区域内的触摸的存在和位置。触摸屏42感测的“触摸”作为命令或指令输入到装置12，并被传送到控制器18。应当理解，用户输入装置26不限于包括触摸屏，并且在本发明的替代实施方案中，可以使用用于接收输入、命令或指令并提供受控交互的任何合适的装置、系统或机器，例如，键区或键盘、指点装置或复合装置，以及包括语音激活，语音和/或思维控制，和/或全息/投影成像的系统。
[0184] 还可以经由装置12的传感器系统或传感器组44的至少一个传感器接收输入。传感器组44内的各个传感器可操作以监测、感测和收集或测量与装置12、周围环境或与其相关联或耦合到其上的组件、系统或装置的一个或多个特性、属性和参数相关或有关的传感器数据和/或信息。例如，传感器组44可操作以感测和收集与装置12的状态和/或装置12周围环境的状态有关的传感器数据。在一个实施方案中，装置12的状态包括装置12的位置。在一个实施方案中，装置12的状态还包括装置12的速率和/或速度。传感器组44包括惯性传感器系统，其包括加速度传感器和方位传感器、方向传感器和位置传感器。本发明的替代实施方案可以包括额外和/或替代的传感器，包括运动传感器、红外传感器、深度传感器、三维成像传感器、惯性传感器和微机电(MEMS)传感器。
[0185] 加速度传感器可操作以测量装置12的加速度并产生加速度数据。例如，加速度传感器可以是加速度计。方位传感器可操作以测量装置12的方位变化速率(即，角速率)并产生方位数据。例如，方位传感器可以是陀螺仪。方向传感器可操作以测定相对于地球磁极的方向并产生方向数据。例如，方向传感器可以是电子罗盘。位置传感器可操作以确定装置12的位置并产生位置数据。例如，位置传感器可以是全球定位系统(GPS)。这种传感器的使用和操作是本领域技术人员所熟知的，不需要在本文中进一步详细描述，除非与本发明相关。
[0186] 第一表象可以包括身体14的一个或多个视觉表象。在所述实施方案中，第一表象包括身体14的一组视觉表象。因此，传感器组44包括数码相机形式的成像装置，其可操作以捕获包括视觉表象的图像。在该实施方案中，相机与装置12集成。成像装置可以包括便于获取静止和/或运动图像的任何合适的系统或装置。例如，在装置12包括 智能手机的情况下，成像装置可以是iSightTM相机。相机的使用和操作是本领域技术人员所熟知的，不需要在本文中进一步详细描述，除非与本发明相关。
[0187] 装置12包括有助于所描述的性能的可操作连接/耦合的组件，包括合适的计算机芯片(集成电路)、收发器/接收器天线以及用于所用感官技术的软件。
[0188] 传感器组44中的一个或多个传感器可以与装置12集成，如其中包括智能手机的情况。或者，装置12可以与上述传感器组44中的一个或多个可操作地耦合。
[0189] 在实施方案中，除了存储在模板数据库40上，至少一些模板细节存储或保存在存储器20上的数据库46或资料库中，且在app控制下可以通过控制器18访问。这些可以作为app的一部分安装。控制器18被布置为与数据库46交互以使装置12执行根据本文所述的本发明的实施方案中相应的步骤、功能和/或程序。
[0190] 其他模板的细节例如被远程存储或保存在位于在一个或多个远程系统或装置32的相应存储器(例如服务器36的模板数据库40)上的一个或多个远程数据库模块中，并且可由装置12经由一个或多个通信链路30访问。控制器18被布置为便于用户与一个或多个远程数据库的交互，以使远程存储的内容可根据需要可用。
[0192] 数据库46耦合到控制器18并与其进行数据通信，以使得能够向数据库46读取信息和数据和从数据库46读取信息和数据，这是本领域技术人员所熟知的。可以使用任何合适的数据库结构，并且可以存在一个或多个数据库。在本发明的实施方案中，数据库46可以作为装置12的组件在本地提供(诸如在存储器20中)，或远程提供，例如在远程服务器上，如电子程序指令以及任何其他待收集和/或呈现的数据或信息一样。
[0193] 类似地，RU和模板数据库38和40两者都耦合到服务器36并且与其进行数据通信，以使数据能够向RU和模板数据库38和40读取和从RU和模板数据库38和40读取，如本领域技术人员所熟知的。可以使用任何合适的数据库结构。RU和模板数据库38和40中的任何一个或两个可以作为服务器36的组件在本地提供(诸如在存储装置中)，或者远程提供，例如在远程服务器上，如服务器集合的软件一样。在一个实施方案中，可以以这种方式设置多个计算机以具有网络客户端-服务器应用。在所述的实施方案中，RU和模板数据库38和40中的每一个作为单个数据库结构的分区内部存储于服务器36的存储装置中。在本发明的替代实施方案中，可能存在或多或少的数据库。
[0194] 一旦将app安装在装置12上，则控制器18可在app的控制下操作，以经由触摸屏42向装置12的用户16呈现一系列可导航的电子页面、屏幕和形式，允许输入或捕获信息和/或数据，包括通过传感器组44的传感器感测的数据和/或信息，例如通过相机捕获的图像，与装置12和系统10的操作有关的指令和命令。
[0196] 如将进一步详细描述的，经由服务器软件组的相应应用，服务器36可操作以执行功能，包括：注册和共享用户数据；提取、转换数据和将数据与通过app接收的数据组合；并记录通过app界面的所有实时数据。
[0197] 网络服务器应用可操作以经由专用网站(诸如网页或其他电子页面或屏幕)将与系统10相关的内容传送到系统10的现有或潜在用户。网站可通过具有因特网功能的移动通信装置的网络浏览器，例如笔记本电脑或智能电话(包括本实施例中的装置12)访问，所述移动通信装置可操作地连接以经由通信网络与系统10进行数据通信。在所述的实施方案中，数据通信的手段是通过互联网，然而，在本发明的其它实施方案中，可以采用其它方法，诸如直接连接。
[0198] 内容可以包括与通过论坛或媒体的适当的一个或组合提供的健身目标、广告和促TM TM TM销或公共关系信息相关的一般信息，包括例如以商标YouTube 、Facebook 和/或Twitter提供的服务。
[0199] 可以访问的网页包括在用户首次使用系统10时完成的在线注册页面110以及请求页面112。网站应用可操作以使系统的潜在用户能够手动注册或将自己记录为用户，从而创建个人账户，并请求化身。这便于用户分别以包括用户注册和请求信息的电子注册和请求表的形式经由注册和请求页面110和112完成并向服务器36提交通信。
[0200] 用户注册信息包括包含与用户及其身体相关的信息和/或数据的细节，包括：
[0201] 1)用户身份和联系细节：便于识别用户和与用户进行通信的细节。这些细节可以包括用户的完整私人名称、当使用系统10时使用的用户名、私人住宅地址、用于转发通信时的物理和/或电子邮件地址、联系电话号码、认证信息(例如密码)以及任何其他唯一和/或相关的识别信息(如适用)。由系统10用该信息与用户通信，包括使用系统10与所创建的化身相关的通信以及账单。
[0202] 2)用户身体细节：与用户身体有关的信息和/或数据。在所述的实施方案中，这包括身体的人体测量数据，包括性别、身高、体重、衣服尺寸(例如小、中、大、X大或XXL，仅举几例)、年龄和族群。在本发明的替代实施方案中，可以请求与用户身体相关和/或关联的额外的和/或替代细节。
[0203] 3)账单和付款细节：便于从为用户使用系统10付费的债务人(人员)收费和接收付款的细节。账单细节可以包括用于转发通信的物理和/或电子邮件地址，包括例如用于处理和支付的结算通知。付款细节可以包括存储和用于购买与通过系统10执行的动作相关联的项目(例如创建实施方案中的化身)的财务账户的细节(诸如债务人的信用卡账户)。在本发明的实施例中，例如可以使用额外的和/或替代的支付处理平台，包括但不限于PayPal和比特币(BTC)服务。
[0204] 请求信息包括第一表象。如前所述，在实施方案中，第一表象包括身体14的一组视觉表象。优选地，该组视觉表象内的视觉表象包括身体14的不同视图，并且它们用位于有对比度、基本上无杂波/噪声(即非繁忙)的背景前面的身体14捕获。具体地，在所述的实施方案中，作为非限制性实例，该组视觉表象包括身体14的两张照片，第一张照片是身体14的正视图，第二张照片是身体14的侧视图。为了便于捕获和上传这两张照片，用户16能够通过请求页面112访问图像捕捉屏幕114。图像捕获屏幕允许在上传之前拍摄和查看照片，并且可以包括用于引导用户通过该过程的一个或多个子屏幕。在所述的实施方案中，装置12可以在成像app的控制下通过控制器18操作，以使用数据，包括通过(计算装置12的方位的方位传感器的)内部陀螺仪产生的方位数据，以确保在垂直平面中拍摄图像以提高其精度。
[0205] 在本发明的实施方案中，一组视觉表象(例如照片)可以包括一组图像，所述图像包括一个或多个：包括颜色、灰度或二进制(例如剪影)的标准二维(2D)图像；具有或不具有颜色和/或纹理的深度图像；MRI、DEXA(DXA)、X射线、CT扫描，具有或不具有颜色和/或纹理的身体的完整三维(3D)点云或多个不完全点云；和具有或不具有颜色和/或纹理的身体的三维(3D)网格。该组视觉表象可以包括使用成像(感测)装置捕获的任何图像的一个或组合，该成像(感测)装置能够感测并输出代表受试者的形状的任何形式的数据或特征(例如，在所述实施方案中的人的形状)，达到能够重建受试者的物理三维(3D)表面或外壳的水平。
[0206] 在本发明的实施方案中，可以提供归一化/模糊功能，其可操作以掩盖该组视觉表象中用户的面部和/或其他区别特征，以增强隐私。视觉表象可能会进一步受到隐私保护。
[0207] 在本发明的另一个实施方案中，用户注册和请求信息可以包括替代的或额外的细节、信息和/或数据。
[0208] 通过应用服务器软件组，包括网页服务器应用和注册应用收集的所有数据和信息分布于系统34内，以便如本文所述使用。
[0209] RU数据库38具有多个RU记录。每个RU记录包括与系统10的RU账户相关的一组RU信息，包括如上所述的注册和请求信息以及与RU相关联的其他信息，诸如为其创建的化身。
[0210] 服务器36具有可操作以感测或检测包括用户注册和请求信息(通过专用网站或如本文所述的其它方式发送)的通信的接收的感测装置。在感测到这种信息的接收之后，服务器36在服务器软件组的相关应用(包括数据库管理模块或应用)的控制下经由其处理器可操作以生成、填充和管理RU数据库38中的记录(以及模板数据库40中的记录)，并且根据所接收的数据和信息执行本文所述的动作。
[0211] 潜在用户还可以通过电子邮件、传真或其它通信提供用户注册信息来注册或记录自己成为用户，这些通信可以通过诸如FacebookTM或TwitterTM的社交网络服务来进行，例如用于自动捕获和通过该组服务器软件的软件或数据输入操作者或管理员的其他雇员的动作来进入RU数据库38。
[0212] 应当注意，在成功注册之后，RU可随后经由在线访问或“登录”页面116访问系统10，一旦用户已经输入适当的识别和安全授权(例如他们的用户名和相关密码)，则提供对系统10的访问。
[0213] 图像处理应用可操作以接收和处理所提交的用户身体细节和身体16的第一表象以生成第二表象。
[0214] 在所述的实施方案中，当提交图像(无论是2D还是3D深度图像)时，使用(用户身体细节的)注册设置的默认值，用户可以根据需要通过具有照片屏幕117的表来更新(例如，因为其身体细节由于他们向其目标前进而随着时间变化)。这有利地减少了数据输入时间。
[0215] 特别地，基于提交的性别、身高、体重、有或无尺寸，以及有或无种族群体信息，图像处理应用可操作以对身体14进行分类，并从多个模板确定和选择具有最接近的3D模型的模板。
[0216] 一旦完成这个，图像处理应用可操作以：
[0217] 从两张照片中分割前景(人体)，并将第一表象转换成两个对应的剪影；
[0218] 使用分割的前景及其对应的剪影来提取关键点的特征和测量和/或描述符和/或特征；
[0219] 使用提取的特征和关键点测量值来修改所选模板的3D模型，以创建修改的受试者特定的3D模型图像(即第二表象)；
[0220] 将修改的3D模型图像关联到用户账户；和
[0221] 删除/销毁第一表象的两张照片。
[0222] 有利地，在实施方案中，生成的第二图像是受试者特定的(即，身体被成像)，准确代表其期望的特征。
[0223] 在本发明的实施方案中，图像处理应用可操作以：分割至少一个前景，其包含第一表象的身体的一个或多个视觉表象；将第一表象的一个或多个视觉表象的一个或多个分割的前景转换成相应的剪影；使用一个或多个分割的前景及其相应的剪影来构建身体的形状的外壳，和/或提取特征和/或提取关键点测量值；并且使用一个或多个外壳和/或特征和/或关键点测量值对所选模板的身体的3D模型(平均身体模型)进行修改、装入和变形中的一个或多个，以创建是第二表象的修改的受试者特定的3D模型图像。
[0224] 在实施方案中，在任何具有或不具有颜色和/或纹理的深度图像、点云和网格的情况下，图像处理应用可操作以重构身体的三维的受试者特定的形状。
[0225] 通信应用可操作以实现服务器36和与其通信的装置之间的通信。这种通信包括本文描述的通信，并且可以是包括电子邮件、弹出通知和SMS消息的任何合适类型，并且可以加密以增加安全性。
[0226] 通过通信应用进行的通信可以包括对用户的状态通知，例如确认上传的图像已被删除的通知，并且指示正在使用剪影来创建用户的3D化身。
[0227] 通过通信应用，修改的3D模型图像被传送到装置12(和适当的通知消息一起)，其中它可在主图像屏幕118上显示。在该实施方案中生成的修改的3D模型图像是工作模型，其准确地反映用户的身体14的形状和测量值，并且用户可以经由用户界面24对其执行一个或多个交互。一个或多个交互可以包括选择模型的区域或部分以获得准确的围度细节。特别地，在所述的实施方案中，用户能够“点击”或以其他方式选择3D模型的一部分，并且(通过显示器22)查看与所选择部分相关的数值。还提供允许用户经由用户界面24旋转和缩放3D模型的功能。
[0228] 在本发明的实施方案中，在用户提交请求信息和生成修改的3D模型图像并将其传送到装置12之间可能经过大约90秒。
[0229] 在实施方案中，模型基于性别着色：女性为粉色，男性为蓝色。
[0230] 用户能够通过执行其上提供的各个导航界面元件按钮来导航，包括从进入所生成的电子屏幕和页面和返回所生成的电子屏幕和页面。具体地，提供具有界面元件按钮的导航栏120，用户可以通过该导航栏控制系统10执行动作，包括基于他们的特定测量值和要求访问对其个人健身目标的支持。在所述的实施方案中，这种支持包括：访问用餐食谱，其消耗将有助于用户达到其个人健身目标；测量值；计划，包括可以针对用户量身定做的营养计划和训练方案；拍摄新图像(生成新的修改的3D模型图像)；和退出系统10。
[0231] 在本发明的实施方案中，装置12可操作以存储生成的修改的3D模型图像(作为第二表象)，并且在用户下一次使用装置12生成其身体14的新图像时将其用作模板进行比较。即，在其初始使用装置12之后，每次用户使用装置12生成其身体14的新图像时，在其先前使用装置12期间生成的修改的3D模型图像被用于生成新的图像。因此，在这些实施方案中，基于所生成的身体14的第二表象来生成身体14的第三表象，基于所生成的身体14的第三表象来生成身体14的第四表象，以此类推。
[0232] 在实施方案中，支持可以包括与一个或多个其他系统的集成，例如DEXA扫描集成。在这种情况下，可以经由用户界面24执行的一个或多个交互可以包括访问从DEXA扫描产生的数据和/或信息作为显示在3D模型顶部的叠加层，选择3D模型的一部分，以及(通过显示器22)查看与所选部分相关的DEXA扫描数据和/或信息。
[0233] 发票/账单应用可操作以为每个注册用户生成发票，包括根据其对系统10的使用应付的金额。
[0234] 付款处理应用可操作以接收每张发票的付款。
[0235] 在本发明的实施方案中，由系统10执行的所述的额外和/或替代操作中的一个或多个自动发生，而不需要人为干预。
[0236] 现在将参考图1中所示的流程图，参照使用中的系统10进一步描述本发明的实施方案的上述和其它特征和优点。
[0237] 感兴趣的人通过如上所述的注册过程注册为系统10的用户，使他们被提供用户账户。
[0238] 此后，(现在注册的)用户访问并使用如上所述的系统10以生成其身体的一个或多个修改的3D模型图像，并访问其他提供的支持以帮助他们实现其个人健身目标。
[0239] 随着时间的推移，用户可以生成一系列其身体的修改的3D模型图像，显示其中的变化。通过这种频繁的自我监测，用户能够评估他们在个人健身目标方面的进展，因此更可能实现它。
[0240] 附图的图4和图5描绘了根据本发明的方面，在使用系统210的第二实施方案期间执行的动作，该系统210用于使用装置212成像身体。与第一实施方案相同的附图标记表示第二实施方案中的系统210的类似或相同的特征。
[0241] 如将进一步详细描述的，第二实施方案提供一种用于重构三维人体模型(化身)的生态有效的系统和方法。如将进一步详细描述的，所述系统和方法利用给定其身高和/或体重的受试者的一个或多个图像(例如，在人的情况下，但不失一般性)。
[0242] 在第二实施方案中，在电子程序指令的控制下，装置212的控制器可操作以：通过分割身体14的第一表象来处理身体14的第一表象，以获得多个剪影并基于所述剪影生成所述身体的第二表象，所述剪影以身体14基本上真正的三维扫描的投影阴影的简单形式表示。
[0243] 控制器还在电子程序指令的控制下可操作以：生成一旦接收到输入，就出现在装置212的显示器上的用户特定的骨骼；并且在分割第一表象的过程中，使得用户能够将第一表象中的身体14与用户特定的骨骼对齐。
[0244] 特别地，在第二实施方案中，系统210在app的电子程序指令的控制下可操作，以执行以下顺序任务(1-6)，以便生成或构建用户的3D化身：
[0245] 任务1：自动分割每个图像中的用户，以获得他/她的以用户的真正3D扫描的投影阴影的简单形式显示的二进制图像(剪影，定义S)。在第二实施方案中，当遵循以下任何一个或两个时，实现分割：
[0246] a.一旦他们开始捕获其身体14的前视图的第一张照片，用户将他/她的身体与通过装置12的显示器22产生和显示的用户特定的骨骼对齐。该操作可伴随着视觉和/或通过装置212传送的听觉反馈以确保捕获最佳图像；和
[0247] b.用户确保他们的脸、手和脚在身体前视图的第一张照片中可见，而不被遮盖。根据第二实施方案，在其身体侧视图的第二张照片中，仅需要脸和一只或两只脚可见。
[0248] 任务2：从分割的剪影中提取各种类型的特征，并将提取的特征融合在一起以形成表象(数据向量)。每个剪影一个表象。
[0249] 任务3：根据提交的用户高度信息、图像大小(以像素表示的图像高度和宽度)，并使用二进制图像的斑点分析、投影理论和相机模型；计算以下：
[0250] a.捕获相机的固有参数和外部参数的初始估计(可以称为姿势)，其包括每个图像中的相机位置和方位；定义P。
[0251] b.代表用户骨骼的骨骼模型的关节运动学的初步估计，定义JK。这包括骨骼模型的每个关节的3D位置和3D方位。
[0252] 任务4：基于提交的用户身高和体重信息，或仅用户身高信息，预测平均化身(定义Av)，其随用户输入的身高、体重或更多身体测量值(如果已知)变化。Av也被装入到大小为N关节的参考骨骼上，并且具有参考姿势的已知JK和骨重/高度矩阵(定义W)。
[0253] 在第二实施方案中，矩阵W仅在预测模块的离线过程中离线计算一次，然后与待用于预测或产生其他化身的参考骨骼模型JK一起保存于成像app。W的目的是限制、控制和建模关节、骨和由其顶点V、边E和面F表示的真实的3D化身表面之间的关系。换言之，为了使化身变形或简单地将化身动画化为提交至成像app的图像中的用户的新化身(定义Av1)，将参考或平均化身数据(V、E、F、JK、W)和已知的或他/她提交的图像的用户关节运动学的估计(定义JK1)反馈到成本函数，该成本函数将Av优化并变形至Av1，其受到已知或从自然人体运动所了解的许多物理约束。约束可以包括例如骨盆关节可以具有的最大旋转或关节相对于另一关节3D位置和方位，关节的层次以及哪一个影响另一个的运动(仅举几例)。换言之，与平均化身具有相同身体测量值的新的动画化化身Av1是参考/平均数据的函数；即Av1＝f(Av，W，JK，JK1)。在第二实施方案的技术中，获得合并两个加权能量最小化函数的函数：
[0254] a.使用V、F和E的拉普拉斯平坦度矩阵的表面平滑度函数；和
[0255] b.使用(V、F和E)以确保对应关系限制在化身顶点与其骨骼之间的骨骼附着函数。
[0256] 初始化身Av的预测(例如，使用贝叶斯多变量)遵循复杂的基于多变量的机器学习方法。在第二实施方案中，这包括使用从不同年龄和姿势的真人(男性和女性)的超过20,000次操纵和渲染的三维扫描中提取的3D特征的人体形状的机器智能学习(离线完成)(因此本文使用术语生态有效的)。它还包括机器智能学习各种不同身体测量值之间的统计学关系(定义为向量M＝(m1,m2,…,mL)，其中L次不同测量)。作为实例，m1可以是胸围。给定一个或多个不同测量值，开发的技术可以预测一个或多个测量值，并且给定一个或多个这些测量值，将预测一个化身。学习过程涉及使用从每个真实3D扫描中提取的各种三维形状(表面)特征。
[0257] 应当理解，在这方面人造智能和机器学习不受限制，并且在本发明的替代实施方案中，可以根据要被成像的身体或事物和要进行或分类的决定使用额外和/或替代的训练、测试和验证。
[0258] 任务5：
[0259] 给出：
[0260] a.用户的身高或身高和体重和性别，预测M中的剩余测量值，然后生成(预测)用户的初始平均化身Av。因此，Av本身是测量值M的函数，即Av＝fa(m1,m2,…,mL)＝fa(M)，[0261] b.投影矩阵P的初始估计，
[0262] c.Av的参考姿势关节运动学JK及其骨矩阵W，
[0263] d.第一表象的定义为S的分割的剪影，
[0264] 问题：给出以上，找到用户的化身Av1及其定义为M1的精确测量值？
[0265] 解决方案：
[0266] a-用M初始化M1，
[0267] b-由于用户具有与参考姿势不同的身体姿势，我们假设他/她的关节运动学是JK1，并且我们用参考离线姿势JK将其初始化，
[0268] c-用P初始化P1，其中P1将是准确的相机参数，
[0269] d-形成函数Av1＝f(V、F、E、M1、JK1、W)。
[0271] 使用投影Av1＝P1(Av1)，然后使用图像变形过程(包括例如平滑、边缘检测、侵蚀、扩张、孔填充、使用连接的分量分析去除分离的像素和小斑点)来评估Av1的剪影。所开发的成像技术的优化过程适应地并且自动地调整：(i)初始预测的测量值M以达到新的身体特定值M1，(ii)初始估计的投影矩阵P以达到新的实际投影P1，和(iii)最初估计的关节运动学JK以达到真实3D世界中身体的新的和真实的值JK1。所有这些都以单一的迭代和约束的方式进行，直到达到局部最小值，且用户的剪影(或其特征或表象)与化身的Av1投影剪影相匹配。约束包括例如人的臀部、腰部等的实际最大和最小值，JK中某个关节的位置和方位可具有的最大和最小值；或相机可具有的最大旋转角度和平移(偏移)。
[0272] 与现有技术的系统不同，第二实施方案的系统和方法不需要基于离散主成分分析(PCA)的LOOKUP表来找到与用户化身或剪影相匹配的最接近的剪影或化身。开发的基于模型的多变量机器学习方法将每个学习的3D扫描表示为高维空间中的一个点(如Remainen，Grassmannian流形或Lie组)。在捕获的图像中不需要任何手动调节或参考对象。此外，整体优化过程是全自动的，并且能够生成准确的用户特定化身，自动估计每个图像中的用户姿势以及自动估计相机固有参数和外部参数。
[0273] 任务6：为匹配5中的剪影，测试各种特征和表象，并且选择最佳特征和表象。例如，基于以下的特征：直角余弦变换DCT、角/边缘、定向梯度直方图(HOG)、加速鲁棒特征(SURF)、尺度不变特征变换(SIFT)和曲率特征等。
[0274] 用于第二实施方案的系统10的电子程序指令包括多个软件模块，包括注册模块(前端app)、图像捕获模块、图像检查和预处理模块、前景(用户剪影)分割模块以及化身和剪影匹配模块。
[0275] 注册模块(前端app)
[0276] 第二实施方案的注册模块(前端app)与第一实施方案的网页应用操作相似，并且便于用户输入与其身体有关的信息和/或数据。在第二实施方案中，这可以包括用户的身高和体重，或仅其身高。还可以操作以从用户接收关于她/他是否希望将其数据贡献给系统10的测试阶段或学习阶段的指示，这可以确定例如接收到的图像等被模糊或加密的程度。
[0277] 在第二实施方案中，用户数据通过SSL存储在云中，且私人数据被加密。
[0278] 图像捕获模块
[0279] 图像捕获模块可操作以向用户提供选项以向系统输入图像，包括经典选项和智能选项。
[0280] 通过经典选项，用户使用他们自己的数码相机或捕获一个或多个图像或任何类型的图像(例如本文所述的那些)，并且被引导以使用个人计算机、笔记本、ipad、平板电脑或者类似的装置上传图像。
[0281] 通过智能选项(当使用智能手机、个人计算机、笔记本平板电脑或者类似装置时可适用)，用户使用智能电话、连接到或内置于笔记本的相机、个人计算机或集成捕获装置(例如相机)并且能够运行程序、脚本、app或类似物的任何装置捕获他们的图像。
[0282] 图像捕获模块可操作以提供视觉和听觉辅助，以指导用户捕获最佳图像，这取决于用户是由他自己/她自己捕获图像还是其他人在捕获图像。
[0283] 在不失一般性的情况下，随后在拍摄过程中触发并启动诸如实时人跟踪器和/或人脸跟踪器的视觉辅助，以帮助第三人捕获最佳图像。
[0284] 在这方面，图像捕获模块包括自适应的基于内核的跟踪器，其使用独特的关键点和独特的面部特征的融合以及颜色或灰度图像中的时空特征来学习如何检测和跟踪人脸。眼睛、鼻子、耳朵和嘴巴检测器和跟踪器是主要面部追踪器中也覆盖的间接子模式。开发的跟踪器使用确定性、单变量和多变量概率模型。
[0285] 人类跟踪器遵循与面部跟踪器相同的技术，但具有本文所述的独特的人体形状和运动特征。
[0286] 如上所述，图像捕获模块可操作以产生独特的受试者(用户)特定的人体骨骼，以引导用户捕获最佳图像。为此，使用涉及多变量数据分析的高级人工智能和机器学习技术来学习负责在给定受试者身高和体重或仅仅体重的情况下生成骨骼关节的三维位置的模型。在第二实施方案中，学习过程受到属于超过20,000个真实人受试者的3D扫描的地面真实(实际)解剖数据的约束，因此称为术语生态上有效。凸起优化和拟合过程、几何收缩也被开发到皮肤，将3D扫描到其曲线骨骼、解剖骨骼并获得它们中两个的每一个之间的对应关系。
[0287] 应当理解，在这方面人造智能和机器学习不受限制，并且在本发明的替代实施方案中，可以学习额外和/或替代模型，并且根据要成像的身体或事物产生骨骼。学习过程的约束可以包括与根据本发明的实施相适应的或多或少的数据，以及与第二实施方案相比的额外和/或替代类型的数据。
[0288] 在捕获过程中，由系统210实施的上述方法生成并显示(在装置212的触摸屏142上)包括多个骨和关节的实时屏幕人骨骼。然后通过可听见的声音/话语/语音(通过系统210的操作产生并通过装置212输出)来询问用户，以将他的身体部位如胸部、手臂、腿和头部与屏幕上人骨骼的骨对齐。图像捕获模块可操作以通过在特征和各种数据之间计算的误差来控制对齐过程，所述各种数据包括从生成的骨骼和用户的实时捕获图像中提取的形状外观和变化特征、姿势特征、时空(或光流特征，或其他运动数据向量，仅举几例)。在该模块中还利用来自装置212的传感器组的传感器的输出，例如由其陀螺仪捕获的三维取向陀螺仪角度，以进一步确保最佳的直线图像捕获。
[0289] 然后将图像中的骨骼姿势和用户姿势之间的误差类别和类型反馈或输入到反馈模块，以指导用户拍摄最佳图像(图片)。
[0290] 对齐过程和视觉和听觉反馈模块同时工作，直到实现用户图像和骨骼之间可接受的对齐，如附图的图4所示。
[0291] 图像检查和预处理模块
[0292] 图像检查和预处理模块可操作以彻底检查所捕获图像的影响重构精确的人类化身的一个或多个问题，并且优选地任何问题。这些问题可以包括但不限于：用户误差、由图像质量引起的误差、由内在和外在噪声引起的误差、异物、多个受试者的存在以及由相机镜头引起的失真。在第二实施方案中，这在两个水平中进行：
[0293] a.第一水平的检查是在app水平，其中(i)app可操作以检查目标受试者的存在(在第二实施方案中，包括人类用户作为受试者的实例)。对于该任务，已经开发了一种简化但有效的脸、以及人类检测器和跟踪器，其可操作以在检查的基础上检查和接受或拒绝图像。(ii)该app还使用装置212的内置陀螺仪数据来引导用户捕获最佳图像，并且可操作以根据一组预定姿势阈值接收或拒绝图像。(iii)该app还可操作以检查图像的细节，包括格式、大小(包括像素的尺寸和所需的存储空间)，以确定是否满足规定的标准，以及它们是否可接受。如果接受，可操作app然后减小图像大小，同时将质量保持在大于或等于原始接受质量的99％。在任何这些步骤中，可以产生和呈现听觉和视觉反馈以引导用户(如上所述)。
[0294] b.第二水平的检查是在云中运行的高级图像预处理(AIPP)模块中发生的深入检查，其操作如下。
[0295] i.AIPP使用可变大小和方差的高斯内核来过滤捕获的图像，以最小化图像中的噪声，并为即将到来的过程分割准备图像。
[0296] ii.AIPP还基于使用像素颜色值或其强度以及它们的图像位置估计的概率和联合概率函数构建统计测试。然后修正照明和照明相关的变化或阴影。然后，统计测试将基于通过大型图像数据库的离线测试识别的预定义阈值决定是否接受或拒绝图像。
[0297] iii.AIPP检查并将拒绝具有多个脸部的图像、不规则或失真的图像、具有多个人/人完整/不完整的图像、具有任何具有干扰主要受试者(用户)的特征的外来受试者或背景的图像、用户身体不完全捕获的图像，除了用户已经表示他/她是截肢者并且提供了另外数据的情况或使用两个以上图像的情况(在两个图像的情况下，必须呈现用户正面的完全捕获)。为此目的/任务，使用机器学习方法，并由从图像大数据库(包括含有一个或多个人或没有人的视频)中提取的多种融合的多模态显著特征、描述符和关键点驱动。特征、描述符和关键点属于人体皮肤、面、鼻子、嘴巴、耳朵、手臂、上身、下身、腿、脚(仅举几例)，也用于训练、测试和验证这个检查模块中的所述机器学习。
[0298] 应当理解，在这方面人造智能和机器学习不受限制，并且在本发明的替代实施方案中，可以根据要被成像的身体或事物以及待进行的决定使用额外的和/或替代的训练、测试和验证。
[0299] 前景(用户剪影)分割模块
[0300] 从单个图像在前景-背景分割上进行的大多数现有技术工作假设已知或半已知的背景特征，例如在电视节目中使用的色度键屏幕。其他人则寻求用户手动将图像数字化，或在一个或多个图像中识别他们的身体。然而，属于用户或背景的图像或区别特征中的用户身体轮廓(如果已知，确定/输入或可以被估计)，为分割身体形状的准确轮廓提供了强大的约束。
[0301] 发明人已经开发了一种以全自动的方式使用的基于通过“图形切割”基础优化的迭代方法，以分割图像中的人的剪影。本发明的方法在多个方面扩展了标准图形切割中使用的原理，例如最大流最小切割定理、贝叶斯抛光(包括三维图)和概率颜色模型，最重要的是在第二实施方案中它是全自动的，并且当前景和背景颜色分布没有很好地分离时是强大的，因为发明人概率模型不仅包括像素强度，而且包括它们的位置及其与人类形状结构(图形)的相关性/连接(依从性)。第二实施方案的系统210可操作地执行的开发方法的步骤可以总结如下。
[0302] 该方法需要以下输入的一些或全部，以便从图像中分割用户剪影。本发明自动识别它们。
[0303] i.图像中包含用户身体的边框或区域，或斑点。这被用于所谓的“硬”分割图形切割场景。
[0304] ii.图像中绝对是、很可能是、有可能/可能是用户身体的前景区或特征。
[0305] iii.图像中绝对不是、很可能不是、有可能/可能不是用户身体的背景区或特征。
[0306] 换言之，为图像中的每个像素提供概率值，该概率值告诉它属于前景或背景的可能性。
[0307] 由于用户被要求将他/她的身体与上述提及的屏幕上的骨骼对齐，因此：
[0308] iv.包含骨骼的边框(区域)严格定义上述(i)中所需要的那个。然而，为了满足不确定性误差，将第二实施方案中的5％的不确定因子加到区域位置，即增加5％。
[0309] v.沿着骨骼骨(重叠或共同注册)的图像像素绝对是或很可能是人体的一部分，并且满足上述(ii)。系统210可操作以通过用可变尺寸的内核扩大那些重叠的图像骨骼区域来进一步增强和扩展这些“确定的”身体部位图像区域。尺寸可以与身体部位成比例。例如，如附图的图2所示，沿着后骨的区域通过比手臂的尺寸更大的核扩大。
[0310] vi.边框外的像素很可能属于背景，且这满足上述(iii)。
[0311] vii.为未标记为前景或背景的边框内的像素提供相等的概率，直到通过另一种方法检查，如下所述。
[0312] 该子模块可操作以进一步加强准确剪影的分割。还学习并开发了一种基于贝叶斯的皮肤颜色检测器，其用于识别图像中可能具有皮肤颜色的像素。这可操作以允许用户的脸、手和脚和其他不期望的皮肤样对象(在最坏的情况下，身体的其余部分被遮盖的情况下)的检测和分割(而不是识别)。然后，系统210可操作以使用连接的分量分析和拟合、曲率分析来分析这些分割的皮肤斑点并创建半骨骼链接。然后重构和分析邻接数据(矩阵)以去除不是人骨骼链接(骨骼样)的一部分的斑点。然后将剩下的斑点分类为很可能是用户身体的部分。
[0313] 然后通过检测用户脸部使用学习的脸部检测器来进一步细化上述方法。一旦检测到脸部或脸部轮廓，则应用预定义的面罩来裁剪仅具有人肤色的脸部区域，这意味着检测并去除眼睛、眉毛和嘴巴。然后应用基于裁剪面罩的颜色直方图的背投影算法来识别图像中具有与面罩相同统计学的像素。在第二实施方案中，该子模块的输出包括具有用户特定肤色的斑点，其将进一步增加和精炼所述迭代图形切割方法所需的像素和区域的分类。
[0314] 最后，像素的颜色、它们的位置和它们的分类被反馈到所提出的迭代图形切割以分割用户剪影。之后是系统210可操作以执行的多个图像处理和变形过程，诸如图像和边缘平滑、孔和丢失数据的填充以及去除小的分离斑点。
[0315] 化身和剪影匹配模块
[0316] 化身和剪影匹配模块可操作以根据如本文所述的任务4、5和6执行化身和剪影匹配过程。
[0317] 总之，本发明的第二实施方案使用3D铰接模型(安装在骨骼上的人模型/化身)。使用前景分割(剪影)的图像匹配类型，受图像数据重叠的屏幕上的骨骼(on-screen skeleton)的限制。用皮肤、脸、鼻子、嘴巴和耳朵检测器和跟踪器来进一步改进/限制它。使用智能面罩来获得用户特有的肤色。然后使用反投影技术对用户独特的皮肤斑点进行分类，并拒绝不匹配或不符合与人体部位如何连接及其与彼此的相关性的确定的连通性分析的那些。还使用主要测地分析(PGA)和一般流形。在几何数据分析和统计形态分析中，主要测地分析是对适用于形状描述符和表象的流形的非欧几里德非线性设置的主分量分析的概括。
[0318] 应当理解，本发明的所述实施方案提供一些优势。
[0319] 本发明的实施方案的主要优势在于，它为用户提供作为其减肥/增重/重量维持努力的结果的事实数据，并且在这方面，本发明的实施方案可被视为一种教育工具起作用。随着来自用户的数据的收集，本发明的实施方案可以包括一种或多种可用于估计用户潜在健康益处的预测算法。在这方面，如本文所述，在本发明的实施方案中，检索的数据可以包括所述身体和/或其他身体的一个或多个先前表象的整合、数据或关联，并且数据可以通过操作装置12来产生和/或例如从一个或多个其他来源(例如一个或多个其他装置12或DEXA技术)获得。基于可以包括用户在一段时间内的热量摄取和移动的这种数据，通过一个或多个预测算法，装置12可操作以产生和显示一个或多个预测化身，其显示用户的身体14可能看起来怎么样(如果维持这种方案)。
[0320] 本发明的实施方案的装置12可用于寻找、定位和建立与这种其他来源的通信。
[0321] 本发明的实施方案提供通过有效和准确的监测来产生精确的个性化化身以促进减肥(和/或其他个人健身目标)。化身可以立即创建，也可以通过非侵入性程序创建。生成的化身和相关数据的存储允许进行时滞比较，从而精确监测身体变化。
[0322] 本发明的实施方案可以用于提供反馈以促进进一步的健康变化。通过系统，可以生成一系列化身，其显示用户身体随时间的变化。化身系列创建了用户努力的历史案例研究。用户可以定量地查看结果(vs使用具有观察者偏差的照片)。
[0323] 通过使用小范围的标准模板和剪影，作为处理要求，减少了由图像差引起的错误。这使得流程更快，成本更低，从而改进用户体验。
[0324] 此外，分割的前景和剪影的特征允许用户提交的图像被存储而没有个人摄影图像数据。在所述的实施方案中，用户的摄影图像被销毁，从而为用户的隐私提供增强的保护。
[0325] 本领域技术人员将理解，在不脱离本发明的精神和范围的情况下，对本文所述的发明的变化和修改将是显而易见的。对于本领域技术人员而言显而易见的变化和修改被认为落在本文所述的发明的广泛范围和范围内。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 化身建立方法及化身建立装置 | 2020-05-08 | 580 |
| 一种沉浸式智能互动空间解决方法 | 2020-05-08 | 394 |
| 对象全息增强 | 2020-05-08 | 156 |
| 多用户共享的基于虚拟和增强现实的触觉的系统和方法 | 2020-05-11 | 347 |
| 控制媒体内容捕获以进行实况视频广播制作系统和方法 | 2020-05-11 | 963 |
| 使用自动购物助手进行个性化购物的系统、平台和方法 | 2020-05-11 | 759 |
| 为了将使用装置的人员的运动变换到虚拟空间中而检测运动的装置 | 2020-05-12 | 124 |
| 使用眼睛追踪相机对面部表情分类 | 2020-05-12 | 487 |
| 图像处理装置、图像处理方法以及图像系统 | 2020-05-12 | 65 |
| 多用途儿童成长型家具 | 2020-05-12 | 684 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
化身热门专利
QQ群二维码
意见反馈
意见反馈