首页 / 专利分类库 / 电通信技术 / 电话通信 / 一种体型测量分析方法与电子设备

一种体型测量分析方法与电子设备

申请号 CN202211282051.9 申请日 2022-10-19 公开(公告)号 CN117956058A 公开(公告)日 2024-04-30
申请人 华为技术有限公司; 发明人 张子曰;
摘要 一种体型测量分析方法与 电子 设备,用以准确地测量分析用户的体型状态。该方法中,电子设备检测到用户发起体型测量的第一操作指令;提示所述用户输入基本身体参数,以及获取所述用户在所述提示下输入的基本身体参数;或者,读取所述用户预先存储的所述基本身体参数;依次显示用于引导所述用户拍摄身体的各个 角 度的拍摄界面,并拍摄得到所述用户的身体各个角度的图像;根据所述用户的基本身体参数,和所述用户的身体各个角度的图像构造三维3D模型,以及根据所述3D模型得到所述用户的体型分析结果;显示所述体型分析结果,显示的所述体型分析结果包括所述用户的第一体型图像和各项体型数据。
权利要求

1.一种体型测量分析方法,其特征在于,应用于电子设备,所述方法包括:
检测到用户发起体型测量的第一操作指令;
提示所述用户输入基本身体参数,以及获取所述用户在所述提示下输入的基本身体参数;或者,读取所述用户预先存储的所述基本身体参数;
依次显示用于引导所述用户拍摄身体的各个度的拍摄界面,并拍摄得到所述用户的身体各个角度的图像;
根据所述用户的基本身体参数,和所述用户的身体各个角度的图像构造三维3D模型,以及根据所述3D模型得到所述用户的体型分析结果;
显示所述体型分析结果,显示的所述体型分析结果包括所述用户的第一体型图像和各项体型数据。
2.根据权利要求1所述的方法,其特征在于,所述根据所述用户的基本身体参数,和所述用户的身体各个角度的图像构造3D模型,包括:
将所述身体各个角度的图像输入到第一模型中进行训练得到所述身体的轮廓数据;以及,将所述身体各个角度的图像输入到第二模型中进行训练得到所述身体的骨骼点数据;
将所述轮廓数据、所述骨骼点数据和所述基本身体参数输入到第三模型中进行训练得到各项体型参数对应的权重因子;
将所述体型参数的权重因子输入到第四模型中进行训练得到所述3D模型;其中,所述第四模型包括各项参考体型参数,所述各项参考体型参数用于与对应的所述体型参数的权重因子相乘得到所述用户的各项体型参数,所述用户的各项体型参数用于得到所述3D模型。
3.根据权利要求1或2所述的方法,其特征在于,所述依次显示用于引导所述用户拍摄身体的各个角度的拍摄界面之前,所述方法还包括:
显示用于进行设备校准的第一引导界面;所述第一引导界面用于根据预设放置条件引导用户放置所述电子设备;
检测到在所述第一引导界面中所述电子设备的放置状态满足所述预设放置条件。
4.根据权利要求3所述的方法,其特征在于,所述第一引导界面显示有第一标识和第二标识,所述第一标识和所述第二标识具有第一相对位置关系;
所述检测到在所述第一引导界面中所述电子设备的放置状态满足所述预设放置条件,包括:
在所述第一引导界面上,确定所述第一标识和所述第二标识从具有所述第一相对位置关系变更到具有第二相对位置关系;所述第二相对位置关系用于指示所述电子设备的放置状态满足所述预设放置条件。
5.根据权利要求1至4中任一项所述的方法,其特征在于,所述检测到用户发起体型测量的第一操作指令之后,且在所述依次显示用于引导所述用户拍摄身体的各个角度的拍摄界面之前,所述方法还包括:
显示第二引导界面,所述第二引导界面包括用于引导所述用户拍摄身体的各个角度的步骤说明。
6.根据权利要求1至5中任一项所述的方法,其特征在于,所述依次显示用于引导所述用户拍摄身体的各个角度的拍摄界面之前,所述方法还包括:
显示用于对所述电子设备进行音量调节的第三引导界面,检测到在所述第三引导界面中显示所述电子设备的音量被调整到大于或等于预设音量值;或者,
确定所述电子设备的音量大于或等于所述预设音量值。
7.根据权利要求1至6中任一项所述的方法,其特征在于,所述显示所述体型分析结果,包括:显示包括所述体型分析结果的第一界面;其中,所述第一界面中还包括用于切换日期的切换控件;
所述方法还包括:
响应于在所述第一界面中对所述切换控件的第二操作指令,显示第二界面,所述第二操作指令用于选择指定日期,所述第二界面包括在所述指定日期得到的体型分析结果。
8.根据权利要求7所述的方法,其特征在于,所述第一界面中还包括用于触发手动校准所述体型分析结果的触发控件;
所述方法还包括:
响应于在所述第一界面中对所述触发控件的第三操作指令,显示第三界面,所述第三界面包括用于对所述体型分析结果进行手动校准的校准控件;
响应于对所述校准控件的第四操作指令,更新所述第一界面;更新之后的第一界面包括基于所述第四操作指令进行校准后的第一体型图像和至少一项体型数据。
9.根据权利要求7或8所述的方法,其特征在于,所述第一界面中还包括第一体型数据的卡片;
所述方法还包括:
响应于对所述第一体型数据的卡片的第五操作指令,显示第四界面,所述第四界面包括与所述第一体型数据相关的预设信息;
其中,所述预设信息为从预设体型数据库中、且基于所述第一体型参数获取的信息;所述第一体型参数为所述各项体型参数中的任意一项体型参数。
10.根据权利要求1至9中任一项所述的方法,其特征在于,所述身体各个角度的图像包括:身体的正面图和身体的侧面图。
11.根据权利要求1至10中任一项所述的方法,其特征在于,所述体型分析结果还包括第二体型图像,所述第二体型图像为基于预设体型参数得到的。
12.一种电子设备,其特征在于,包括至少一个处理器,所述至少一个处理器与至少一个存储器耦合,所述至少一个处理器用于读取并执行所述至少一个存储器所存储的计算机程序,以使如权利要求1至11中任一项所述的方法被执行。
13.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有指令,当所述指令在计算机上运行时,使得所述计算机执行如权利要求1至11中任一项所述的方法。
14.一种包含指令的计算机程序产品,其特征在于,当所述计算机程序产品在计算机上运行时,使得所述计算机执行如权利要求1至11中任一项所述的方法。

说明书全文

一种体型测量分析方法与电子设备

技术领域

[0001] 本申请涉及电子技术领域,尤其涉及一种体型测量分析方法与电子设备。

背景技术

[0002] 当前,随着技术的发展,与用户健康相关的应用和服务越来越丰富,例如,与运动、减脂等相关的应用(application,APP)有很多。这种应用上的创新和发展为促进用户的身体健康创造了便利的条件。
[0003] 然而,这类应用一般需要用户手动测量,并将测量结果输入到相关APP中。例如,在运动健康APP中,用户输入手动测量的身体相关的围度信息、长度信息等。这种方式不能准确的反应用户的体型情况,难以满足用户对体型参数的精准管控。发明内容
[0004] 本申请的目的在于提供了一种体型测量分析方法与电子设备,用以准确地测量分析用户的体型状态。
[0005] 第一方面,提供一种体型测量分析方法,应用于电子设备。该方法包括:检测到用户发起体型测量的第一操作指令;提示所述用户输入基本身体参数,以及获取所述用户在所述提示下输入的基本身体参数,或者读取所述用户预先存储的所述基本身体参数;依次显示用于引导所述用户拍摄身体的各个度的拍摄界面,并拍摄得到所述用户的身体各个角度的图像;根据所述用户的基本身体参数,和所述用户的身体各个角度的图像构造三维3D模型,以及根据所述3D模型得到所述用户的体型分析结果;显示所述体型分析结果,显示的所述体型分析结果包括所述用户的第一体型图像和各项体型数据。其中,本申请不限定获取基本身体参数和拍摄身体的各个角度的执行顺序。
[0006] 通过申请实施例提供的方法,基于测量的身体图像数据和获取的基本身体参数,构造3D模型,进而可以基于3D模型得到用户的体型参数,从而可以基于体型参数分析得到用户体型数据等,进而生成体型分析结果。因此,该方法可以降低用户进行体型测量分析的操作复杂度,而且通过3D模型处理可以提高体型测量的准确度。
[0007] 在一种可能的设计中,所述根据所述用户的基本身体参数,和所述用户的身体各个角度的图像构造3D模型,包括:将所述身体各个角度的图像输入到第一模型中进行训练得到所述身体的轮廓数据;以及,将所述身体各个角度的图像输入到第二模型中进行训练得到所述身体的骨骼点数据;将所述轮廓数据、所述骨骼点数据和所述基本身体参数输入到第三模型中进行训练得到各项体型参数对应的权重因子;将所述体型参数的权重因子输入到第四模型中进行训练得到3D模型;其中,所述第四模型包括各项参考体型参数,所述各项参考体型参数用于与对应的所述体型参数的权重因子相乘得到所述用户的各项体型参数,所述用户的各项体型参数用于得到所述3D模型。所述参考体型参数可以包括但不限于:尺寸参数、肥胖参数。
[0008] 该设计中,通过构造3D模型,可以基于3D模型更准确地得到用户的体型状态。这样,用户可以获取到更贴合自身体型的体型分析结果。
[0009] 在一种可能的设计中,所述依次显示用于引导所述用户拍摄身体的各个角度的拍摄界面之前,所述方法还包括:显示用于进行设备校准的第一引导界面;所述第一引导界面用于根据预设放置条件引导用户放置所述电子设备;检测到在所述第一引导界面中所述电子设备的放置状态满足所述预设放置条件。一种可能的场景中,所述第一引导界面显示有第一标识和第二标识,所述第一标识和所述第二标识具有第一相对位置关系;在所述第一引导界面上,确定所述第一标识和所述第二标识从具有所述第一相对位置关系变更到具有第二相对位置关系,则可以确定检测到在所述第一引导界面中所述电子设备的放置状态满足所述预设放置条件;所述第二相对位置关系用于指示所述电子设备的放置状态满足所述预设放置条件。例如,第一标识可以为花朵,第二标识可以为枝干,第一相对位置关系可以为分离的花朵和枝干,第二相对位置关系可以为一枝包括花朵和枝干的花。
[0010] 该设计中,通过将电子设备的当前姿态和目标姿态通过不同标识来展示,从而可以确定电子设备的当前姿态调整到目标姿态。这样,一方面可以便于用户更有效率的放置设备,另一方面还可以增加体型测量过程中的趣味性。
[0011] 在一种可能的设计中,所述检测到用户发起体型测量的第一操作指令之后,且在所述依次显示用于引导所述用户拍摄身体的各个角度的拍摄界面之前,所述方法还包括:显示第二引导界面,所述第二引导界面包括用于引导所述用户拍摄身体的各个角度的步骤说明。该设计中,通过向用户展示拍摄身体的引导步骤说明,可以便于用户更有效地进行体型测量。
[0012] 在一种可能的设计中,所述依次显示用于引导所述用户拍摄身体的各个角度的拍摄界面之前,所述方法还包括:显示用于对所述电子设备进行音量调节的第三引导界面,检测到在所述第三引导界面中显示所述电子设备的音量被调整到大于或等于预设音量值;或者,确定所述电子设备的音量大于或等于所述预设音量值。该设计中,通过向用户展示用于调节音量的界面,可以便于更好地引导用户进行体型测量,从而可以提高体型测量的效率。
[0013] 在一种可能的设计中,所述基本身体参数还包括性别参数;所述用户的体型图像对应于所述性别参数。该设计中,通过获取用户的性别参数,可以向用户展示更贴合用户的体型图像,从而可以提升用户体验。
[0014] 其中,用户的体型图像可以通过3D动画展示,不仅可以更准确地展示用户的体型状态,还可以提升用户使用体验。
[0015] 在一种可能的设计中,所述显示所述体型分析结果,包括:显示包括所述体型分析结果的第一界面;其中,所述第一界面中还包括用于切换日期的切换控件。电子设备还可响应于在所述第一界面中对所述切换控件的第二操作指令,显示第二界面,所述第二操作指令用于选择指定日期,所述第二界面包括在所述指定日期得到的体型分析结果。该设计中,通过显示切换控件,可以便于用户查看不同日期内的体型状态,从而可以便于用户感知体型的变化情况。
[0016] 在一种可能的设计中,所述第一界面中还包括用于触发手动校准所述体型分析结果的触发控件;所述方法还包括:响应于在所述第一界面中对所述触发控件的第三操作指令,显示第三界面,所述第三界面包括用于对所述体型分析结果进行手动校准的校准控件;响应于对所述校准控件的第四操作指令,更新所述第一界面;更新之后的第一界面包括基于所述第四操作指令进行校准后的第一体型图像和至少一项体型数据。该设计中,可以向用户提供手动校准的拓展功能,从而可以生成更符合用户要求的体型分析结果,保障用户的使用体验。
[0017] 在一种可能的设计中,所述第一界面中还包括第一体型数据的卡片。所述方法还包括:响应于对所述第一体型数据的卡片的第五操作指令,显示第四界面,所述第四界面包括与所述第一体型数据相关的预设信息;其中,所述预设信息为从预设体型数据库中、且基于所述第一体型参数获取的信息;所述第一体型参数为所述各项体型参数中的任意一项体型参数。该设计中,通过拓展体型数据的详细信息,可以向用户提供更详细的体型数据,便于用户更好地了解体型状态。
[0018] 在一种可能的设计中,所述身体各个角度的图像包括:身体的正面图和身体的侧面图。
[0019] 在一种可能的设计中,所述体型分析结果还包括第二体型图像,所述第二体型图像为基于预设体型参数得到的;其中,预设体型参数可以为目标体重参数、目标三围参数等。该设计中,本申请还可以实现当前用户体型图像与预测用户体型的对比,从而可以便于用户更直观地获取体型变化状态,便于用户进行更精准的锻炼计划等。
[0020] 第二方面,本申请实施例还提供一种电子设备,所述电子设备包括至少一个存储器和至少一个处理器;其中,所述至少一个存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令;当所述计算机指令被所述至少一个处理器执行时,使得所述电子设备执行上述第一方面中任一种可能的设计中的方法。
[0021] 第三方面,本申请实施例还提供一种体型测量分析装置,该体型测量分析装置包括执行上述第一方面中任一种可能的设计中的方法的模/单元。这些模块/单元可以通过硬件实现,也可以通过硬件执行相应的软件实现。
[0022] 第四方面,提供了一种计算机可读存储介质,计算机可读介质存储有计算机程序(也可以称为代码,或指令),当这些代码或指令在计算机上运行时,使得计算机执行上述第一方面中任一种可能的设计中的方法。
[0023] 第五方面,提供了一种计算机程序产品,计算机程序产品包括:计算机程序(也可以称为代码,或指令),当计算机程序被运行时,使得上述第一方面中任一种可能的设计中的方法被执行。
[0024] 第六方面,还提供一种电子设备上的图形用户界面,该电子设备具有显示屏、一个或多个存储器、以及一个或多个处理器,所述一个或多个处理器用于执行存储在所述一个或多个存储器中的一个或多个计算机程序,所述图形用户界面包括所述电子设备执行上述本申请实施例第一方面中的任一可能的设计时所显示的图形用户界面。
[0025] 需要说明的是,本申请实施例第二方面至第六方面提供的电子设备的各个设计的有益效果请参考上述第一方面中任一种可能的设计的有益效果,此处不再赘述。附图说明
[0026] 图1为本申请实施例提供的电子设备的一种结构示意图;
[0027] 图2为本申请实施例提供的电子设备的一种软件架构图;
[0028] 图3a为一种得到用户体型的界面示意图;
[0029] 图3b为一种定制健康计划的界面示意图;
[0030] 图4为一种身体扫描过程的界面示意图;
[0031] 图5为一种手动校准的界面示意图;
[0032] 图6为本申请实施例提供的发起体型测量的界面示意图之一;
[0033] 图7为本申请实施例提供的发起体型测量的界面示意图之二;
[0034] 图8为本申请实施例提供的得到人体mesh模型的流程示意图;
[0035] 图9为本申请实施例提供的体型分析结果的一种界面示意图;
[0036] 图10为本申请实施例提供的身体形态类型的一种示意图;
[0037] 图11为本申请实施例提供的对体型分析结果进行手动校准的界面示意图;
[0038] 图12为本申请实施例提供的显示体型分析结果的界面示意图之一;
[0039] 图13为本申请实施例提供的显示体型分析结果的界面示意图之二;
[0040] 图14为本申请实施例提供的显示体型分析结果的界面示意图之三;
[0041] 图15为本申请实施例提供的显示体型分析结果的界面示意图之四;
[0042] 图16为本申请实施例提供的一种体型测量分析方法的界面示意图之一;
[0043] 图17为本申请实施例提供的一种体型测量分析方法的界面示意图之二;
[0044] 图18为本申请实施例提供的一种体型测量分析方法的界面示意图之三;
[0045] 图19为本申请实施例提供的一种体型测量分析方法的界面示意图之四;
[0046] 图20为本申请实施例提供的一种体型测量分析方法的流程示意图;
[0047] 图21为本申请实施例提供的一种体型测量的流程示意图;
[0048] 图22为本申请实施例提供的得到体型分析结果的流程示意图;
[0049] 图23为本申请实施例提供的显示体型分析结果的流程示意图。

具体实施方式

[0050] 以下,对本申请实施例中的部分用语进行解释说明,以便于本领域技术人员理解。
[0051] 本申请实施例涉及的至少一个,包括一个或者多个;其中,多个是指大于或者等于两个。另外,需要理解的是,在本说明书的描述中,“第一”、“第二”等词汇,仅用于区分描述的目的,而不能理解为明示或暗示相对重要性,也不能理解为明示或暗示顺序。例如,第一电子设备和第二电子设备并不代表二者的重要程度或者代表二者的顺序,仅仅是为了区分描述。在本申请实施例中,“和/或”,仅仅是描述关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
[0052] 在本说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本说明书的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。
[0053] 本申请实施例提供的体型测量分析方法适用于电子设备。示例性的,电子设备可以是具有图像采集装置(例如摄像头)的电子设备;例如可以为手机、平板电脑笔记本电脑等便捷式电子设备;或者,还可以是手表、手环等可穿戴设备;或者,还可以是电视机等智能家居设备,总之本申请实施例不限定电子设备的具体类型。
[0054] 在一些示例中,本申请实施例提供的体型测量分析方法可以是电子设备中具备的一项功能、服务或应用。所述应用可以是电子设备自带的应用,或者从网络下载的应用。以手机为例,手机中可以包括运动健康应用,该应用中集成有一项功能,该功能就可以通过本申请实施例提供的体型测量分析方法对用户进行体型测量分析。
[0055] 本申请实施例提供的体型测量分析方法还可以适用于系统,系统中包括第一电子设备和第二电子设备。第一电子设备与第二电子设备连接,本申请实施例不限定连接方式,例如可以通过有线、或无线方式连接,其中无线方式可以包括但不限于:无线保真(wireless fidelity,Wi‑Fi)、蓝牙。第一电子设备可以是用于采集图像数据的设备,例如家用摄像头等。第一电子设备可以将采集的图像数据发送给第二电子设备。第二电子设备可以基于图像数据执行本申请实施例提供的体型测量分析流程,具体流程将在后文介绍。示例性的,第二电子设备可以是任意设备,例如可以是具有较强计算能的设备,例如手机、平板电脑等。可以理解,本申请实施例可以包括多个步骤,其中多个步骤可以由多个电子设备协同执行,也可以由一个电子设备单独执行,本申请实施例对此不作限定。为便于理解,以下实施例中主要以由一个设备单独完成作为示例进行说明。
[0056] 图1示出了本申请技术方案所应用的一种电子设备100的结构示意图。所述电子设备100可以是手机等。如图1所示,电子设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克170C,机接口170D,传感器模块180,按键190,
191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。其中传感器模块180可以包括重力传感器180A,陀螺仪传感器
180B,压力传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器
180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
[0057] 处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processing unit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural‑network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。其中,控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。可避免重复存取,减少处理器110的等待时间,因而可提高系统的效率。
[0058] 在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter‑integrated circuit,I2C)接口,集成电路内置音频(inter‑integrated circuit sound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general‑purpose input/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
[0059] 电子设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
[0060] 移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器低噪声放大器(low noise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
[0061] 无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wireless local area networks,WLAN)(如无线保真(wireless fidelity,Wi‑Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
[0062] 在一些实施例中,电子设备100的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得电子设备100可以通过无线通信技术与网络以及其他设备通信。
[0063] 显示屏194用于显示应用的显示界面等。显示屏194包括显示面板。在一些实施例中,电子设备100可以包括1个或N个显示屏194,N为大于1的正整数。例如,本申请实施例中,可以通过显示屏194显示实时采集的图像数据,例如身体扫描图像数据;以及,还可以通过显示屏194显示基于采集的图像数据得到测量分析结果,例如人工智能(artificial intelligence,AI)体型等。
[0064] 电子设备100100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。其中,ISP用于处理摄像头193反馈的数据。
[0065] 内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,从而执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,以及至少一个应用程序的软件代码等。存储数据区可存储电子设备100使用过程中所产生的数据(例如图像、视频等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器等。
[0066] 外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将图片,视频等文件保存在外部存储卡中。
[0067] 电子设备100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如语音控制指令,身体扫描引导语音等。
[0068] 音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110中。
[0069] 扬声器170A,也称“喇叭”,用于将音频电信号转换为声音信号。电子设备100100可以通过一个或多个扬声器170A收听引导语音,或背景音乐等外放场景。
[0070] 受话器170B,也称“听筒”,可以是一个或多个,用于将音频电信号转换成声音信号。当电子设备100100接听电话或语音信息时,可以通过将受话器170B靠近人耳接听语音。
[0071] 麦克风170C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。本申请实施例中,例如用户可以通过麦克风170C唤醒运动健康应用等。
[0072] 耳机接口170D用于连接有线耳机。
[0073] 重力传感器180A可采用弹性敏感元件制成悬臂式位移器,与采用弹性敏感元件制成的储能弹簧来驱动电触点,完成从重力变化到电信号的转换。在一些实施例中,可以通过重力传感器180A确定出电子设备100相对于平面的倾斜角度;以及,通过重力传感器180A分析动态加速度,进而可以确定分析出电子设备100移动的方式,例如可以应用于一些游戏中,以提升电子设备100的交互控制性。
[0074] 陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中,可以通过陀螺仪传感器180B确定电子设备100围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。本申请实施例中,可以通过陀螺仪传感器180B确定电子设备100的倾角,从而可以得到更准确地身体扫描结果。
[0075] 压力传感器180C用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器180C可以设置于显示屏194。
[0076] 磁传感器180D包括霍尔传感器。电子设备100可以利用磁传感器180D检测翻盖皮套的开合。
[0077] 加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。
[0078] 距离传感器180F,用于测量距离。电子设备100可以通过红外或激光测量距离。
[0079] 接近光传感器180G可以包括例如发光二极管(LED)和光检测器,例如光电二极管发光二极管可以是红外发光二极管。电子设备100通过发光二极管向外发射红外光。电子设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时,可以确定电子设备100附近有物体。当检测到不充分的反射光时,电子设备100可以确定电子设备
100附近没有物体。
[0080] 环境光传感器180L用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。
[0081] 指纹传感器180H用于采集指纹。
[0082] 温度传感器180J用于检测温度。
[0083] 触摸传感器180K,也称“触控面板”。触摸传感器180K可以设置于显示屏194,由触摸传感器180K与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。
[0084] 骨传导传感器180M可以获取振动信号。在一些实施例中,骨传导传感器180M可以获取人体声部振动骨块的振动信号。
[0085] 按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入,产生与电子设备100的用户设置以及功能控制有关的键信号输入。马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195,或从SIM卡接口195拔出,实现和电子设备100的接触和分离。
[0086] 可以理解的是,图1所示的部件并不构成对电子设备100的具体限定。本申请实施例中的电子设备100可以包括比图1中更多或更少的部件。此外,图1中的部件之间的组合/连接关系也是可以调整修改的。
[0087] 本申请实施例涉及的操作系统(operating system,OS),是运行在电子设备100上的最基本的系统软件。电子设备100的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或架构。本申请实施例以采用分层架构的操作系统为例,示例性说明电子设备100的软件系统架构。
[0088] 图2为本申请实施例提供的一种电子设备100的软件系统架构框图。如图2所示,电子设备100的软件系统架构可以是分层架构,例如可以将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将操作系统分为五层,从上至下分别为应用程序层,应用程序框架层(framework,FWK),运行时和系统库,内核层,以及硬件层。
[0089] 应用程序层可以包括一系列应用程序包。如图2所示,应用程序层可以包括相机、设置、皮肤模块、用户界面(user interface,UI)、第三方应用程序等。其中,第三方应用程序可以包括无线局域网(wireless local area network,WLAN)、音乐、通话、蓝牙、视频、备忘录、便签等。
[0090] 在本申请实施例中,应用程序层可以用于实现编辑界面的呈现。上述编辑界面可以为用户提供用于实现本申请实施例中重点关注的如运动健康等健康类APP的编辑操作,例如可以为下文中涉及的身体扫描界面。
[0091] 一种可能的实现方式中,应用程序可以使用java语言开发,通过调用应用程序框架层所提供的应用程序编程接口(application programming interface,API)来完成,开发者可以通过应用程序框架层来与操作系统的底层(例如硬件层、内核层等)进行交互,开发自己的应用程序。该应用程序框架层主要是操作系统的一系列的服务和管理系统。
[0092] 应用程序框架层为应用程序层的应用程序提供应用编程接口和编程框架。应用程序框架层包括一些预定义函数。如图2所示,应用程序框架层可以包括活动管理器,窗口管理器,内容提供器,视图系统,电话管理器,资源管理器,通知管理器等。
[0093] 活动管理器用于管理各个应用程序生命周期并提供常用的导航回退功能,为所有程序的窗口提供交互的接口。
[0094] 窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,定屏幕,截取屏幕等。内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。所述数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。
[0095] 视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。
[0096] 电话管理器用于提供电子设备100的通信功能。例如通话状态的管理(包括接通,挂断等)。
[0097] 资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。
[0098] 通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,电子设备100振动,指示灯闪烁等。
[0099] 运行时包括核心库和虚拟机。运行时负责操作系统的调度和管理。
[0100] 核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是操作系统的核心库。应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
[0101] 系统库可以包括多个功能模块。例如:表面管理器(surface manager),媒体框架(media framework),三围图形处理库(例如:OpenGL ES),二维图形引擎(例如:SGL)等。
[0102] 表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了二维和3D图层的融合。
[0103] 媒体框架支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体框架可以支持多种音视频编码格式,例如:MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。
[0104] 三围图形处理库用于实现三围图形绘图,图像渲染,合成,和图层处理等。
[0105] 二维图形引擎是二维绘图的绘图引擎。
[0106] 在一些实施例中,三围图形处理库可以用于绘制三围的运动轨迹图像,二维图形引擎可以用于绘制二维的运动轨迹图像。本申请实施例中,基于采集的用户图像数据,可以测量分析得到AI体型的相关数据。示例性的,可以通过三围图形处理库对AI体型的相关数据进行处理,从而可以得到AI体型的三围模型。
[0107] 内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动。
[0108] 硬件层可以包括各类传感器,例如加速度传感器、重力传感器、触摸传感器等。
[0109] 通常电子设备100可以同时运行多个应用程序。较为简单的,一个应用程序可以对应一个进程,较为复杂的,一个应用程序可以对应多个进程。每个进程具备一个进程号(进程ID)。
[0110] 应理解,电子设备100的硬件结构可以如图1所示,软件系统架构可以如图2所示,其中,电子设备100中的软件系统架构对应的软件程序和/或模块可以存储在内部存储器121中,处理器110可以运行内部存储器121中存储的软件程序和应用,以执行本申请实施例提供的一种体型测量分析方法的流程。
[0111] 为了便于理解本申请提供的体型测量分析方法,以下结合图3a至图19所示的内容,对采用本申请提供的方法的实现过程进行介绍。
[0112] 一种可能的实现方式中,在一些健康类APP中,可以通过用户手动向APP输入基本身体参数,比如身高参数、体重参数、性别参数等等;然后,电子设备可根据该基本的身体参数生成虚拟体型。例如,图3a为一种得到用户体型的界面示意图。示例性的,电子设备向用户显示界面31,在界面31中用户可选择性别参数;其中,电子设备可以通过向用户显示虚拟人物形象来协助用户选择性别参数。电子设备在获取到用户选择的性别参数后,可向用户继续显示界面32,在界面32中用户可选择年龄参数。电子设备在获取到用户选择的年龄参数后,可向用户继续显示界面33,在界面33中用户可选择身高参数和体重参数;其中,电子设备可以响应于用户选择的身高参数或体重参数,同步调整虚拟人物形象的当前虚拟体型。电子设备在获取到用户选择的身高参数和体重参数后,可向用户继续显示界面34,在界面34中用户可选择目标体重参数;并且,电子设备还可响应于用户选择的目标体重参数,在界面34中显示用户的当前虚拟体型与目标虚拟体型的对比。
[0113] 另外,基于图3a示出的实现方式,电子设备还可以继续为用户拓展定制健康计划的功能。例如,图3b为一种定制健康计划的界面示意图。示例性的,电子设备在获取到用户的当前基本的身体参数和目标体重参数之后,可向用户继续显示界面35,在界面35中用户可选择一些日常小习惯,例如日常活动水平、饮食习惯、拖延程度等日常小习惯。在用户在界面35中进行相应选择后,例如选择的日常活动水平为“偶尔运动”、选择的饮食习惯为“只吃到不饿”、以及选择的拖延程度为“偶尔拖延”;电子设备还可向用户继续显示界面36,在界面36中用户可有计划地选择重点部位进行训练,例如可以选择胸部、腹部和臀部等重点部位。电子设备在获取到用户选择的日常小习惯和重点部位后,可向用户继续显示界面37,在界面37中可显示匹配的健康计划,例如运动计划、饮食计划中的一种或组合,或者又例如减脂速度计划等;另外,在界面37中,用户还可对健康计划进行手动调整。最后,电子设备可以生成目标健康计划,如界面38所示,并可显示在APP的首页等界面中。
[0114] 然而,在该实现方式中,APP基于用户手动输入的基本参数,进行虚拟体型的生成,虽然可以提升健康类APP的生动性,但虚拟体型形象单一,无法准确地体现用户的真实体型。
[0115] 另一种可能的实现方式中,在另一些健康类APP中,还可以通过手动记录和身体扫描结合的方式得到身体数据,并进行身体数据的测量分析。例如,图4为一种身体扫描过程的界面示意图。示例性的,电子设备可向用户显示界面41,在界面41中用户可输入身高参数和体重参数。电子设备在获取到用户输入的身高参数和体重参数之后,可向用户继续显示界面42,在界面42中用户可对引导语音的音量大小进行调整。然后,电子设备可继续向用户显示界面43至界面45,在界面43至界面45中可向用户显示身体扫描过程的引导页面。例如,在界面43中显示关于如何穿着的引导页面;在界面44中显示关于电子设备放置方式的引导页面;在界面45中显示关于如何站立的引导页面。电子设备在检测到用户确定阅读完引导页面的操作指令后,可继续向用户显示界面46至48,在界面46至界面48中可实现采集身体基础图像数据。例如,在界面46中可显示放置设备的校准提示,用以将电子设备放置到合适位置;在界面47中可显示实时采集的正面身体图像数据以及最终获取的正面身体图像;在界面48中可显示实时采集的侧面身体图像数据以及最终获取的侧面身体图像帧。从该实现方式可以看出,一方面每次采集过程用户需要手动调整音量,存在操作繁琐的问题;另一方面,该实现方式仅做了单方面校准,可能会造成图像数据采集的不便等。
[0116] 另外,基于图4示出的实现方式,电子设备还需要继续对身体的细节参数进行手动校准。例如,图5为一种手动校准的界面示意图。示例性的,电子设备在获取到正面身体图像帧和侧面身体图像帧之后,根据预设局部采集条件可以继续获取需要手动校准的局部部位拍摄图,例如向用户显示界面49至界面51。其中,在界面49中引导用户继续采集前脚踝的局部拍摄图像;在界面50中引导用户继续采集后膝的局部拍摄图像;及在界面51中引导用户继续采集右裤腰的局部拍摄图像。电子设备基于获取的正面身体图像帧、侧面身体图像帧以及多张局部拍摄图像数据,可以生成用户的分析结果,并向用户显示包含数据展示结果的界面,例如界面52a显示的为男性的数据展示结果,界面52b显示的为女性的数据展示结果。虽然该实现方式可以提升对身体数据的分析准确性,然而从图5可以看出,该实现方式仍然需要大量手动校准操作,而且通过该实现方式得到的数据展示结果通过2D方式进行显示,无法反映用户体型。
[0117] 有鉴于此,本申请实施例提供一种体型测量分析方法。该方法基于采集的用户数据,通过深度网络模型进行深度学习,可得到人体网格(mesh)模型;其中,采集的用户数据可以包括但不限于:基本身体参数、身体扫描图像数据。然后,基于人体mesh模型,可以进行用户体型的分析,以输出更能反映用户真实体型的AI体型。因此,该方法可以实现对用户体型的三围建模,一方面可以提供更准确的三围AI体型,另一方面还可以降低用户的操作复杂度,从而可以提升用户体验。
[0118] 本申请实施例提供的方法可以应用于任何健康管理场景的APP中,以便于用户通过相应APP进行健康检测;或者,还可应用于购物等场景的APP中,以便于用户通过相应APP进行试穿行为,得到更好的购物体验;或者,还可应用于其他需要进行体型测量的场景中,本申请不限制该方法的具体应用场景。
[0119] 示例性的,用户可以通过健康类APP实现本申请实施例提供的体型测量方法。以运动健康APP作为示例,可以在该运动健康APP的多个显示界面中配置用于触发进行体型测量的入口,例如可以在体重管理界面、首页界面、运动计划界面等中配置体型测量入口;其中,体型测量入口可以通过但不限于如卡片、快捷方式、图标、用户语音指令等方式实现。
[0120] 另一示例性的,用户还可以通过专的体型测量APP、或其他类别APP实现本申请提供的方法。其中,其他类别APP例如相机APP、购物APP等。
[0121] 下面以电子设备是手机、应用在健康管理场景中为例,结合附图对本申请的技术方案进行说明。示例性的,本申请实施例提供的体型测量分析方法可以划分但不限于以下阶段:体型测量发起阶段、体型测量准备阶段、体型测量阶段、体型分析阶段。下文分别对这几个阶段进行介绍:
[0122] (一)体型测量发起阶段
[0123] 示例性的,图6为本申请实施例提供的一种发起体型测量的界面示意图。以运动健康APP中包括的体重管理界面作为示例,如图6中的界面61所示,在体重管理界面中除了包括体重数据、体重管理工具等体重管理类数据,还可以包括用于指示体型测量入口的服务卡片610。若手机检测到在界面61中对服务卡片610的用户操作,响应于该用户操作,显示关于体型测量准备阶段的界面,如界面62。其中,对服务卡片610的用户操作例如可以为点击操作、双击操作、长按操作或者语音指令等,本申请实施例不限制该用户操作的具体实现方式。
[0124] (二)体型测量准备阶段
[0125] 为了保证得到更准确的体型测量结果,通常需要进行一些用于协助实现体型测量的准备工作,例如以下实施例中涉及的获取用户基本身体参数、显示体型测量引导界面、进行音量调节以及调整设备放置方式等。通过进行体型测量的准备,可以提升体型测量的效率以及准确度。示例性的,手机可以首先获取用户的一些基本身体参数;例如可以从预先存储的数据或其他数据来源中读取,也可以引导用户进行输入等。比如运动健康APP中可以存储有基本身体参数,则电子设备可以直接复用于进行体型测量的流程中。
[0126] 一种可能的实施例中,手机可在界面61中引导用户点击“手动输入”控件620,以跳转到用于手动输入体重参数的显示界面手机存有的用户基本身体参数可以为用户手动输入的。可选的,手机可向用户显示至少一张基本身体参数输入界面,用户可在该至少一张输入界面中手动输入身高参数和/或体重参数,例如手机可以在一张输入界面中指示用户输入身高参数,在另一张输入界面中指示用户输入体重参数,或例如手机还可以在一张输入界面中指示用户分别输入身高参数和体重参数。
[0127] 另一种可能的实施例中,手机还可在界面61中引导用户点击“测量体重”控件630,以跳转到选择其他APP或连接的智能体重秤等中请求同步体重参数的显示界面,或者跳转到用于提示用户“请上称”的显示界面。可选的,在跳转之后的显示界面中,可以包括同步控件;其中,该同步控件用于从关联的体重类APP、或连接的智能体重秤中请求同步体重参数。另外,手机除了可以从智能体重秤中获取到体重参数之外,也可从智能体重秤中获取到用户存储的身高参数等其他基本身体参数,本申请实施例不限定手机中存有的各用户基本身体参数的来源。应理解的是,用户基本身体参数可以包括多种参数,不同参数的来源可以不同,例如身高参数可以为用户手动输入的,体重参数可以为通过智能体脂称获取的。
[0128] 需要说明的是,尽管本申请实施例的介绍内容中,以首先获取用户的基本身体参数进行介绍,应理解的是,获取基本身体参数的流程与下文中介绍的显示体型测量引导界面的流程、进行音量调节的流程属于不同的体型测量准备工作,本申请实施时,不限定这几项准备工作的执行顺序。例如还可以先执行显示体型测量引导界面,再执行获取基本身体参数的流程。
[0129] 示例性的,手机在基于界面61获取到用户的基本身体参数之后,可继续向用户显示如图6中的界面62。在界面62中可以包括用于指示用户如何进行拍摄身体的步骤说明;其中,部分步骤说明中还可以结合示例图进行介绍,例如界面62中示出的步骤说明以及部分步骤的示例图可以包括:
[0130] 步骤一、保持全身无遮挡,穿着贴身衣物,头发挽起。
[0131] 步骤二、设备与身体保持预设距离;设备高度位于预设高度位置。例如,预设记录可以为2米(m),预设高度位置可以为腰部附近位置。其中,如界面62中所示,还可以显示步骤二对应的示例图,以便于用户更直观地确定进行体型测量的具体操作。
[0132] 步骤三、请将身体置于人形框内,并根据语音提示,拍摄你的正面、侧面照。其中,如界面62所示,还可以显示步骤三对应的示例图。
[0133] 需要说明的是,手机可以根据预设显示方式进行体型测量引导页面的显示。示例性的,预设显示方式可以包括但不限于以下方式:
[0134] 方式A、用户在前预设次数进行AI体型分析的过程中,显示体型测量引导界面。例如,用户在前3次使用AI体型分析功能时,向用户显示体型测量引导界面,而从第4次使用开始,不再显示该引导界面。
[0135] 方式B、每个预设周期内第1次进行AI体型分析的过程中,显示体型测量引导界面。例如,每月中第1次进行AI体型分析的过程中,显示体型测量引导界面。
[0136] 方式C、手机在显示体型测量引导界面时,向用户询问以后是否继续提醒,若用户选择不再提醒,则用户下次进行AI体型分析的过程中,不再显示体型测量引导界面。
[0137] 这样,通过对体型测量引导界面采用预设显示方式进行显示,可以降低用户多次进行AI体型分析的操作复杂度。另外,手机在确定不显示体型测量引导界面的场景下,还可以在进行AI体型分析过程中的任意界面中显示用于查阅体型测量引导界面的控件。这样,若用户需要再次查看体型测量引导界面,可以通过点击该控件,以显示体型测量引导界面。
[0138] 手机在检测到在界面62中对“开始拍摄”控件640的点击操作之后,响应于该点击操作,可以进行体型测量准备阶段的下一准备流程,例如可以为调节音量流程,显示为图6中的界面63。
[0139] 示例性的,在界面63中,若手机检测到音量为30%,此时可以在界面63中可以显示音量调节进度条,并通过文字方式提醒用户“推荐音量≥50%”。或者,手机还可以通过显示弹窗向用户询问“是否自动调节音量”,若检测到用户选择“是”,响应于用户的选择,自动调节手机的音量为预设音量值,例如75%等。另外,尽管界面63中显示的音量调节方式为用户可以手动调节,本申请实施时,手机还可以检测用户对AI体型分析功能的预设设置。其中,预设设置中可以包括音量自动调节功能,此时手机可以无需向用户显示界面63,直接将音量调节到预设音量值;并且,预设音量值可以仅在AI体型分析过程中生效,在检测到AI体型分析过程完成之后,恢复原始音量值。或者,另一种可能的场景中,若手机检测到手机连接有耳机、音箱等音频播放类设备,此时可默认无需进行音量调节。
[0140] 手机在界面63中检测到对“下一步”控件650的用户操作,可以继续执行体型测量准备阶段的设备校准流程,显示为图6中的界面64。可选的,手机可以通过如重力传感器180A和陀螺仪传感器180B等传感器检测手机的当前姿态。然后,手机可以根据手机的当前姿态,在界面64中显示第一标识,以及根据手机的目标姿态显示第二标识;通过第一标识和第二标识的相对位置关系,确定手机放置到合适姿态;可以理解,若第一标识和第二标识的相对位置关系显示为预设关系,则可以确定手机放置到合适姿态。如图6中的界面64所示,第一标识可以显示为花朵,第二标识可以显示为枝干,如界面64中的文字提示“直立放置设备拍摄更准确,请调整设备角度,使小花拼接完整”。应理解的是,本申请实施例不限定第一标识和第二标识的显示方式,例如第一标识还可以为小球、第二标识为鲨鱼,通过调整设备姿态,以在界面64中使小球落入鲨鱼口中,从而可以实现调整设备到预设位置。这样,通过设置标识,来引导用户调整设备,可以增加趣味性。
[0141] 本申请实施例中,手机进行设备校准时,可以通过2轴校准实现设备校准。示例性的,手机通过如重力传感器180A和陀螺仪传感器180B等传感器,检测手机的当前姿态;然后,确定当前姿态相对于目标姿态(如手机处于竖直状态时的姿态)俯仰角姿态和左右角度偏差。若手机检测到手机的当前姿态符合放置条件,例如俯仰角偏差小于或等于(≤)预设俯仰角偏差阈值,左右角度偏差≤预设左右角度偏差阈值,则可以确定手机校准到目标姿态范围内;其中,预设俯仰角偏差阈值可以为10°,预设左右角度偏差阈值也可以为10°。
[0142] 另外,在用户调整设备放置位置的过程中,手机也可通过语音指令引导用户进行调整,例如语音引导指令可以包括:“手机向左旋转一点”、“手机向右旋转一点”、“手机向后旋转一点”或者“手机向前旋转一点等”。可以理解,手机可以根据设备的当前姿态相对于目标姿态的俯仰角姿态和左右角度偏差,生成相对应的语音引导指令。
[0143] (三)体型测量阶段
[0144] 基于体型测量准备阶段的多种准备工作,在确定各种体型测量的需求场景设置完成之后,可以进入体型测量。基于设备放置调整界面64的引导,可以引导用户对设备位置进行调整,调整到符合放置条件的设备姿态,例如可显示为如图7中所示的界面64’。在界面64’中,若手机检测到手机的当前姿态符合放置条件,可以自动跳转至拍摄页;另外,可选的,在跳转至拍摄页之前,手机可以通过提示弹窗660来提示用户手机的放置已经满足放置条件。
[0145] 示例性的,在体型测量阶段可以通过多张拍摄页引导用户进行正面身体图像帧(下文中也可简称“正面照”)和侧面身体图像帧(下文中也可简称“侧面照”)的扫描。如图7所示,手机可以从界面64’跳转到界面65a;其中,界面65a用于引导用户拍摄正面照。例如,在界面65a中,可以包括“将全身正面置于人形框内”的文字引导,还可以包括正面照参考轮廓,以及还可以包括“切换前后摄像头”控件670。以及,在显示界面65a的同时,可以通过语音引导方式引导用户正面站立,例如语音引导指令可以包括:“正面站立,保持身体在人形框内”、“离屏幕近一点,保持身体在人形框中”或者“离屏幕远一点,保持身体在人形框中”。这样,一方面用户可以根据界面65a的引导进行正面站立,另一方面手机可以通过摄像头
193实时采集图像数据,并对图像数据进行显示以及检测。可选的,手机可以通过对比图像数据中的人物和界面65a中的正面照参考轮廓,以检测当前采集的图像数据是否满足正面照拍摄要求。应理解,正面照拍摄要求可以是预设配置的,且可以为图像数据中的人像轮廓与正面照参考轮廓的偏差小于或等于预设偏差阈值。
[0146] 另一示例性的,若手机检测到符合正面照拍摄要求,则可继续自动跳转到拍摄侧面照的显示界面,例如可依次向用户显示如图7中的界面65b和界面65c。其中,界面65b可用于提示用户正在获取正面照,以及显示界面65b的同时,可以通过语音提示方式提示用户正在识别,例如语音引导指令可以包括:“识别中,保持当前姿势不动”并“语音倒计时:3、2、1”。界面65c可用于提示用户正面照识别成功,以及显示界面65c的同时,可以通过语音提示方式提示用户识别完成,例如语音引导指令可以包括“正面照识别成功”。可以理解,在界面
65c显示一定预设时长后,可自动跳转至拍摄侧面照的界面67a。
[0147] 另外,在进行拍摄流程中,若手机检测到发生手机失衡,可引导用户重新进行设备调整,且在设备调整到符合预设放置条件之后,继续拍摄流程。一种可能的场景中,以手机在拍摄完正面照之后,拍摄侧面照过程中发生手机失衡,可以显示在显示界面67a之前,显示界面66。其中,界面66可显示用户进行校准的至少一个标识,例如前文中介绍到的指示当前姿态的第一标识和指示目标姿态的第二标识。此外,界面66中显示标识的样式可参阅界面64的显示方式,或者界面66也可与界面64中不同的显示方式,例如第一标识可以为小圆圈,第二标识可以为包括十字校准线的大圆圈。以及,在手机失衡时,也可以结合语音提示方式提示用户重新调整设备放置角度,例如语音引导指令可以包括“请调整设备角度,使圆点位置位于十字圆圈内”。
[0148] 可以理解,如图7所示,手机可以从界面65c跳转到界面67a,或者也可以从界面66跳转到界面67a,可以根据实际场景确定。与正面照拍摄流程类似,界面67a用于引导用户拍摄侧面照。例如,在界面67a中,可以包括“将全身侧面置于人形框内”的文字引导,还可以包括侧面照参考轮廓,以及也可以包括“切换前后摄像头”控件670。以及,在显示界面67a的同时,可以通过语音引导方式引导用户侧面站立,例如语音引导指令可以包括:“侧面站立,保持身体在人形框内”、“离屏幕近一点,保持身体在人形框中”或者“离屏幕远一点,保持身体在人形框中”。这样,一方面用户可以根据界面67a的引导进行侧面站立,另一方面手机可以通过摄像头193实时采集图像数据,并对图像数据进行显示以及检测。可选的,手机可以通过对比图像数据中的人物和界面67a中的侧面照参考轮廓,以检测当前采集的图像数据是否满足侧面照拍摄要求。应理解,侧面照拍摄要求可以是预设配置的,且可以为图像数据中的人像轮廓与侧面照参考轮廓的偏差小于或等于预设偏差阈值。
[0149] 示例性的,手机检测到符合侧面照拍摄要求时,可依次向用户显示如图7中的界面67b和界面67c。其中,界面67b可用于提示用户正在获取侧面照,以及显示界面67b的同时,可以通过语音提示方式提示用户正在识别,例如语音引导指令可以包括:“识别中,保持当前姿势不动”并“语音倒计时:3、2、1”。界面67c可用于提示用户侧面照识别成功,以及显示界面67c的同时,可以通过语音提示方式提示用户识别完成,例如语音引导指令可以包括“侧面照识别成功”。
[0150] (四)体型分析阶段
[0151] 示例性的,图8为本申请实施例提供的得到人体mesh模型的流程示意图。本申请实施例中,手机可以根据正面照和侧面照,采用人像分割网络模型801得到身体的轮廓数据;以及还可以根据正面照和侧面照,采用人体骨骼点检测模型802得到2D骨骼点数据。然后,手机可以将人像分割网络模型801输出的轮廓数据、人体骨骼点检测模型802输出的2D骨骼点数据、以及在体型测量准备阶段中获取到的基本身体参数作为体型参数深度网络模型
803的输入;并且,采用体型参数深度网络模型803,可以输出多项体型参数的权重因子。再然后,手机可以将多项体型参数的权重因子作为一种人体模型(skinned multi‑person linear model,SMPL)804的输入;其中,SMPL人体模型804中包括多种不同类别的参考体型参数,例如可以包括但不限于:尺寸参数,肥胖参数。最后,手机可以通过SMPL人体模型804,对体型参数的权重因子和参考体型参数进行处理预算,可以得到用户的体型参数;其中,基于用户的体型参数可以构造如图8所示的用户的3D的人体mesh模型。其中,体型参数可以包括但不限于:三围(胸围、腰围和臀围)、四肢维度(大腿围、小腿围、大臂围和头围)、四肢长度(腿长、壁长和肩宽)。
[0152] 示例性的,电子设备可以进一步基于3D的人体mesh模型读取得到的用户的体型参数,从而可以对用户的体型参数进行分析,得到用户的体型分析结果,以可以将体型分析结果通过显示界面展示给用户。其中,体型分析结果可以通过多种方式进行展示,例如体型分析结果可以包括但不限于:AI体型的加载(loading)形象、AI体型数据。另外,该体型分析结果可以包括基于用户的体型参数的直接结果、以及还可以包括基于用户的体型参数进行计算或解读得到的间接结果。可以理解,基于体型参数的直接结果可以作为AI体型数据展示给用户;间接结果例如可以包括但不限于:AI体型的loading形象、AI体型数据中除体型参数之外的其他体型数据、以及还可以包括AI体型的结果解读、对AI体型的改进计划。
[0153] 例如,图9为本申请实施例提供的一种体型分析结果的界面示意图。一种可能的场景中,在获取到体型分析结果之前,手机可以先根据用户性别参数显示包括参考AI体型的界面,例如图9中界面68a显示的为女性对应的参考AI体型、界面68b显示的为男性对应的参考AI体型;并且,手机还可以通过文本内容和/或语音指令提示用户手机正在进行体型的测量分析,如文本内容可显示为“测量你的体型”和“请稍等,我们正在分析照片和测量你的体型”。以用户性别参数为女性作为示例,手机在获取到体型分析结果之后,可以切换显示为图9中的界面69。在界面69中,从上到下可依次显示但不限于AI体型的loading形象、AI体型数据、结果解读以及改进计划等。
[0154] (1)AI体型的loading形象可以用于展示用户的体型情况,便于用户更加直观地感知到身体的体型状态。其中,AI体型的loading形象可以基于3D的人体mesh模型,对如界面68a所示的参考AI体型进行调整和渲染之后得到的。例如根据体型参数中的三围、四肢维度、四肢长度等参数对参考AI体型进行适应性调整,并对适应性调整后的参考AI体型进行色彩渲染等,以得到用户的AI体型。另外,界面69中的AI体型的loading形象。
[0155] 需要说明的是,本申请实施例不限制参考AI体型的显示方式、由参考AI体型到用户AI体型的切换显示方式、以及用户AI体型的显示方式。例如由参考AI体型到用户AI体型的切换显示方式可以为从上到下依次覆盖参考AI体型;又例如用户AI体型的显示方式还可以包括对用户AI体型进行360°旋转,以实现全方位展示等,具体实现时可对相应显示方式进行预设配置。另外,手机也可以响应于用户对AI体型的loading形象的滑动操作,对AI体型的loading形象进行旋转展示。
[0156] (2)AI体型数据可以用于展示用户更详细的体型情况,便于用户更准确地获取到身体的体型状态。一种可选的示例中,如图9中的界面69所示,AI体型数据可以包括体型参数,如腰围为81厘米、胸围为97厘米、臀围为95厘米、大臂围为30厘米、小臂围为20厘米以及大腿围为45厘米;AI体型数据还可以包括基于体型参数间接得到的其他体型数据,如身体形态为梨型、腰臀比为0.85。另外,手机间接得到其他体型数据可实施为基于体型参数,从预先存储的体型数据库中,查找该体型参数匹配的目标数据;以身体形态为例,手机根据用户的体型参数,从预先存储的体型数据库中查找到该用户的目标身体形态为界面69中示出的梨型。其中,预先存储的体型数据库中可以包括但不限于以下身体形态:梨型、匀称型、苹果型、辣椒型、三角型、沙漏型。示例性的,为便于直观地理解各身体形态类型,如图10所示,为本申请实施例提供的表1中介绍的各身体形态类型的示意图;从图10中可以看到,梨形身体形态的特点为臀围参数较大。
[0157] (3)结果解读可以用于展示对体型分析结果的评价,便于用户确定改进的方向。
[0158] 可选的,预先存储的体型数据库中还可以存储有针对各类型的体型数据的结果解读。例如图9中的界面69所示,梨型身体形态对应的结果解读可以为“梨型身材以外周皮下脂肪,尤其是臀部、大腿部的脂肪积聚为主。梨型身材的形成与雌激素大量分泌有关,有助于预防糖尿病,更易长寿。”;腰臀比对应的结果解读可以为“偏高”;腰围对应的结果解读可以为“偏高”;以及界面69中示出的其他类型的体型数据的结果解读,在此不再一一介绍。
[0159] 而且,用户还可以通过对体型数据所显示的卡片进行用户操作,以显示更详细的结果解读。以用户对显示腰臀比所显示的卡片进行用户操作为例,手机响应于在图9的界面69中对腰臀比卡片的用户操作,切换显示为界面691;其中,在界面691中显示关于腰臀比的更详细的结果解读,例如腰臀比的判断依据和数据解读等,具体结果解读可参阅界面691,在此不再详细说明。其中,对体型数据显示卡片的用户操作例如可以为点击操作、长按操作、双击操作、手势操作或语音指令等。另外,手机响应于在图9的界面69中对腰臀比卡片的用户操作,除了切换显示为界面691的显示方式,还可以通过弹窗、画中画等显示方式进行显示。
[0160] (4)改进计划可以用于更准确地确定用户的改进方向,便于用户更有效地进行身体管理。
[0161] 可以理解,预先存储的体型数据库中可以存储有针对各类型的体型数据的改进计划。例如,一种可能的改进计划如以下表1所示:
[0162] 表1基于体型数据的改进计划
[0163]
[0164]
[0165] 根据表1介绍的基于体型数据的改进计划,手机可以向用户展示对应的改进计划。示例性的,如图9中的界面69所示,手机可以显示具有改进计划标识的loading形象,例如在loading形象中包括:指示梨型身体形态的锻炼部位为腹部、臀部和腿部的标识、以及运动类型推荐为有运动为主的标识。
[0166] (5)其他数据。示例性的,在图9的界面69中,除了包括前述实施例中介绍的数据内容之外,还可以包括但不限于以下内容:用于切换不同日期的体型分析结果的滑动横条1010、用于对体型分析结果进行手动校准的控件1011、以及用于获取更详细的改进计划的控件1012。
[0167] 5‑1)滑动横条1010可用于在界面69中切换显示不同日期的体型分析结果。例如,界面69中当前显示的为9月24日的体型分析结果,手机响应于用户对滑动横条1010的滑动操作,还可以切换显示为如9月20日的体型分析结果。应理解的是,9月20日的体型分析结果相比于9月24日的体型分析结果,AI体型的loading、AI体型数据、结果解读以及改进计划等进行相应切换。
[0168] 可以理解,在手机中存储有相应日期的体型分析结果时,用户可以通过滑动横条1010进行切换显示;若未存储有相应日期的体型分析结果,则切换显示时例如可以通过弹窗、或显示界面来提示用户该日期无体型数据。可选的,为了便于用户直观地确定哪些日期存储有体型分析结果,可以对不同的日期标识通过不同的显示状态来指示用户;例如界面
69中,存储有体型分析结果的日期对应的标识的显示状态为加粗且具有下划线,未存储有体型分析结果的日期对应的标识的显示状态为未加粗且不具有下划线。
[0169] 5‑2)控件1011可用于对界面69中包括的体型数据中的体型参数进行手动校准。一种可能的场景中,图11为本申请实施例提供的对体型分析结果进行手动校准的界面示意图。在如图11包括的界面70中,用户可以手动进行胸围、腰围、臂围以及大臂围等体型参数的调整。手机响应于用户在界面70中的多个手动校准操作以及保存操作,更新体型分析结果,并显示为图11中的界面69a。其中,图11中的界面69a相比于图9中的界面69,用户AI体型的loading形象进行适应性调整,并且AI体型数据、结果解读和改进计划进行相应更新。这样,通过手机的自动测量以及用户的手动校准,可以更准确地实现AI体型测量分析。
[0170] 5‑3)控件1012可用于获取更详细的改进计划。其中,更详细的改进计划例如可以包括计划锻炼时间、计划锻炼周期、计划锻炼部位以及计划锻炼方式等,具体实现方式在后文中进行详细介绍,在此暂不赘述。
[0171] 此外,基于前述实施例中得到的体型分析结果,本申请实施例还可包括以下场景:
[0172] 场景一、体型分析结果的显示。示例性的,体型分析结果可以具有多种显示场景。可选的,可以在AI体型测量流程结束之后进行显示,例如前述实施例中界面61至界面69的显示场景。另一可选的,与体型测量入口的显示场景类似,体型分析结果也可以显示在运动健康APP的多个显示界面中,例如体重管理界面、首页界面、运动计划界面等。并且,体型分析结果还可与体型测量入口进行关联显示。例如在体型测量入口的相关界面中,可以包括历史体型分析结果,如界面69中示出的通过滑动横条1010进行显示。又例如,在体型分析结果的相关界面中,还可以包括体型测量入口,如以下实施例中将介绍到的图12中的界面12b中包括的“AI体型分析”控件1203。这样,通过在不同显示场景中对体型分析结果的展示,可以便于用户更加便携地查阅体型分析结果。
[0173] 基于手机存储有多次AI体型测量的体型分析结果的场景,本申请实施例中,还可以对多次体型分析结果实现不同显示方式下的显示。例如显示方式可以包括但不限于日视图显示、周月年视图显示。以下仍以在体重管理界面显示体型分析结果作为示例,可以包括以下几种显示方式:
[0174] 方式A、日视图显示。例如,图12为本申请实施例提供的显示体型分析结果的界面示意图。在体重管理界面的日视图中,除了包括当前日期相关的体重数据和身体成分数据,还可以包括当前日期相关的体型分析结果,如界面12a中的卡片1200所显示的内容;其中,身体成分数据可以为从智能体脂称中获取到的数据,可以包括身体评分、BMI、脂肪率、骨骼重量等数据。应理解的是,在界面12a中,为了避免影响查看体重管理界面中其他显示内容,体型分析结果可以显示为预设折叠状态,例如可以显示部分AI体型数据。并且,手机还可响应于展开体型分析结果的用户操作,显示为图12中的界面12b;其中,在界面12b中,显示体型分析结果的卡片可以为展开状态,且可以包括更详细的分析结果,体型分析结果包括的具体内容可参阅对界面69的介绍,在此不再赘述。示例性的,对展开体型分析结果的用户操作例如可以为在界面12a中对用于展示更多分析结果的控件1201的点击操作、长按操作或语音指令等。
[0175] 如界面12b所示,身体成分数据中还可能包括但不限于内脏脂肪等级、身体形态以及腰臀比等数据。示例性的,在身体成分数据与体型分析结果包括相同类型的数据的场景下,例如界面12中包括的身体形态和腰腿比,本申请实施例中,还可以对该相同类型的数据进行合并校准,以可以显示相同的数值。可以理解,本申请实施例中得到身体成分数据和体型分析结果的实现方式不同,因此若身体成分数据和体型分析结果包括相同类型的数据,数值结果可能存在偏差。在此场景下,针对第一预设类型的数据,可以将体型分析结果中包括的数值结果同步给身体成分数据;以及,针对第二预设类型的数据,可以将身体成分数据中包括的数值结果同步给体型分析结果。其中,第一预设类型的数据用于指示基于AI体型测量分析得到的数值结果的置信度大于基于智能体脂称获取的数值结果的数据,例如腰臀比、身体形态等体型相关的数据;第二预设类型的数据用于指示基于AI体型测量分析得到的数值结果的置信度小于或等于基于智能体脂称获取的数值结果的数据,例如脂肪率、BMI等身体成分相关的数据。另外,在界面12b中,手机还可以通过如控件1202等形式的提示信息,来指示用户该数据身体成分数据和体型分析结果合并校准的数据;例如,对界面12b中,身体成分数据和AI体型数据中都包括的身体形态和腰臀比显示控件1202,用户点击控件1202后,可以显示提示弹窗1203,提示弹窗中包括的内容例如可以为“此项数据为体型分析结果与身体成分数据合并校准之后的结果”。
[0176] 应理解的是,在图12示出的界面12a或界面12b中,还包括用于切换显示前一日的体重管理界面和显示后一日的体重管理界面的切换控件,手机可以响应于对切换控件的用户操作,切换显示其他日期的体重管理界面。其中,每个日期的体重管理界面中,显示相对应的日期获取到的身体成分数据和/或体型分析结果。也可以理解的是,针对任意一个日期,可能存储有身体成分数据、或存储有体型分析结果、或存储有身体成分数据和体型分析结果、或者还可能身体成分数据和体型分析结果都未存储,本申请对此不进行限定;其中,不同日期下的不同显示效果可参阅图12所示,本申请对此不再详细说明。
[0177] 方式B、周月年视图显示。例如,图13为本申请实施例提供的显示体型分析结果的另一界面示意图。与方式A中的不同之处在于,方式B中对各种数据的展示是根据时间窗口决定的;其中,时间窗口例如可以为一周、一个月或者一年。针对本申请实施例重点关注的体型分析结果,图13的界面13a和界面13b以时间窗口为周作为示例进行介绍,对体型分析结果的显示方式可参阅方式A中的介绍内容;不同之处在于,图13的界面13a和界面13b显示的体型分析结果的每项数据为当前周(如9月18日‑9月24日)的日均数据。例如,界面13b中显示的AI体型的loading形象可以为基于日均体型参数计算得到的,以及AI体型数据、结果解读等可以为基于日均数据结果显示的。
[0178] 此外,若时间窗口为月,则手机可以根据日均数据显示界面13a和界面13b、也可以根据周均数据显示界面13a和界面13b;若时间窗口为年,则手机可以根据日均数据显示界面13a和界面13b、也可以根据周均数据显示界面13a和界面13b、还可以根据月均数据显示界面13a和界面13b,本申请对此不进行限定。
[0179] 另外,本申请实施例中,在显示AI体型的loading形象时,还可以向用户显示滑动控件1300;其中,滑动控件1300可用户切换显示对应不同周的AI体型形象。这样,可以便于用户直观地查看体型变化情况。
[0180] 基于方式A或方式B介绍的对体型分析结果的显示方式,一种可能的场景中,用户还可以对显示AI体型数据的卡片进行用户操作,以显示更详细的体型数据。以图12介绍的采用日视图的显示方式作为示例,图14为本申请实施例提供的显示体型分析结果的又一界面示意图。示例性的,手机可以响应于对界面12a中包括的显示腰臀比的卡片的用户操作,显示界面12c;其中,界面12c中包括关于腰臀比的更详细数据,例如可以包括判断标准、结合历史体型分析结果确定的针对腰臀比数据的数据趋势、以及针对腰臀比数据得到的结果解读、改进计划、或者包括理想腰臀比等,本申请不限制显示的更详细数据的具体内容。另外,界面12c与前述实施例中介绍到的界面691可以为对体型分析结果的不同显示场景下的不同显示方式,界面12c与界面691可以进行互换;或者,在不同显示场景下可以显示为相同的界面,例如用户在界面69中点击显示腰臀比的卡片之后,也可以显示界面12c。
[0181] 另一种可能的场景中,与用户可以对显示AI体型数据的卡片进行用户操作的原理类似,本申请实施例中还可以在显示AI体型的loading形象显示体型参数标签,以显示针对某一项体型参数的预测AI体型。参阅图15,为本申请实施例提供的显示体型分析结构的另一界面示意图。在图15中的界面15a1中,在AI体型的loading形象的周围,可以包括用于显示体重数据的标签1511a,若手机检测到对标签1511a的用户操作,可以切换显示为界面15b1。其中,界面15b1与界面15a1不同之处在于显示的提示卡片1510不同,可以看到界面
15a1的提示卡片1510中用于指示当前界面显示的为当前AI体型,而界面15b1的提示卡片
1510中用于指示当前界面显示为预测AI体型,并且在界面15b1中,还可以包括滑动横条
1512,该滑动横条1512可用于选择不同的目标体重,以实现AI体型的loading形象根据选择的目标体重进行相应调整,从而可以显示为预测AI体型;另外,在滑动横条1512中,还可以通过黑点指示用户当前体重,以便于用户可以直观地确定当前体重与目标体重的对比。另一可选的,显示界面15b1的实现方式还可以为手机响应于对图15的界面15a2中提示卡片
1510包括的“预测体型”控件的用户操作。
[0182] 可以理解,在图15中的界面15b1中,在AI体型的loading形象的周围,还可以包括用于显示三围数据的标签,例如显示胸围数据的标签1511b,若手机检测到对标签1511b的用户操作,可以切换显示为界面15c。其中,界面15c与界面15b1不同之处在于显示的提示卡片1510不同,可以看到界面15c的提示卡片1510中用于指示当前界面显示的为预测三围,并且在界面15c中,也可以包括滑动横条1513,该滑动横条1513可用于选择不同的目标三围,以实现AI体型的loading形象的三围根据选择的目标三围进行相应调整,从而可以显示为预测三围;另外,在滑动横条1513中,还可以通过黑点指示用户当前三围,以便于用户可以直观地确定当前三围与目标三围的对比;并且,不同的三围可以对应不同的滑动横条1513,例如界面15c中显示的为胸围对应的滑动横条。另一可选的,显示界面15c的实现方式还可以为手机响应于对图15的界面15b2中提示卡片1510包括的“预测三围”控件的用户操作。
[0183] 其中,滑动横条1512或滑动横条1513的可滑动范围可以为预先配置的,可以为基于用户的基本身体参数得到的取值范围,例如最小体重和最大体重。
[0184] 场景二、体型测量分析与改进计划的结合。一种可能的场景中,图16为本申请实施例提供的一种体型测量分析方法的界面示意图。基于前述实施例中的介绍内容,本申请实施例得到的体型分析结果中可以包括改进计划。例如,图16中的界面1601为一种体型分析结果的展示界面,在界面1601中包括“获取改进计划”控件1012;其中,控件1012可用于确定更详细的改进计划。示例性的,手机响应于对控件1012的用户操作,显示界面1602;其中,界面1602中包括更详细的改进计划,例如可以包括但不限于以下计划中的一种或组合:“推荐你的减重部位”、“推荐每周运动天数”、“是否需要在计划中添加其他运动类课程”以及“设置训练日提醒时间”,具体计划内容可参阅界面1602所示内容。
[0185] 可选的,界面1602中显示的内容可以为手机根据体型分析结果和体型数据库生成的参考改进计划,手机还可以接收用户对任意一项改进计划的修改。以用户修改“推荐你的减重部位”的计划作为示例,手机响应于用户对显示“推荐你的减重部位”的卡片的用户操作,显示界面1603;其中,界面1603用于修改“推荐你的减重部位”计划,例如可以包括人体全身部位中,用户可以通过对某个部位的用户操作,以实现对该部位的关注或取消关注。例如,从界面1602中可以看出,自动生成的计划中关注腹部和背部,在界面1603中,用户可以点击“腹部”控件,以取消关注腹部。最后,手机响应于在界面1603上用于确认修改计划的用户操作之后,显示界面1604;其中,界面1604为最终生成的用户体型改进计划,具体改进计划可参阅界面1604所示,不再赘述。可选的,在界面1604中除了可以展示具体改进计划之外,还可以显示用于指示预测体型分析结果的内容,例如,可以包括当前AI体型的loading形象和预测AI体型的loading形象的对比、预测AI体型数据以及预测结果等内容。
[0186] 此外,本申请实施例中,除了可以根据如界面1603中的减重部位生成改进计划之后,还可以通过其他因素或结合其他因素生成改进计划,其他因素例如可以为运动类型(包括但不限于减脂、塑形和增肌)。
[0187] 另一种可能的场景中,图17为本申请实施例提供的一种体型测量分析方法的界面示意图。本申请提供的方法还可应用于协助确定或调整改进计划的应用场景中。例如,图17中示出的界面1701为用户用于生成改进计划的设置界面,在界面1701中可以包括“直接生成”控件1711和“AI体型分析”控件1712。其中,控件1711用于指示可以基于界面1701的设置直接生成改进计划,控件1712用于指示在生成改进计划的场景中,可以结合界面1701的设置以及AI体型测量分析的结果,得到改进计划。可以理解,通过结合AI体型测量分析,可以提升生成改进计划的准确性。
[0188] 示例性的,手机响应于对控件1712的用户操作,可以显示用于启动AI体型测量分析的流程的界面,如前述实施例中介绍到的界面62,通过界面62至界面69的AI体型测量分析,可以得到用于显示体型分析结果的界面1601。可以理解,手机响应于在界面1601上对控件1012的用户操作,可以生成改进计划,或者若手机中存储有历史改进计划,可以变更改进计划。其中,生成改进计划的实现过程可参阅图16介绍的内容,在此不再赘述。
[0189] 场景三、设置目标体型。一种可能的场景中,图18为本申请实施例提供的一种体型测量分析方法的界面示意图。如图18中的界面1801所示,在用户通过体重管理界面设置目标体重的场景下,手机响应于对界面1801中包括的“设置目标”控件1810的用户操作,显示界面1802;其中,界面1802用于指示目标体重的设置界面,例如设置界面可以包括但不限于以下内容:体重管理类型(如减重、增重和保持体重)、目标体重数值、预计完成日期。然后,手机响应于在界面1802中用于指示设置完成的用户操作,显示界面1803;其中,界面1803可用于展示根据设置的目标体重生成的体重管理进展,还可以包括用于触发进行AI体型测量分析的卡片610。手机响应于对卡片610的用户操作,可以执行AI体型测量分析流程,流程可参阅前述实施例中介绍的界面62至界面67c所示的内容,在此不再赘述。在此场景下,手机响应于侧面照采集完成的事件,继续显示界面1804;其中,界面1804与前文中界面69的不同之处在于,在目标体重管理的场景下,可以显示当前AI体型的loading形象与预测AI体型的loading形象的对比,以及可以显示为预测AI体型数据、预测结果解读以及预测改进计划。例如,在界面1802中,设置的预计完成日期为10月31日,因此在界面1804中可以包括10月31日的预测AI体型的loading形象、预测AI体型数据、预测结果解读以及预测改进计划。
[0190] 另一种可能的场景中,图19为本申请实施例提供的一种体型测量分析方法的另一界面示意图。基于图18所示场景介绍的设置目标体重的场景,该场景中还可以实现对目标体重的管理。如图19中的界面1901所示,手机可以响应于对界面1901中包括的“管理目标”控件1910的用户操作,显示界面1902。其中,界面1902用于指示根据目标体重得到的体重管理进展,例如可以把包括但不限于目标时长的进度、累计减重的进度、体重数据的曲线图以及当前AI体型与预测AI体型的对比等。可以理解,不同日期查看体重管理进展,可以看到不同的进度,例如,如界面1903示出的为日期为10月15日的体重管理进展,界面1903相比于界面1902,目标时长、累计减重等进度数据具有相应的更新,以及AI体型的对比可以为手机中存储的最新AI体型与预测AI体型的对比,比如最新AI体型可以为10月15日测量得到的AI体型。因此,通过AI体型的进展跟踪可视化,可以便于用户更加直观地查看体型的变化,从而可以及时地调整当前目标或者设置新目标。
[0191] 此外,本申请实施例中,参照设置目标体重的场景,还可以设置目标体型参数等,例如可以设置目标腰围、目标胸围、目标臀围等。
[0192] 可以理解,上述介绍的各个场景还可以进行相互结合,本申请实施时并不限定于以上各场景。
[0193] 通过前述实施例中各场景介绍的内容,基于本申请提供的方法可以提高体型测量的准确度,因此可以生成更精准的体型分析结果,从而可以更贴合用户真实的体型情况。
[0194] 为便于理解,图20为本申请实施例提供的体型测量分析方法的流程示意图。其是对上述图6至图19所示具体实施例的总结,下文介绍中结合用户界面对本申请实施例的一种可能的交互流程进行说明。
[0195] S2001、手机检测到用户发起体型测量的操作指令。
[0196] S2002、手机确定是否存有预设期限范围内的用户基本身体参数。若确定不存在,执行S2003’;若确定存在,继续执行S2003。其中,预设期限范围可以为默认配置的、或可以是用户手动设置的,例如可以为30天。示例性的,用户基本身体参数例如可以包括但不限于:身高参数、体重参数等。
[0197] S2003’、手机引导用户输入各项身体参数,然后执行S2003。
[0198] S2003、手机获取到用户的基本身体参数。
[0199] S2004、手机向用户显示体型测量引导界面,该步骤为可选步骤。
[0200] S2005、手机确定音量是否大于或等于(≥)预设音量阈值,若是执行S2006,若否执行S2006’。
[0201] S2006’、手机进行音量调节到大于等于预设音量阈值,然后执行S2006。
[0202] S2006、手机进行设备校准。
[0203] S2007、手机提示进行用户进行身体图像的扫描,得到用户的多张身体图像。该步骤的具体实现过程可以参阅图21所示,图21为本申请实施例提供的一种体型测量的流程示意图,手机进行身体图像的扫描过程可以包括以下流程:
[0204] S20071、手机检测到满足预设测量条件,进入拍摄。其中,预设测量条件可以为基于S2006确定设备校准到符合放置条件的设备姿态,则可以自动跳转进入拍摄。
[0205] S20072、手机检测是否符合正面照拍摄要求。若检测到不符合,执行S20073’;若检测到符合,继续执行S20073。
[0206] S20073’、手机判断用户动作偏差,进行校准引导,然后返回执行S20072,以确定引导用户进行站立调整之后是否可以符合正面照拍摄要求。
[0207] S20073、手机检测是否符合侧面照拍摄要求。若检测到不符合,执行S20074’;若检测到符合,继续执行S20074。
[0208] S20074’、手机判断用户动作偏差,进行校准引导,然后返回执行S20073,以确定引导用户进行站立调整之后是否可以符合侧面照拍摄要求。
[0209] S20074、手机确定识别成功,得到正面照和侧面照。可以理解,手机获取到正面照和侧面照之后,可以继续进行体型分析阶段的处理,以得到用户的体型分析结果。
[0210] 继续参照图20的S2008、手机可根据基本身体参数和多张身体图像,生成人体mesh模型。如上述图8所示具体实施例的内容,手机可以根据多张身体图像,一方面通过人像分割网络模型801得到轮廓数据,另一方面通过人体骨骼点检测模型802得到2D骨骼点数据;然后手机可以将基本身体参数、轮廓数据和2D骨骼点数据作为体型参数深度网络模型803的输入,得到体型参数的权重因子;再然后手机可以将体型参数的权重因子输入到SMPL人体模型804中,从而可以输出人体mesh模型。
[0211] S2009、手机基于人体mesh模型,输出体型分析结果。其中,体型分析结果的获取以及显示方式可参阅如上述图9至图19所示的各场景的介绍内容。
[0212] 示例性的,手机输出体型分析结果的一种可能的实现过程可参阅图22所示,图22为本申请实施例提供的得到体型分析结果的流程示意图。该流程可以包括以下步骤:
[0213] S2201、手机计算生成本次AI体型测量分析的体型分析结果。
[0214] S2202、手机确定本地是否有历史体型测量记录。若确定没有,执行S2203a;若确定有,则继续执行S2203b。
[0215] S2203a、手机生成本次体型分析结果。在此场景下,手机可以显示本次体型测量得到的体型分析结果,例如,假设本次体型测量为9月24日进行的,在界面69中可以显示9月24日得到的体型分析结果。
[0216] S2203b、手机生成本次、及历史体型分析结果。相比于S2203a中介绍的场景,该场景下,手机不仅可以显示本次体型测量得到的体型分析结果,还可以显示历史每次体型测量得到的体型分析结果,例如图9中的界面69所示,用户可以通过滑动横条1010,切换显示每次体型测量得到的体型分析结果。
[0217] S2204、手机检测到手动校准操作。示例性的,手机校准操作可以为对界面69中包括的控件1011的用户操作,该用户操作例如可以为点击操作、长按操作、手势操作或者语音指令等。
[0218] S2205、手机响应于该手动校准操作,生成新的体型分析结果。示例性的,手机可根据用户手动输入的体型数据,适应性调整AI体型的loading形象、AI体型数据的显示等。
[0219] 另一示例性的,如图12示出的界面12b,手机得到体型分析结果之后,还可以与身体成分数据进行融合。参阅图23,为本申请实施例提供的显示体型分析结果的流程示意图,可以包括以下流程:
[0220] S2301、手机获取当前日期的体型分析结果。示例性的,手机在每次进行AI体型测量分析之后,可以存储体型分析结果。可选的,手机响应于用户查看体重管理界面的用户操作,可以调用存储的体型分析结果,以便于进行显示。
[0221] S2302、手机确定当前日期是否有身体成分数据。若确定没有,执行S2303a;若确定有,则继续执行S2303b。
[0222] S2303a、手机呈现本次体型分析结果。在此场景下,手机可以对当前日期的体型分析结果进行直接显示。
[0223] S2303b、手机合并校准身体成分数据和体型分析结果,呈现校准之后的身体成分数据和体型分析结果。具体实施时手机可根据数据类型等信息确定校准方式。例如,对于脂肪率、BMI等身体成分相关的数据,手机可以根据身体成分数据对体型分析结果进行校准。又例如,对于腰臀比、身体形态等体型相关的数据,手机也可以根据体型分析结果对身体成分数据进行校准。
[0224] 通过前述实施例中介绍的内容,本申请实施例提供的方法,基于测量的身体图像数据和获取的基本身体参数,采用模型的处理,可以得到人体mesh模型,从而可以分析得到用户体型数据,生成体型分析结果。因此,该方法可以降低用户进行体型测量分析的操作复杂度,而且通过模型处理可以提高体型测量的准确度。
[0225] 基于以上实施例,本申请还提供一种电子设备,所述电子设备包括多个功能模块;所述多个功能模块相互作用,实现本申请实施例所描述的各方法中电子设备所执行的功能。所述多个功能模块可以基于软件、硬件或软件和硬件的结合实现,且所述多个功能模块可以基于具体实现进行任意组合或分割。如执行图20所示实施例中电子设备执行的步骤
2001至2009。或如执行图21所示实施例中电子设备执行的步骤20071至20074。又如执行图
22所示实施例中电子设备执行的步骤2201至2005。又或如执行图23所示实施例中电子设备执行的步骤2301至2303a、或步骤2301至2303b。
[0226] 基于以上实施例,本申请还提供一种电子设备,该电子设备包括至少一个处理器和至少一个存储器,所述至少一个存储器中存储计算机程序指令,所述电子设备运行时,所述至少一个处理器执行本申请实施例所描述的各方法中电子设备所执行的功能。如执行图20所示实施例中电子设备执行的步骤2001至2009。或如执行图21所示实施例中电子设备执行的步骤20071至20074。又如执行图22所示实施例中电子设备执行的步骤2201至2005。又或如执行图23所示实施例中电子设备执行的步骤2301至2303a、或步骤2301至2303b。
[0227] 基于以上实施例,本申请还提供一种计算机程序产品,计算机程序产品包括:计算机程序(也可以称为代码,或指令),当计算机程序被运行时,使得本申请实施例所描述的各方法被执行。
[0228] 基于以上实施例,本申请还提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序(也可以称为代码,或指令),当这些代码或指令被计算机执行时,使得所述计算机执行本申请实施例所描述的各方法。
[0229] 基于以上实施例,本申请还提供了一种芯片,所述芯片用于读取存储器中存储的计算机程序,实现本申请实施例所描述的各方法。
[0230] 基于以上实施例,本申请提供了一种芯片系统,该芯片系统包括处理器,用于支持计算机装置实现本申请实施例所描述的各方法。在一种可能的设计中,所述芯片系统还包括存储器,所述存储器用于保存该计算机装置必要的程序和数据。该芯片系统,可以由芯片构成,也可以包含芯片和其他分立器件。本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD‑ROM、光学存储器等)上实施的计算机程序产品的形式。
[0231] 以上实施例中所用,根据上下文,术语“当…时”或“当…后”可以被解释为意思是“如果…”或“在…后”或“响应于确定…”或“响应于检测到…”。类似地,根据上下文,短语“在确定…时”或“如果检测到(所陈述的条件或事件)”可以被解释为意思是“如果确定…”或“响应于确定…”或“在检测到(所陈述的条件或事件)时”或“响应于检测到(所陈述的条件或事件)”。
[0232] 本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0233] 这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0234] 这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0235] 显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的保护范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
QQ群二维码
意见反馈