一种三维人体动作重建系统、方法和动作训练系统
阅读：1022发布：2020-06-19
专利汇可以提供一种三维人体动作重建系统、方法和动作训练系统专利检索，专利查询，专利分析的服务。并且本 申请 公开了一种三维人体动作重建系统、方法和动作训练系统，通过校正后的基于 双目视觉 的双目相机捕获目标人体的动作图像，对于动作图像进行二维图像上的二维人体关 节点 识别，基于双目 立体视觉 和二维人体关节点重构出目标人体的三维关节点，从而重建出目标人体的三维动作，无需经过复杂的图形变换生成 深度图 ，可以避免深度变化过程带来的误差，不会出现把目标人体周围的物体误识别为目标人体的一部分，降低了应用场景的要求，解决了现有的深度摄像机人体三维动作识别方法，对应用场景要求较高，在复杂的应用场景下，识别准确率较低的技术问题。，下面是一种三维人体动作重建系统、方法和动作训练系统专利的具体信息内容。
1.一种三维人体动作重建系统，其特征在于，包括：
相机标定模块，用于根据采集到的标定点数据进行双目相机标定；
相机立体校正模块，用于对进行所述双目相机标定后的标定相机参数基于Bougue算法进行立体校正，使得所述双目相机在同一时刻可获得双目相机左右视角的平行共面图像；
动作采集模块，用于通过所述双目相机采集目标人体的动作图像序列，将所述动作图像序列发送至二维人体动作识别模块；
所述二维人体动作识别模块，用于识别所述动作图像序列中的人体关键肢体关节部位，提取所述动作图像序列的每一帧中属于同一目标人体的二维关节点，以便于重建所述目标人体的人体骨架，将每一帧的所述人体骨架信息存储并发送至三维动作重建模块；
所述三维动作重建模块，用于基于每一帧中的所述人体骨架信息，结合双目立体视觉还原所述目标人体在关节点在三维空间中的真实位置，重建出所述目标人体的三维动作。
2.根据权利要求1所述的三维人体动作重建系统，其特征在于，所述相机标定模块具体用于：
根据采集到的标定点数据进行双目相机标定预处理，基于所述预处理得到所述双目相机的内参数矩阵、外参数矩阵和立体校正参数，进行双目相机标定。
3.根据权利要求2所述的三维人体动作重建系统，其特征在于，所述相机立体校正模块具体用于：
根据所述双目相机拍摄的参考图像序列，对所述内参数矩阵和所述外参数矩阵基于Bougue算法进行立体校正，使得立体校正后的所述双目相机拍摄的参考图像序列的同一时刻参考图像平行共面。
4.根据权利要求1所述的三维人体动作重建系统，其特征在于，所述二维人体动作识别模块具体用于：
基于预置卷积神经网络对所述动作图像序列中的人体关键肢体关节部位进行识别，提取所述动作图像序列的每一帧中属于同一目标人体的25个关节点，以便于重建所述目标人体的人体骨架，将每一帧的所述人体骨架信息存储并发送至三维动作重建模块。
5.根据权利要求1所述的三维人体动作重建系统，其特征在于，所述三维动作重建模块具体用于：
基于预置反投影矩阵将每一帧中的所述人体骨架信息还原所述目标人体在关节点在三维空间中的真实位置，重建出所述目标人体的三维动作。
6.一种三维人体动作重建方法，其特征在于，包括：
基于采集到的标定点数据对双目相机进行相机标定，得到标定相机参数，所述标定相机参数包括内参数矩阵、外参数矩阵和立体校正参数；
基于Bougue算法和所述标定相机参数对所述双目相机进行立体校正，使得所述双目相机在同一时刻可获得双目相机左右视角的平行共面图像；
通过所述双目相机获取目标人体的动作图像序列；
识别所述动作图像序列中的人体关键肢体关节部位，提取所述动作图像序列的每一帧中属于同一目标人体的二维关节点，以便于重建所述目标人体的人体骨架，得到每一帧的所述人体骨架信息；
基于每一帧中的所述人体骨架信息，结合双目立体视觉还原所述目标人体在关节点在三维空间中的真实位置，重建出所述目标人体的三维动作。
7.一种动作训练系统，其特征在于，包括权利要求1-5中任一项所述的三维人体动作重建系统，还包括动作评估模块；
所述动作评估模块，用于将从所述三维动作重建模块获取到的目标人体的三维动作与预置标准动作进行差异比对，输出与所述差异比对的结果对应的动作评估结果。
8.根据权利要求7所述的动作训练系统，其特征在于，所述动作评估模块具体用于：
将从所述三维动作重建模块获取到的目标人体的三维动作与预置标准动作进行关节点组合角度相似性判断、关节点组合运动轨迹的平均曲率对比和人体关节点组合运动量对比；
获取所述关节点组合角度相似性判断的结果对应的第一动作评估结果、所述关节点组合运动轨迹的平均曲率对比的结果对应的第二动作评估结果和所述人体关节点组合运动量对比的结果对应的第三动作评估结果；
对所述第一动作评估结果、所述第二动作评估结果和所述第三动作评估结果进行加权处理，输出加权处理后得到的动作评估结果。
9.根据权利要求8所述的动作训练系统，其特征在于，还包括：音乐节奏契合度模块；
所述音乐节奏契合度模块，用于基于音频提取算法提取在播音乐的音乐特征，以节拍为单位，判断所述目标人体在连续帧的人体动作与预置标准动作在匹配节拍的系列动作的匹配程度，输出节拍匹配结果。
10.根据权利要求8所述的动作训练系统，其特征在于，还包括：健康守护模块；
所述健康守护模块，用于根据所述目标人体的用户信息，通过云平台算法计算用户的身体素质程度、合适舞种和当前训练运动量，根据计算结果个性化高质量推荐所述用户最适合的动作集，避免所述用户训练强度过弱或过高的动作，同时记录所述用户每次的训练时间与训练强度，通过语音播报和/或显示弹窗的方式提示用户进行休息。
一种三维人体动作重建系统、方法和动作训练系统
技术领域
[0001] 本申请涉及动作识别技术领域，特别涉及一种三维人体动作重建系统、方法和动作训练系统。
背景技术
[0003] 现有的三维人体动作识别方法是利用深度摄像机进行人体三维动作捕捉，再进行动作是否符合标准的评估，利用深度摄像机进行人体三维动作捕捉的方法，使用近红外光覆盖照射待测视图范围，并计算近红外光发射与发射的时间差或相位差，进行对待测目标各点距离的转换，以生成各点的深度信息，可以根据人的肤色和其他物体的位置以及北京和现有的人形数据库，将人的轮廓从深度图中抽取出，然后根据人的轮廓估计人的身体部位，然后根据每个部分进一步确定人体的关节点，从而构建动作者的三维动作姿态，再进行动作姿态比对。但是利用深度摄像机进行人体三维动作捕捉的方法，对应用场景的要求较高，在复杂的应用场景(如杂乱的房间、室外光线较强的场景)中，存在一定的机率会把人体周围的物体误识别为人体的部分，导致对人体三维动作的判断产生误差，降低识别准确率。发明内容
[0004] 本申请的目的是提供一种三维人体动作重建系统、方法和动作训练系统，用于解决现有的深度摄像机人体三维动作识别方法，对应用场景要求较高，在复杂的应用场景下，识别准确率较低的技术问题。
[0005] 本申请第一方面提供了一种三维人体动作重建系统，包括：
[0006] 相机标定模块，用于根据采集到的标定点数据进行双目相机标定；
[0008] 动作采集模块，用于通过所述双目相机采集目标人体的动作图像序列，将所述动作图像序列发送至二维人体动作识别模块；
[0009] 所述二维人体动作识别模块，用于识别所述动作图像序列中的人体关键肢体关节部位，提取所述动作图像序列的每一帧中属于同一目标人体的二维关节点，以便于重建所述目标人体的人体骨架，将每一帧的所述人体骨架信息存储并发送至三维动作重建模块；
[0010] 所述三维动作重建模块，用于基于每一帧中的所述人体骨架信息，结合双目立体视觉还原所述目标人体在关节点在三维空间中的真实位置，重建出所述目标人体的三维动作。
[0011] 可选的，所述相机标定模块具体用于：
[0012] 根据采集到的标定点数据进行双目相机标定预处理，基于所述预处理得到所述双目相机的内参数矩阵、外参数矩阵和立体校正参数，进行双目相机标定。
[0013] 可选的，所述相机立体校正模块具体用于：
[0014] 根据所述双目相机拍摄的参考图像序列，对所述内参数矩阵和所述外参数矩阵基于Bougue算法进行立体校正，使得立体校正后的所述双目相机拍摄的参考图像序列的同一时刻参考图像平行共面。
[0015] 可选的，所述二维人体动作识别模块具体用于：
[0016] 基于预置卷积神经网络对所述动作图像序列中的人体关键肢体关节部位进行识别，提取所述动作图像序列的每一帧中属于同一目标人体的25个关节点，以便于重建所述目标人体的人体骨架，将每一帧的所述人体骨架信息存储并发送至三维动作重建模块。
[0017] 可选的，所述三维动作重建模块具体用于：
[0018] 基于预置反投影矩阵将每一帧中的所述人体骨架信息还原所述目标人体在关节点在三维空间中的真实位置，重建出所述目标人体的三维动作。
[0019] 本申请第二方面还提供了一种三维人体动作重建方法，包括：
[0020] 基于采集到的标定点数据对双目相机进行相机标定，得到标定相机参数，所述标定相机参数包括内参数矩阵、外参数矩阵和立体校正参数；
[0021] 基于Bougue算法和所述标定相机参数对所述双目相机进行立体校正，使得所述双目相机在同一时刻可获得双目相机左右视角的平行共面图像；
[0022] 通过所述双目相机获取目标人体的动作图像序列；
[0023] 识别所述动作图像序列中的人体关键肢体关节部位，提取所述动作图像序列的每一帧中属于同一目标人体的二维关节点，以便于重建所述目标人体的人体骨架，得到每一帧的所述人体骨架信息；
[0024] 基于每一帧中的所述人体骨架信息，结合双目立体视觉还原所述目标人体在关节点在三维空间中的真实位置，重建出所述目标人体的三维动作。
[0025] 本申请第三方面提供了一种动作训练系统，包括第一方面所述的任一种三维人体动作重建系统，还包括动作评估模块；
[0026] 所述动作评估模块，用于将从所述三维动作重建模块获取到的目标人体的三维动作与预置标准动作进行差异比对，输出与所述差异比对的结果对应的动作评估结果。
[0027] 可选的，所述动作评估模块具体用于：
[0028] 将从所述三维动作重建模块获取到的目标人体的三维动作与预置标准动作进行关节点组合角度相似性判断、关节点组合运动轨迹的平均曲率对比和人体关节点组合运动量对比；
[0029] 获取所述关节点组合角度相似性判断的结果对应的第一动作评估结果、所述关节点组合运动轨迹的平均曲率对比的结果对应的第二动作评估结果和所述人体关节点组合运动量对比的结果对应的第三动作评估结果；
[0030] 对所述第一动作评估结果、所述第二动作评估结果和所述第三动作评估结果进行加权处理，输出加权处理后得到的动作评估结果。
[0031] 可选的，还包括：音乐节奏契合度模块；
[0032] 所述音乐节奏契合度模块，用于基于音频提取算法提取在播音乐的音乐特征，以节拍为单位，判断所述目标人体在连续帧的人体动作与预置标准动作在匹配节拍的系列动作的匹配程度，输出节拍匹配结果。
[0033] 可选的，还包括：健康守护模块；
[0034] 所述健康守护模块，用于根据所述目标人体的用户信息，通过云平台算法计算用户的身体素质程度、合适舞种和当前训练运动量，根据计算结果个性化高质量推荐所述用户最适合的动作集，避免所述用户训练强度过弱或过高的动作，同时记录所述用户每次的训练时间与训练强度，通过语音播报和/或显示弹窗的方式提示用户进行休息。
[0035] 本申请提供一种三维人体动作重建系统，包括：相机标定模块，用于根据采集到的标定点数据进行双目相机标定；相机立体校正模块，用于对进行双目相机标定后的标定相机参数基于Bougue算法进行立体校正，使得双目相机在同一时刻可获得双目相机左右视角的平行共面图像；动作采集模块，用于通过双目相机采集目标人体的动作图像序列，将动作图像序列发送至二维人体动作识别模块；二维人体动作识别模块，用于识别动作图像序列中的人体关键肢体关节部位，提取动作图像序列的每一帧中属于同一目标人体的二维关节点，以便于重建目标人体的人体骨架，将每一帧的人体骨架信息存储并发送至三维动作重建模块；三维动作重建模块，用于基于每一帧中的人体骨架信息，结合双目立体视觉还原目标人体在关节点在三维空间中的真实位置，重建出目标人体的三维动作。
[0036] 本申请提供的三维人体动作重建系统，通过校正后的基于双目视觉的双目相机捕获目标人体的动作图像，对于动作图像进行二维图像上的二维人体关节点识别，基于双目立体视觉和二维人体关节点重构出目标人体的三维关节点，从而重建出目标人体的三维动作，无需经过复杂的图形变换生成深度图，可以避免深度变化过程带来的误差，不会出现把目标人体周围的物体误识别为目标人体的一部分，降低了应用场景的要求，解决了现有的深度摄像机人体三维动作识别方法，对应用场景要求较高，在复杂的应用场景下，识别准确率较低的技术问题。附图说明
[0037] 为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0038] 图1为本申请实施例所提供的一种三维人体动作重建系统的一个实施例的结构示意图；
[0039] 图2为本申请实施例所提供的一种三维人体动作重建方法的一个实施例的流程示意图；
[0040] 图3为本申请实施例中提供的一种动作训练系统的结构示意图。
具体实施方式
[0041] 为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0042] 请参考图1，图1为本申请实施例所提供的一种三维人体动作重建系统的结构示意图，本申请实施例中提供的三维人体动作重建系统，包括：
[0043] 相机标定模块101，用于根据采集到的标定点数据进行双目相机标定。
[0044] 需要说明的是，三维人体动作重建系统中用于获取目标人体动作图像的双目相机需要进行标定处理，可由一台或多台双目相机进行标定点的采集，可以是棋盘格标定点，也可以是二维码标定点，此处不对标定点的标定方法进行限定。标定点采集只需要在双目相机第一次被使用时采集即可，后续无需再重复进行标定点采集，将采集到的标定点数据存储到存储模块，以便后续再次调用。根据标定点数据对双目相机进行标定后，可得到双目相机的标定相机参数。
[0045] 相机立体校正模块102，用于对进行双目相机标定后的标定相机参数基于Bougue算法进行立体校正，使得双目相机在同一时刻可获得双目相机左右视角的平行共面图像。
[0046] 需要说明的是，在双目相机标定得到相机的标定相机参数之后，通过Bouguet算法(opencv可调用)完成立体校正过程，计算左右相机的校正参数矩阵，去除畸变，使双目相机两平面完全对准，从而获取同一时刻双目相机左右视角的平行共面图像。
[0047] 动作采集模块103，用于通过双目相机采集目标人体的动作图像序列，将动作图像序列发送至二维人体动作识别模块104。
[0048] 需要说明的是，通过校正好的双目相机来采集目标人体的动作图像序列，将动作图像序列发送至二维人体动作识别模块104进行二维图像处理。
[0049] 二维人体动作识别模块104，用于识别动作图像序列中的人体关键肢体关节部位，提取动作图像序列的每一帧中属于同一目标人体的二维关节点，以便于重建目标人体的人体骨架，将每一帧的人体骨架信息存储并发送至三维动作重建模块105。
[0050] 需要说明的是，将动作图像序列每一帧中属于同一个人的关节点提取出来构成一个完整的人体骨架，并将每一帧的骨架信息用json格式的文件缓存至数据库，进一步提供给三维动作重建模块105使用。本申请实施例中二维人体动作识别模块104采用开源的多人二维姿态神经网络openpose来实现二维人体动作识别来重建目标人体的人体骨架。
[0051] 三维动作重建模块105，用于基于每一帧中的人体骨架信息，结合双目立体视觉还原目标人体在关节点在三维空间中的真实位置，重建出目标人体的三维动作。
[0052] 需要说明的是，将校正共面对齐后的双目相机左右视角的动作图像序列输入上述二维人体动作识别模块104得出以二维关节点信息表示的骨架信息，通过三维动作重建模块105将每一帧中的人体骨架信息，结合双目立体视觉方法，还原出目标人体在关节点在三维空间中的真实位置，重构出目标人体的三维关节点，从而根据三维关节点重建出目标人体的三维动作。
[0053] 本申请实施例中提供的三维人体动作重建系统，通过校正后的基于双目视觉的双目相机捕获目标人体的动作图像，对于动作图像进行二维图像上的二维人体关节点识别，基于双目立体视觉和二维人体关节点重构出目标人体的三维关节点，从而重建出目标人体的三维动作，无需经过复杂的图形变换生成深度图，可以避免深度变化过程带来的误差，不会出现把目标人体周围的物体误识别为目标人体的一部分，降低了应用场景的要求，解决了现有的深度摄像机人体三维动作识别方法，对应用场景要求较高，在复杂的应用场景下，识别准确率较低的技术问题。
[0054] 作为对本申请实施例中的三维人体动作重建系统的进一步改进，本申请实施例中的相机标定模块具体用于根据采集到的标定点数据进行双目相机标定预处理，基于所述预处理得到双目相机的内参数矩阵、外参数矩阵和立体校正参数，进行双目相机标定。
[0055] 需要说明的是，得到双目相机的内参数矩阵和外参数矩阵的方法可以说明如下：
[0057] 内参矩阵表示为：
[0058]
[0059] 基本原理：
[0060] s[μ，υ，1]T＝K[r1r2r3t][X，Y，0，1]T＝K[r1r2t][Y，Y，1]T
[0061] 其中，K为摄像机的内参数矩阵，[Y，Y，1]T为模板平面上点的齐次坐标，[μ，υ，1]T为模板平面上点投影到图像平面上对应点的齐次坐标，[r1r2r3]和t分别是摄像机坐标系相对于世界坐标系的旋转矩阵和平移向量.
[0062] 两个二维平面之间的变换关系(具体例子可为现实中的棋盘格标定板所在平面与相机成像平面的变换关系)，可由旋转矩阵r与平移向量t求解得出来，可由单应性矩阵H来描述：
[0063] H＝[h1h2h3]＝γK[r1r2t]
[0064]
[0065]
[0066] 根据旋转矩阵的性质，即r1Tr2＝0和|r1||＝||r2||＝1，每幅图像可以获得以下两个对内参数矩阵的基本约束：
[0067] h1TK-TK-1h2＝0，
[0068] h1TK-TK-1h1＝h2TK-TK-1h2。
[0069] 由于双目相机有4个未知内参数，所以当所拍摄得到的图像数目大于等于3时，就可以线性唯一求解出双目相机其中一个摄像头的内参矩阵K，可利用opencv的单目相机标定算法完成此步计算。
[0071] 对双目摄像机进行双目标定后，还需知道双目摄像机左右摄像头的相对位置，即求外参数
[0072] 外参数：摄像机位置参数，物体所处的现实世界坐标系对摄像机坐标系的刚性变换，可表达为旋转矩阵R和平移向量t的结合[R t]。
[0073] Pr为右摄像机坐标系中P的齐次坐标，Pw为世界坐标系中P的齐次坐标，可由下面算法算得：
[0074] P1＝R1Pw+T1，
[0075] Pr＝RrPw+Tr。
[0076] 上述两式可以通过下式相关可得：
[0077] P1＝RT(Pr-T)
[0078] 通过前三式可以求得旋转矩阵R与平移向量T：
[0079] R＝Rr(R1)T
[0080] T＝Tr-RT1
[0081] 到此可求出双目摄像机的内外参数，只要双目摄像机不遭到损坏，两个摄像头的相对位置不变，此参数无需再次标定。
[0082] 得到相机内外参数后，可通过opencv开源库计算出双目摄像机的反投影矩阵Q。
[0083] 至此，相机标定与用于立体校正的参数获取完毕，将数据存储至数据存储模块，以便后续使用。
[0084] 作为对本申请实施例中的三维人体动作重建系统的进一步改进，本申请实施例中的相机立体校正模块具体用于根据双目相机拍摄的参考图像序列，对内参数矩阵和所述外参数矩阵基于Bougue算法进行立体校正，使得立体校正后的所述双目相机拍摄的参考图像序列的同一时刻参考图像平行共面。
[0085] 作为对本申请实施例中的三维人体动作重建系统的进一步改进，本申请实施例中的二维人体动作识别模块具体用于：基于预置卷积神经网络对动作图像序列中的人体关键肢体关节部位进行识别，提取动作图像序列的每一帧中属于同一目标人体的25个关节点，以便于重建所述目标人体的人体骨架，将每一帧的人体骨架信息存储并发送至三维动作重建模块。
[0086] 需要说明的是，预置卷积神经网络采用非参数表征方法Part Affinity Fields来将二维图像中的身体关键肢体关节部位与对应个体匹配并重建人体关节骨架。主要思想是利用贪心算法自下而上的解析步骤从而达到高准确率和实时性，身体部位定位和关联是在两个分支上同时进行的。可以识别二维图像人体的25个关节点的位置，具有较高的精度和实时速率。
[0087] 采用预置卷积神经网络识别二维人体姿态的方法流程为：将像素规模为w×h的二维人体图像视频序列输入，对图像视频序列每一帧中出现的个体进行关键点定位，然后利用双分支多阶段体系结构的CNN神经网络模型进行预测，CNN第一个分支预测一组人体身体部分的置信map S和一组二维肢体矢量场J(每一个身体部位有对应的置信map，每一个人体肢体对应一个矢量),通过贪心推理解析置信map和PAF后输出图像视频序列每一帧上每个人的2D骨架关键点信息，一共有25个人体关节点。
[0088] 作为对本申请实施例的进一步改进，本申请实施例中提供的三维动作重建模块具体用于基于预置反投影矩阵将每一帧中的人体骨架信息还原目标人体在关节点在三维空间中的真实位置，重建出目标人体的三维动作。
[0089] 需要说明的是，将校正共面对齐后的双目相机左右视角的动作图像序列输入上述二维人体动作识别模块104,得出以25个人体关节同名点的像素坐标(x,y),并可通过实现已得到的参数计算同名点的视差d，之后可通过二维人体动作识别模块中得到的反投影矩阵Q与矩阵运算，即可把双目相机成像不同视角的二维人体关节同名点坐标转换成三维人体关节点位置。通过三维动作重建模块105将每一帧中的人体骨架信息还原目标人体在关节点在三维空间中的真实位置，重建出目标人体的三维动作。
[0090] 真实的某关节点的空间坐标位置为(X/W,Y/W,Z/W)。
[0091] 反投影矩阵Q为：
[0092]
[0093] 得到图像视频序列每一帧的人体关节点信息后输出至舞蹈评估模块，进行下一步的评估工作。
[0094] 为了便于理解，请参阅图2，本申请中还提供了一种三维人体动作重建方法的实施例，包括：
[0095] 步骤S1、基于采集到的标定点数据对双目相机进行相机标定，得到标定相机参数，标定相机参数包括内参数矩阵、外参数矩阵和立体校正参数。
[0096] 步骤S2、基于Bougue算法和标定相机参数对双目相机进行立体校正，使得双目相机在同一时刻可获得双目相机左右视角的平行共面图像。
[0097] 步骤S3、通过双目相机获取目标人体的动作图像序列。
[0098] 步骤S4、识别动作图像序列中的人体关键肢体关节部位，提取动作图像序列的每一帧中属于同一目标人体的二维关节点，以便于重建目标人体的人体骨架，得到每一帧的人体骨架信息。
[0099] 步骤S5、基于每一帧中的人体骨架信息，结合双目立体视觉还原目标人体在关节点在三维空间中的真实位置，重建出目标人体的三维动作。
[0100] 为了便于理解，请参阅图3，本申请中提供了一种动作训练系统的实施例，包括前述实施例中的相机标定模块101、相机立体校正模块102、动作采集模块103、二维人体动作识别模块104和三维动作重建模块105，还包括动作评估模块106；
[0101] 动作评估模块106，用于将从三维动作重建模块获取到的目标人体的三维动作与预置标准动作进行差异比对，输出与差异比对的结果对应的动作评估结果。
[0102] 具体的，动作评估模块106用于：
[0103] 将从三维动作重建模块获取到的目标人体的三维动作与预置标准动作进行关节点组合角度相似性判断、关节点组合运动轨迹的平均曲率对比和人体关节点组合运动量对比；
[0104] 获取关节点组合角度相似性判断的结果对应的第一动作评估结果、关节点组合运动轨迹的平均曲率对比的结果对应的第二动作评估结果和人体关节点组合运动量对比的结果对应的第三动作评估结果；
[0105] 对第一动作评估结果、所述第二动作评估结果和第三动作评估结果进行加权处理，输出加权处理后得到的动作评估结果。
[0106] 需要说明的是，在得到用户的人体三维舞蹈动作后，对其动作与标准动作进行差异评估，差异评估的依据分为以下几个部分：
[0107] (1)关节点组合角度相似性判断。角度相似性分析的评估方法通过使用欧几里德点积公式(A,B为三个关节点构成的两向量，即三个关节点组合成一组关节点组合)可以导出对应关节角度的余弦后再转化为角度θ，方便使用者更直观地看出差异
[0108]
[0109] 而一组连续动作中以一组关节点组合的平均差异 可以表示为：
[0110]
[0111] 与标准动作数据进行对比，一般对应关节角度在小于10°时可视为良好，大于10°小于20°可视为一般，有些许误差，超过20°判别为动作错误。
[0112] (2)关节点组合运动轨迹的平均曲率对比。人体动作是动态变化的运动，关节的整体移动程度会影响舞蹈的美观性。通过对人体各部位关节点组合运动轨迹的平均曲率进行计算并和标准动作关节点组合运动轨迹的平均曲率对比，判断运动轨迹的相似性。首先对关节点运动轨迹拟合成一条曲线，定义两帧之间关节点移动的空间距离为Δs，对应转过的角度为Δα， 表示各个关节点运动的平均曲率，而关节点组合平均曲率 可以表示为[0113]
[0114]
[0115] 通过判断 的大小可以比较两者对应关节点组合运动轨迹的相似度。
[0116] (3)人体关节点组合运动量对比。目标人体动作(比如舞蹈动作)是人体整体的运动，除了单关节情况评估外，对整个人体的摆动幅度进行判断是有必要的。由于各人体有所不同，为统一化标准，先采取用人体两肩的距离对人体各节点进行归一化处理，之后对归一化后的关节前后移动量相加得出人体在某一时刻的人体运动量后再与标准动作对比。
[0118] x*＝(x-xmin)/(xmax-xmin)
[0119] y*＝(y-ymin)/(ymax-ymin)
[0120] z*＝(z-zmin)/(zmax-zmin)
[0121] ②归一化后，人体在某一对应时间间隔计算间隔前后各关节点的归一化后相对坐标位移量的总和为Wp，以关节点构成的关节点组合的总位移量W作为该关节点组合的运动量
[0122]
[0123]
[0124] ③把人体在某一时刻的人体运动量后再与标准动作对比，通过ΔW判断两者差异的大小。
[0125] 将三部分得到的数值进行加权处理，但同时每个身体部位决定的质量水平取决于运动的难度。要设置适合质量等级结果的百分比范围，得出最后的舞蹈动作评分，并将上述三部分数据通过中央处理器在显示屏可视化一并提供给用户。
[0126] 作为进一步的改进，本申请实施例中的动作训练系统还包括：音乐节奏契合度模块107；
[0127] 音乐节奏契合度模块107，用于基于音频提取算法提取在播音乐的音乐特征，以节拍为单位，判断目标人体在连续帧的人体动作与预置标准动作在匹配节拍的系列动作的匹配程度，输出节拍匹配结果。
[0128] 需要说明的是，利用音频提取算法提取舞曲的音乐特征，以节拍为单位，判断用户在连续帧的动作是否与标准动作在该节拍的系列动作一致，从而判断是否合拍。如发生抢拍或慢拍情况下，系统将前半部分合拍评分记录后重置节拍对齐，以配合用户的实际动作，为上述动作评估模块106提供准确的动作数据对比。通过动作评估模块106和音乐节奏契合度模块107结合生成各节拍评分与训练报告直观地展示给用户。
[0129] 还可以设置数据存储模块109，在数据存储模块109内，用户可选择将评分与训练报告以及训练录制与对比视频数据保存至硬盘，或部分通过网络上传至云平台以供推荐算法匹配更合适用户个人的舞种与训练模式。同时数据存储模块109还存储着相机参数，用于人体三维动作重建。
[0130] 作为进一步的改进，本申请实施例中的动作训练系统还包括：健康守护模块108；
[0131] 健康守护模块108，用于根据目标人体的用户信息，通过云平台算法计算用户的身体素质程度、合适舞种和当前训练运动量，根据计算结果个性化高质量推荐用户最适合的动作集，避免用户训练强度过弱或过高的动作，同时记录用户每次的训练时间与训练强度，通过语音播报和/或显示弹窗的方式提示用户进行休息。
[0132] 需要说明的是，还可以设置模式切换模块110：模块提供舞蹈训练的模式选择。该模块下可选择三种功能，分别为学习模块、评分模式、特训模式。其中，学习模块、评分模式可以多人同时进行，特训模式默认为单人模式
[0133] 1)学习模式可从云平台选择下载由专业舞蹈人士预先录制完毕的标准舞蹈视频进行模仿学习，且标准视频会提供正面版本以及镜面反转版本可供用户选择显示至显示器，同时将系统会根据标准动作或音乐节奏的差异性，划分学习步骤并将重难点动作标识出来给用户注意以强化学习。
[0134] 2)评分模式则会调用动作评估模块106，包括对用户动作与音乐节拍契合度进行评估，通过文字特效的方式可视化直观显示给用户。
[0136] 本申请实施例中提供的动作训练系统，基于双目立体视觉原理，双目相机无需添加其余昂贵的传感器，只需经过相机标定后即可达到较高精度，基本接近Kinect深度摄像机的识别精度，实现成本较低，同时不用担心相机抖动、复杂应用场景的问题，用户可以根据需求动态改变摄像机的位置以获得更好的人体观测角度，基于视差三角测量的双目成像即使在杂乱的房间里也不会影响其精度，适应性较强。同时舞蹈学习者无需穿戴任何用于采集人体动作的传感设备或者特制服装，更方便舞蹈学习者舒展舞姿，减少负重。同时也可拓展适应多人舞蹈动作的识别。
[0137] 以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 基于Tengine学习框架的人脸识别方法及其应用 | 2020-05-08 | 261 |
| 融合北斗与多传感器的机场行李牵引车定位装置与方法 | 2020-05-08 | 136 |
| 一种基于同名标记点的双目视觉立体匹配方法及装置 | 2020-05-12 | 717 |
| 智能清扫车多层次立体避障控制方法及装置 | 2020-05-12 | 955 |
| 直线移动PTZ相机辅助双目PTZ视觉系统的主从跟踪方法 | 2020-05-13 | 398 |
| 一种用于虚拟定位的方法及设备 | 2020-05-13 | 532 |
| 一种基于双目视觉的桥梁监测方法及系统 | 2020-05-08 | 86 |
| 基于双目视觉和激光雷达融合的深度估计方法 | 2020-05-11 | 848 |
| 一种红外和可见光的融合方法 | 2020-05-08 | 874 |
| 用于生成信息的方法和装置 | 2020-05-11 | 249 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈