| 热词 | 关节 节律 算法 三维 测试 生物力学 实时 躯干 计算 卷积 | ||
| 专利类型 | 发明公开 | 法律事件 | 公开; 实质审查; 撤回; |
| 专利有效性 | 无效专利 | 当前状态 | 撤回 |
| 申请号 | CN202310514598.5 | 申请日 | 2023-05-09 |
| 公开(公告)号 | CN116524597A | 公开(公告)日 | 2023-08-01 |
| 申请人 | 陈翔; | 申请人类型 | 其他 |
| 发明人 | 陈翔; | 第一发明人 | 陈翔 |
| 权利人 | 陈翔 | 权利人类型 | 其他 |
| 当前权利人 | 陈翔 | 当前权利人类型 | 其他 |
| 省份 | 当前专利权人所在省份：陕西省 | 城市 | 当前专利权人所在城市：陕西省西安市 |
| 具体地址 | 当前专利权人所在详细地址：陕西省西安市雁塔区长安西路1985号90栋2单元9层1号 | 邮编 | 当前专利权人邮编：710000 |
| 主IPC国际分类 | G06V40/20 | 所有IPC国际分类 | G06V40/20 ; G06V20/64 ; G06V20/70 ; G06V20/40 ; G06V10/82 ; G06N3/0464 |
| 专利引用数量 | 0 | 专利被引用数量 | 0 |
| 专利权利要求数量 | 10 | 专利文献类型 | A |
| 专利代理机构 | 安徽爱信德专利代理事务所 | 专利代理人 | 刘煜; |
| 摘要 | 本 发明 公开了一种基于 人工智能 的单相机实时三维 动作捕捉 算法 ，本发明提出的算法实现了对特定物体和人体的三维运动进行实时捕捉；与 现有技术 和算法相比，本发明提出的基于人工智能中的深度 卷积神经网络 算法具备现有最先进移动端人体动作捕捉方法的精准度和效率；与现阶段常用的三维动作捕捉方法中使用的专业、昂贵的 硬件 设施相比，本 申请 提出的算法只需要单个移动端相机即可实现实时三维动作捕捉；本发明还提出了基于人工智能中 机器学习 的算法，实现了在捕捉、分析、积累数据的同时更新现有的深度卷积神经网络算法，从而实现了算法本身在应用中的持续自优化和自更新，解决了开发和更新算法的难点。 | ||
| 权利要求 | 1.一种基于人工智能的单相机实时三维动作捕捉算法，其特征在于：包括实施该方法所需的连接和驱动移动端视频录制设备的计算机端软件和移动端APP； |
||
| 说明书全文 | 一种基于人工智能的单相机实时三维动作捕捉算法技术领域背景技术[0002] 物体和人体运动捕捉是人工智能研究领域的一个重要方向。精准三维动作捕捉一般采用多个(3个以上)专业红外线摄像机，或多个(6个以上)惯性传感器，或至少2个RGB‑D深度摄像机。为了准确的捕捉特定物体和人体的运动数据，上述方法所需硬件设施昂贵，且对数据采集现场具有较高要求，如采集现场空间大小、是否具备给电设施、以及天气及其他环境因素。同时，应用红外摄像机和惯性传感器的动作捕捉方法另还需要在被测试物体上设置标记物或传感器，需要被测试人穿戴设置有标记物或传感器的特制服饰。相比之下，现有的移动端动作捕捉方法(即使用手机或便携式摄像机)在只应用一个相机的情况下只能实时捕捉特定物体或人体在二维平面中的运动。 [0003] 针对现有技术的缺陷，本发明提出了一种基于人工智能算法的、使用移动端设备的(手机或便携式摄像机)、且受环境影响较小的针对特定物体(如健身器材中的杠铃、哑铃等)和人体的实时的三维动作捕捉方法，另通过机器学习算法，以实现对现有动作捕捉算法的持续自更新和自优化。 发明内容[0004] 本发明的目的在于提供一种基于人工智能的单相机实时三维动作捕捉算法，以解决上述背景技术中提出的问题。 [0006] S1：所述计算机端软件或移动端APP利用本地计算资源，在拍摄和录制视频的同时对特定物体进行实时识别和标记，并实时记录和存储特定物体在二维视频图像中的运动轨迹； [0007] S2：所述计算机端软件或移动端APP利用本地计算资源对单个被测试人的躯干和主要关节进行实时识别和标记，并实时记录和存储被测试人的躯干和主要关节在二维视频图像中的运动轨迹； [0008] S3：所述计算机端软件或移动端APP在完成录制、存储、识别、标记运动视频后，生成完成标记的视频； [0010] 优选的，利用人工智能的算法平台在本地计算机端和移动端上整合和处理录制的运动原视频、完成标记的视频、被测试物的二维运动轨迹数据；所述算法平台集成人工智能计算机视觉算法、深度卷积神经网络算法，融合宏观刚体力学原理，将被测试物的二维运动轨迹数据转换为三维运动轨迹数据。 [0011] 优选的，所述算法平台在计算机软件和移动端APP中集成，根据所标记的被测试物体在每帧视频中的位置、形状、大小，并结合每帧视频所拍摄的空间的大小、相机与被测试物体之间的实际距离，应用深度视觉卷积算法，实时预测被测试物体在录制的每帧视频中在三维空间中的位置；所述算法平台实时整合被测试物体在每帧视频中的三维位置，实时计算得出被测试物体在所有前序帧和当前帧中的三维运动轨迹，同时将被测试物的三维运动轨迹实时储存于本地计算机和手机端。 [0012] 优选的，在本地计算机端和移动端上整合和处理录制的运动原视频、完成标记的视频、被测试人人体躯干和四肢关节的二维运动轨迹数据；所述算法平台集成本发明研发的人工智能计算机视觉算法、深度卷积神经网络算法，融合宏观刚体力学原理、人体生物力学中人体关节结构数据，将被测试人人体躯干和四肢关节的二维运动轨迹数据转换为三维运动轨迹数据； [0013] 所述算法平台根据所标记的被测试人的躯干和四肢关节在每帧视频中的位置、形状，并结合每帧视频所拍摄的空间的大小、相机与被测试人之间的实际距离，应用深度视觉卷积算法，实时预测被测试人的躯干和四肢关节在录制的每帧视频中在三维空间中的位置。 [0014] 优选的，融合人体生物力学中三维关节节律算法，利用本地计算机端和移动端的计算资源，利用被测试人的躯干在录制的每帧视频中在三维空间中的位置，实时计算被测试人脊柱中主要锥体分段的三维关节节律； [0015] 所述算法平台利用被测试人躯干的三维位移、形状数据，实时计算被测试人在实时录制视频中的三维脊柱曲度； [0016] 所述算法平台依据人体生物力学中脊柱中主要锥体分段之间节律的相互关联以及协同特性，融合深度卷积神经网络算法，利用被测试人在实时录制视频中的三维脊柱曲度数据，实时计算被测试人颈椎、胸椎、腰椎的在实时录制视频中的三维关节节律。 [0017] 优选的，利用本地计算机端和移动端的计算资源，利用被测试人的躯干和下肢在录制的每帧视频中在三维空间中的位置，实时计算被测试人髋关节的三维关节节律、膝关节的屈伸节律； [0018] 所述算法平台依据人体生物力学中髋关节与膝关节节律的相互关联、协同特性，融合了深度卷积神经网络算法,应用所述髋关节三维关节节律和膝关节屈伸节律数据，实时计算膝关节的内外旋节律。 [0019] 优选的，利用本地计算机端和移动端的计算资源，利用被测试人的躯干和下肢在录制的每帧视频中在三维空间中的位置，实时计算被测试人的腰骶关节的三维关节节律； [0020] 所述算法平台依据人体生物力学中腰椎与髋关节节律的相互关联、协同特性，融合了深度卷积神经网络算法，应用所述腰椎和髋关节节律数据，实时计算腰骶关节的三维节律。 [0021] 优选的，利用本地计算机端和移动端的计算资源，利用被测试人的躯干和上肢在录制的每帧视频中在三维空间中的位置，实时计算被测试人肩关节的三维关节节律、肘关节的屈伸节律； [0022] 所述算法平台依据人体生物力学中肩关节与肘关节节律的相互关联、协同特性，融合了深度游卷积神经网络算法,应用所述肩关节三维关节节律和肘关节屈伸节律数据，实现了计算肘关节的内外旋节律。 [0023] 优选的，利用本地计算机端和移动端的计算资源，利用被测试人的躯干和上肢在录制的每帧视频中在三维空间中的位置，实时计算被测试人肩盂肱骨关节和肩胛骨的三维节律； [0024] 所述算法平台依据人体生物力学中肩关节中肱骨和肩胛骨，以及肩胛骨和胸椎的相互关联以及协同特性，融合了深度卷积神经网络算法,胸椎三维关节节律，肩关节三维关节节律，实时计算被测试人的肩盂肱骨关节和肩胛骨三维节律。 [0025] 优选的，利用对算法平台所得数据进行人工校准数据，实现算法平台的持续自优化和自更新；所述算法平台将所述现有算法平台所得结果与人工校准数据进行对比和误差分析，应用机器学习算法对现有算法平台的深度卷积神经网络算法进行优化，以减小现有深度卷积神经网络算法所得结果和人工校准结果之间的误差；所述算法平台应用深度机器学习算法的优化结果，对现有算法平台的深度卷积神经网络算法进行更新，从而实现深度卷积神经网络算法的持续更新。 [0026] 与现有技术相比，本发明的有益效果是：本发明提出的算法实现了对特定物体和人体的三维运动进行实时捕捉；与现有技术和算法相比，本发明提出的基于人工智能中的深度卷积神经网络算法具备现有最先进移动端人体动作捕捉方法的精准度和效率；与现阶段常用的三维动作捕捉方法中使用的专业、昂贵的硬件设施相比，本申请提出的算法只需要单个移动端相机即可实现实时三维动作捕捉。本发明还提出了基于人工智能中机器学习的算法，实现了在捕捉、分析、积累数据的同时更新现有的深度卷积神经网络算法，从而实现了算法本身在应用中的持续自优化和自更新，解决了开发和更新算法的难点。附图说明 [0027] 图1为本发明使用单个相机实现实时三维运动捕捉的算法平台流程图，和实现算法持续自优化和自更新的流程图。 具体实施方式[0028] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。 [0029] 请参阅图1，本发明提供一种技术方案：一种基于人工智能的单相机实时三维动作捕捉算法，在本实例中,该方法包括以下几个部分： [0030] 一、使用移动端相机，对特定被测试物和被测试人的正面和侧面的静态图像进行拍摄，以作为后续动作捕捉的校准图像。 [0031] 二、所拍摄的校准图像包含被测试物和被测试人的正面、侧面全貌。 [0032] 三、将步骤一、二中的移动端相机放置于特定被测试物和被测试人的侧前方或侧后方，与被测试物、被测试人的正面形成30°至60°夹角。 [0033] 四、使用前序步骤中的移动端相机，使用与前序步骤中相同的焦距，用前文所述的计算机端软件或移动端APP驱动，对被测试物、被测试人的运动进行拍摄和录制。 [0034] 五、前文所述的计算机端软件或移动端APP应用所集成的计算机视觉算法和深度卷积神经网络算法，在实时拍摄和录制的每帧视频图像中，对被测试物和被测试人的躯干和四肢关节进行实时识别，并对被测试物和被测试人的躯干和四肢关节在每帧视频图像中的形状和位置进行实时标记。 [0035] 六、所述的计算机端软件或移动端APP应用集成的计算机视觉算法、深度卷积神经网络算法、刚体力学算法，结合步骤一中所述的被测试物的正面、侧面的静态图像，和步骤五中所标记的被测试物在每帧二维视频图像中的形状和位置，应用深度视觉卷积算法，预测得出被测试物在三维空间中的位置。 [0036] 七、所述的计算机端软件或移动端APP实时整合所有前序帧中所记录的被测试物在三维空间中的位置，计算出被测试物在三维空间中的运动轨迹。 [0037] 八、所述的计算机端软件或移动端APP实时将被测试物在三维空间中的运动轨迹储存于本地计算机段或手机端。 [0038] 九、所述的计算机端软件或移动端APP应用集成的计算机视觉算法、深度卷积神经网络算法、刚体力学算法、人体生物力学中关节节律的算法，结合步骤一中所述的被测试人的正面、侧面的静态图像，和步骤五中所标记的被测试人的躯干和四肢关节在每帧二维视频图像中的形状和位置，应用深度视觉卷积算法，预测得出被测试人的躯干和四肢关节在三维空间中的位置。 [0039] 十、所述的计算机端软件或移动端APP应用集成的刚体力学算法、人体生物力学中关节节律的算法，实时整合被测试人躯干在三维空间中的位置，计算得出被测试人的三维脊柱曲度。 [0040] 十一、所述的计算机端软件或移动端APP应用集成的人体生物力学中关节节律的算法，结合人体脊柱主要椎体之间的协同关系，实时计算颈椎、胸椎、腰椎的三维关节节律。 [0041] 十二、所述的计算机端软件或移动端APP应用集成的刚体力学算法、人体生物力学中关节节律的算法，实时整合被测试人的躯干、下肢在三维空间中的位置，计算得出被测试人的髋关节、膝关节节律。 [0042] 十三、所述的计算机端软件或移动端APP应用集成的人体生物力学中关节节律的算法，依据人体生物力学中髋关节与膝关节节律的相互关联以及协同特性，以及膝关节的平面屈伸特性，并融合了深度卷积神经网络算法,应用所述髋关节和膝关节节律数据，实时计算膝关节的内外旋节律。 [0043] 十四、所述的计算机端软件或移动端APP应用集成的人体生物力学中关节节律的算法，依据人体生物力学中腰椎与髋关节节律的相互关联以及协同特性，并融合了深度卷积神经网络算法，应用所述腰椎和髋关节节律数据，实时计算腰骶关节(即骨盆)的三维节律。 [0044] 十五、所述的计算机端软件或移动端APP应用集成的刚体力学算法、人体生物力学中关节节律的算法，实时整合被测试人的躯干、上肢在三维空间中的位置，计算得出被测试人的肩关节、肘关节节律。 [0045] 十六、所述的计算机端软件或移动端APP应用集成的人体生物力学中关节节律的算法，依据肩胛骨和胸椎的相互关联以及协同特性，并融合了深度卷积神经网络算法,应用捕捉的肩关节三维节律数据，分别计算得出肩盂肱骨关节和肩胛骨三维节律。 [0046] 十七、所述的计算机端软件或移动端APP应用集成的人体生物力学中关节节律的算法，依据人体生物力学中肩关节与肘关节节律的相互关联以及协同特性，以及肘关节的但平面屈伸特性，并融合了深度卷积神经网络算法,应用所述肩盂肱骨关节和肘关节节律数据，实时计算肘关节的内外旋节律。 [0047] 十八、所述的计算机端软件或移动端APP实时将步骤五中所述的标记视频储存于本地计算机段或移动手机端。 [0048] 十九、所述的计算机端软件或移动端APP实时将步骤七、步骤八中被测试物体的三维位置和三维运动轨迹储存于本地计算机段或移动手机端。 [0049] 二十、所述的计算机端软件或移动端APP实时将步骤九中的被测试人的躯干和四肢关节的三维位置，以及步骤十一至十七所述的被测试人的颈椎、胸椎、左右肩胛骨、左右肩盂肱骨关节、左右肘关节、腰椎、腰骶关节(即骨盆)、左右髋关节、左右膝关节的三维关节节律储存于本地计算机段或移动手机端。 [0050] 二十一、所述的计算机端软件或移动端APP实时将原视频、及步骤十八至二十所述数据实时上传至本地局域网或互联网云端服务器。 [0051] 二十二、在计算机端、本地局域网或互联网云端服务器上，本发明对录制和处理的数据进行人工校准，即对噪音较高的数据组、不契合预期结果的数据组、不符合宏观力学规律的数据组进行人工核对，并对原始的标记数据进行人工校准。 [0052] 二十三、在计算机端、本地局域网或互联网云端服务器上，结合人工校准数据，将前述现有算法平台所得结果与人工校准数据进行对比和误差分析。 [0053] 二十四、结合误差分析结果，应用机器学习算法对现有算法平台的深度卷积神经网络算法进行优化，并使用优化后的深度卷积神经网络算法重新处理前述的噪音较高的数据组、不契合预期结果的数据组、不符合宏观力学规律的数据，并确定优化后的算法能够减小误差。 [0054] 二十五、在计算机端、本地局域网或互联网云端服务器上，使用深度机器学习算法的优化结果，更新深度卷积神经网络算法。 [0055] 二十六、在后续采集、处理被测试物和被测试人运动数据的同时，持续使用步骤二十一至二十五中所述机器学习算法，持续对现有的深度卷积神经网络算法进行优化和更新。 |
||
