基于深度学习的实时动作捕捉和三维动画生成方法与装置
专利汇可以提供基于深度学习的实时动作捕捉和三维动画生成方法与装置专利检索，专利查询，专利分析的服务。并且本 发明 提供一种基于 深度学习 的实时 动作捕捉 和三维动画生成方法与装置，包括：接收人体动作 视频 帧 ；对人体动作视频帧进行插值处理；通过三维人体关键点检测模型进行检测，预测出人体的25个关键点的三维坐标；基于划分的层级进行动作分解，将关键点的三维坐标转换为骨骼绕关键点的旋转四元数；三维动画模型生成；使用旋转四元数驱动三维动画模型；对人体动作视频帧序列按照前述方式重复处理，以设定的帧率将动画图片连接起来，输出与人体动作同步的三维动画视频。本发明的方法只需可见光摄像头结合深度学习模型即可实时预测人体动作并驱动三维模型，成本低、实时性好。，下面是基于深度学习的实时动作捕捉和三维动画生成方法与装置专利的具体信息内容。
1.一种基于深度学习的实时动作捕捉和三维动画生成方法，其特征在于，包括：
接收通过可见光摄像装置获取的人体动作视频帧；
对人体动作视频帧进行插值处理；
通过三维人体关键点检测模型对插值处理后的视频帧进行检测，预测出人体的25个关键点的三维坐标；
根据预设规则将关键点进行前后层级划分，并基于层级进行人体动作分解，将关键点的三维坐标转换为骨骼绕关键点的旋转四元数；
三维动画模型生成，包括建立动画角色的骨骼蒙皮模型；
使用前述的旋转四元数驱动三维动画模型；
对人体动作视频帧序列按照前述方式重复处理，以设定的帧率将动画图片连接起来，输出与人体动作同步的三维动画视频。
2.根据权利要求1所述的基于深度学习的实时动作捕捉和三维动画生成方法，其特征在于，所述的人体动作视频帧的插值处理包括：
对获取的人体动作视频帧使用双线性插值算法，使其放缩到符合三维人体关键点检测模型的像素值。
3.根据权利要求1所述的基于深度学习的实时动作捕捉和三维动画生成方法，其特征在于，所述的三维人体关键点检测模型为基于深度卷积神经网络的三维人体关键点检测模型，其通过标记三维关键点坐标的人体图像数据集进行训练，其中：
人体图像数据集为[In(xn1，yn1，zn1，xn2，yn2，zn2，...，xn25，yn25，zn25)]，其中In为第n幅包含人体的图像；(xnm，ynm，znm)(m＝1，2，...，25)为第n幅图的人体第m个关键点的三维坐标；n＝1，2，...，N，N为总数据量；
通过 深度卷 积 神经网 络进 行训练 的过 程中 ，使 用的 损失函 数为 ：
其中 是指模型对某一批
次数据的第b个训练样本Ib预测的第m个关键点的三维坐标，B为批次大小。
4.根据权利要求1所述的基于深度学习的实时动作捕捉和三维动画生成方法，其特征在于，所述的前后层级划分的操作具体包括：
将25个人体关键点划分层级，其中从上到下表示关键点的前后层级；
其中25个人体关键点分别包括：
脊柱底，作为根关键点并据此划分的三个分支
第一分支：左髋、左膝、左踝与左脚；
第二分支：右髋、右膝、右踝与右脚；
第三分支：脊柱中、脊柱顶；
其第三分支具有以脊柱顶为根关键点划分的第一子分支、第二子分支以及第三子分支：
第一子分支：颈与头；
第二子分支：左肩、左肘、左腕、左手与左拇指，以及左指尖；
第三子分支：右肩、右肘、右腕、右手与右拇指，以及右指尖。
5.根据权利要求1或者4所述的基于深度学习的实时动作捕捉和三维动画生成方法，其特征在于，所述的人体动作分解的操作包括：
固定与各骨骼相连的前一层级关键点，骨骼依次绕xyz轴从骨骼基准状态各旋转某一角度，其中骨骼基准状态是指前一层级关键点到骨骼的方向为y轴方向。
6.根据权利要求5所述的基于深度学习的实时动作捕捉和三维动画生成方法，其特征在于，对于任意一骨骼B，骨骼B绕与之相连的前一层级关键点P旋转的角度由关键点P与后两个层级关键点P′和P″坐标处理得到，计算方式为：
骨骼B的前方向向量：
骨骼B的上方向向量：
骨骼B的右方向向量：
再求解骨骼旋转角，具体包括：
对三个方向向量进行归一化：
其中， 为归一化的前方向向量， 为归一化的上方向向量， 为归一化的右方向向量，则旋转矩阵为 将旋转矩阵转化为旋转四元数Q；
每个骨骼旋转是在前一层级骨骼旋转基础上进行的，设骨骼B前一层级骨骼绕其前一层级关键点的旋转四元数为Qbefore，则在前一层级骨骼旋转基础上，骨骼B绕关键点P的相对旋转四元数为 若某骨骼前一层级关键点为脊柱底根关键点，则相对
旋转四元数为绝对四元数。
7.根据权利要求5所述的基于深度学习的实时动作捕捉和三维动画生成方法，其特征在于，使用旋转四元数驱动三维动画模型的操作包括：
根据检测输出的人体的脊柱底根关键点确定动画模型的当前位置；
根据关键点计算得到的各骨骼的相对旋转四元数，从脊柱底根关键点开始，使用FK前向动力学方式驱动动画模型的各个骨骼绕关节旋转，再利用LBS线性混合蒙皮实现骨骼控制蒙皮变形，渲染姿势进行更新人体动画模型，得到一帧动画图像。
8.一种基于深度学习的实时动作捕捉和三维动画生成装置，其特征在于，包括：
用于接收通过可见光摄像装置获取的人体动作视频帧的模块；
用于对人体动作视频帧进行插值处理的模块；
用于通过三维人体关键点检测模型对插值处理后的视频帧进行检测，预测出人体的25个关键点的三维坐标的模块；
用于根据预设规则将关键点进行前后层级划分，并基于层级进行人体动作分解，将关键点的三维坐标转换为骨骼绕关键点的旋转四元数的模块；
用于三维动画模型生成的模块，包括建立动画角色的骨骼蒙皮模型；
用于使用前述的旋转四元数驱动三维动画模型的模块；
用于对人体动作视频帧序列按照前述方式重复处理，以设定的帧率将动画图片连接起来，输出与人体动作同步的三维动画视频的模块。
9.根据权利要求8所述的基于深度学习的实时动作捕捉和三维动画生成装置，其特征在于，所述关键点的三维坐标到骨骼绕关键点的旋转四元数的转换操作被设置成按照下述方式操作：
对于任意一骨骼B，骨骼B绕与之相连的前一层级关键点P旋转的角度由关键点P与后两个层级关键点P′和P″坐标处理得到，计算方式为：
骨骼B的前方向向量：
骨骼B的上方向向量：
骨骼B的右方向向量：
再求解骨骼旋转角，具体包括：
对三个方向向量进行归一化：
其中， 为归一化的前方向向量， 为归一化的上方向向量， 为归一化的右方向向量，则旋转矩阵为 将旋转矩阵转化为旋转四元数Q；
每个骨骼旋转是在前一层级骨骼旋转基础上进行的，设骨骼B前一层级骨骼绕其前一层级关键点的旋转四元数为Qbefore，则在前一层级骨骼旋转基础上，骨骼B绕关键点P的相对旋转四元数为 若某骨骼前一层级关键点为脊柱底根关键点，则相对
旋转四元数为绝对四元数。
10.根据权利要求9所述的基于深度学习的实时动作捕捉和三维动画生成方法，其特征在于，使用旋转四元数驱动三维动画模型的操作包括：
根据检测输出的人体的脊柱底根关键点确定动画模型的当前位置；
根据关键点计算得到的各骨骼的相对旋转四元数，从脊柱底根关键点开始，使用FK前向动力学方式驱动动画模型的各个骨骼绕关节旋转，再利用LBS线性混合蒙皮实现骨骼控制蒙皮变形，渲染姿势进行更新人体动画模型，得到一帧动画图像。
基于深度学习的实时动作捕捉和三维动画生成方法与装置
技术领域
背景技术
发明内容
次数据的第b个训练样本Ib预测的第m个关键点的三维坐标，B为批次大小。
附图说明
具体实施方式
次数据的第b个训练样本Ib预测的第m个关键点的三维坐标，B为批次大小。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种基于文本自编码器的视频内容描述方法 | 2020-05-08 | 173 |
| 家电自定义控制系统、方法、自定义动作处理系统、方法 | 2020-05-08 | 710 |
| 输送系统的持续质量监测 | 2020-05-08 | 154 |
| 一种滤筒式除尘器 | 2020-05-08 | 412 |
| 一种基于虚拟现实技术的医疗交互系统 | 2020-05-08 | 204 |
| 基于动捕和虚拟现实的变电站带电作业培训方法和系统 | 2020-05-11 | 795 |
| 一种实时表情捕捉方法和系统 | 2020-05-13 | 629 |
| 一种鱼类捕捉工具及应用该鱼类捕捉工具的捕鱼装置 | 2020-05-11 | 546 |
| 横编机的编织纱保持切断装置 | 2020-05-13 | 244 |
| 一种无标记光学面部表情捕捉摄像头装置 | 2020-05-08 | 626 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
