技术领域
[0001] 本
发明属于
动作捕捉技术领域，具体涉及一种土家织锦技艺的肢体动作与手部动作的采集和集成方法。
背景技术
[0002] 非物质文化遗产的数字化保护是当前研究的热点问题之一，许多学者纷纷从理论、技术等方面对该领域进行了研究。随着技术的更新和发展，数字化保护的手段逐渐从单一性向多样性、沉浸性演变。传统的数字化保护方法更多注重文化遗产的储存和传递，新技术的出现则增强了文化遗产的体验效果并实现了多种形式的再现，多维度展现文化遗产魅
力，使非物质文化遗产良性发展成为可能。
[0003] 土家织锦当地人称“西兰卡普”，2006年被列入国家首批非物质文化遗产名录，其纹样丰富性和艺术性在全国民族民间织锦中是极为罕见的。此外，土家织锦在技法上十分独特，讲究“通经断纬，背面挑织”，这种工艺珍稀罕见，具有很高的科学参考价值。然而，这一民族瑰宝的发展现状却不容乐观。主要原因体现在以下两个方面。首先是传播途径狭窄，这使得土家织锦的发展受到严重的阻碍。第二个原因是社会重视程度不足，从上世纪90年代，它作为一种地域性民族民间传统手工技艺，逐渐失去了其赖以生存的
土壤和环境，传承面临着巨大危机。因此，土家织锦文化迫切需要进行有效的保护和传承。进入21世纪，非物质文化遗产的传承和保护受到了社会各界和研究学者的关注，土家织锦的艺术价值也逐渐被人们所认识，土家织锦传统技艺分为十二道工序，分别为倒线、捻线、染线、牵线、装筘、滚线、捡综、翻篙、捡花、
捆杆上机、织布边、挑织花纹。对手工艺技能类非物质文化遗产进行动作捕捉数字化，主要是考虑到某些技能的传承人年事已高，这就很容易导致该项技艺的失传，文字、图片、视频的保存虽能一定程度上对该项技艺进行抢救性保存，但仍然不利于技艺的传承和再现，更不利于非物质文化遗产与多元文化的碰撞和融合，动作捕捉的方式主要是将技艺类文化中所涉及到的动作以动作数据的形式保存下来，丰富了技艺类非遗保护的教育方式和展示方式。可见，对土家织锦十二道工序中的肢体动作和手部动作进行采集和集成的研究具有很大的教育意义和价值。
[0004] 尽管如此，目前在动作捕捉领域对技艺类非物质文化遗产的研究较少，对动作捕捉的研究主要集中在舞蹈领域，注重肢体动作的捕捉，且不涉及到肢体与工具的绑定，而对同时涉及到肢体动作和手部动作的捕捉研究较少。
[0005] 对技艺类非物质文化遗产的动作捕捉技术的研究，重点在于对手部动作和肢体动作进行异步捕捉和同步合成，虽然目前对两者的研究较多，但将两者集成起来的却很少，原因在于运用Kinect进行肢体动作捕捉后生成的动作数据与运用Leap motion进行手部动作捕捉后生成的动作数据格式上不具有匹配性，不能实现对虚拟
角色模型的驱动。
发明内容
[0006] 为了实现肢体动作与手部动作异步捕捉和同步合成，本发明提出了一种基于无标记的动作捕捉技术在土家织锦技艺中的采集和集成方法。
[0007] 本发明所采用的技术方案是：一种土家织锦技艺肢体与手部动作采集和集成方法，其特征在于，包括以下步骤：
[0008] 步骤1：土家织锦肢体动作采集修正和转换；
[0009] 步骤2：土家织锦手部动作采集和转换；
[0010] 步骤3：肢体动作与手部动作集成与修正；
[0011] 步骤4：建立土家织锦传统技艺动作
数据库。
[0012] 本发明能够将手部动作数据与全身骨骼实现映射，生成具有全身骨骼信息的手部动作数据，再与肢体动作进行混合合成，运用校正
算法对生成动作进行校正修复，减少因遮挡、光照环境等因素造成的骨骼末端抖动的现象。
附图说明
[0013] 图1是本发明
实施例的肢体动作采集与修正方案
流程图；
[0014] 图2是本发明实施例的手部动作采集方案流程图；
[0015] 图3是本发明实施例的肢体动作与手部动作采集和集成流程图；
[0016] 图4是本发明实施例的手部动作数据转换技术路线。
[0017] 具体实施方法
[0018] 为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
[0019] 本发明通过剖析实际需求和实现技术，可知土家织锦技艺的肢体动作和手部动作的采集和集成分为肢体动作数据集构建、手部动作数据集构建、动作集成和修正三个阶段；
[0020] 请见图1、图2、图3和图4，本发明提供的一种土家织锦技艺肢体与手部动作采集和集成方法，包括以下步骤：
[0021] 步骤1：肢体动作采集；
[0022] 红外摄像头的基本原理是发送和接收红外线从而计算被捕物体与摄像头之间的距离，红外线容易受到外界自然光及遮挡物的干扰，因此在进行动作捕捉时需避免光线过强及遮挡较多的情况。本发明采用Kinect for Xbox v2.0作为肢体动作捕捉设备。
[0023] Kinect的垂直可视角度为43度，
水平可视范围为57度，人与Kinect的深度距离最佳范围是1.2米到4米。动作捕捉时人物活动的范围与摄像机的视场角有关，Kinect摄像头的视场角是一个以人体深度
位置为底的一个等腰三角形，Kinect底部安装有电动
马达可进行垂直方向的+28度到-28度的拍摄角度调整,按照人与Kinect深度距离为2米可估算出被捕捉人物活动的水平范围为4.5米。
[0024] 在进行正式的动作捕捉之前，进行背景图像剔除，将获取到的深度
图像序列进行边缘轮廓检测，得到深度数据中的人物图像，通过分析景深数据得到人物在场景中的方位。进而通过对
深度图像序列进行骨骼识别建立骨骼信息，追踪捕捉场景内人物骨骼的运动情况。具体步骤如下，并参照图1：
[0025] (1)场景搭建，
硬件测试。搭建空间不小于30平米的动作捕捉实验室，室内尽量空旷，光线温和，无强光照射。在实验室中放置Kinect for Xbox v2.0，使用Kinect适配器连接PC端，令表演人员面向Kinect站在距离Kinect深度距离为2米的地方，双手举至头顶。检查连接效果直至能够完全捕捉到表演人员的整个身体。
[0026] (2)背景抠除。背景抠除期间，要求场景内无移动物体，该背景为动作捕捉时的背景，即背景去除后不可调整Kinect的位置及
俯仰角。
[0027] (3)动作校准。在动作采集之前，
软件系统需通过
表演者以固定姿势进行校准。即令表演者T—pose静止站立5秒钟。该过程的目的是便于在深度
数据处理阶段追踪骨骼信息。
[0028] (4)动作采集。在动作采集阶段，通过IPI recorder可实时观察到所捕捉的深度图像的效果，应保证表演者的所有动作都能捕捉到，并非所有的动作都能符合前期的要求，如不符合则重新捕捉。
[0029] (5)动作数据转换。
[0030] 将采集得到的动作数据通过IPIMocap studio进行处理,最终导出为fbx文件格式，该格式可直接用于在3ds max驱动虚拟角色模型。
[0031] (6)动作修正。
[0032] 通过动作捕捉技术得到的动作数据虽减轻了动画制作的负担，但由于Kinect自身的局限性，所得到的动作数据具有一定抖动和误差，仍需要后期处理和修正，主要从两个方面进行：动作修正、关键
帧优化。动作修正主要针对的是某些动作平滑处理后出现的失真现象；通过Kinect进行动作捕捉的数据误差与肢体的形态有很大的关系，当身体部位之间发生重合的时候，会因相邻两帧之间数据值
波动较大而出现骨骼末端抖动的现象。因此需要对获取的数据流进行平滑处理。
[0033] 根据泰勒公式，如公式1所示，将连续函数近似表示为若干项的和，即利用一个点的值描述函数附近的取值。
[0034] 设f(x)在含有x0的开区间内具有直到(n+1)阶导数，则有：
[0035]
[0036] 即：
[0037] 其中， ξ为(x0，xn+1)间的某个值，x0为开区间(xn，xn+1)中任意一点，f(i)(x0)表示f(n+1)在x0处的i阶导数。
[0038] 公式1用于估算存在N阶多项式函数在x0点附近点的取值，这中间N是估计式展开时的项数。
[0039] 利用公式1进行骨骼关
节点数值的预测，即通过该时刻骨骼关节点的值来预测下一帧的值，公式系数的确定方法：
[0040] f(1)(n)＝xn-xn-1；
[0041] f(2)(n)＝f(1)(n)-f(1)(n-1)；
[0042] f(3)(n)＝f(2)(n)-f(2)(n-1)；
[0043] 故：
[0044] f(2)(n)＝xn-2xn-1+xn-2；
[0045] f(3)(n)＝xn-3xn-1+3xn-2-xn-3；
[0046] 因此下一帧的骨骼关键点的预测值为：
[0047]
[0048] 其中N为估算表达式的项数；
[0049] 利用公式2，将预测值与真实值进行权值计算，实现数据的平滑；
[0050]
[0051] 其中α为权值，范围在(0，1)之间。
[0052] 由于产生的fbx格式动作文件导入3ds max中后会生成密集的关键帧，不便于动作优化的进行，因此需要在3ds max中去除冗余的关键帧，简化关键帧分布情况。将处理好的动作文件保存为bip格式，导入动作数据集，方便动画制作时的调用和检索。
[0053] 步骤2：手部动作采集；
[0054] 土家织锦技艺动作集中于
手腕和
手指，肢体遮盖严重，指尖动作灵活多变，基于此，本发明采用Leap motion
控制器捕捉手部动作，该控制器可以超过每秒200帧的速度追踪手部追踪全部10只手指，
精度高达1/100毫米。
[0055] Leap motion检测的是从手肘到指尖部分的手势信息，其视觉信息的采集是通过2个摄像头和红外LED共同完成。两只摄像头从不同角度获取图像，但需要注意的是被捕捉部分必须在摄像头的“
视野”范围内，根据Leap motion官方介绍，Leap motion的红外摄像头在其上方60厘米范围内构建一个三维
感知空间，用于捕获感知空间内的手部运动信息。因此，捕捉时手部的活动应在该三维感知空间内，否则捕捉无效。具体实施的步骤如下，如图2：
[0056] (1)坐标调整。Leap motion
传感器使用右手笛卡尔
坐标系，坐标原点定义在传感器中心位置，X轴平行于传感器，指向屏幕右方；Y轴垂直于传感器向上；Z轴垂直于传感器，指向背离屏幕的方向，所用单位是毫米。3ds max坐标系中X轴方向与Leap motionX轴相同，Y轴方向垂直于平面，指向屏幕，Z轴方向与leap motion的Y轴方向相同。因此在进行动作捕捉前，需对坐标系进行统一。
[0057] (2)数据转换。生成手部动作文件只包含手部骨骼运动信息，不可直接导入到3ds max中驱动Biped骨骼，因此需对手部运动数据进行转化，使其包含全身骨骼信息。本发明运用Maya2014中的连接控制器将手部骨骼的旋转信息映射给全身骨骼对应关节的旋转属性，实现运动信息的转移，使导出的fbx格式文件包含全身骨骼信息且具有捕捉得到的手部运动数据。
[0058] 将fbx格式文件导入至3ds max中并将fbx格式文件中各关节信息映射给cs骨骼系统，最终以bip格式导出，导入手部动作数据集。
[0059] 步骤3：动作集成；
[0060] Leap Motion可视为Kinect设备完全量身定做的触控单元，所获得的手部动作数据和肢体动作数据均为fbx格式，仍然不能被3ds max的Biped骨骼系统所调用，本发明使用3ds max
插件技术将fbx格式的动作数据转换为bip格式的动作数据。
[0061] 3ds max提供运动混合器和运动流两个模式，支持对多个动作文件进行混合，但两者在实现的效果上略有不同，默认情况下，运动混合器创建的混合将影响Biped的全体部位，同时也支持同一Biped对象的手部和身体动作来自不同动作文件。利用轨迹组
过滤器选择不同轨迹组中需要生效的动作所在骨骼部位，实现手部动作数据和全身动作数据的自然合成。
[0062] 步骤4：肢体动作与手部动作合成的修正；
[0063] 动作混合器能够肢体动作数据和手部动作数据进行初步计算合成，实际会产生合成误差。本发明利用混合器当中平衡曲线或权重曲线建立动作数据关键帧，并清除冗余关键帧。并运用动作数据驱动事先建立好的土家织锦人物模型，形成土家织锦十二道工艺动作库。
[0064] 步骤5：土家织锦技艺动作数据库的建立；
[0065] 利用动作捕捉工具捕捉到的手部动作和肢体动作建立原始数据集，利用动作数据修正工具修正手部动作和肢体动作建立修正数据集，利用肢体动作和手部动作修正数据建立全身骨骼动作数据集，从而建立土家织锦传统技艺动作数据库。
[0066] 应当理解的是，本
说明书未详细阐述的部分均属于
现有技术。
[0067] 应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明
专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明
权利要求所保护的范围情况下，还可以做出替换或
变形，均落入本发明的保护范围之内，本发明的
请求保护范围应以所附权利要求为准。
