| 热词 | 摄像机 摄像 捕捉 虚拟 实体 抖动 动作 表演 防抖 摄影机 | ||
| 专利类型 | 发明公开 | 法律事件 | 公开; 实质审查; 申请权转移; |
| 专利有效性 | 实质审查 | 当前状态 | 实质审查 |
| 申请号 | CN201810047107.X | 申请日 | 2018-01-18 |
| 公开(公告)号 | CN108364336A | 公开(公告)日 | 2018-08-03 |
| 申请人 | 珠海金山网络游戏科技有限公司; 成都西山居互动娱乐科技有限公司; | 申请人类型 | 企业 |
| 发明人 | 强项; 芦振华; | 第一发明人 | 强项 |
| 权利人 | 珠海金山网络游戏科技有限公司,成都西山居互动娱乐科技有限公司 | 权利人类型 | 企业 |
| 当前权利人 | 武汉金山世游科技有限公司 | 当前权利人类型 | 企业 |
| 省份 | 当前专利权人所在省份：广东省 | 城市 | 当前专利权人所在城市：广东省珠海市 |
| 具体地址 | 当前专利权人所在详细地址：广东省珠海市香洲区前岛环路325号金山软件园3号楼 | 邮编 | 当前专利权人邮编：519000 |
| 主IPC国际分类 | G06T13/40 | 所有IPC国际分类 | G06T13/40 ; G06T5/00 ; G06T7/70 ; G06T19/00 ; G06F3/01 |
| 专利引用数量 | 6 | 专利被引用数量 | 0 |
| 专利权利要求数量 | 10 | 专利文献类型 | A |
| 专利代理机构 | 广州嘉权专利商标事务所有限公司 | 专利代理人 | 樊思远; |
| 摘要 | 本 发明 提供了基于三维动画 动作捕捉 虚拟摄像机 防抖的系统，其包括：实体摄像机和 图像处理 装置。其中该实体摄像机包括一抖动反馈模 块 ，其用于检测实体摄像机的抖动；以及运动 跟踪 器，其用于捕捉实体摄像机的 位置 和 角 度。该图像处理装置用于根据实体摄像机的位置变化、角度变化以及抖动，来配置虚拟摄像机。还提供了基于三维动画动作捕捉虚拟摄像机防抖的方法。 | ||
| 权利要求 | 1.基于三维动画动作捕捉虚拟摄像机防抖的系统，其特征在于所述系统包括： |
||
| 说明书全文 | 基于三维动画动作捕捉虚拟摄像机防抖的方法和系统技术领域背景技术[0002] 2009年美国电影阿凡达火爆全球，很多人对片中美轮美奂，以假乱真的3DCG技术所震撼，但是其中所用到的一些创新性的技术，更值得大书特书。其中一项就是实时虚拟摄像机系统(Simulcam)，它能够在摄影机进行拍摄的同时，将CG(电脑图像)制作出的虚拟视觉内容与实拍内容实时呈递出来，帮助电影制作者更加准确和快速地拍摄大量带有VFX视觉特效的镜头。可以看作是“增强实境”技术，和VR(虚拟现实技术)在影视工业中的良好结合应用。在制作那些全CG镜头的时候，可以将虚拟摄像机看作是一个可以真实触碰并掌握的虚拟摄影机，但是因为其在运行中难免会产生抖动，严重影响最终画面的精度和最终效果。 发明内容[0003] 针对上述问题，我们的开发的一种角色实时面部表情动画捕捉的系统和方法，就弥补了这方面的空白。 [0004] 根据本公开的第一个方面，提供了基于三维动画动作捕捉虚拟摄像机防抖的系统，其包括：实体摄像机和图像处理装置。其中该实体摄像机包括一抖动反馈模块，其用于检测实体摄像机的抖动；以及运动跟踪器，其用于捕捉实体摄像机的位置和角度。该图像处理装置用于根据实体摄像机的位置变化、角度变化以及抖动，来配置虚拟摄像机。 [0006] 进一步地，其中实体摄像机还包括第一通信模块，其用于连接图像处理装置；图像处理装置包括第二通讯模块，其用于与第一通讯模块进行有线或无线通讯。 [0007] 进一步地，其中该系统还包括伺服电机模块，其连接到抖动反馈模块，根据抖动反馈模块检测的实体摄像机的抖动，补偿虚拟摄像机的抖动。 [0008] 进一步地，其中该系统还包括多个光学式动作捕捉相机，其用于检测多个运动跟踪器的位置变化，以捕捉实体摄像机的位置变化和角度变化。 [0009] 根据本公开的第二个方面，提供了基于三维动画动作捕捉虚拟摄像机防抖的方法，其基于本公开第一个方面的系统，该方法包括以下步骤：A、创建与实体摄像机相关联的虚拟摄像机；B、检测实体摄像机的位置和角度，基于该位置和角度以配置虚拟摄像机；C、检测实体摄像机的抖动信息；基于该抖动信息以修正虚拟摄像机的抖动。 [0010] 进一步地，其中该方法还包括以下步骤：D、将虚拟摄像机的视野对应的图像发送到实体摄像机。 [0011] 进一步地，其中在步骤B中，通过光学动作捕捉摄像来检测实体摄像机的位置和角度。 [0012] 进一步地，其中在步骤B中，通过三维红外动作捕捉摄像来检测实体摄像机的位置和角度。 [0013] 进一步地，其中在步骤C中，通过获取实体摄像机的倾斜角和加速度来检测实体摄像机的抖动信息。 [0014] 本公开具有以下优点：1)解决了在三维动画动作捕捉中，三维虚拟摄像机的镜头抖动的问题；2)解决了三维动画CG与电影VFX特效制作中，摄像师无法实时看见最终画面的问题；3)解决了三维CG动画动捕过程中，演员无法知道摄像机位的问题。附图说明 [0015] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。 [0016] 图1是本公开的一个或多个实施例的结构示意图； [0017] 图2是本公开的一个或多个实施例的实体摄像机关联虚拟摄像机的示意图； [0018] 图3是本公开的一个或多个实施例的流程图。 具体实施方式[0019] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。 [0020] 本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。 [0021] 电影工业在21世纪早期开始实际应用的新一代摄制技术，它能够在摄影机进行拍摄的同时，将CG(电脑图像)制作出的虚拟视觉内容与实拍内容实时呈递出来，帮助电影制作者更加准确和快速地拍摄大量带有VFX视觉特效的镜头。可以看作是“增强实境”技术，和VR(虚拟现实技术)在影视工业中的良好结合应用。在制作那些全CG镜头的时候，可以将虚拟摄像机看作是一个可以真实触碰并掌握的摄影机。 [0022] 虚拟摄像机(Simulcam)技术是好莱坞电影工业与科技深度结合的一个集中体现，加深了电影技术与艺术的融合，带给创作者更大的想象空间和所见即所得的舞台，将对未来的体验式娱乐产业产生深远的影响。Simulcam技术支持的摄像机可以跟随或者监视用“表演捕捉”技术创造的虚拟角色并即时将其合成到一个现场表演环境中。此外，它还能够让导演或制作人直观地看到现场表演镜头中的虚拟背景是什么样子。导演可以通过虚拟摄影机来指挥动作捕捉演员的表演。动作捕捉演员类似于被放进一个充满CG物体的虚拟空间中，通过这个系统可以令导演在真实世界拍片一样，任意选取各种摄影角度，控制协调CG物体的活动，在第一时间看到真人表演同虚拟场景结合后的视效。 [0023] 在制作三维动画时，为了使动画中的虚拟角色的动作达到逼真的效果，需要动作捕捉演员穿戴面部动作捕捉装备，在动作捕捉室内录制动作，为制作三维虚拟人物模型提供肢体的动作的捕捉或面部动作的捕捉。导演或者制作人在录制现场利用绑定了虚拟摄像机的实体摄像机进行观察。虚拟摄像机随着实体摄影机的运动而运动，并向导演提供对应该运动的视野的图像。此时，实体摄影机作为真人动作捕捉与CG虚拟视觉内容的合成观察平台，为导演提供实时的合成画面预览。在此，真实存在于拍摄现场的实体摄影机主要起到一个参数采集的作用，为虚拟摄影机提供位置和角度参数。另外，该实体摄影机不一定是具有录像和录音功能真正的摄影机，例如，可以是一个具有动作捕捉功能的便携式显示设备。 [0024] 因人手的操作或者云台的精度等问题，在操作实体摄像机拍摄的过程中会产生抖动，由于虚拟摄像机被绑定在实体摄像机上，因此也会产生相应的抖动。为了解决该问题，现有技术通常采用在实体摄像机上加装机械式(例如斯坦尼康)或者电子稳定云台来增稳。但是适用于电影级摄像机的稳定云台往往体积庞大且费用高昂。而且，在采用虚拟摄像机进行拍摄时，实体摄影机有时仅起到观察器的作用，并不需要实际拍摄和录制光学图像。综合以上，本发明人认识到，可以仅采集实体摄像机的抖动情况，通过运算对绑定在实体摄像机上的虚拟摄像机进行防抖处理，而无需对实体摄像机进行机械或电子防抖，从而大幅降低防抖机构的复杂度，并提高了防抖的精度。 [0025] 参照图1-3，根据本公开的第一个方面，提供了基于三维动画动作捕捉虚拟摄像机400防抖的系统，其包括：实体摄像机100和图像处理装置200。其中该实体摄像机100包括一抖动反馈模块，其用于检测实体摄像机100的抖动；以及运动跟踪器180，其用于捕捉实体摄像机100的位置和角度。该图像处理装置200用于根据实体摄像机100的位置变化、角度变化以及抖动，来配置虚拟摄像机400。从而解决了在三维动画动作捕捉中，三维虚拟摄像机400的镜头抖动的问题。 [0026] 在上述实施例中，实体摄像机100可以是真实的摄像机，也可以是具有动作捕捉功能的便携式显示设备，甚至可以是没有实际功能的摄像机的道具模型。该实体摄像机100包括抖动反馈模块和运动跟踪器180。图像处理装置200例如是计算机等，可以运行三维动作捕捉软件。 [0027] 在本公开的一个或多个实施例中，其中抖动反馈模块包括陀螺仪和三轴加速度传感器，即构建惯性测量系统(IMU，inertia surveying system)利用陀螺仪、加速度计等惯性敏感元件和电子计算机，实时测量实体摄像机100相对于地面运动的加速度，以确定实体摄像机100的位置和地球重力场参数的组合系统。通过IMU(惯性测量单元)测量实体摄像机100的运动加速度、方位、倾斜角等特性。不受环境干扰影响，不怕遮挡。捕捉精确度高，采样速度高，达到每秒1000次或更高。由于采用高集成芯片、模块，体积小、尺寸小，重量轻，性价比高。 [0028] 在本公开的一个或多个实施例中，其中该系统还包括多个光学式动作捕捉相机170，其用于检测多个运动跟踪器180的位置变化，以捕捉实体摄像机100的位置变化和角度变化。具体而言，光学式动作捕捉相机170通过追踪现场LED灯打出的近红外光谱的反射或者安装在动作捕捉演员的身体关键部位(图中未示出)和实体摄影机的动作跟踪器(典型的光学式运动捕捉系统通常使用6～8个相机环绕表演场地排列，这些相机的视野重叠区域就是表演者的动作范围。为了便于处理，通常要求表演者穿上单色的服装，在身体的关键部位，如关节、髋部、肘、腕等位置贴上一些特制的标志或发光的动作跟踪器，称为"Marker"，视觉系统将识别和处理这些标志)，将捕捉到的数据传输到一套系统中，再将光谱的反射与演员的运动进行组合分析，得出整个镜头的立体模型。之后，这些数据再被映射到后期的图像处理装置200(例如计算机)处理，从而令CG场景呈现出高度拟真的效果。在本例中，动作跟踪器可以是能够发出近红外光谱的LED灯。 [0029] 在本公开的一个或多个实施例中，其中实体摄像机100还包括第一通信模块，其用于连接图像处理装置200；图像处理装置200包括第二通讯模块，其用于与第一通讯模块进行有线或无线通讯。无线通讯的方式包括但不限于WIFI、蓝牙、蜂窝移动网络、NFC和RF等。 [0030] 在本公开的一个或多个实施例中，其中该系统还包括伺服电机模块，其连接到抖动反馈模块，根据抖动反馈模块检测的实体摄像机100的抖动，补偿虚拟摄像机400的抖动。从三轴陀螺仪和三轴加速度传感器获取数据计算出实体摄像机100的倾斜角，然后把倾斜角的数据通过pid算法得出应该给电机什么控制量。例如当实体摄像机100往左倾了，让伺服电机往右校正；往右倾了，让伺服电机往左校正，以使实体摄像机100的重心保持平衡。 [0031] 本实施例的运作方法如下：参照图2，通过图像处理装置200，在三维动捕软件中制作一个具有x,y,z轴三个轴向的虚拟体，然后将虚拟摄像机400绑定在这个动捕三轴虚拟物体中，其中虚拟三维摄像机包括虚拟动作捕捉器。在动作捕捉房间中捕捉位于实物摄像机的多个动作捕捉器的运动，以获得实体摄像机100的位置变化和角度变化。将虚拟三维摄像机的虚拟动作捕捉器与实体摄像机100的动作捕捉器相匹配，从而配置虚拟摄像机400的角度、位置以及视野。同时，抖动反馈模块利用陀螺仪和三轴加速度传感器获得实体摄像机100的倾斜角和加速度等信息，并将该信息发送到图像处理装置200。图像处理装置200基于从动作捕捉器和抖动反馈模块获得的信息，通过滤波算法(例如小波滤波或卡尔曼滤波等)将低于一定阈值的位移或倾斜滤除，得到平滑的实体摄像机100的运动。根据该平滑的实体摄像机100的运动来配置虚拟三维摄像机，则可以得到防抖后的虚拟摄像机400的视野对应的稳定的图像。此外，图像处理装置200还可以将虚拟摄像机400的视野回传给实体摄像机 100，以在实体摄像机100的屏幕上显示经过防抖处理后图像，从而为导演提供稳定的实时的合成画面预览。 [0032] 参照图3，根据本公开的第二个方面，提供了基于三维动画动作捕捉虚拟摄像机400防抖的方法，其基于本公开第一个方面的系统，该方法包括以下步骤：A、创建与实体摄像机100相关联的虚拟摄像机400；B、检测实体摄像机100的位置和角度，基于该位置和角度以配置虚拟摄像机400；C、检测实体摄像机100的抖动信息；基于该抖动信息以修正虚拟摄像机400的抖动。 [0033] 在本公开的一个或多个实施例中，其中在步骤B中，通过光学动作捕捉摄像来检测实体摄像机100的位置和角度。常见的光学式运动捕捉大多基于计算机视觉原理。从理论上说，对于空间中的一个点，只要它能同时为两部相机所见，则根据同一时刻两部相机所拍摄的图像和相机参数，可以确定这一时刻该点在空间中的位置。当相机以足够高的速率连续拍摄时，从图像序列中就可以得到该点的运动轨迹。典型的光学式运动捕捉系统通常使用6～8个光学式运动捕捉相机环绕表演场地排列，这些相机的视野重叠区域就是表演者的动作范围。为了便于处理，通常要求表演者穿上单色的服装，在身体的关键部位，如关节、髋部、肘、腕等位置贴上一些特制的标志或发光的动作跟踪器，称为"Marker"，视觉系统将识别和处理这些标志。光学式运动捕捉的优点是表演者活动范围大，无电缆、机械装置的限制，表演者可以自由地表演，使用很方便。其采样速率较高，可以满足多数高速运动测量的需要。动作跟踪器的数量可根据实际应用购置添加，便于系统扩充。 [0034] 在本公开的一个或多个实施例中，其中在步骤B中，通过三维红外动作捕捉摄像来检测实体摄像机100的位置和角度。例如，光学式动作捕捉相机170为红外摄像机，动作跟踪器为能够发出红外光谱的LED灯。 [0035] 在本公开的一个或多个实施例中，其中在步骤C中，通过获取实体摄像机100的倾斜角和加速度来检测实体摄像机100的抖动信息。 [0036] 第二个方面的实施方式与第一个方面的运行方法基本相同，故在此不再赘言。 [0037] 所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。 [0038] 在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接相合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。 [0039] 所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。 [0040] 另外，在本发明各个实施例中的各功能单元可以集成在二个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。 [0041] 所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在二个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。 [0042] 以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。附图标记说明： [0043] 100 实体摄像机 [0044] 170 光学式动作捕捉相机 [0045] 180 运动跟踪器 [0046] 200 图像处理装置 [0047] 400 虚拟摄像机。 |
||
QQ群二维码
意见反馈
意见反馈