技术领域
[0001] 本
发明属于电影影像制作技术领域，具体为一种实时多自由度动态可视背景墙的拍摄方法和系统。
背景技术
[0002] 在电影制作中，很多电影都要在高度浓缩的时间表内完成非常复杂的制作工作，传统流程是典型的线性流程，类似于流
水线，包括了编剧、前期、中期和后期，如果效果达不到预期，还得返工，成本和工期是巨大挑战，由于上述原因，影片制作的规模性就被传统的工作流大大地影响了。尽管流媒体和广播网络系列剧迅猛发展，但它们未能达成影院发行的水准。这部分是因为成本投入，但也因为网络发行更快，它要求在很多时间内完成影片的制作。
[0003] 对于制作者来说，无法获得实时反馈带来了不确定性。当一个摄影师不得不靠推测去匹配光照
颜色和绿幕上根本看不到的画面，或者一个导演没法确切知道他影片高潮时人物表演的模样，效果就变成不确定了。在所有镜头完成前，这个流程是断裂的，也无法解决。由于视效上的断裂，所有专业经验都无法在制作过程中充分发挥作用。因为发行有期限限制，而返工又是高成本和不可控的事情，最终成片效果只能深度依赖后期。
[0004] 当一个剪辑师试图剪辑动作和调整剧情顺序时，它是不可控的。达成一个场景的最终镜头往往是一条蛮长的路，包括替换现在的镜头和补拍遗漏的镜头、遗漏的声效、遗漏的配乐等等。因为流程中有太多需要考虑的因素，达成镜头的连贯和流畅非常具有挑战性。所有这些问题让剪辑师难以按照既定的场景设定完成工作，最终发布的片子往往是创意妥协的结果。
[0005] 与传统制作流程相比，虚拟制作是快速
迭代、非线性和协同的流程。高画质画面一开始就被生产出来了，与不同团队各自生产不兼容的资产不同，从预览片到成片的所有资产都是交叉兼容和可用的。
[0006] 因此在电影制作拍摄过程中，使用虚拟制作电影已是主流模式，在拍摄时各个方面的技术需求也大大的增加，本
专利通过设置一种实时多自由度动态可视背景墙的拍摄方法和系统，能够更好的去丰富电影虚拟制作中的拍摄技术。
发明内容
[0007] (一)解决的技术问题
[0008] 为了克服
现有技术的上述
缺陷，本发明提供了一种实时多自由度动态可视背景墙的拍摄方法和系统，解决了上述背景技术中所提出的问题。
[0009] (二)技术方案
[0010] 为实现上述目的，本发明提供如下技术方案：一种实时多自由度动态可视背景墙的拍摄方法和系统，包括
可视化、表演捕捉、混合虚拟制作和实时
渲染引擎、LED墙。
[0011] 所述可视化定义为通过制作的一系列
原型画面，直观表达影片的镜头或剧情的创意意图，所述可视化形式包括推销预览片、预览片、虚拟采景、技术预览片、特技预览片和后期预览片；
[0012] 所述推销预览片为一种视频宣传片；
[0013] 所述预览片包括音乐、音效和对白；
[0014] 所述虚拟采景为一个片场或布景的全数字版本，剧组可以与之互动；
[0015] 所述技术预览片包括虚拟元素与现实设备；
[0016] 所述特技预览片是由特技助理或动作指导来完成，包括场景障碍、动作设计、特技测试和操纵、布景设计、道具和武器开发、机位设计和相机运动配合，以及布光设计配合；
[0017] 所述后期预览片是将实拍元素与临时视效相结合，或者创建新的CG镜头，为后期剪辑提供指引；
[0018] 所述后期预览片提供了更多的可视化场景；
[0019] 所述表演捕捉包括
动作捕捉、表演捕捉，所述动作捕捉包括脸部捕捉和全身捕捉，所述表演捕捉能被用于虚拟
角色和真实世界的互动，包括同步相机；
[0020] 所述混合虚拟制作包括实时混合虚拟制作和后期混合虚拟制作；
[0021] 所述实时渲染引擎是用来实时渲染刷新前期捕捉的虚拟角色的动作；
[0022] 所述LED墙是实时在LED屏幕上创建一个完整场景。
[0023] 作为本发明的进一步方案：所述推销预览片是为了帮助策划中的项目在工作室内部获得通过，或从潜在投资者那里获得投资。
[0024] 作为本发明的进一步方案：所述预览片旨在设计出非常接近成片的视觉和感觉。
[0025] 作为本发明的进一步方案：所述虚拟采景的剧组可以通过HMD(头显)或在计算机屏幕上进行互动操作。
[0026] 作为本发明的进一步方案：所述技术预览片用于规划镜头，并将已实拍的视频素材与虚拟资产相结合。
[0027] 作为本发明的进一步方案：所述特技预览片通过利用实时引擎中模拟真实物理，特技助理可以直接将数据模拟真实世界。所述特技预览片包含有多种目的，包括用于向导演和制片人推销视觉效果。
[0028] 作为本发明的进一步方案：所述后期预览片能够来直观指导他们的工作。
[0029] 作为本发明的进一步方案：所述动作捕捉是记录物体或演员的动作数据，并使用这些数据来制作数字模型动画。
[0030] 作为本发明的进一步方案：所述动作捕捉的脸部捕捉通过
深度相机对面部无标记拍摄来捕捉演员的面部表现，并将面部表演数据传输到另一个角色的面部，全身捕捉通过演员穿着的
传感器将演员的整个动作转移到另一个角色上，全身捕捉要针对动画角色的身型比例与演员明显不同而涉及对应形式的标定或缩放。
[0031] 作为本发明的进一步方案：所述运用于表演捕捉的同步相机是一种特殊相机，包括
软件系统和
硬件部分，所述软件系统中内置虚拟相机，所述硬件是一部真实相机，所述真实相机在真实场景中运动时，虚拟相机能够完全同步运动。
[0032] 作为本发明的进一步方案：所述表演捕捉包括2D动态遮罩，所述2D动态遮罩为在现场拍摄演员，将他们动作匹配到动画上。
[0033] 作为本发明的进一步方案：所述混合虚拟制作是通过相机
跟踪技术与带有CG元素的拍摄相结合，并通过后期完成所要的画面。
[0034] 作为本发明的进一步方案：所述实时混合虚拟制作是与相机跟踪技术相结合，实时引擎渲染的画面输出到现场LED墙上，LED墙使用时通过联网照明控制接入到实时引擎中，实时调整屏幕的
分辨率和色彩，并完全通过相机实时获得最终画面；
[0035] 作为本发明的进一步方案：所述后期混合虚拟制作使用相机追踪数据，为绿幕拍摄提供实时抠绿和精确合成画面。
[0036] 作为本发明的进一步方案：所述实时渲染引擎是作用在动作捕捉、混合虚拟制作和实时虚拟制作时后，将数据通过实时渲染引擎将画面输出到现场LED墙上，所述实时引擎画面可以在输出到LED墙前通过实时分层系统输出，以确保画面中所有元素之间的颜色匹配最精确，并完全通过相机实时获得最终画面。
[0037] 作为本发明的进一步方案：该实时多自由度动态可视背景墙的拍摄方法和系统，动作捕捉和混合虚拟制作能被用于虚拟角色和真实世界的互动，只从演员那里捕捉到运动数据，场景可以根据需要从场景库中读取，重新构成动画，能够在使用相机追踪数据时，为拍摄提供实时抠图和精确合成画面，且在拍摄演员和LED墙前道具时，能够作为制作镜头的预览参考，且在制作过程中，摄影师可以通过LED墙像对真实物体拍照一样进行设定，演员可以不用再对着绿幕假想画面，因为LED墙逼真展示了场景画面，所有LED墙上的影像和光线都提供了重要的艺术线索，并增强了画面的真实性，也不需要像过去那样需要避免因绿色溢出而造成的颜色污染。
[0038] (三)有益效果
[0039] 与现有技术相比，本发明的有益效果在于：
[0040] 1.与传统制作流程相比，虚拟制作是快速迭代、非线性和协同的流程。它为电影制作者赋能，让他们基于视觉细节实时进行协同迭代，而不是把所有决策都推迟到后期。在制作周期内，迭代
修改非常容易落地。
[0041] 2.在剪辑时，由于视效非常接近成片效果，有助于发现错误和不完整镜头，不确定性也被缓解了。当传统的绿幕拍摄被LED墙拍摄代替时，剪辑师能做的事情更多。在拍摄时，剪辑师就可以剪辑，这样团队成员能够及时补拍，或者调整镜头，而不是等到封镜以后很久才发现问题。这也能减少很多不必要的拍摄工期变化。这不但带来了镜头的连贯性、流畅性，也能按照原先设定更加快速和协同完成场景剪辑。
[0042] 3.随着生产过程中的画面与成片接近，传统影片制作者前期和中期的视觉不确定性被解决了。由于高品质的画面是通过实时引擎实现的，迭代、测试变得更加简单、低成本和敏捷。流程也更加交互和协同。预览片和正片摄影能够被有机地和整体地执行，影片制片人和各部
门负责人能够及时互动响应。由于团队成了一个整体，而不是被割裂，有关镜头和剧情的创意决定很容易在制作过程中做出变化。这不但带来了镜头的连贯性、流畅性，也能按照原先设定更加快速和协同完成场景剪辑
[0043] 4.该实时多自由度动态可视背景墙的拍摄方法和系统，动作捕捉和混合虚拟制作能被用于虚拟角色和真实世界的互动，只从演员那里捕捉到运动数据，场景可以根据需要从场景库中读取，重新构成动画，能够在使用相机追踪数据时，为拍摄提供实时抠绿和精确合成画面，且在拍摄演员和LED墙前道具时，能够作为制作镜头的预览参考，且在制作过程中，摄影师可以通过LED墙像对真实物体拍照一样进行设定，演员可以不用再对着绿幕假想画面，因为LED墙逼真展示了场景画面，所有LED墙上的影像和光线都提供了重要的艺术线索，并增强了画面的真实性，也不需要像过去那样需要避免因绿色溢出而造成的颜色污染。
[0044] 5.通过实时引擎生产预览片，剧情能够用高品质画面快速更新和做出来，更省工时。在制作过程中，团队更多成员能够分享制片愿景，场景能够以非常接近期望的要求被制作出来，特技和特效也能够以极安全的方法事先准备，视效合成也能够以高效和有弹性的方法实现。
[0045] 6.通过实时引擎的虚拟制作撬动，网番、流媒体视频能被非常高的画质进行快速生产，实时引擎能够缓解预算、进度和发行时间等各方面
瓶颈。
[0046] 7.在视觉逼真度和实时效率方面，制作资产投入的精
力越多，从预览片到最终成片能够使用的地方就越多，而无需增加额外的成本和时间去重建资产。直接在引擎中控制和生成多细节层次(LOD)的资产，就能以所需的
帧率实时输出，同时仍保持视觉逼真度。
[0047] 8.数字场景和道具库有利于长期经营。这些相同制作的资产可以快速调整并交付给周边产品，以生产高品质的促销图像、游戏资产和玩具。这都可以在不需要重建资产的情况下完成，既节省了时间，又避免了重建可能带来的
质量和一致性问题。
[0048] 9.实时引擎提供了更具扩展性的工具，并可以定制以适合电影制作人。
[0049] 10.源于游戏的实时引擎，已经有了“多人”远程协作和通信能力，并且融入引擎核心层，可以共享远程虚拟跟踪会话，并允许参与者直接控制和参与表演捕获会话。
[0050] 11.对于实时引擎，可以利用分布式渲染实时提高动画的品质和分辨率，这意味着实时、实拍的视觉效果可以超过4K甚至8K图像分辨率，能提供令人惊叹的图像逼真度。
[0051] 12.实时引擎由于源于编程和脚本编写，从一开始就被设计成能够精确资产跟踪和版本管理，使以前的挑战不再困难,作为实时引擎的一部分，“免费”带来的优势对电影制作也有显著好处和实用性。
[0052] 13.由于LED墙缓解了后期视效的每帧成本，能够使用强效果拍摄，就像使用非特效视频一样。从开始到结束，将拥有所有的拍摄内容，而不仅仅是正在处理中的视效部分。这使在构建剧情时具有更大灵活性，而不会被局限在视效管道限定的剪辑中。
附图说明
[0053] 图1为本发明系统流程结构示意图；
具体实施方式
[0054] 下面结合具体实施方式对本专利的技术方案作进一步详细地说明。
[0055] 如图1所示，本发明提供一种技术方案：一种实时多自由度动态可视背景墙的拍摄方法和系统，包括可视化、表演捕捉、混合虚拟制作和实时渲染引擎、LED墙。
[0056] 所述可视化定义为通过制作的一系列原型画面，直观表达影片的镜头或剧情的创意意图，所述可视化形式包括推销预览片、预览片、虚拟采景、技术预览片、特技预览片和后期预览片；
[0057] 所述推销预览片为一种视频宣传片；
[0058] 所述预览片包括音乐、音效和对白；
[0059] 所述虚拟采景为一个片场或布景的全数字版本，剧组可以与之互动；
[0060] 所述技术预览片包括虚拟元素与现实设备；
[0061] 所述特技预览片是由特技助理或动作指导来完成，包括场景障碍、动作设计、特技测试和操纵、布景设计、道具和武器开发、机位设计和相机运动配合，以及布光设计配合；
[0062] 所述后期预览片是将实拍元素与临时视效相结合，或者创建新的CG镜头，为后期剪辑提供指引；
[0063] 所述后期预览片提供了更多的可视化场景；
[0064] 所述表演捕捉包括动作捕捉、表演捕捉，所述动作捕捉包括脸部捕捉和全身捕捉，所述表演捕捉能被用于虚拟角色和真实世界的互动，包括同步相机；
[0065] 所述混合虚拟制作包括实时混合虚拟制作和后期混合虚拟制作；
[0066] 所述实时渲染引擎是用来实时渲染刷新前期捕捉的虚拟角色的动作；
[0067] 所述LED墙是实时在LED屏幕上创建一个完整场景。
[0068] 在本发明实例中，所述推销预览片是为了帮助策划中的项目在工作室内部获得通过，或从潜在投资者那里获得投资。
[0069] 具体的，推销预览片包括推销预演，推销预演包括为拟提案的项目和整体预告片制作特别剧情，以帮助制片人展现创意意图。
[0070] 在本发明实例中，所述预览片旨在设计出非常接近成片的视觉和感觉。
[0071] 具体的，预览片的优势在于，它使电影制作者能够尝试不同的表演和艺术方向，如布光、摄像机位和运动方式、表演
风格和剪辑方法，却不会产生更高的实际制作成本。
[0072] 在本发明实例中，所述虚拟采景的剧组可以通过HMD(头显)或在计算机屏幕上进行互动操作。
[0073] 具体的，所述在虚拟采景时可重新
定位各种道具和带镜头的
虚拟摄像机，它们可用于规划镜头、布局构建，最终无需实物置景就能拍摄整部剧。它使电影制作者能够聚焦虚拟片场的重要区域，忽略不太重要的区域，以避免创造出无用布景和道具资产。
[0074] 在本发明实例中，所述技术预览片用于规划镜头，并将已实拍的视频素材与虚拟资产相结合。
[0075] 具体的，这能验证相机移动、机位设置和镜头选择，降低虚拟资产可能存在的不真实风险。
[0076] 在本发明实例中，所述特技预览片通过利用实时引擎中模拟真实物理，特技助理可以直接将数据模拟真实世界。所述特技预览片包含有多种目的，包括用于向导演和制片人推销视觉效果。
[0077] 具体的，在拍摄前计算出特定的节奏，以确保它们正确地展现在相机上，是一个成熟的故事板，可被多个部门使用。
[0078] 在本发明实例中，所述后期预览片能够来直观指导他们的工作。
[0079] 具体的，那些靠视效驱动故事发展的剧情
片段，它也可以作为导演与视效团队进行沟通的可视化工具。
[0080] 在本发明实例中，所述动作捕捉是记录物体或演员的动作数据，并使用这些数据来制作数字模型动画。
[0081] 具体的，演员穿着一套带有相机跟踪标记的衣服，或者是内置传感器的衣服，通过传感器移动来完成动作捕捉过程；
[0082] 在本发明实例中，所述动作捕捉的脸部捕捉通过深度相机对面部无标记拍摄来捕捉演员的面部表现，并将面部表演数据传输到另一个角色的面部，全身捕捉通过演员穿着的传感器将演员的整个动作转移到另一个角色上，全身捕捉要针对动画角色的身型比例与演员明显不同而涉及对应形式的标定或缩放。
[0083] 具体的，动作捕捉过程中，单独的面部捕捉要与身体表演分开进行。
[0084] 在本发明实例中，所述运用于表演捕捉的同步相机是一种特殊相机，包括软件系统和硬件部分，所述软件系统中内置虚拟相机，所述硬件是一部真实相机，所述真实相机在真实场景中运动时，虚拟相机能够完全同步运动。
[0085] 具体的，表演捕捉用于实拍镜头中
叠加虚拟场景或角色。
[0086] 在本发明实例中，所述表演捕捉包括2D动态遮罩，所述2D动态遮罩为在现场拍摄演员，将他们动作匹配到动画上。
[0087] 具体的，表演捕捉过程是先进和精细的。
[0088] 在本发明实例中，所述混合虚拟制作是通过相机跟踪技术与带有CG元素的拍摄相结合，并通过后期完成所要的画面。
[0089] 在本发明实例中，所述实时混合虚拟制作是与相机跟踪技术相结合，实时引擎渲染的画面输出到现场LED墙上，LED墙使用时通过联网照明控制接入到实时引擎中，实时调整屏幕的分辨率和色彩，并完全通过相机实时获得最终画面；
[0090] 在本发明实例中，所述后期混合虚拟制作使用相机追踪数据，为绿幕拍摄提供实时抠绿和精确合成画面。
[0091] 具体的，这能够作为制作镜头的预览参考，最终成片还需要根据这些过渡画面做后期，这能够帮CG提升后期合成画面的质量。
[0092] 在本发明实例中，所述实时渲染引擎是作用在动作捕捉、混合虚拟制作和实时虚拟制作时后，将数据通过实时渲染引擎将画面输出到现场LED墙上，所述实时引擎画面可以在输出到LED墙前通过实时分层系统输出，以确保画面中所有元素之间的颜色匹配最精确，并完全通过相机实时获得最终画面。
[0093] 具体的，与绿幕拍摄相比，演员或剧组不再有不确定性，当镜头对准时，每个人都能直接看到镜头中的内容，LED墙在相机上可以看到，演员也可以看到，团队成员也完全避免了“绿幕疲劳”，不必移动剧组人员、演员、布景等，只需变换屏幕上的背景景物，可以在瞬间切换场景，而不用花费数小时，这也意味着可以随意控制天气和
色温，定格在一天中想要的时间点，制作周期大大缩短；在提高取景和照明控制
精度方面，不需要摄影师对取景框中看不到的虚拟元素进行猜测，可以直接在
取景器中进行看景取景，这样摄影师可以根据他们的训练和专业知识来拍摄场景。
[0094] 该一种实时多自由度动态可视背景墙的拍摄方法和系统，动作捕捉和混合虚拟制作能被用于虚拟角色和真实世界的互动，只从演员那里捕捉到运动数据，场景可以根据需要从场景库中读取，重新构成动画，能够在使用相机追踪数据时，为拍摄提供实时抠图和精确合成画面，且在拍摄演员和LED墙前道具时，能够作为制作镜头的预览参考，且在制作过程中，摄影师可以通过LED墙像对真实物体拍照一样进行设定，演员可以不用再对着绿幕假想画面，因为LED墙逼真展示了场景画面，所有LED墙上的影像和光线都提供了重要的艺术线索，并增强了画面的真实性，也不需要像过去那样需要避免因绿色溢出而造成的颜色污染。
[0095] 本发明基于采用实时多自由度动态可视背景墙系统，还包含一种拍摄方法，包括以下步骤：
[0096] 步骤S1:策划好并制作出推销预览片，从潜在投资者那里获得投资；
[0097] 步骤S2:尝试不同布光、摄像机位和运动方式、表演风格和剪辑方法制作预览片；
[0098] 步骤S3:通过
虚拟现实，通过HM D(头显)或在计算机屏幕上进行互动操作，并在虚拟采景时可重新定位各种道具和带镜头的虚拟摄像机；
[0099] 步骤S4:规划镜头，并将已实拍的视频素材与虚拟资产相结合，制作出技术预览片；
[0100] 步骤S5:将实拍元素与临时视效相结合，或者创建新的CG镜头，制作后期预览片，为后期剪辑提供指引；
[0101] 步骤S6:记录物体或演员的动作数据，并使用这些数据来制作数字模型动画；
[0102] 步骤S7:现场拍摄演员，然后把他们动作匹配到动画上；
[0103] 步骤S8:捕捉演员的面部表现，并将表演数据传输到另一个角色(人或非人)的面部；
[0104] 步骤S9:捉将演员的整个动作转移到另一个角色上；
[0105] 步骤S10:把相机跟踪技术与带有CG元素的绿幕拍摄相结合进行虚拟制作，并通过后期完成所要的画面；
[0106] 步骤S11:与相机跟踪技术相结合，实时引擎渲染的画面输出到现场LED墙上，并完全通过相机实拍获得最终画面。
[0107] 在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明中的具体含义。
[0108] 上面对本专利的较佳实施方式作了详细说明，但是本专利并不限于上述实施方式，在本领域的普通技术人员所具备的知识范围内，还可以在不脱离本专利宗旨的前提下作出各种变化。
