技术领域
[0001] 本
发明涉及一种人群表演评测系统，属于表演仿真技术领域。
背景技术
[0002] 为了避免通过人工指挥花费大量时间和人
力来调整表演创意方案，同时提高排练准确度和效率，需要对各表演元素及其表演过程进行数据建模和仿真预演，然后输出各表演元素在表演过程中的仿真数据，辅助编创人员指挥各表演元素排练。
[0003] 传统文艺表演的排练过程以编创人员的主观感受和工作经验为检验排练效果的标准，编创人员对排练效果的认识往往偏向艺术性和感性，缺乏一种对排练效果的客观描述形式。在面对大型广场文艺表演时，编创人员的工作量较大，指挥排练的工作具有不小的难度，这种以个人经验和感受为主要判断依据来评价表演效果的方式将会极大地影响排练效率，也无法发现表演中存在的问题。
[0004] 因此，在对表演创意方案进行仿真预演后，在排练以及实际表演时，迫切需要提供一种客观的科学的评测系统，以仿真预演方案为依据，对实际表演效果进行评估。
发明内容
[0005] 本发明的目的在于针对
现有技术的不足，提供一种以仿真预演方案为依据，对人群表演效果进行客观科学评估的人群表演评测系统。
[0006] 本发明
实施例提供了一种人群表演评测系统，包括预演仿真模
块、表演
数据采集模块、
数据处理比对模块，预演仿真模块和表演数据采集模块通过有线或无线方式连接到数据处理比对模块，其中：
[0007] 预演仿真模块用于对表演创意方案进行预演仿真，并输出各表演元素在表演过程中的仿真数据；
[0008] 表演数据采集模块用于对表演数据进行采集；
[0009] 数据处理比对模块用于从采集的表演数据中提取出所需数据，并与预演仿真数据进行比对。
[0010] 根据本发明实施例的一种具体实现方式，所述表演数据采集模块为视频拍摄设备。
[0011] 根据本发明实施例的一种具体实现方式，所述数据处理比对模块使用的比对数据为演员的运动轨迹数据。
[0012] 根据本发明实施例的一种具体实现方式，所述数据处理比对模块从采集的表演数据中提取出所需数据的方法为：
[0013] 选取一段不包含镜头运动的视频
片段，逐
帧提取得到视频关键帧序列；
[0014] 对关键帧序列的每一帧图像进行演员目标识别，得到演员在关键帧图像中的二维
位置坐标；
[0015] 选取视频关键帧图像共同具有的两个静态物体，获取两个静态物体在关键帧图像中的二维位置坐标；
[0016] 计算演员与其中一个物体的
像素距离R1，以及演员与该物体连线与两个静态物体连线之间的夹
角β。
[0017] 根据本发明实施例的一种具体实现方式，将表演数据与预演仿真数据进行比对的方法为：
[0018] 根据两个静态物体在
视频帧中的像素距离和在预演仿真数据中的距离获得视频帧和预演仿真数据的比例关系；
[0019] 根据所述比例关系和像素距离R1，得到视频帧对应的预演仿真距离R1'；
[0020] 将通过R1'以及夹角β得到的演员实际运动轨迹和从预演仿真数据得到的演员运动轨迹同时显示输出。
[0021] 根据本发明实施例的一种具体实现方式，将表演数据与预演仿真数据进行比对的方法为：
[0022] 根据两个静态物体在视频帧中的像素距离和在预演仿真数据中的距离获得视频帧和预演仿真数据的比例关系；
[0023] 根据所述比例关系和像素距离R1，得到视频帧对应的在预演仿真系统中的距离R1'；
[0024] 将通过R1'以及夹角β得到的演员实际位置与从预演仿真数据得到的演员位置进行比对。
[0025] 根据本发明实施例的一种具体实现方式，所述数据处理比对模块使用的比对数据为演员在表演时的人体
姿态数据。
[0026] 根据本发明实施例的一种具体实现方式，所述数据处理比对模块从采集的表演数据中提取出所需数据的方法为：
[0027] 选取一段不包含镜头运动的视频片段，逐帧提取得到视频关键帧序列；
[0028] 从所述视频关键帧序列中检测出演员的骨骼关
节点；
[0029] 选取视频关键帧图像共同具有的两个静态物体，获取两个静态物体在关键帧图像中的二维位置坐标；
[0030] 计算每个骨骼关节点与其中一个物体的像素距离r1，以及关节点与该物体连线与两个静态物体连线之间的夹角γ。
[0031] 根据本发明实施例的一种具体实现方式，将表演数据与预演仿真数据进行比对的方法为：
[0032] 根据两个静态物体在视频帧中的像素距离和在预演仿真数据中的距离获得视频帧和预演仿真数据的比例关系；
[0033] 对每个骨骼关节点，根据所述比例关系和像素距离r1，得到视频帧对应的预演仿真距离r1'；
[0034] 将通过r1'和夹角γ得到的演员骨骼关节点和从预演仿真数据得到的演员骨骼关节点同时显示输出。
[0035] 根据本发明实施例的一种具体实现方式，表演数据采集模块为运动捕捉设备。
[0036] 有益效果
[0037] 本发明提供的人群表演评测系统，通过采集演员排练数据与预演仿真数据比对，可以辅助编创人员直观的发现演员动作或运动轨迹中存在的问题，或者提供定量的分析结果，为人群表演提供了科学有效的评估方案，并且易于实施。
附图说明
[0038] 为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
[0039] 图1为本发明实施例提供的一种人群表演评测系统结构示意图；
[0040] 图2为本发明实施例提供的从视频中提取演员运动轨迹数据的
流程图。
具体实施方式
[0041] 下面结合附图对本发明实施例进行详细描述。
[0042] 以下通过特定的具体实例说明本公开的实施方式，本领域技术人员可由本
说明书所揭露的内容轻易地了解本公开的其他优点与功效。显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。本公开还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本公开的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
[0043] 需要说明的是，下文描述在所附
权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本公开，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。
[0044] 还需要说明的是，以下实施例中所提供的图示仅以示意方式说明本公开的基本构想，图示中仅显示与本公开中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的形态、数量及比例可为一种随意的改变，且其组件布局形态也可能更为复杂。
[0045] 另外，在以下描述中，提供具体细节是为了便于透彻理解实例。然而，所属领域的技术人员将理解，可在没有这些特定细节的情况下实践所述方面。
[0046] 参见图1，本公开实施例提供一种人群表演评测系统，包括预演仿真模块1、表演数据采集模块2、数据处理比对模块3，预演仿真模块1和表演数据采集模块2通过有线或无线方式连接到数据处理比对模块3，其中：
[0047] 预演仿真模块用于对表演创意方案进行预演仿真，并输出各表演元素在表演过程中的仿真数据；
[0048] 表演数据采集模块用于对表演数据进行采集；
[0049] 数据处理比对模块用于从采集的表演数据中提取出所需数据，并与预演仿真数据进行比对。
[0050] 图1中预演仿真模块通过以太网与数据处理比对模块连接，表演数据采集模块通过无线方式连接到数据处理比对模块。显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。本公开还可以通过另外不同的具体实施方式加以实施或应用。本实施例中的各模块可以为一计算装置，该计算装置可以实现为
软件、
硬件，或者实现为软件和硬件的组合。
[0051] 在面对人群表演时，预演仿真技术已经逐步得到应用，可以为排练提供如排练手册等科学的指导数据。但是对于排练效果的评估仍然完全依赖编创人员的主观评价，缺乏科学有效的技术手段，使得很多排练过程中的问题难以发现，极大地影响排练效率。本发明实施例提供的一种人群表演评测系统通过采集排练数据并与预演仿真数据进行比对，可以为现场排练的表演效果提供精准的评估依据。
[0052] 在增加了对表演效果的评估步骤之后，可以根据评估结果对预演仿真方案进行分析，重新
修改预演仿真方案并进行再次排练。此过程循环进行直至获得满意的排练效果，可以极大地提高预演仿真和排练的效率。
[0053] 不同的人群表演具有不同的表演内容，对应的预演仿真系统过程中包含不同的数据，但一般来说都包含以下三类主要表演元素的数据：
[0054] (1)表演环境数据：主要是表演场地
三维建模数据，包括地形、场馆、舞台、摄像机等；
[0055] (2)表演人员行为数据：主要分为表演人员在表演时的运动轨迹位置数据、表演人员在表演时的人体动作数据；
[0056] (3)其他表演元素行为数据：主要分为非表演人员表演元素数据如表演道具的运动轨迹位置数据、舞台数字影像数据、灯光数据、音乐数据等。
[0057] 预演仿真系统中的数据包括静态数据(如地形场馆数据)和动态数据，动态数据中又包含设备动态执行数据(如灯光数据)以及人员动态执行数据(如演员位置)等。预演方案体现了导演对表演的总体设计，因此对人群表演效果的评测，主要是评估人群实际表演与预演仿真方案的一致程度。在对人群表演进行评测时，应该选择动态执行数据，而且应该主要评估包含人员的数据，如和演员的位置、动作相关的数据。作为本发明实施例的一种具体实现方式，选择演员运动轨迹数据作为主要的评估数据。
[0058] 目前对排练时演员运动轨迹进行
跟踪获得执行数据的研究还基本处于空白。
选定演员运动轨迹数据作为具体的评估数据后，需要考虑数据采集的方式。演员运动轨迹数据采集可以使用现有的外部
定位设备技术如GPS定位技术、
射频识别、激光信息定位技术等。但GPS定位测量
精度不高，射频识别、激光信息定位技术识别距离有限，而且采用外部定位设备技术，需要额外布设用于评估的设备和方案，实施负责成本高。
[0059] 根据本发明实施例的一种具体实现方式，所述表演数据采集模块为视频拍摄设备。
[0060] 根据本发明实施例的一种具体实现方式，所述数据处理比对模块使用的比对数据为演员的运动轨迹数据。
[0061] 本发明实施例采用基于
计算机视觉的方法，通过拍摄排练时的表演全过程视频，运用视频运动目标识别、检测和跟踪等相关
算法，完成基于视频处理的演员运动轨迹数据获取。
[0062] 如图2所示，根据本发明实施例的一种具体实现方式，所述数据处理比对模块从采集的表演数据中提取出所需数据的方法为：
[0063] 选取一段不包含镜头运动的视频片段，逐帧提取得到视频关键帧序列；
[0064] 对关键帧序列的每一帧图像进行演员目标识别，得到演员在关键帧图像中的二维位置坐标；
[0065] 选取视频关键帧图像共同具有的两个静态物体，获取两个静态物体在关键帧图像中的二维位置坐标；
[0066] 计算演员与其中一个物体的像素距离R1，以及演员与该物体连线与两个静态物体连线之间的夹角β。
[0067] 下面详细说明上述提取演员运动轨迹数据方法的具体实现方式：
[0068] 一、镜头分割
[0069] 由拍摄排练视频的工作流程可知，排练视频是多个镜头切换的一段完整表演视频，所有镜头之间的切换是突变的。而渐变是在镜头切换时具有一些过渡效果的帧，使不同镜头之间具有平滑变化的效果，一般在视频制作的后期剪辑时编辑而成。对于排练效果评估可以不考虑视频的后期制作，在排练拍摄过程中多个摄像机镜头切换不涉及渐变。
[0070] 由于镜头切换会导致场景的突变，从完整视频中提取演员运动轨迹数据，需要对不同镜头拍摄的视频分别进行提取。因此需要将完整视频分割成多个视频片段，使得每个视频片段不包含镜头运动。对视频进行分割之后，选取一段不包含镜头运动的视频片段，逐帧提取得到视频关键帧序列。
[0071] 二、目标识别
[0072] 在关键帧序列中，演员是运动的，所以在每一帧图像中的演员位置是变化的，需要运用视频运动目标识别和跟踪算法，获得演员在图像中的二维位置坐标。目前常用的运动目标跟踪算法可分为基于
对比度分析、基于匹配算法、基于
运动检测等几类。此外，近年来
深度学习方法发展迅猛，深度学习方法如OverFeat、R-CNN、YOLO也为解决视频帧中运动目标检测和定位等问题带来了新的思路。
[0073] 通过视频运动目标识别算法识别出的目标往往用一个矩形框来进行标识。由于本发明实施例需要计算目标之间的距离，所以选用矩形框的中心点或者某一个角点来标识目标。
[0074] 三、计算位置
[0075] 选取视频关键帧图像共同具有的两个静态物体，获取两个静态物体在关键帧图像中的二维位置坐标；
[0076] 计算演员与其中一个物体的像素距离R1，以及演员与该物体连线与两个静态物体连线之间的夹角β。
[0077] 排练时表演环境中的静态物体与仿真系统中表演环境仿真数据对应，与表演人员运动无关，位置保持固定不动。由于进行表演效果评估选取的视频帧序列不包含镜头运动，所以在该视频帧序列中静态物体的位置坐标保持不变。可以人工标定出某一帧视频帧中静态物体的位置，在整个视频帧序列中使用。静态物体的形状特征信息丰富，角点特征明显，所以也可以通过特征提取算法提取出静态物体的特征点，获得静态物体的二维位置坐标。
[0078] 分别获得两个静态物体和演员的二维位置坐标后，就可以计算出演员与其中一个物体的像素距离R1，以及演员与该物体连线与两个静态物体连线之间的夹角β，也即得到了演员相对于两个静态物体的位置。
[0079] 根据本发明实施例的一种具体实现方式，将表演数据与预演仿真数据进行比对的方法为：
[0080] 根据两个静态物体在视频帧中的像素距离和在预演仿真数据中的距离获得视频帧和预演仿真数据的比例关系；
[0081] 根据所述比例关系和像素距离R1，得到视频帧对应的预演仿真距离R1'；
[0082] 将通过R1'以及夹角β得到的演员实际运动轨迹和从预演仿真数据得到的演员运动轨迹同时显示输出。
[0083] 上述方法是一种将实际排练时的演员运动轨迹和预演仿真时演员运动轨迹同时显示输出进行直观比对的一种方法，两个运动轨迹可以重叠显示在同一个显示界面上，比较适宜于需要快速得到评估结果的实时场景或用于定性分析。
[0084] 根据本发明实施例的一种具体实现方式，将表演数据与预演仿真数据进行比对的方法为：
[0085] 根据两个静态物体在视频帧中的像素距离和在预演仿真数据中的距离获得视频帧和预演仿真数据的比例关系；
[0086] 根据所述比例关系和像素距离R1，得到视频帧对应的在预演仿真系统中的距离R1'；
[0087] 将通过R1'以及夹角β得到的演员实际位置与从预演仿真数据得到的演员位置进行比对。
[0088] 上述方法可以对每一帧得到的演员运动轨迹数据进行精确的定量分析。在实际应用中，可以选取通过R1'以及夹角β得到的演员实际位置与预演仿真位置之间的距离作为排练效果的定量分析指标。也可以为该指标设置
阈值，当位置误差超过该阈值之后，要求演员进行重新排练，或者修改预演仿真系统的预期效果。
[0089] 根据本发明实施例的一种具体实现方式，所述数据处理比对模块使用的比对数据为演员在表演时的人体姿态数据。
[0090] 演员表演时的人体姿态数据可以作为对人群表演进行评测的另一个数据依据。但是需要注意的是，由于人群表演存在大量演员集中出现的情况，所以单个演员的姿态对于总体表演效果影响较小，所以适用于表演中某些演员较少或演员个体效果比较突出的片段，可以作为总体评测的辅助手段。
[0091] 根据本发明实施例的一种具体实现方式，所述数据处理比对模块从采集的表演数据中提取出所需数据的方法为：
[0092] 选取一段不包含镜头运动的视频片段，逐帧提取得到视频关键帧序列；
[0093] 从所述视频关键帧序列中检测出演员的骨骼关节点；
[0094] 选取视频关键帧图像共同具有的两个静态物体，获取两个静态物体在关键帧图像中的二维位置坐标；
[0095] 计算每个骨骼关节点与其中一个物体的像素距离r1，以及关节点与该物体连线与两个静态物体连线之间的夹角γ。
[0096] 根据本发明实施例的一种具体实现方式，将表演数据与预演仿真数据进行比对的方法为：
[0097] 根据两个静态物体在视频帧中的像素距离和在预演仿真数据中的距离获得视频帧和预演仿真数据的比例关系；
[0098] 对每个骨骼关节点，根据所述比例关系和像素距离r1，得到视频帧对应的预演仿真距离r1'；
[0099] 将通过r1'和夹角γ得到的演员骨骼关节点和从预演仿真数据得到的演员骨骼关节点同时显示输出。
[0100] 根据本发明实施例的一种具体实现方式，表演数据采集模块为运动捕捉设备。由于使用运动捕捉设备的评测方案相对复杂，成本较高，适用于需要对演员动作进行精确评测的应用场景。
[0101] 附图中的流程图和
框图，图示了按照本公开各种实施例的系统、方法和
计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0102] 描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称并不构成对该单元本身的限定。
[0103] 应当理解，本发明的各部分可以用硬件、软件、
固件或它们的组合来实现。
[0104] 以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉
本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
