首页 / 专利库 / 工艺品 / 拍速 / 一种对所拍目标多角度实时转播的系统和方法

一种对所拍目标多度实时转播的系统和方法

阅读:873发布:2023-02-12

专利汇可以提供一种对所拍目标多度实时转播的系统和方法专利检索,专利查询,专利分析的服务。并且本 发明 提供一种对所拍目标多 角 度实时转播的系统和方法,所述系统包括同步装置、若干台摄像机、采集存储装置、播出装置,视频处理单元和模式选择单元;应用于该系统的方法包括设置摄像机 位置 步骤、同步摄像机的步骤、校正摄像机参数步骤、同步拍摄的步骤、图像的同步采集步骤、选择回放模式步骤、图像合并处理步骤、播出步骤。应用本发明提供的系统和方法能够记录某一特定目标的多角度运动画面,并借助于计算机的快速处理,实时产生这一特定目标的基于同一时刻或者较短时间段的多角度连贯画面的回放 信号 。以此,为观众呈现更为精彩细致的比赛画面,提升用户体验。,下面是一种对所拍目标多度实时转播的系统和方法专利的具体信息内容。

1.一种对所拍目标多度实时转播的方法,所述方法使用的系统包括:同步装置、若干台摄像机、采集存储装置,所述系统还包括视频处理单元和模式选择单元,所述若干台摄像机和采集存储装置、播出装置通过时间信号同步线缆与同步装置连接,并且所述若干台摄像机分别通过信号电缆与采集存储装置连接;所述视频处理单元与模式选择单元、采集存储装置连接;所述的模式选择单元上设有专用的多个回放模式键,其特征在于,所述方法的步骤如下:
设置摄像机位置步骤:用于所述的若干台摄像机的位置设置,在被拍摄位置的四周的一个弧段上等间距预设置若干台摄像机,先确定一个主摄像机的机位,主摄像机的位置设置在可以拍摄到待拍目标整个运动过程的方位上,其他摄像机的位置以待拍摄位置为圆心,以所述主摄像机到圆心的投影距离为半径的弧段上均匀放置;所有摄像设备的镜头指向同一拍摄点;
同步摄像机的步骤:用于所述的同步装置同步所述若干台摄像机,在拍摄现场设置一个同步装置,将所述同步装置的同步信号源接入到各摄像机的同步信号输入接口,设置摄像机的同步方式为“外同步”;所述同步装置的同步信号源同时也接入到采集存储装置和播出装置的同步信号输入接口;
校正摄像机参数的步骤:用于将所有摄像机白平衡光圈、焦距等参数调整为一致,并且设置在固定模式,不能随环境自动调整;
同步拍摄的步骤:用于所有摄像机在同步完成后对拍摄目标同步拍摄,并将拍摄到的视频信号传输给采集存储装置;
图像的同步采集步骤:用于所述的采集存储装置同步采集视频信号,将所有摄像机拍摄的视频信号实时并且同步采集到采集存储装置中;根据多台摄像机在现场的安装布置方式,设置多个摄像机输入的视频信号在采集存储装置的故事板列表上的排列顺序,以所述主摄像机输入画面为第一层画面,其余摄像机按照与主摄像机的距离依次排列,距离主摄像机最近的排在第二层画面,次近的排在第三层画面,最远的排在最下的一层画面;并且保证故事板上各层画面在时间轴上按照拍摄时刻对齐;
选择回放模式步骤:用于所述的模式选择单元选择回放模式,多种回放模式预先设置并保存在模式选择单元中,其中每个模式对应一个回放模式键;由操作者直接按动一个回放模式键人工选择一种回放模式,并给视频处理单元发送指令;
图像处理步骤:用于所述的视频处理单元处理视频序列,视频处理单元接到所选回放模式指令后,视频处理单元按照所选回放模式向采集存储装置读取多台摄像机拍摄的视频帧序列,并按照该所选回放模式进行相应的图像处理,处理的方法是选取该回放模式所遍历路径上相关联的真实帧序列作为参考帧,将所述参考帧进行插值算法计算得到虚拟视频帧,将插值得到的虚拟视频帧与原先读取的真实视频帧序列一同作为备选输出帧,备选输出帧根据该所选回放模式进行组合筛选后作为视频处理单元的输出传送给回放播出装置;
播出步骤:用于播出装置播出经处理的视频帧序列,播出装置将回放模式键选择的回放模式经处理完成的视频帧序列播出。
2.根据权利要求1所述的方法,其特征在于所述“图像处理步骤”中对图像的处理方式包括静止方式、动态方式、逆程方式。

说明书全文

一种对所拍目标多度实时转播的系统和方法

技术领域

[0001] 本发明涉及一种对所拍目标多角度实时转播的系统和方法,是一种使用计算机技术进行视频图像处理的系统和方法,是一种用于电视转播的系统与方法。

背景技术

[0002] 在体育赛事的现场转播中,常预先在比赛场地中设置多个摄像机机位,用以捕捉比赛场景基于不同视角的精彩画面,并将多机位采集的信号经过切换后播出,使用户能够看到由不同摄像机位拍摄的不同视角的现场画面,为观众呈现身临现场的视觉体验。但这种转播方法无法满足对于某一特定目标多角度、连贯画面的记录及回放的需求。例如对于跳、吊环等具有高技巧性、运动速度很快的比赛项目的现场转播,此时运动员的比赛动作往往在几秒钟内完成,而最能体现运动员运动竞技平的画面往往时间更短。如果想从不同的角度欣赏运动员某一时刻或某一极短时间的运动姿态的连贯画面,借助于上述传统的多机位拍摄方法显然不能满足,而高速摄像机也只能记录下运动员某一固定角度的细微动作变化,而无法进行多角度连贯画面的记录回放。为此,近几年也出现了一些对传统多机位拍摄进行改进的方法,但往往需要将现场采集的视频文件通过后期制作系统进行人工的视频剪辑合成,由于增加了一环制作工序,降低了整个系统的运行速度,无法适应电视现场转播对时间的苛刻要求。

发明内容

[0003] 为解现有技术存在的问题,本发明提供了一种对所拍目标多角度实时转播的系统和方法,能够记录某一特定目标的多角度运动画面,并借助于计算机的快速处理,实时产生这一特定目标的基于同一时刻或者较短时间段的多角度连贯画面的回放信号。以此,为观众呈现更为精彩细致的比赛画面,提升用户体验。
[0004] 本发明的技术方案是:一种对所拍目标多角度实时转播的系统,包括同步装置、若干台摄像机、采集存储装置,所述系统还包括视频处理单元和模式选择单元,所述若干台摄像机和采集存储装置通过时间信号同步线缆与同步装置连接,并且所述若干台摄像机分别通过信号电缆与采集存储装置连接;所述视频处理单元与模式选择单元、采集存储装置连接;所述的模式选择单元上设有专用的多个回放模式键。
[0005] 一种应用于上述系统的对所拍目标多角度实时转播的方法,方法的步骤如下:
[0006] 设置摄像机位置步骤:用于所述的若干台摄像机的位置设置,在被拍摄位置的四周的一个弧段上等间距预设置若干台摄像机,先确定一个主摄像机的机位,主摄像机的位置设置在可以拍摄到待拍目标整个运动过程的方位上,其他摄像机的位置以待拍摄位置为圆心,以所述主摄像机到圆心的投影距离为半径的弧段上均匀放置;所有摄像设备的镜头指向同一拍摄点;
[0007] 同步摄像机的步骤:用于所述的同步装置同步所述若干台摄像机,在拍摄现场设置一个同步装置,将所述同步装置的同步信号源接入到各摄像机的同步信号输入接口,设置摄像机的同步方式为“外同步”;所述同步装置的同步信号源同时也接入到采集存储装置和播出装置的同步信号输入接口;
[0008] 校正摄像机参数的步骤:用于将所有摄像机白平衡光圈、焦距等参数调整为一致,并且设置在固定模式,不能随环境自动调整;
[0009] 同步拍摄的步骤:用于所有摄像机在同步完成后对拍摄目标同步拍摄,并将拍摄到的视频信号传输给采集存储装置;
[0010] 图像的同步采集步骤:用于所述的采集存储装置同步采集视频信号,将所有摄像机拍摄的视频信号实时并且同步采集到采集存储装置中;根据多台摄像机在现场的安装布置方式,设置多个摄像机输入的视频信号在采集存储装置的故事板列表上的排列顺序,以所述主摄像机输入画面为第一层画面,其余摄像机按照与主摄像机的距离依次排列,距离主摄像机最近的排在第二层画面,次近的排在第三层画面,最远的排在最下的一层画面;并且保证故事板上各层画面在时间轴上按照拍摄时刻对齐;
[0011] 选择回放模式步骤:用于所述的模式选择单元选择回放模式,多种回放模式预先设置并保存在模式选择单元中,其中每个模式对应一个回放模式键;由操作者直接按动一个回放模式键人工选择一种回放模式,并给视频处理单元发送指令;
[0012] 图像处理步骤:用于所述的视频处理单元处理视频序列,视频处理单元接到所选回放模式指令后,视频处理单元向采集存储装置读取多台摄像机拍摄的视频帧序列,并按照所选回放模式进行相应的图像处理,处理的方法是选取该回放模式所遍历路径上相关联的真实帧序列作为参考帧,将所述参考帧进行插值算法计算得到虚拟视频帧,将插值得到的虚拟视频帧与原先读取的真实视频帧序列一同作为备选输出帧,备选输出帧根据该所选回放模式进行组合筛选后作为视频处理单元的输出传送给回放播出装置;
[0013] 播出步骤:用于播出装置播出经处理的视频帧序列,播出装置将回放模式键选择的回放模式经处理完成的视频帧序列播出。
[0014] 方案进一步是,所述“图像处理步骤”中对图像文件的处理方式包括静止方式、动态方式、逆程方式。
[0015] 本发明的有益效果是:在电视转播中可以便捷地进行特定目标的多角度回放,由于本发明采用了多摄像机同步拍摄,在空间中多摄像机于不同方位上多角度对同一目标进行拍摄记录,在时间上多摄像机严格标定同步,使得拍摄得到的画面在时间上和空间上具有强关联性,能够通过插值算法等图像处理技术重建对某一特定目标在某一时段内或某一时刻的基于连续变化和移动的观察视角下的回放画面,实现单一摄像机或传统多机位拍摄方法无法完成的画面镜头表现手法,增强视频画面的表现,提高用户体验。
[0016] 同时由于本发明采用了回放模式预先设置的方式,大大简化了现场人员的工作步骤,使现场即时回放成为可能,不再需要依靠后期制作来完成复杂回放画面的渲染合成,回放模式可以预先进行定制并且对应到具有人机交互按键的具体设备上以满足实际使用的需要,从而具有高度的灵活性和便捷性。附图说明
[0017] 下面结合附图对本发明作进一步详细描述。
[0018] 图1是本发明实施例一所述的系统组成示意图;
[0019] 图2是本发明实施例一所述系统在转播现场的设置示意图;
[0020] 图3是本发明实施例二所述方法的流程图
[0021] 图4a是本发明实施例三所述的静止方式回放算法演示图;
[0022] 图4b是本发明实施例三所述的经静止方式处理的视频帧排列图;
[0023] 图5a、图6是本发明实施例三所述的动态方式回放算法演示图;
[0024] 图5b是本发明实施例三所述的经动态方式处理的视频帧排列图;
[0025] 图7a是本发明实施例三所述的逆程方式回放算法演示图;
[0026] 图7b是本发明实施例三所述的经逆程方式处理的视频帧排列图。

具体实施方式

[0027] 实施例一
[0028] 本实施例是一种对所拍目标多角度实时转播的系统,包括同步装置、若干台摄像机、采集存储装置、播出装置,所述系统还包括视频处理单元和模式选择单元,所述若干台摄像机和采集存储装置、播出装置通过时间信号同步线缆与同步装置连接,并且所述若干台摄像机分别通过信号电缆与采集存储装置连接;所述视频处理单元与模式选择单元、采集存储装置、播出装置连接;所述的模式选择单元上设有专用的多个回放模式键,系统结构原理如图1所示。由于作图的限制,图中仅画出三个摄像机,实际可以连接更多的摄像机。所述同步装置是一个外同步信号发生器,利用外同步信号发生器产生的同步信号送到摄像机的外同步输入端来实现同步。同步信号可以是彩色复合视频信号或黑色突发信号(VBS)、黑白复合视频信号或复合同步信号(VS),也可以是如矩阵等外部设备的复用垂直驱动信号(VD2)和复合视频输出信号;所述摄像机是具有外同步信号输入端的摄像设备;所述采集存储装置是一个带有视音频采集卡的计算机,视音频采集卡将视音频信号采集到计算机中,采集的过程中视音频信号会以帧序列的方式暂时存储在计算机的内存中,并最终以数据文件的形式保存在硬盘上;所述视频处理单元是一个或多个具备运算功能的计算模,此计算模块具备处理视频图像的功能,该计算模块既可以单独部署在一台独立的计算机上对应于一个实体计算机,也可以部署在采集存储装置所存在的计算机上;所述模式选择单元是一种按键设备,此设备上设有多个人机交互按键,每个按键对应所述视频处理单元中的一个或多个计算模块对视频帧序列的计算处理方式;所述的播出装置接收经过视频处理单元处理完成的视频帧序列,并将视频帧序列通过视音频板卡输出,完成对所拍摄目标的多角度实时转播。
[0029] 实际上由于当前计算机技术的发展,在一台计算机设备中同时实现上述的采集存储装置、视频处理单元、播出装置、模式选择单元是完全可行的。这种情况下,采集存储装置、视频处理单元和播出装置将共用计算机内存,直接通过计算机内部总线完成数据交换。如果现场设置的摄像机数量非常多,同时又希望视频处理单元提供更复杂的视频处理和更好的实时响应能力的话,也可以将采集存储装置和视频处理单元、播出装置分别部署到不同的计算机上,如图2所示,模拟场景中设置了7台摄像机组成一个半圆弧段,由于作图的限制,图中仅画出七个摄像机,实际可以连接更多的摄像机。弧段中点位置是主摄像机3,所有摄像机都通过时间信号同步线缆与一个同步装置2连接,所有摄像机分别通过信号电缆将视频文件输入到一个采集存储装置4,采集存储装置4通过网络连接一个计算机组群5,计算机组群5中设置了多台具有运算功能的计算机或服务器,所述计算机或服务器上具有视频处理算法,每一台或多台计算机或服务器的视频处理算法对应一种回放模式;并且有一个按键设备6与计算机组群相连,按键设备上的每一个按键对应一个回放模式,即每一个按键调用计算机组群5中的计算机或服务器;所述计算机组群5通过网络连接播放装置,将处理完成后的视频帧序列输出。
[0030] 实施例二
[0031] 本实施例是一种应用于实施例一所述系统的对所拍目标多角度实时转播的方法,如图3所示,所述方法的步骤如下:
[0032] 设置摄像机位置步骤:用于所述的若干台摄像机的位置设置,在被拍摄位置的四周的一个弧段上等间距预设置若干台摄像机,先确定一个主摄像机的机位,主摄像机的位置设置在可以拍摄到待拍目标整个运动过程的方位上,其他摄像机的位置以待拍摄位置为圆心,以所述主摄像机到圆心的投影距离为半径的弧段上均匀放置;所有摄像设备的镜头指向同一拍摄点;
[0033] 同步摄像机的步骤:用于所述的同步装置同步所述若干台摄像机,在拍摄现场设置一个同步装置,将所述同步装置的同步信号源接入到各摄像机的同步信号输入接口,设置摄像机的同步方式为“外同步”;所述同步装置的同步信号源同时也接入到采集存储装置和播出装置的同步信号输入接口;
[0034] 校正摄像机参数的步骤:用于将所有摄像机白平衡、光圈、焦距等参数调整为一致,并且设置在固定模式,不能随环境自动调整;
[0035] 同步拍摄的步骤:用于所有摄像机在同步完成后对拍摄目标同步拍摄,并将拍摄到的视频信号传输给采集存储装置;
[0036] 图像的同步采集步骤:用于所述的采集存储装置同步采集视频信号,将所有摄像机拍摄的视频信号实时并且同步采集到采集存储装置中;根据多台摄像机在现场的安装布置方式,设置多个摄像机输入的视频信号在采集存储装置的故事板列表上的排列顺序,以所述主摄像机输入画面为第一层画面,其余摄像机按照与主摄像机的距离依次排列,距离主摄像机最近的排在第二层画面,次近的排在第三层画面,最远的排在最下的一层画面;并且保证故事板上各层画面在时间轴上按照拍摄时刻对齐;
[0037] 选择回放模式步骤:用于所述的模式选择单元选择回放模式,多种回放模式预先设置并保存在模式选择单元中,其中每个模式对应一个回放模式键;由操作者直接按动一个回放模式键人工选择一种回放模式,并给视频处理单元发送指令;
[0038] 图像处理步骤:用于所述的视频处理单元处理视频帧序列,视频处理单元接到所选回放模式指令后,视频处理单元按照回放模式所需要使用到的视频帧向采集存储装置读取多台摄像机拍摄的视频帧序列,并按照所选回放模式进行相应的图像处理,处理的方法是选取该回放模式所遍历路径上相关联的真实帧序列作为参考帧,将所述参考帧进行插值算法计算得到虚拟视频帧,将插值得到的虚拟视频帧与原先读取的真实视频帧序列一同作为备选输出帧,备选输出帧根据该所选回放模式进行组合筛选后作为视频处理单元的输出传送给回放播出装置;
[0039] 播出步骤:用于播出装置播出经处理的视频帧序列,播出装置将回放模式键选择的回放模式经处理完成的视频帧序列通过视音频板卡播出。
[0040] 结合图1、2、3所示,本实施例提供的方法步骤如下:
[0041] 第一步:在以被拍摄物为圆心的弧段上等间距设置了7台摄像机,先确定一个主摄像机3的机位,在本实施例中主摄像机3是所述弧段中间位置的摄像机,其他摄像机以被拍摄物1为圆心,以主摄像机3到圆心的投影距离为半径的弧段上均匀放置;所有摄像机的镜头都指向被拍摄物1。这里的摄像机在弧段上等间距均匀放置是为了后续使用多个不同摄像机拍摄的画面输出时,画面之间的变化时连续和一致的,不至于有跳动和迟滞的现象。实际上不均匀放置也是可行的,不过需要在后续的视频处理环节增加上根据摄像机位置的图像插值平滑处理。
[0042] 第二步:在如图3所示的模拟拍摄现场设置一个同步装置2,将同步装置2的信号源接入到各摄像机的同步信号输入接口,设置所有摄像机的同步方式为“外同步”;所述同步装置的同步信号源同时也接入到采集存储装置和播出装置的同步信号输入接口;
[0043] 第三步:将所有摄像机白平衡、光圈、焦距等参数调整为一致,并且设置在固定模式,不能随环境自动调整。
[0044] 上述的摄像机安装和调整的过程,主要是根据待拍摄运动目标的运动轨迹,设置多台摄像机各自的摆放位置和朝向,特别的,首先确定主摄像机的机位,主摄像机的机位通常设置在可以拍摄运动员整个运动过程的方位上,其他摄像机的机位设置按下述方法确定:
[0045] 多台摄像机的设置应以待拍摄运动目标运动的最高点的位置为圆心,以主摄像机到圆心的投影距离为半径的弧段上均匀放置;并且该弧段以主摄像机为一端的端点。(以便选择不同摄像机的画面连续播放时,空间的变化是平滑的)
[0046] 多台摄像机的光轴轴心应指向待拍摄运动目标运动的最高点的位置,包括摄像机各自机身和镜头的轴线应该在摄像机摆放位置与待拍摄目标运动最高点的连线方向,摄像机机身离地的高度应一致,摄像机机身的俯仰角应该一致并指向待拍摄目标运动最高点;(画面在不同摄像机间切换时,不会出现画面跳动的感觉,空间指向的细微误差,可以通过的画面稳定处理软件进行补偿)
[0047] 所有摄像机白平衡、光圈、焦距等应该事先调整为一致的,并且设置在固定模式,不能随环境自动调整;
[0048] 上述调整的一种优选的实现方法为:计算被拍摄目标运动最高点的位置,例如对于跳马比赛该位置的准确选取应该是以运动员实际比赛过程起跳后最高点的中心位置为准;在该位置悬吊一个大小合适的气球模拟被拍摄目标;周围环境设置为与直播状况相同,特别是周围的环境灯光;各摄像机以该气球为拍摄主题进行拍摄参数(焦距、光圈)的调整;
[0049] 第四步:将所有摄像机拍摄的视频信号实时采集到一个采集存储装置4中;根据多台摄像机在现场的安装布置方式,设置多个摄像机输入的视频信号在采集存储装置4的故事板列表上的排列顺序,本实施例中模拟现场设置了7台摄像机,以主摄像机3的输入画面为第一层画面,其余摄像机按照与主摄像机的距离依次排列,距离主摄像机最近的两台摄像机排在第二层、第三层画面,次近的两台摄像机排在第四层、第五层画面,距离主摄像机最远的两台摄像机排在第六层、第七层画面。
[0050] 第五步:本实施例中模式选择单元预先设置并保存了多种回放模式,每个模式对应一种计算机算法;当现场直播过程中操作者决定采用某一种回放模式进行接下来的画面转播时,当即由操作者人工操作按键设备6选择一种回放模式,并给视频处理单元发送指令;
[0051] 第六步:本实施例中视频处理单元是一个计算机组群5,所述计算机组群5接到所选回放模式指令后,根据该回放模式指令被选中的计算机或服务器通过采集存储装置4读取多台摄像机拍摄的视频帧序列,并保证所述多个视频帧序列以拍摄时刻对齐,被选中的计算机或服务器将读取到的多个视频帧序列按照所选回放模式进行相应的图像处理,处理的方法是获取相应的回放模式所遍历到的任意两帧摄像机的真实视频帧序列,将所述视频帧进行插值算法计算得到虚拟视频帧,将插值得到的虚拟视频帧与原先提取的真实视频帧一同作为视频处理单元的输出传送给播出装置。
[0052] 视频的处理方式直接决定了回放模式,本发明提供了三种处理方式即静止方式、动态方式、逆程方式,三种方式的数据处理方式不同,其本质区别是真实帧的选取方式、计算虚拟帧的插值算法、真实帧与虚拟帧输出的顺序和密度不同。
[0053] 所述静止方式是指当被拍摄物运动到某一空间点时,视频处理单元选取所有摄像机拍摄的物体在这一点时的视频帧,为使画面更为连贯可以进行插值算法计算,得到与真实帧相关的虚拟帧,,最后将计算得到的虚拟视频帧与真实视频帧连在一起形成一个连贯的视频帧序列,表现一个的物体静止在这一点但不同角度的连贯画面。
[0054] 所述动态方式是指随着被拍摄物的运动切换摄像机,即以不同的角度播放物体运动的过程,但是真实存在的摄像机数量有限,如果只播出真实存在的视频帧可能会使得切换摄像机时视频展现的角度过度不够连贯,所以同样可以通过视频处理单元根据适合的插值算法计算出更多的虚拟帧填补到真实摄像机所拍摄的视频帧之间,从而使最终的视频帧序列呈现出角度过度更平滑更连贯的运动过程。
[0055] 所述逆程方式是指在动态方式的基础上,视频处理单元将物体运动过程中在前时间点的帧插入到在后时间点的帧之后,使得物体运动呈现出倒退并且变换观看角度的现象。
[0056] 第七步:播出装置7将人工选择的经处理完成的视频帧播出。
[0057] 需要指出的是,上述的采集存储和视频处理、视频播出虽然有逻辑上的先后关系,但是在实际转播过程中是可以同步发生的。以跳马运动的转播为例:当运动员开始准备起跳时,所有的摄像机已经在同步拍摄,采集存储装置也已经同步采集多个摄像机的拍摄信号,播出装置也一直在播出主摄像机的拍摄画面;当运动员起跳后将要到达空中姿态的最高点时,转播人员可以通过本发明的模式选择单元选择一种转播处理模式,拍下对应的键,这时视频处理单元随即按照选取的回放模式调用刚刚采集下的视频帧序列经处理后由播出装置播出,而同时,所有摄像机还将拍摄下运动员下落的整个过程,采集存储装置在这个过程中也会采集到所有摄像机拍摄的各个角度的运动员下落过程。
[0058] 实施例三
[0059] 本实施例是实施例二的改进,是实施例二关于“图像处理步骤”细化,本实施例所述的图像处理方式包括静止方式、动态方式、逆程方式,每一种处理方式对应一种回放模式即静止回放模式、动态回放模式、逆程回放模式。上述回放模式决定了以何种效果为观众呈现现场转播画面。此处的呈现效果可以是通过简单地选取多台摄像机在某一时刻同时拍摄的视频帧,不经过插值计算直接按照摄像机的排放位置依次输出给播出装置,形成所拍摄目标静止的且遍历多台摄像机排放位置路径的多角度回放效果。如果考虑更为细腻体验更好的呈现效果,可以通过在拍摄到的真实帧中选取相应的参考帧进行插值计算得到虚拟帧的方法来平滑遍历路径,或者是达到慢放效果,并且此时经过组合筛选输出给播出装置的帧可以是真实拍摄的帧和插值得到的虚拟帧的混合,或者全部是插值得到的虚拟帧,这就意味着呈现画面所遍历的路径可以不局限于摄像机实际的排放位置,为现场转播带来了更大的灵活性。在本实施例中回放模式是直播前预先设置好的,这里的回放模式涵盖回放过程中涉及的所有必要元素,即某一回放模式与所有元素的具体实现方式的合理组合建立一一对应的关系。这里的合理是指能够为观众提供更好的画面体验的同时兼顾实时计算处理的复杂度,保证实时转播。所述的必要元素包括但不限于,多台摄像机拍摄的视频帧的选取准则,利用某种算法或依据某一准则选取先前已经拍摄得到的帧作为参考帧来构造虚拟帧,先前拍摄得到的帧和虚拟帧的组合筛选规则,回放时所使用的帧序列的排列顺序及帧的数量等。回放模式的预置过程还包括,对以上所述的所有必要元素的具体实现特征进行参数化,并将所有参数项进行合理组合,每一种组合与某一图标或某一快捷键等人机交互的具体形式建立一一对应的关系。
[0060] 图4a、5a、6、7a分别表示了三种回放模式的视频处理方式。各图中的横坐标表示拍摄对象实际运动时间, c1、c2、c3、c4、c5表示不同位置的真实存在的摄像机,圆点表示真实存在的视频帧,十字表示视频处理单元计算得到的虚拟帧。以图4a所示的静止方式为例,该图表示3台摄像机以同一时间为起点开始拍摄一个物体的运动过程,拍摄出的视频帧序列必然是3个独立序列,但最后要播出的视频是1个合成序列,坐标中对应R点的矢量即是表示当物体运动到时间点R时,图像处理单元将3台摄像机拍摄的视频帧序列合成为1个序列的过程,最终的合成序列播出过程是:以物体运动的实际运动时间点R为分割点,R点之前播出3台摄像机中其中一台所拍摄的视频帧序列,到达R点时播出经处理的三合一序列,R点之后播出3台摄像机中的另一台所拍摄的视频帧序列。最终处理完成的视频帧序列如图4b所示,Cm是播出合成帧序列的虚拟摄像机,Tm是最终播放合成帧序列的时间轴,图中c1、c2、c3对应的点代表真实存在的视频帧,横坐标中的Rm点对应的圆点表示经计算得到的虚拟帧。图中第一个和第二个帧使用的是摄像机c3拍摄的帧,第三个帧使用的是视频处理单元计算出的虚拟帧,第四个帧使用的是摄像机c2拍摄的帧,第五个帧使用的是视频处理单元计算出的虚拟帧,第六个之后都是摄像机c1拍摄的帧。最终形成一个完整的视频帧序列。同理,其他的处理方式原理相同,但真实帧的选取方式、计算虚拟帧的插值算法、真实帧与虚拟帧输出的顺序和密度不同,所以得到的合成的视频帧序列的回放模式不同。
[0061] 所述的静止方式表示的是被拍摄目标在某一时刻静止在空间的某一位置上,但图像的变化是围绕着被拍摄目标旋转移动,视觉上是观察者围绕着被拍摄目标移动,从一个圆弧的平面上对被拍摄目标进行各个角度的观察。
[0062] 如图4a所示在真实存在的视频帧之间插入计算得出的虚拟帧,这些虚拟帧代表模拟现场中任意两台摄像机之间设置的虚拟摄像机在同一时刻所拍摄的画面,这些虚拟摄像机的放置位置,或称为放置的轨迹由具体的插值算法决定。某一段回放路程插的帧数越多,意味着观察者划过此路程两端点摄像机机位的路径越平滑,亦即这段路程所设置的虚拟摄像机越多;反之,则代表划过的路径越接近折线,所设置的虚拟摄像机越少。
[0063] 如图5a所示,计算所得的虚拟帧所代表的虚拟摄像机和真实设置在拍摄现场的摄像机构成了短时间动态回放时观察者的移动轨迹。如图6所示,当虚拟帧足够多时,可以模拟摄像机摇臂的拍摄效果,即在某一时间段内镜头划过的拍摄路径为一空间曲线;而且这种回放模式并不局限于现场实际放置的摄像机的位置,可以完全由插值所得虚拟帧所代表的虚拟摄像机构成回放时观察者的移动轨迹。
[0064] 如图7a、7b所示,可以进行逆程回放,逆程的含义包括时间和空间上的,时间上的相当于倒放,空间上的是指沿原来观察者移动轨迹反向划动回去。
[0065] 实际上本实施例给出的静止方式、动态方式、逆程方式仅仅是多角度回放的三种示例,由于所有摄像机的拍摄视频序列都将被采集到采集存储装置中,所以可以灵活的定义更多的遍历模式也得到更好的转播效果。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈