一种视频画面的多屏幕显示方法与系统

专利类型 发明公开 法律事件 公开; 实质审查;
专利有效性 实质审查 当前状态 实质审查
申请号 CN202411655620.9 申请日 2024-11-19
公开(公告)号 CN119545059A 公开(公告)日 2025-02-28
申请人 黄山市富昊斯光电科技有限公司; 申请人类型 企业
发明人 程胜利; 胡文; 第一发明人 程胜利
权利人 黄山市富昊斯光电科技有限公司 权利人类型 企业
当前权利人 黄山市富昊斯光电科技有限公司 当前权利人类型 企业
省份 当前专利权人所在省份:安徽省 城市 当前专利权人所在城市:安徽省黄山市
具体地址 当前专利权人所在详细地址:安徽省黄山市屯溪区奕棋镇九龙工业园区凤山路12号科创园2号楼二、三层 邮编 当前专利权人邮编:245000
主IPC国际分类 H04N21/43 所有IPC国际分类 H04N21/43H04N21/4402
专利引用数量 0 专利被引用数量 0
专利权利要求数量 10 专利文献类型 A
专利代理机构 洛阳知聚智汇知识产权代理事务所 专利代理人 李洁;
摘要 本 申请 涉及视频数据传输技术领域,具体涉及一种视频画面的多屏幕显示方法与系统,该方法包括:获取各屏幕中待显示的 视频 帧 图像以及对应各屏幕传输时的带宽数据,确定视频帧图像中各区域的运动显著值,结合区域内的纹理分布情况,获取视频帧图像中各区域的 视频编码 质量 系数,计算各带宽数据的跳变骤减系数,获取各屏幕在显示各视频帧图像时的画面压缩程度值;基于所述画面压缩程度值,对各屏幕中各视频帧图像的压缩编码参数进行优化。本申请可提高视频画面多屏幕显示的 稳定性 。
权利要求

1.一种视频画面的多屏幕显示方法,其特征在于,包括以下步骤:
获取各屏幕中待显示的视频图像以及对应各屏幕传输时的带宽数据;
基于视频帧图像中各区域内像素点之间的运动差异以及像素点之间的距离,确定视频帧图像中各区域的运动显著值,结合区域内的纹理分布情况,获取视频帧图像中各区域的视频编码质量系数;
将各带宽数据及其之前预设数量的带宽数据作为各带宽数据的近邻带宽数据,分析各带宽数据的所有近邻带宽数据的偏差情况及变化程度,获取各带宽数据的跳变骤减系数;
根据不同屏幕在显示各视频帧图像中每个区域的视频编码质量系数的相似程度,结合各屏幕的各视频帧图像中所有区域的视频编码质量系数,以及各屏幕传输时各带宽数据的跳变骤减系数,获取各屏幕在显示各视频帧图像时的画面压缩程度值;
基于所述画面压缩程度值,对各屏幕中各视频帧图像的压缩编码参数进行优化。
2.如权利要求1所述的一种视频画面的多屏幕显示方法,其特征在于,所述视频帧图像中各区域的运动显著值的确定进一步包括:
针对视频帧图像中各区域,根据各区域内每个像素点在相邻帧图像中平方向和垂直方向的变化情况,确定各区域内每个像素点的总运动向量;
对区域内所有像素点的总运动向量聚类,根据区域内各聚类簇内像素点的总运动向量的相似程度以及像素点之间的距离关系,计算各区域的运动显著值,计算公式为:
式中, 表示第i个视频帧图像中的第j个区域的运动显著值,N表示
区域中对应的聚类簇总数,BK表示第K个聚类簇中所有总运动向量的模的均值,EK表示第K个聚类簇对应平均向量与其他所有聚类簇对应平均向量的余弦相似度的绝对值的累加和,Ck表示第K个聚类簇内所有任意两个总运动向量对应像素点之间曼哈顿距离的累加和。
3.如权利要求2所述的一种视频画面的多屏幕显示方法,其特征在于,所述各区域内每个像素点的总运动向量进一步包括:
采用光流法获取各区域内每个像素点在水平和垂直方向的运动向量,将水平和垂直方向的运动向量的和值作为每个像素点的总运动向量。
4.如权利要求1所述的一种视频画面的多屏幕显示方法,其特征在于,所述视频帧图像中各区域的视频编码质量系数对应计算公式为:
式中, 表示第i个视频帧图像中第j个区域的视频编码质量系数,
分别表示第i个视频帧图像中的第j个区域的运动显著值、细节纹理丰富系数,其中,结合区域内像素点的梯度信息以及灰度分布情况确定细节纹理丰富系数。
5.如权利要求4所述的一种视频画面的多屏幕显示方法,其特征在于,所述细节纹理丰富系数进一步为区域内所有像素点梯度的平均值与所有像素点灰度值的熵的乘积。
6.如权利要求1所述的一种视频画面的多屏幕显示方法,其特征在于,所述各带宽数据的跳变骤减系数对应计算公式为:
式中,Ti表明第i个带宽数据的跳变骤减系数,exp()为以自然常数为底数的指数函数;Di为第i个带宽数据的传输偏差度,通过带宽数据的各近邻带宽数据的偏差程度计算;将第i个带宽数据的所有近邻带宽数据按时间升序排列组成近邻带宽序列,S为所述近邻带宽序列的一阶差分序列内所有元素的累加和。
7.如权利要求6所述的一种视频画面的多屏幕显示方法,其特征在于,所述真实受扰指数,包括:对各带宽数据的所有近邻带宽数据进行拟合,并计算各近邻带宽数据与对应拟合直线之间的最小距离,将第i个带宽数据的所有近邻带宽数据的所有所述最小距离的和作为第i个带宽数据的传输偏差度。
8.如权利要求1所述的一种视频画面的多屏幕显示方法,其特征在于,所述各屏幕在显示各视频帧图像时的画面压缩程度值对应计算公式为:
式中,Yi(U)表示第U个屏幕在显示第i个视频帧图像时的
画面压缩程度值,Hi(U)表示第U个屏幕的第i个视频帧图像中所有区域的视频编码质量系数的和值,L为屏幕总数,XU,V表示:同一时刻下第U个屏幕的第i个视频帧图像中所有区域对应视频编码质量系数组成的序列,与第V个屏幕的第i个视频帧图像中所有区域对应视频编码质量系数组成的序列之间的杰卡德相似系数。
9.如权利要求1所述的一种视频画面的多屏幕显示方法,其特征在于,所述对各屏幕中各视频帧图像的压缩编码参数进行优化包括:
优化后视频帧图像的压缩编码参数的表达式为: 其中
QPnew,U,i为第U个屏幕的第i个视频帧图像优化后的QP参数值,QPold,U,i为HEVC编码计算得到的第U个屏幕的第i个视频帧图像的QP参数, 为第U个屏幕的第i个视频帧图像的画面压缩程度值的归一化结果,其中,QP为视频数据压缩编码过程中HEVC编码的量化参数。
10.一种视频画面的多屏幕显示系统,包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1‑9任意一项所述方法的步骤。

说明书全文

一种视频画面的多屏幕显示方法与系统

技术领域

[0001] 本申请涉及视频数据传输技术领域,具体涉及一种视频画面的多屏幕显示方法与系统。

背景技术

[0002] 多屏幕显示是利用多个显示器来扩展视觉空间和提高工作效率的技术,将单一计算机的输出分散到多个物理屏幕上。目前,视频编码技术已成为实现高效视频传输与存储的核心,数字内容多网络通道传输能够在一定程度上提高屏幕显示的可靠性,其中高效视频编码(HEVC)技术常用于视频传输前的编码处理,而码率控制作为视频编码中的关键环节,对于平衡视频质量与传输带宽起着至关重要的作用。
[0003] HEVC中的码率控制通过动态的调整量化参数(Quantization Parameter,QP)值来控制编码端输出码流的大小,以确保视频通信过程中的码流能够稳定且可靠地传输至接受端。实际应用过程,由于未充分考虑不同视频内容所需传输数据量以及网络带宽变化的影响,导致HEVC算法中QP参数调节难以维持较高的视频传输速率,进而存在多屏幕显示稳定性不足的缺陷发明内容
[0004] 为了解决上述技术问题,本申请的目的在于提供一种视频画面的多屏幕显示方法与系统,所采用的技术方案具体如下:
[0005] 本申请实施例提供了一种视频画面的多屏幕显示方法,包括以下步骤:
[0006] 获取各屏幕中待显示的视频帧图像以及对应各屏幕传输时的带宽数据;
[0007] 基于视频帧图像中各区域内像素点之间的运动差异以及像素点之间的距离,确定视频帧图像中各区域的运动显著值,结合区域内的纹理分布情况,获取视频帧图像中各区域的视频编码质量系数;
[0008] 将各带宽数据及其之前预设数量的带宽数据作为各带宽数据的近邻带宽数据,分析各带宽数据的所有近邻带宽数据的偏差情况及变化程度,获取各带宽数据的跳变骤减系数;
[0009] 根据不同屏幕在显示各视频帧图像中每个区域的视频编码质量系数的相似程度,结合各屏幕的各视频帧图像中所有区域的视频编码质量系数,以及各屏幕传输时各带宽数据的跳变骤减系数,获取各屏幕在显示各视频帧图像时的画面压缩程度值;
[0010] 基于所述画面压缩程度值,对各屏幕中各视频帧图像的压缩编码参数进行优化。
[0011] 优选的,所述视频帧图像中各区域的运动显著值的确定进一步包括:
[0012] 针对视频帧图像中各区域,根据各区域内每个像素点在相邻帧图像中平方向和垂直方向的变化情况,确定各区域内每个像素点的总运动向量;
[0013] 对区域内所有像素点的总运动向量聚类,根据区域内各聚类簇内像素点的总运动向量的相似程度以及像素点之间的距离关系,计算各区域的运动显著值,计算公式为:
[0014] 式中, 表示第i个视频帧图像中的第j个区域的运动显著值,N表示区域中对应的聚类簇总数,BK表示第K个聚类簇中所有总运动向量的模的均值,EK表示第K个聚类簇对应平均向量与其他所有聚类簇对应平均向量的余弦相似度的绝对值的累加和,Ck表示第K个聚类簇内所有任意两个总运动向量对应像素点之间曼哈顿距离的累加和。
[0015] 优选的,所述各区域内每个像素点的总运动向量进一步包括:
[0016] 采用光流法获取各区域内每个像素点在水平和垂直方向的运动向量,将水平和垂直方向的运动向量的和值作为每个像素点的总运动向量。
[0017] 优选的,所述视频帧图像中各区域的视频编码质量系数对应计算公式为:
[0018] 式中, 表示第i个视频帧图像中第j个区域的视频编码质量系数,分别表示第i个视频帧图像中的第j个区域的运动显著值、细节纹理丰富系数,其中,结合区域内像素点的梯度信息以及灰度分布情况确定细节纹理丰富系数。
[0019] 优选的,所述细节纹理丰富系数进一步为区域内所有像素点梯度的平均值与所有像素点灰度值的熵的乘积。
[0020] 优选的,所述各带宽数据的跳变骤减系数对应计算公式为:
[0021] 式中,Ti表明第i个带宽数据的跳变骤减系数,exp()为以自然常数为底数的指数函数;Di为第i个带宽数据的传输偏差度,通过带宽数据的各近邻带宽数据的偏差程度计算;将第i个带宽数据的所有近邻带宽数据按时间升序排列组成近邻带宽序列,S为所述近邻带宽序列的一阶差分序列内所有元素的累加和。
[0022] 优选的,所述真实受扰指数,包括:对各带宽数据的所有近邻带宽数据进行拟合,并计算各近邻带宽数据与对应拟合直线之间的最小距离,将第i个带宽数据的所有近邻带宽数据的所有所述最小距离的和作为第i个带宽数据的传输偏差度。
[0023] 优选的,所述各屏幕在显示各视频帧图像时的画面压缩程度值对应计算公式为:
[0024] 式中,Yi(U)表示第U个屏幕在显示第i个视频帧图像时的画面压缩程度值,Hi(U)表示第U个屏幕的第i个视频帧图像中所有区域的视频编码质量系数的和值,L为屏幕总数,XU,V表示:同一时刻下第U个屏幕的第i个视频帧图像中所有区域对应视频编码质量系数组成的序列,与第V个屏幕的第i个视频帧图像中所有区域对应视频编码质量系数组成的序列之间的杰卡德相似系数。
[0025] 优选的,所述对各屏幕中各视频帧图像的压缩编码参数进行优化包括:
[0026] 优化后视频帧图像的压缩编码参数的表达式为: 其中QPnew,U,i为第U个屏幕的第i个视频帧图像优化后的QP参数值,QPold,U,i为HEVC编码计算得到的第U个屏幕的第i个视频帧图像的QP参数, 为第U个屏幕的第i个视频帧图像的画面压缩程度值的归一化结果,其中,QP为视频数据压缩编码过程中HEVC编码的量化参数。
[0027] 本申请实施例还提供了一种视频画面的多屏幕显示系统,包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述任意一项所述方法的步骤。
[0028] 由以上可见,本申请提供的一种视频画面的多屏幕显示方法与系统,至少具有如下有益效果:
[0029] 本申请通过稠密光流算法获取相邻帧之间同一区域的运动向量,结合聚类算法分析了不同运动向量的方向差异特征和运动幅度大小,得到运动显著值,用运动显著值有助于区分交通监控视频图像中不同区域之间的运动特征。且相较于单个像素点的计算,区域级别的特征能降低计算量,符合后续以每帧图像作为编码对象,而不是基于少量像素点进行编码的处理。
[0030] 进一步分析带宽数据对视频传输的影响,通过度量不同屏幕之间视频质量相似关系,计算了屏幕的画面压缩程度值,进而对HEVC算法中的QP参数进行优化,能够减少多屏幕显示首视频传输内容以及带宽不稳定的影响,弥补了多屏幕显示的稳定性不足的缺陷。附图说明
[0031] 为了更清楚地说明本申请实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
[0032] 图1为本申请提供的一种视频画面的多屏幕显示方法的步骤流程图

具体实施方式

[0033] 为了更进一步阐述本申请为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本申请提出的一种视频画面的多屏幕显示方法与系统,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一个或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
[0034] 除非另有规定和限定,诸如术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的电路结构、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种物品或者设备所固有的要素。在没有更多限制的情况下,有语句“包括一个……”限定的要素,并不排除在包括所述要素的物品或者设备中还存在另外的相同要素。另外,本文使用的术语“和\或”包括一个或多个相关的所列项目的任一的和所有的组合。本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。
[0035] 下面结合附图具体的说明本申请所提供的一种视频画面的多屏幕显示方法与系统的具体方案。
[0036] 请参阅图1,其示出了本申请一个实施例提供的一种视频画面的多屏幕显示方法的步骤流程图,包括以下步骤:
[0037] 步骤一:获取各屏幕中待显示的视频帧图像以及对应各屏幕传输时的带宽数据。
[0038] 本申请以远程交通监控视频传输应用中的多屏幕显示为例。拍摄的监控视频可采用数字内容多网络通道传输的方式传输至屏幕终端,视频在传输过程中,往往会受到通信网络带宽的限制,为了充分利用有限的网络带宽,通常需要对获取的视频进行压缩处理。码率控制在视频压缩过程中起着重要作用,本实施例采用高效视频编码(HEVC)算法对采集的视频帧进行编码处理。采用摄像头拍摄获取监控视频数据,并通过网络检测工具获取屏幕显示时的带宽数据。本实施例中,设置视频数据帧率为30FPS,网络带宽数据的采集频率为每秒30次。
[0039] 至此,获取交通监控的视频数据以及传输时的带宽数据。
[0040] 步骤二:基于视频帧图像中各区域内像素点之间的运动差异以及像素点之间的距离,确定视频帧图像中各区域的运动显著值,结合区域内的纹理分布情况,获取视频帧图像中各区域的视频编码质量系数。
[0041] 前端摄像头采集的视频数据需要经过压缩编码处理后,然后再对编码后的数据进行传输。在HEVC编码过程中,码率控制具有至关重要的作用,是视频质量的一个重要指标,以确保输出的码流符合特定的码率约束。其中QP是影响视频码率的重要参数因子,QP值反映了视频的压缩程度。若视频质量越高,压缩程度越低,QP值越低;若视频质量越低,则压缩程度越大,此时QP值也越大。实际应用中为满足多屏幕显示的稳定性,还需要综合考虑编码视频的内容特征、传输带宽的状态来选取合适的QP大小。
[0042] 考虑到HEVC编码算法允许对视频帧图像中的不同区域进行独立编码,并且在远程交通监控视频场景中,视频帧图像中不同区域内目标的运动状态和场景复杂程度不同,因此,可综合考虑不同区域的运动以及场景复杂特征来,对视频图像进行不同程度的压缩,具体的,本实施例中,将每个视频帧图像划分为20个尺寸相同的区域。
[0043] 以第i个视频帧图像中的第j个区域为例,若该区域中存在较多运动物体,例如车流量大,并且场景较为复杂,例如区域内部图像的包含的细节内容偏多、纹理特征明显,此时压缩编码需要保证较高的视频质量,以便更清晰地捕捉细节。而对于运动物体较少、包含细节内容偏少的区域,压缩编码后的视频质量可以偏低,能够减少数据的传输量。由此,基于上述特征分别对视频帧中的每个区域进行分析。
[0044] 对于目标区域内物体的运动特征,本实施例采用Farneback稠密光流算法进行运动检测,该算法的输入为第i帧图像及其前一帧图像,输出为第i帧图像中每个像素点在水平方向和垂直方向上的运动向量,因此,在每个区域内的所有像素点都可得到水平和垂直方向上对应的运动向量。进一步,以其中的某个像素点为例,计算其水平与垂直方向的对应运动向量的和,作为该像素点的总运动向量。所述总运动向量的方向记为该像素点的运动方向,总运动向量模的大小即为该像素点运动幅度的大小。在远程交通监控视频场景中,对复杂路况和违规驾驶行为的检测是交通监测的重点,也是多屏幕显示上的需要重要关注的地方。若某区域存在复杂路况和违规驾驶行为时,该区域内的运动特征越显著,运动特征表现为内部具有不同方向总运动向量的像素点越多,并且像素点对应的运动幅度越大。而对于这些区域则需要保证传输视频的质量。基于上述特征进行如下处理。
[0045] 首先对区域内总运动向量的差异性进行分析,以第i个视频帧图像中的第j个区域为例,本实施例采用AP聚类算法将该区域内所有像素点的总运动向量进行聚类,输出为多个聚类簇。若输出聚类簇的数量越多,并且每个聚类簇对应像素点在区域内的位置分布越离散,说明该区域内的越有可能存在不同方向运动的目标,该区域内的交通路况越复杂。对于第K个聚类簇,计算任意两个总运动向量对应像素点之间的曼哈顿距离,将聚类簇内所有所述曼哈顿距离的累加和作记为Ck。在同一聚类簇中总运动向量的方向通常一致,而不同聚类簇之间的对应总运动向量的方向可能不一致,若不同聚类簇间总运动向量的方向差异越大,说明区域内目标运动方向的差异性越强。由此,将每个聚类簇中的所有总运动向量的平均值,作为每个聚类簇的平均向量。
[0046] 进而,结合各区域每个聚类簇内像素点的总运动向量的相似程度以及像素点之间的距离关系,计算各区域的运动显著值,本实施例中,具体计算公式如下:
[0047] 式中, 表示第i个视频帧图像中的第j个区域的运动显著值,N表示区域中对应的聚类簇总数,BK表示第K个聚类簇中所有总运动向量的模的均值,所得BK越大,表明第K个簇对应像素点的运动幅度越大,Ck表示第K个聚类簇内所有任意两个总运动向量对应像素点之间曼哈顿距离的累加和,CK越大,表明第K个簇对应像素点在区域内的位置分布越离散,EK表示第K个聚类簇对应平均向量与其他所有聚类簇对应平均向量的余弦相似度的绝对值的累加和,其值越小,说明不同簇之间的总运动向量的方向差异越大。运动显著值越大,说明该区域内像素点运动多方向及幅度特征越明显。
[0048] 进一步,区域内图像的细节特征与内容的复杂性密切相关。相较于那些内容简单的区域,车流量较大的区域通常具有更丰富的细节和更明显的纹理变化。本实施例计算第j个区域内所有像素点的梯度的平均值以及所有像素点对应灰度值的熵,所有像素点的梯度的平均值反映了区域中纹理的丰富程度,熵值则反映区域中信息量和细节的包含程度。因此,将所有像素点梯度的平均值与所有像素点灰度值的熵的乘积,作为第i个帧视频图像中第j个区域的细节纹理丰富系数,记为 计算的 越大,说明该区域包含细节和纹理特征越多。
[0049] 进一步的,在交通监控视频场景中,若某一区域中像素点运动多方向及幅度特征越明显,同时包含的细节、纹理特征越多,在压缩编码过程中则需要保证更高的视频质量。进而计算视频编码质量系数,具体计算公式为:
[0050] 式中, 表示第i个视频帧图像中第j个区域的视频编码质量系数,计算的 越大,说明该区域内包含的运行以及细节信息较多,压缩编码时需要提供的视频质量越高,需要传输更多的数据量。
[0051] 步骤三:将各带宽数据及其之前预设数量的带宽数据作为各带宽数据的近邻带宽数据,分析各带宽数据的所有近邻带宽数据的偏差情况及变化程度,获取各带宽数据的跳变骤减系数。
[0052] 视频画面的多屏幕显示所采用的数字内容的多网络通道传输过程中,带宽状态也会影响视频传输的稳定性。若传输过程中出现信号干扰可能出现随机噪声的增多,也可能因网络的临时拥塞导致带宽数据的骤降,进而难提供稳定的数据传输量,影响视频画面显示的流畅性。由此,相较于良好传输过程,影响视频传输时的带宽数据表现为随机噪声的增多,即存在较多的数据偏离于短期内的平均带宽数据,以及幅值的快速骤减特征,进而对宽带的变化特征进行分析。
[0053] 对于各带宽数据,本实施例中,将第i个带宽数据及其前29个带宽数据作为第i个带宽数据的近邻带宽数据,并将第i个带宽数据的所有近邻带宽数据按时间升序排列组成第i个带宽数据的近邻带宽序列,对所述近邻带宽序列进行直线拟合,得到对应的拟合直线,并分别计算第i个带宽数据的每个近邻带宽数据与拟合直线之间的最小距离,将第i个带宽数据的所有近邻带宽数据的所有所述最小距离的和记为第i个带宽数据的传输偏差度。所得传输偏差度越大,说明第i个带宽数据所在的近邻带宽序列内存在的随机噪声越多。为分析其快速骤减特征,计算所述近邻带宽序列的一阶差分序列内所有元素的累加和,记为S,若带宽数据的快速骤减特征越明显,所述一阶差分序列之和的值越小。由此,获取各带宽数据的跳变骤减系数,本实施例中,计算公式如下:
[0054] 式中,Ti表明第i个带宽数据的跳变骤减系数,exp()为以自然常数为底数的指数函数;Di为第i个带宽数据的传输偏差度;S为所述近邻带宽序列的一阶差分序列内所有元素的累加和,所得exp(S)越小,说明近邻带宽序列的快速骤减特征越明显。所得Ti越大,说明此时的带宽数据的随机噪声越多,越可能出现快速骤减,越难提供稳定的数据传输量。
[0055] 步骤四:根据不同屏幕在显示各视频帧图像中每个区域的视频编码质量系数的相似程度,结合各屏幕的各视频帧图像中所有区域的视频编码质量系数,以及各屏幕传输时各带宽数据的跳变骤减系数,获取各屏幕在显示各视频帧图像时的画面压缩程度值。
[0056] 进一步地,多屏幕在同时显示过程中,不同视频画面会经过网络传输至不同的屏幕终端。若各个屏幕显示的视频画面质量同时较高,并且网络的稳定性特征越差,此时越容易影响多屏幕显示的稳定性。各个屏幕显示的视频画面质量同时较高的具体表现为同一时刻下各屏幕显示的视频帧图像中需要较高视频质量的区域偏多,并且不同屏幕之间视频质量整体较为接近。基于上述特征进行如下处理。
[0057] 本实施例在数据采集过程中设置的视频帧之间的时间间隔与带宽数据采集的时间间隔相同,因此,在同一时刻下具有对应的视频帧图像和带宽数据。进而计算该屏幕的画面压缩程度值,本实施例中,具体计算公式为:
[0058] 式中,Yi(U)表示第U个屏幕在显示第i个视频帧图像时的画面压缩程度值,Hi(U)表示第U个屏幕的第i个视频帧图像中所有区域的视频编码质量系数的和值,所得Hi(U)越大,说明第U个屏幕在该视频帧中需要传输的数据量越大,L为屏幕总数,XU,V表示:同一时刻下第U个屏幕的第i个视频帧图像中所有区域对应视频编码质量系数组成的序列,与第V个屏幕的第i个视频帧图像中所有区域对应视频编码质量系数组成的序列之间的杰卡德相似系数。所得 越大,说明,不同屏幕之间的视频质量越接近。当Ti越大时网络所能传输的数据量越有限,计算的Yi(U)越大,说明需要对该屏幕所显示的视频帧进行更大程度的压缩。
[0059] 步骤五:基于所述画面压缩程度值,对各屏幕中各视频帧图像的压缩编码参数进行优化。
[0060] 本实施例通过分析多屏幕显示过程中各个屏幕视频帧图像的质量以及网络带宽数据的变化特征,以及对视频显示稳定性的影响,构建画面压缩程度值,以此来反映视频编码时的压缩程度,基于画面压缩程度值对视频数据的压缩编码QP参数优化。
[0061] HEVC编码能够对每个视频帧的不同区域计算出相应的QP值,以任一屏幕的第i个视频帧图像为例,本实施例首先对计算的画面压缩程度值采用tanh双曲正切函数进行归一化,将归一化结果记为Z。
[0062] 进一步,构建该视频帧图像中每个区域优化后的QP参数,本实施例中,计算公式为: 其中QPnew,U,i为第U个屏幕的第i个视频帧图像优化后的QP参数值,QPold,U,i为HEVC编码计算得到的第U个屏幕的第i个视频帧图像的QP参数,HEVC编码算法QP参数的获取过程具体为现有公知技术,本实施例中不再赘述。 为第U个屏幕的第i个视频帧图像的画面压缩程度值的归一化结果,其中,QP为视频数据压缩编码过程中HEVC编码的量化参数,进而将QPnew作为该视频帧图像的压缩编码参数,进而调节视频传输的码率,提高多屏幕显示的稳定性。
[0063] 基于与上述方法相同的发明构思,本申请实施例还提供了一种视频画面的多屏幕显示系统,包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述一种视频画面的多屏幕显示方法中任意一项所述方法的步骤。
[0064] 可以理解的是:上述本申请实施例先后顺序仅仅为了描述,不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
[0065] 本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。
[0066] 以上内容,仅为本申请的实施方式,并非用于限制本申请的范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的保护范围内。
QQ群二维码
意见反馈