首页 / 专利库 / 多媒体工具与应用 / 视频编码 / 视频图像处理方法和装置

视频图像处理方法和装置

阅读:2发布:2020-10-13

专利汇可以提供视频图像处理方法和装置专利检索,专利查询,专利分析的服务。并且本 发明 涉及一种视频 图像处理 方法,包括:获取视频的编解码信息,判断所述视频的解码 分辨率 是否小于目标分辨率,如果是,则根据所述视频的编解码信息得到对应的中间放大倍数和放大方式;根据所述中间放大倍数和放大方式将所述视频图像放大得到中间放大视频图像;将所述中间放大视频图像放大至目标分辨率,其中根据视频的编解码信息针对不同的视频图像动态的选取适合的中间放大倍数和放大方式,得到 质量 较好的中间放大视频图像后,再放大至目标分辨率,提高了放大后的视频图像的质量。此外,还提供了一种视频图像处理装置。,下面是视频图像处理方法和装置专利的具体信息内容。

1.一种视频图像处理方法,所述方法包括:
获取视频的编解码信息,判断所述视频的解码分辨率是否小于目标分辨率,如果是,则根据所述视频的编解码信息得到对应的中间放大倍数和放大方式;
根据所述中间放大倍数和放大方式将所述视频图像放大得到中间放大视频图像;
将所述中间放大视频图像放大至目标分辨率。
2.根据权利要求1所述的方法,其特征在于,所述根据所述视频的编解码信息得到对应的中间放大倍数和放大方式的步骤包括:
计算得到所述目标分辨率与解码分辨率之间的差距;
根据所述差距得到对应的中间放大倍数,所述中间放大倍数的大小与所述差距的大小成正比。
3.根据权利要求1所述的方法,其特征在于,所述根据所述视频的编解码信息得到对应的中间放大倍数和放大方式的步骤包括:
根据视频的编解码信息判断所述视频的场景运动度;
根据所述场景运动度得到对应的视频放大方式,所述视频放大方式的边缘增强度与所述场景运动度的大小成反比。
4.根据权利要求1所述的方法,其特征在于,所述根据所述视频的编解码信息得到对应的中间放大倍数和放大方式的步骤包括:
获取视频的码率,如果所述码率低于预设码率,则采取基本保边缘的视频放大方式。
5.根据权利要求1所述的方法,其特征在于,所述根据所述视频的编解码信息得到对应的中间放大倍数和放大方式的步骤包括:
检测视频图像的噪声,如果所述噪声超过预设值,则采取带模糊度的视频放大方式。
6.根据权利要求1所述的方法,其特征在于,视频解码分辨率分为不同的分辨率等级,视频解码分辨率越高对应的分辨率等级越高,所述根据所述视频的编解码信息得到对应的中间放大倍数和放大方式的步骤包括:
获取所述视频解码分辨率当前对应的分辨率等级;
如果所述分辨率等级为第一等级,则放大倍数为第一预设放大倍数,第一等级对应基本保边缘的视频放大方式;
如果所述分辨率等级为第二等级,则放大倍数为第二预设放大倍数,其中第二预设放大倍数小于或等于第一预设放大倍数,获取所述视频的场景类型,第二等级大运动场景对应带模糊度的视频放大方式,第二等级小运动场景和静止场景对应基本保边缘的视频放大方式;
如果所述分辨率等级为第三等级,则放大倍数为第三预设放大倍数,所述第三预设放大倍数小于或等于所述第二预设放大倍数,所述第三等级对应保边缘带增强边缘的视频放大方式;
如果所述分辨率等级为第四等级或第四等级以上,则放大倍数为1。
7.根据权利要求1所述的方法,其特征在于,视频编码量化参数分为不同的量化等级,视频编码量化参数值越大对应的量化等级越高,所述根据所述视频的编解码信息得到对应的中间放大倍数和放大方式的步骤包括:
获取所述视频的当前视频对应的量化等级;
如果所述量化等级为第一等级,则采取基本保边缘的视频放大方式;
如果所述量化等级为第二等级,则采取保边缘带增强边缘的视频放大方式;
如果所述量化等级为第三等级或第三等级以上,则放大倍数为1。
8.根据权利要求1所述的方法,其特征在于,将视频的场景分为不同的运动等级,视频运动越剧烈对应的等级越高,所述根据所述视频的编解码信息得到对应的中间放大倍数和放大方式的步骤包括:
根据所述编解码信息判断所述视频的场景对应的运动等级;
如果所述运动等级为第一等级,则放大倍数为1,所述第一等级包括桌面或文档分享场景;
如果所述运动等级为第二等级,则采取基本保边缘的视频放大方式;
如果所述运动等级为第三等级,则采取保边缘带增强边缘的视频放大方式;
如果所述运动等级为第四等级,则采取带低强度降噪的视频放大方式;
如果所述运动等级为第五等级,则采取带中强度降噪模糊的视频放大方式;
如果所述运动等级为第六等级,则采取带高强度降噪模糊的视频放大方式。
9.根据权利要求1所述的方法,其特征在于,所述视频的编解码信息包括帧率、码率、解码分辨率、量化参数,所述方法还包括:
获取视频当前播放网络质量和/或播放视频的终端的处理能
所述根据所述视频的编解码信息得到对应的中间放大倍数和放大方式的步骤包括:根据所述编解码信息判断所述视频的场景,根据所述解码分辨率、帧率、码率、量化参数、视频的场景、播放网络质量、播放视频的终端的处理能力中的至少2项信息获取对应的中间放大倍数和放大方式。
10.根据权利要求1至9任一项所述的方法,其特征在于,所述根据所述中间放大倍数和放大方式将所述视频图像放大得到中间放大视频图像的步骤之后,还包括:
根据所述视频的编解码信息和/或视频当前播放网络质量和/或播放视频的终端的处理能力得到对应的增强方式;
根据所述增强方式对所述中间放大视频图像进行视频图像增强。
11.根据权利要求1至9任一项所述的方法,其特征在于,所述根据所述视频的编解码信息得到对应的中间放大倍数和放大方式的步骤包括:
获取预设条件与中间放大倍数和放大方式的对应关系表格,所述预设条件包括解码分辨率、帧率、码率、量化参数、视频的场景、播放网络质量、播放视频的终端的处理能力中的至少一项信息;
根据所述视频的编解码信息、视频当前播放网络质量、播放视频的终端的处理能力中的至少一种信息与所述预设条件对比,在所述对应关系表格查找得到对应的中间放大倍数和放大方式。
12.一种视频图像处理装置,其特征在于,所述装置包括:
放大前处理模,用于获取视频的编解码信息,判断所述视频的解码分辨率是否小于目标分辨率,如果是,则根据所述视频的编解码信息得到对应的中间放大倍数和放大方式;
第一放大模块,用于根据所述中间放大倍数和放大方式将所述视频图像放大得到中间放大视频图像;
第二放大模块,用于将所述中间放大视频图像放大至目标分辨率。
13.根据权利要求12所述的装置,其特征在于,所述放大前处理模块包括:
差距计算单元,用于计算得到所述目标分辨率与解码分辨率之间的差距;
中间放大倍数确定单元,用于根据所述差距得到对应的中间放大倍数,所述中间放大倍数的大小与所述差距的大小成正比。
14.根据权利要求12所述的装置,其特征在于,所述放大前处理模块包括:
场景判断单元,用于根据视频的编解码信息判断所述视频的场景运动度;
放大方式确定单元,用于根据所述场景运动度得到对应的视频放大方式,所述视频放大方式的边缘增强度与所述场景运动度的大小成反比。
15.根据权利要求12所述的装置,其特征在于,所述放大前处理模块还用于获取视频的码率,如果所述码率低于预设码率,则采取基本保边缘的视频放大方式。
16.根据权利要求12所述的装置,其特征在于,所述放大前处理模块还用于检测视频图像的噪声,如果所述噪声超过预设值,则采取带糊模度的视频放大方式。
17.根据权利要求12所述的装置,其特征在于,视频解码分辨率分为不同的分辨率等级,视频解码分辨率越高对应的分辨率等级越高,所述放大前处理模块包括:
分辨率等级确定单元,用于获取所述视频解码分辨率当前对应的分辨率等级;
分辨率等级放大单元,用于如果所述分辨率等级为第一等级,则放大倍数为第一预设放大倍数,第一等级对应基本保边缘的视频放大方式,如果所述分辨率等级为第二等级,则放大倍数为第二预设放大倍数,其中第二预设放大倍数小于或等于第一预设放大倍数,获取所述视频的场景类型,第二等级大运动场景对应带模糊度的视频放大方式,第二等级小运动场景和静止场景对应基本保边缘的视频放大方式,如果所述分辨率等级为第三等级,则放大倍数为第三预设放大倍数,所述第三预设放大倍数小于或等于所述第二预设放大倍数,所述第三等级对应保边缘带增强边缘的视频放大方式,如果所述分辨率等级为第四等级或第四等级以上,则放大倍数为1。
18.根据权利要求12所述的装置,其特征在于,视频编码量化参数分为不同的量化等级,视频编码量化参数值越大对应的量化等级越高,所述放大前处理模块包括:
量化等级确定单元,用于获取所述视频的当前视频帧对应的量化等级;
量化等级放大单元,用于如果所述量化等级为第一等级,则采取基本保边缘的视频放大方式,如果所述量化等级为第二等级,则采取保边缘带增强边缘的视频放大方式,如果所述量化等级为第三等级或第三等级以上,则放大倍数为1。
19.根据权利要求12所述的装置,其特征在于,将视频的场景分为不同的运动等级,视频运动越剧烈对应的等级越高,所述放大前处理模块包括:
运动等级确定单元,用于根据所述编解码信息判断所述视频的场景对应的运动等级;
运动等级放大单元,用于如果所述运动等级为第一等级,则放大倍数为1,所述第一等级包括桌面或文档分享场景,如果所述运动等级为第二等级,则采取基本保边缘的视频放大方式,如果所述运动等级为第三等级,则采取保边缘带增强边缘的视频放大方式,如果所述运动等级为第四等级,则采取带低强度降噪的视频放大方式,如果所述运动等级为第五等级,则采取带中强度降噪模糊的视频放大方式,如果所述运动等级为第六等级,则采取带高强度降噪模糊的视频放大方式。
20.根据权利要求12所述的装置,其特征在于,所述视频的编解码信息包括帧率、码率、解码分辨率、量化参数,所述放大前处理模块还用于获取视频当前播放网络质量和/或播放视频的终端的处理能力,根据所述编解码信息判断所述视频的场景,根据所述解码分辨率、帧率、码率、量化参数、视频的场景、播放网络质量、播放视频的终端的处理能力中的至少2项信息获取对应的中间放大倍数和放大方式。
21.根据权利要求12至20任一项所述的装置,其特征在于,所述装置还包括:
增强模块,用于根据所述视频的编解码信息和/或视频当前播放网络质量和/或播放视频的终端的处理能力得到对应的增强方式,根据所述增强方式对所述中间放大视频图像进行视频图像增强。
22.根据权利要求12至20任一项所述的装置,其特征在于,所述放大前处理模块还用于获取预设条件与中间放大倍数和放大方式的对应关系表格,所述预设条件包括解码分辨率、帧率、码率、量化参数、视频的场景、播放网络质量、播放视频的终端的处理能力中的至少一项信息,根据所述视频的编解码信息、视频当前播放网络质量、播放视频的终端的处理能力中的至少一种信息与所述预设条件对比,在所述对应关系表格查找得到对应的中间放大倍数和放大方式。

说明书全文

视频图像处理方法和装置

技术领域

[0001] 本发明涉及计算机技术领域,特别是涉及一种视频图像处理方法和装置。

背景技术

[0002] 随着数字媒体技术和计算机技术的发展,视频应用于各个领域,如移动通信、网络监控、网络电视等。在视频显示时,经常出现显示设备的分辨率大于接收到的视频分辨率的情况,往往需要对视频图像进行放大后再进行显示。
[0003] 现有的视频图像在放大时,往往采用单一的放大方法,在不同放大率和不同视频采用单一的放大方法进行放大时视频的质量往往存在较大的差异,会出现放大后视频质量较差的现象,如将视频图像进行大比率放大时,出现锯齿效应。

发明内容

[0004] 基于此,有必要针对上述技术问题,提供一种视频图像处理方法和装置,能动态的调整视频放大方法,提高视频的质量。
[0005] 一种视频图像处理方法,所述方法包括:
[0006] 获取视频的编解码信息,判断所述视频的解码分辨率是否小于目标分辨率,如果是,则根据所述视频的编解码信息得到对应的中间放大倍数和放大方式;
[0007] 根据所述中间放大倍数和放大方式将所述视频图像放大得到中间放大视频图像;
[0008] 将所述中间放大视频图像放大至目标分辨率。
[0009] 一种视频图像处理装置,所述装置包括:
[0010] 放大前处理模,用于获取视频的编解码信息,判断所述视频的解码分辨率是否小于目标分辨率,如果是,则根据所述视频的编解码信息得到对应的中间放大倍数和放大方式;
[0011] 第一放大模块,用于根据所述中间放大倍数和放大方式将所述视频图像放大得到中间放大视频图像;
[0012] 第二放大模块,用于将所述中间放大视频图像放大至目标分辨率。
[0013] 上述视频图像处理方法和装置,通过获取视频的编解码信息,判断视频的解码分辨率是否小于目标分辨率,如果是,则根据视频的编解码信息得到对应的中间放大倍数和放大方式,根据中间放大倍数和放大方式将视频图像放大得到中间放大视频图像,将中间放大视频图像放大至目标分辨率,其中根据视频的编解码信息针对不同的视频图像动态的选取适合的中间放大倍数和放大方式,得到质量较好的中间放大视频图像后,再放大至目标分辨率,提高了放大后的视频图像的质量。附图说明
[0014] 图1为一个实施例中视频图像处理方法的应用环境图;
[0015] 图2为一个实施例中图1中终端的内部结构图;
[0016] 图3为一个实施例中视频图像处理方法的流程图
[0017] 图4为一个实施例中计算得到中间放大倍数的流程图;
[0018] 图5为一个实施例中根据场景运动度得到视频放大方式的流程图;
[0019] 图6为一个实施例中根据分辨率等级得到视频放大方式的流程图;
[0020] 图7为一个实施例中根据量化等级得到视频放大方式的流程图;
[0021] 图8为一个实施例中根据运动等级得到视频放大方式的流程图;
[0022] 图9为一个实施例中根据对应关系表格得到视频放大方式的流程图;
[0023] 图10为一个实施例中视频图像处理装置的结构框图
[0024] 图11为一个实施例中放大前处理模块的结构框图;
[0025] 图12为另一个实施例中放大前处理模块的结构框图;
[0026] 图13为再一个实施例中放大前处理模块的结构框图;
[0027] 图14为又一个实施例中放大前处理模块的结构框图;
[0028] 图15为再一个实施例中放大前处理模块的结构框图;
[0029] 图16为另一个实施例中视频图像处理装置的结构框图。

具体实施方式

[0030] 图1为一个实施例中视频图像处理方法运行的应用环境图。如图1所示,该应用环境包括终端110、服务器120和终端130,终端110、终端130和服务器120通过网络进行通信。
[0031] 终端110和终端130可为智能手机、平板电脑笔记本电脑、台式计算机等,但并不局限于此。终端110和终端130上至少安装一个摄像头,可以通过摄像头采集视频图像,并将采集的视频发送至另一个终端,也可以相互进行视频通话。服务器120可以进行视频的转发。
[0032] 在一个实施例中,图1中的终端110的内部结构如图2所示,该终端110包括通过系统总线连接的处理器、图形处理单元、存储介质、内存、网络接口、显示屏幕、输入设备和定位系统。其中,终端110的存储介质存储有操作系统,还包括一种视频图像处理装置,该装置用于实现一种适用于终端的视频图像处理方法。该处理器用于提供计算和控制能支撑整个终端110的运行。终端110中的图形处理单元用于至少提供显示界面的绘制能力,内存为存储介质中的视频图像处理装置的运行提供环境,网络接口用于与服务器120进行网络通信,如发送视频至服务器120,接收服务器120返回的视频数据等。显示屏幕用于显示视频播放界面等,输入设备用于采集视频图像,接收用户输入的命令或数据等。对于带触摸屏的终端110,显示屏幕和输入设备可为触摸屏。
[0033] 如图3所示,在一个实施例中,提供了一种视频图像处理方法,以应用于上述应用环境中的终端来举例说明,包括如下步骤:
[0034] 步骤S210,获取视频的编解码信息,判断视频的解码分辨率是否小于目标分辨率,如果是,则根据视频的编解码信息得到对应的中间放大倍数和放大方式。
[0035] 具体的,视频的编解码信息是指视频在编码或解码时得到的视频压缩参数信息,如运动向量、量化参数、视频来源、码率、率、分辨率等。视频的编解码信息反映了视频图像的运动大小、网络带宽等。如通过运动向量和量化参数可判断运动场景,量化参数大则一般运动剧烈,运动向量大则代表图像场景是大运动场景。视频来源与视频的质量相关,如个人上传的视频一般是由自己实拍,没有经过处理视频噪声大。码率与带宽相关联,一般码率高则说明带宽充足,并且码率的大小与视频的质量相关,一般码率越高的图像质量越好。帧率是每秒图像帧的数量,一般在带宽充足时采取更高的帧率。
[0036] 根据视频的编解码信息判断出的视频基本信息,视频场景和图像质量,针对不同的情况采取不同的放大策略。根据放大算法的不同有多种不同的放大方式,各个放大方式都有对应的优势和劣势,根据视频的编解码信息针对不同的视频图像选取适合的中间放大倍数和放大方式,动态的调整视频放大方法,可以提高视频的质量。如当前视频噪声很大,则不适合选用保边缘视频放大方式,适合选用带模糊度的视频放大方式,从而使得噪声不明显;如果当前视频噪声小,或处于小运动或静止状态,视频基本没有编码解码的块效应,则适合选用保边缘的视频放大方式,并且可以在放大后,进行锐化,增加视频图像放大后的清晰度。先将视频通过中间放大倍数放大到中间放大视频图像,如放大到指定分辨率或放大指定倍数,而不直接放大到目标分辨率,利于节省资源,因为中间放大图像缓存相对最终目标分辨率较小,也利于减少复杂度,具体的中间放大倍数可根据视频编解码信息进行动态调整。如当接收到的视频图像的分辨率小于预设阈值时,采用第一放大倍数,否则采用第二放大倍数,其中第一放大倍数大于第二放大倍数。或将不同的分辨率分为不同的等级,等级的划分方式和等级的个数可根据需要自定义。根据分辨率所属等级确定对应的中间放大倍数和视频放大方式。如图所示,接收到的视频图像的分辨率为192x144,先根据选取的放大方式放大2至4倍,再根据OpenGL(Open Graphics Library,开放图形库)自带的放大方式放大至1920x1080。如图所示,接收到的视频图像的分辨率为192x144,先根据选取的放大方式放大至指定分辨率,再根据OpenGL自带的放大方式放大至1920x1080。
[0037] 步骤S220,根据中间放大倍数和放大方式将视频图像放大得到中间放大视频图像。
[0038] 具体的,如果直接将接收到的视频图像放大到目标分辨率,直接使用系统自带的放大方式,如OpenGL自带的线性插值或者近领域插值,在网络带宽有限,接收到的视频图像的分辨率与目标分辨率相差较大的情况下,显示的视频图像在放大后会出现模糊以及大量锯齿的情况。而通过先根据中间放大倍数和放大方式将视频图像放大得到中间放大视频图像,其中中间放大倍数和放大方式都是根据视频编解码信息动态调整得到,放大后得到一个质量较好的中间放大视频图像,再将中间放大视频图像放大到目标分辨率,则得到的目标分辨率的视频图像质量也较好。
[0039] 步骤S230,将中间放大视频图像放大至目标分辨率。
[0040] 具体的,将中间放大视频图像放大至目标分辨率,采用的放大方式可为系统自带的放大方式或自定义的放大方式,可以为固定的放大方式,也可以动态调整从中间放大视频图像放大至目标分辨率时采用的放大方式。
[0041] 本实施例中,通过获取视频的编解码信息,判断视频的解码分辨率是否小于目标分辨率,如果是,则根据视频的编解码信息得到对应的中间放大倍数和放大方式,根据中间放大倍数和放大方式将视频图像放大得到中间放大视频图像,将中间放大视频图像放大至目标分辨率,其中根据视频的编解码信息针对不同的视频图像动态的选取适合的中间放大倍数和放大方式,得到质量较好的中间放大视频图像后,再放大至目标分辨率,提高了放大后的视频图像的质量。
[0042] 在一个实施例中,如图4所示,步骤S210包括:
[0043] 步骤S211,计算得到目标分辨率与解码分辨率之间的差距。
[0044] 具体的,目标分辨率与解码分辨率之间的差距可根据将目标分辨率与解码分辨率相减或相除得到。也可自定义算法得到两都之间的差距。
[0045] 步骤S212,根据差距得到对应的中间放大倍数,中间放大倍数的大小与所述差距的大小成正比。
[0046] 具体的,两者差距越大,则中间放大倍数越大,两者差距越小,则中间放大倍数越小。当差距小于预设阈值时,说明解码分辨率与目标分辨率非常接近,此时可以选择不进行中间放大,而直接放大到目标分辨率,放大后采用图像增强处理,提高视频图像的质量。在一个具体的实施例中,分辨率192x144的视频图像解码到屏幕分辨率1920x1080时,对应的中间放大倍数为4倍,分辨率320x240的视频图像解码到屏幕分辨率1920x1080时,对应的中间放大倍数为2倍,分辨率480x360的视频图像解码到屏幕分辨率1920x1080时,对应的中间放大倍数为2倍,640x480及以上分辨率的视频图像解码到屏幕分辨率1920x1080,对应的放大倍率为1倍(不做放大),仅增强处理。
[0047] 在一个实施例中,如图5所示,步骤S210包括:
[0048] 步骤S213,根据视频的编解码信息判断视频的场景运动度。
[0049] 具体的,视频的编解码信息如量化参数和运动向量都可以帮助判断视频的场景运动度,量化参数大的视频帧一般运动较大,运动向量大的视频帧一般运动较大。可自定义判断视频的场景运动度的算法,如定义量化参数与场景运动度的对应关系,根据量化参数得到对应的场景运动度,或根据量化参数和运动向量综合计算得到场景运动度。
[0050] 步骤S214,根据场景运动度得到对应的视频放大方式,视频放大方式的边缘增强度与场景运动度的大小成反比。
[0051] 具体的,根据越运动越流畅,越静止越清晰的原则,场景运动度大的视频图像选择边缘增强度小的视频放大方式,大运动场景由于物体运动,人眼对边缘的识别度不高,可以采取带模糊度的视频放大方式,使得运动更流畅。场景运动度小的视频图像选择边缘增强度大的视频放大方式,如小运动或静止场景可以采取保边缘带增强边缘的视频放大方式,使得图像更清晰。
[0052] 在一个实施例中,步骤S210包括:获取视频的码率,如果码率低于预设码率,则采取基本保边缘的视频放大方式。
[0053] 具体的,码率低于预设码率时,往往视频图像质量普遍较低,为了使得视频图像放大后能保证一定的清晰度,可采取基本保边缘的视频放大方式。也可根据码率的大小具体分配不同的视频放大方式,分配的策略为码率的大小与视频放大方式的边缘增强度成反比。其中基本保边缘的视频放大方式的实现算法不限,只要能达到基本保边缘的效果即可,如抗锯齿的视频放大方式。
[0054] 在一个实施例中,步骤S210包括:检测视频图像的噪声,如果噪声超过预设值,则采取带模糊度的视频放大方式。
[0055] 具体的,模糊滤波能够降低视频图像的噪声,把模糊滤波融入到放大技术中,作为放大技术的一个参数提供给对外接口即可实现带模糊度的视频放大方式。模糊滤波的具体算法可自定义,如为模糊的羽化的blur技术加上双立方插值的放大算法。
[0056] 在一个实施例中,视频解码分辨率分为不同的分辨率等级,视频解码分辨率越高对应的分辨率等级越高,如图6所示,步骤S210包括:
[0057] 步骤S215a,获取视频解码分辨率当前对应的分辨率等级。
[0058] 具体的,分辨率等级的划分可根据需要自定义,如192x144为第一等级,320x240为第二等级,480x360为第三等级,640x480为第四等级。
[0059] 步骤S215b,如果分辨率等级为第一等级,则放大倍数为第一预设放大倍数,第一等级对应基本保边缘的视频放大方式。
[0060] 步骤S215c,如果分辨率等级为第二等级,则放大倍数为第二预设放大倍数,其中第二预设放大倍数小于或等于第一预设放大倍数,获取视频的场景类型,第二等级大运动场景对应带模糊度的视频放大方式,第二等级小运动场景和静止场景对应基本保边缘的视频放大方式。
[0061] 步骤S215d,如果分辨率等级为第三等级,则放大倍数为第三预设放大倍数,所述第三预设放大倍数小于或等于所述第二预设放大倍数,所述第三等级对应保边缘带增强边缘的视频放大方式。
[0062] 步骤S215e,如果分辨率等级为第四等级或第四等级以上,则放大倍数为1。
[0063] 具体的,第一预设放大倍数、第二预设放大倍数、第三预设放大倍数预设放大倍数都可以根据需要自定义,只要满足之间的关系大小即可,在一个实施例中第一预设放大倍数为2至4倍,第二预设放大倍数为2倍,第三预设放大倍数为2倍。在等级较低的视频图像放大之前还可进行前处理,如去块效应等。在等级较低的视频图像存在较大噪声时,可进行低强度的模糊后再进行放大。第二等级根据视频的场景类型采取不同的视频放大方式,进一步提高了视频放大的灵活性。第三等级对应保边缘带增强边缘的视频放大方式,把边缘增强融入到放大技术中,作为放大技术的一个参数提供给对外接口即可实现保边缘带增强边缘的视频放大方式。如果分辨率等级为第四等级或第四等级以上,则放大倍数为1,不进行中间放大,可以在放大到目标分辨率后进行图像增强处理,提高视频图像的质量。
[0064] 在一个实施例中,视频编码量化参数分为不同的量化等级,视频编码量化参数值越大对应的量化等级越高,如图7所示,步骤S210包括:
[0065] 步骤S216a,获取视频的当前视频帧对应的量化等级。
[0066] 具体的,如果组成一帧视频的各个视频图像块具有不同的量化参数时,可自定义算法计算一帧视频图像的量化参数,如将各个视频图像块的量化参数进行平均得到帧量化参数。得到帧量化参数后,根据量化参数与量化等级的关系,得到量化参数对应的量化等级。量化等级的划分可根据需要自定义,如QP<=25为第一等级,25
[0067] 步骤S216b,如果量化等级为第一等级,则采取基本保边缘的视频放大方式。
[0068] 步骤S216c,如果量化等级为第二等级,则采取保边缘带增强边缘的视频放大方式。
[0069] 步骤S216d,如果量化等级为第三等级或第三等级以上,则放大倍数为1。具体的,等级低的量化等级,量化参数小,此时网络带宽一般比较足,图像比较清晰,采取基本保边缘的视频放大方式即可。在一个实施例中,如果量化等级为第一等级,则判断视频图像的分辨率,如果视频图像的分辨率低于预设阈值则采取基本保边缘的视频放大方式,否则采取系统默认的视频放大方式。各个等级对应的中间视频放大倍数,可根据视频图像的分辨率相应的确定。第三等级或第三等级以上,不进行中间放大,可以在放大到目标分辨率后进行图像增强处理,提高视频图像的质量。
[0070] 在一个实施例中,将视频的场景分为不同的运动等级,视频运动越剧烈对应的等级越高,如图8所示,步骤S210包括:
[0071] 步骤S217a,根据编解码信息判断视频的场景对应的运动等级。
[0072] 具体的,可根据量化参数和/或运动向量计算视频帧的场景运动值,根据场景运动值的大小得到对应的运动等级。运动等级的划分可根据需要自定义,如第一等级为桌面或文档分享的运动度,第二等级为静止人物场景的运动度,第三等级为小运动场景的运动度,第四等级为一般运动场景的运动度,第五等级为大运动场景的运动度,第六等级为剧烈运动场景对应的运动度。
[0073] 步骤S217b,如果运动等级为第一等级,则放大倍数为1,第一等级包括桌面或文档分享场景。
[0074] 具体的,第一等级不进行中间放大,采取系统默认的放大方式,因为此时的视频解码分辨率一般很高且没有运动,图像本身就很清晰。
[0075] 步骤S217c,如果运动等级为第二等级,则采取基本保边缘的视频放大方式。
[0076] 步骤S217d,如果运动等级为第三等级,则采取保边缘带增强边缘的视频放大方式。
[0077] 步骤S217e,如果运动等级为第四等级,则采取带低强度降噪的视频放大方式。
[0078] 步骤S217f,如果运动等级为第五等级,则采取带中强度降噪模糊的视频放大方式。
[0079] 步骤S217g,如果运动等级为第六等级,则采取带高强度降噪模糊的视频放大方式。
[0080] 具体的,各个等级对应的中间放大倍数可根据编解码信息确定,如根据解码分辨率确定。第二等级的运动度很小,基本处于静止状态,如景图或背景视频图像,图像一般比较清晰,采取基本保边缘的视频放大方式即可。第三等级的运动度比第二等级大,一般还是属于小运动,此时边缘的辨识度还比较高,采取保边缘带增强边缘的视频放大方式,使得边缘增强。从第四等级开始,运动的强度越来越大,运动较大时,一般量化参数大,图像解码后一般存在噪声清晰度不高。为了保证运动的流畅性,随着运动等级的增大,降噪的强度也增大。
[0081] 在一个实施例中,视频的编解码信息包括帧率、码率、解码分辨率、量化参数,所述方法还包括:获取视频当前播放网络质量和/或播放视频的终端的处理能力,步骤S210包括:根据编解码信息判断视频的场景,根据解码分辨率、帧率、码率、量化参数、视频的场景、播放网络质量、播放视频的终端的处理能力中的至少2项信息获取对应的中间放大倍数和放大方式。
[0082] 具体的,当前播放网络质量包括带宽,网络波动大小等。终端的处理能力可根据终端的核数、主频信息来确认,可根据终端的处理能力将终端分为不同的等级,如低端、中端和高端,等级的划分可自定义,如一般双核或四核,主频大于1.5GHz为中端机型,终端的处理能力越强,可采取算法复杂度越高的放大方式和增强方式,提高视频图像的质量。在获取对应的中间放大倍数和放大方式时,综合考虑多种条件,如在低码率,低分辨率,高帧率的情况下,在解码后采取基本保边缘的视频放大方式。在视频场景噪声较大,低分辨率,一般帧率的情况下,采取带模糊度的视频放大方式,如双立方插值法放大算法。在小运动或静止场景,一般分辨率,低帧率的情况下,采取保边缘带增强边缘的视频放大方式。在大运动场景,低分辨率、更高帧率的方式,在解码后采取带模糊度的且不做锐化的视频放大方式。在当前网络带宽很低(<80kbps),中端机型(双核或四核,主频大于1.5GHz),视频聊天灯光较暗,噪声较大时,采取基本保边缘的视频放大方式。综合考虑了图像本身信息、带宽信息和终端处理能力的视频放大方式和放大倍数更符合实际情况,灵活动更高。
[0083] 在一个实施例中,在步骤S210之后还包括:根据视频的编解码信息和/或视频当前播放网络质量和/或播放视频的终端的处理能力得到对应的增强方式,根据增强方式对中间放大视频图像进行视频图像增强。
[0084] 具体的,根据视频的编解码信息和/或视频当前播放网络质量和/或播放视频的终端的处理能力,可根据实际情况得到不同的增强方式,如视频噪声较大时可进行降噪增强,视频边缘识别度高时可进行对比度增强,在图像分辨率大对图像清晰度要求高时可进行清晰化增强等。还可根据播放视频的终端的处理能力,终端的处理能力越强,可采取算法复杂度越高的增强方式。还可将视频放大方式和增强方式进行组合,建立视频放大方式和增强方式之间的组合关系,根据视频放大方式就可快速得到增强方式。
[0085] 在一个实施例中,如图9所示,步骤S210包括:
[0086] 步骤S218a,获取预设条件与中间放大倍数和放大方式的对应关系表格,所述预设条件包括解码分辨率、帧率、码率、量化参数、视频的场景、播放网络质量、播放视频的终端的处理能力中的至少一项信息。
[0087] 具体的,根据实验统计数据建立预设条件与中间放大倍数和放大方式的对应关系表格。如表1所示,为一个对应关系表格。表格中展示了在5种不同的情况下对应的中间放大倍数和放大方式。由于不同的预设条件情况根据实际情况可能很多,所以表格只展示了部分情况下中间放大倍数和放大方式的选择。表格中的列数可根据预设条件的多少增加或减少。表格中的中间放大倍数和放大方式与预设条件的对应关系可根据需要自定义。
[0088] 表1
[0089]
[0090] 步骤S218b,根据视频的编解码信息、视频当前播放网络质量、播放视频的终端的处理能力中的至少一种信息与预设条件对比,在对应关系表格查找得到对应的中间放大倍数和放大方式。
[0091] 具体的,通过视频的编解码信息、视频当前播放网络质量、播放视频的终端的处理能力中的至少一种信息与预设条件对比,如带宽<80kbps,则选择基本保边缘的视频放大方式,中间放大倍数为2至4倍。对比时可对比一种信息或多种信息,最终在表格中快速查找得到对应的中间放大倍数和放大方式。通过预存储表格的形式,可使得每次在得到视频的编解码信息、视频当前播放网络质量、播放视频的终端的处理能力后,不需要进行其它的运算就能快速查表得到对应的中间放大倍数和放大方式,提高了处理速度。在一个实施例中,对应关系表格中还包括预设条件与增强方式的对应关系。如表2所示。在最后一列为根据不同的预设条件确定的增强方式。
[0092] 表2
[0093]
[0094]
[0095] 在一个实施例中,如图10所示,提供了一种视频图像处理装置,包括:
[0096] 放大前处理模块310,用于获取视频的编解码信息,判断视频的解码分辨率是否小于目标分辨率,如果是,则根据视频的编解码信息得到对应的中间放大倍数和放大方式。
[0097] 第一放大模块320,用于根据中间放大倍数和放大方式将视频图像放大得到中间放大视频图像。
[0098] 第二放大模块330,用于将中间放大视频图像放大至目标分辨率。
[0099] 在一个实施例中,如图11所示,放大前处理模块310包括:
[0100] 差距计算单元311,用于计算得到目标分辨率与解码分辨率之间的差距。
[0101] 中间放大倍数确定单元312,用于根据差距得到对应的中间放大倍数,中间放大倍数的大小与差距的大小成正比。
[0102] 在一个实施例中,如图12所示,放大前处理模块310包括:
[0103] 场景判断单元313,用于根据视频的编解码信息判断视频的场景运动度。
[0104] 放大方式确定单元314,用于根据场景运动度得到对应的视频放大方式,视频放大方式的边缘增强度与场景运动度的大小成反比。
[0105] 在一个实施例中,放大前处理模块310还用于获取视频的码率,如果所述码率低于预设码率,则采取基本保边缘的视频放大方式。
[0106] 在一个实施例中,放大前处理模块310还用于检测视频图像的噪声,如果噪声超过预设值,则采取带糊模度的视频放大方式。
[0107] 在一个实施例中,视频解码分辨率分为不同的分辨率等级,视频解码分辨率越高对应的分辨率等级越高,如图13所示,放大前处理模块310包括:
[0108] 分辨率等级确定单元315,用于获取视频解码分辨率当前对应的分辨率等级。
[0109] 分辨率等级放大单元316,用于如果分辨率等级为第一等级,则放大倍数为第一预设放大倍数,第一等级对应基本保边缘的视频放大方式,如果分辨率等级为第二等级,则放大倍数为第二预设放大倍数,其中第二预设放大倍数小于或等于第一预设放大倍数,获取视频的场景类型,第二等级大运动场景对应带模糊度的视频放大方式,第二等级小运动场景和静止场景对应基本保边缘的视频放大方式,如果分辨率等级为第三等级,则放大倍数为第三预设放大倍数,第三预设放大倍数小于或等于所述第二预设放大倍数,第三等级对应保边缘带增强边缘的视频放大方式,如果分辨率等级为第四等级或第四等级以上,则放大倍数为1。
[0110] 在一个实施例中,视频编码量化参数分为不同的量化等级,视频编码量化参数值越大对应的量化等级越高,如图14所示,放大前处理模块310包括:
[0111] 量化等级确定单元317,用于获取视频的当前视频帧对应的量化等级。
[0112] 量化等级放大单元318,用于如果量化等级为第一等级,则采取基本保边缘的视频放大方式,如果量化等级为第二等级,则采取保边缘带增强边缘的视频放大方式,如果量化等级为第三等级或第三等级以上,则放大倍数为1。
[0113] 在一个实施例中,将视频的场景分为不同的运动等级,视频运动越剧烈对应的等级越高,如图15所示,放大前处理模块310包括:
[0114] 运动等级确定单元319a,用于根据编解码信息判断所述视频的场景对应的运动等级.
[0115] 运动等级放大单元319b,用于如果运动等级为第一等级,则放大倍数为1,所述第一等级包括桌面或文档分享场景,如果运动等级为第二等级,则采取基本保边缘的视频放大方式,如果运动等级为第三等级,则采取保边缘带增强边缘的视频放大方式,如果运动等级为第四等级,则采取带低强度降噪的视频放大方式,如果运动等级为第五等级,则采取带中强度降噪模糊的视频放大方式,如果所述运动等级为第六等级,则采取带高强度降噪模糊的视频放大方式。
[0116] 在一个实施例中,视频的编解码信息包括帧率、码率、解码分辨率、量化参数,放大前处理模块310还用于获取视频当前播放网络质量和/或播放视频的终端的处理能力,根据编解码信息判断视频的场景,根据解码分辨率、帧率、码率、量化参数、视频的场景、播放网络质量、播放视频的终端的处理能力中的至少2项信息获取对应的中间放大倍数和放大方式。
[0117] 在一个实施例中,如图16所示,所述装置还包括:
[0118] 增强模块340,用于根据视频的编解码信息和/或视频当前播放网络质量和/或播放视频的终端的处理能力得到对应的增强方式,根据增强方式对中间放大视频图像进行视频图像增强。
[0119] 在一个实施例中,放大前处理模块还用于获取预设条件与中间放大倍数和放大方式的对应关系表格,预设条件包括解码分辨率、帧率、码率、量化参数、视频的场景、播放网络质量、播放视频的终端的处理能力中的至少一项信息,根据视频的编解码信息、视频当前播放网络质量、播放视频的终端的处理能力中的至少一种信息与预设条件对比,在对应关系表格查找得到对应的中间放大倍数和放大方式。
[0120] 本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述程序可存储于一计算机可读取存储介质中,如本发明实施例中,该程序可存储于计算机系统的存储介质中,并被该计算机系统中的至少一个处理器执行,以实现包括如上述各方法的实施例的流程。其中,所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。
[0121] 以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
[0122] 以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈