首页 / 专利库 / 图形技术 / 隔行扫描 / 一种新的块重叠运动补偿去隔行方法

一种新的重叠运动补偿去隔行方法

阅读:152发布:2020-05-12

专利汇可以提供一种新的重叠运动补偿去隔行方法专利检索,专利查询,专利分析的服务。并且一种新的 块 重叠 运动补偿 去隔行方法:针对 隔行扫描 视频序列的第一场,采用场内信息进行插值得到重建图像,选取参考 帧 和一个待插值场;从待插值场中选取待匹配块,待匹配块中的奇数行都是原始 像素 点 位置 ,偶数行都是待插值像素点位置,当下次选取待匹配块的时候,纵向上的两个相邻待匹配块共用一行;从参考帧中选取矩形搜索窗,使匹配块的位置对应矩形搜索窗的中心位置;在矩形搜索窗中找到最佳匹配块;利用行平均 算法 获得运动补偿插值点的插值;采用中值滤波的方式阻止误差传递;针对待插值场边界情况的处理。本 发明 解决了基于块重叠运动补偿去隔行算法的误差传递问题、插值 精度 较低问题和计算复杂度较高问题,在较低计算复杂度的情况下提供较好的去隔行效果。,下面是一种新的重叠运动补偿去隔行方法专利的具体信息内容。

1.一种新的重叠运动补偿去隔行方法,其特征在于,包括如下步骤:
1)针对隔行扫描视频序列的第一场,采用场内信息进行插值得到重建图像,选取参考和一个待插值场,所述待插值场是基于之前的参考帧进行重建,所述参考帧是与所述待插值场在时间上相邻的前n个重建图像;
2)从待插值场中选取待匹配块,待匹配块的大小为m×(2n+1),其中m是待匹配块的列数,(2n+1)是待匹配块的行数,待匹配块中的奇数行都是原始像素位置,偶数行都是待插值像素点位置,当下次选取待匹配块的时候,纵向上的两个相邻待匹配块共用一行;
3)从参考帧中选取矩形搜索窗,使步骤2)中所述的待匹配块的位置对应所述矩形搜索窗的中心位置;
4)在矩形搜索窗中找到最佳匹配块,包括:
首先,搜索的过程中只使用待匹配块中原始像素点和搜索窗中已获得插值的像素点进行搜索,其中将搜索窗中已获得插值的像素点称为重建像素点;
(1)从搜索窗的左上位置选取与待匹配块相同大小的匹配块开始搜索,使待匹配块中的原始像素点对应所述匹配块中的重建像素点,对一个所述的匹配块进行匹配操作;
(2)平向右移一个重建像素点的位置,重新选取与待匹配块相同大小的匹配块进行匹配操作,直至这一行的末尾;
(3)然后向下移动两行,在最左位置再重新选取与待匹配块相同大小的匹配块由左向右依次进行匹配操作,直至搜索窗中所有的重建像素点都完成匹配操作;
5)利用行平均算法获得运动补偿插值点(i,j)的插值ILA(i,j);
所述的利用行平均算法获得运动补偿插值点(i,j)的插值ILA(i,j)的计算表达式如下:
ILA(i,j)=[I(i-1,j)+I(i+1,j)]÷2                     (1)
其中,I(i-1,j)是与运动补偿插值点(i,j)相邻的上一行像素值,I(i+1,j)是与运动补偿插值点(i,j)相邻的下一行像素值;
6)采用中值滤波的方式阻止误差传递,包括:针对步骤4)获得的运动补偿插值 与运动补偿插值点(i,j)相邻的上一行像素值I(i-1,j)、与运动补偿插值点(i,j)相邻的下一行像素值I(i+1,j)以及步骤5)获得的运动补偿插值点(i,j)的插值ILA(i,j)共四个值进行中值滤波,由中值滤波得到的中间两个值的均值是最终的插值结果F(i,j),其中,最终插值的计算表达式如下:
7)针对待插值场边界情况的处理,包括:当待插值场是奇场时,对于底行的插值,是通过以底行为轴对称向下扩展一行,重复步骤2)至步骤6);当待插值场是偶场时,对于顶行的插值,是通过以顶行为轴对称向上扩展一行,重复步骤2)至步骤6)。
2.根据权利要求1所述的一种新的块重叠运动补偿去隔行方法,其特征在于,步骤4)中所述的匹配操作,包括当匹配块中重建像素点的像素值和待匹配块中与重建像素点相对应的原始像素点的像素值最接近时,将所述的匹配块作为最佳匹配块,把最佳匹配块中原始像素点的像素值复制到待匹配块中与最佳匹配块中原始像素点对应的待插值像素点位置,从而获得运动补偿的插值

说明书全文

一种新的重叠运动补偿去隔行方法

技术领域

[0001] 本发明涉及一种视频处理中的去隔行方法。特别是涉及一种新的块重叠运动补偿去隔行方法。

背景技术

[0002] 目前,一些主流的广播电视系统中采用隔行扫描的格式处理视频信号。针对一些只支持逐行扫描的播放设备,这里面涉及到视频信号由隔行扫描转向逐行扫描的格式转换过程,这个格式转换过程称之为去隔行。隔行扫描会造成行间闪烁、锯齿现象、爬行和羽化现象等视觉缺陷。因此,去隔行的目的就是插值缺失的像素值,并且去除隔行扫描造成的视觉缺陷。
[0003] 针对去隔行研究,前人做出了大量工作,提出了各种各样的去隔行算法。这主要包括空域插值、时域插值、垂直时域滤波插值、基于边缘插值、基于权重插值等等。空域插值主要是利用空域信息插值缺失的像素点,在运动区域表现较好。时域插值主要是利用时域信息插值缺失的像素点,在静止区域表现较好。垂直时域滤波插值综合时域信息和空域信息,插值缺失的像素点,在运动幅度较小区域表现较好。基于边缘插值和基于权重插值都是非线性去隔行算法,它们能够在一定情况下,提供较好的效果。
[0004] 基于运动补偿去隔行算法是目前比较先进的去隔行算法,它能够在一些情况下提供比非运动补偿去隔行算法更好的效果。这种算法一般是通过运动估计找出有效的运动信息,通过有效的运动信息插值缺失的像素点,从而达到去隔行的目的。主要的运动估计方法有贝叶斯运动估计、块匹配运动估计等,其中块匹配运动估计由于相对简单可行,得到了广泛的使用。
[0005] 基于块重叠的运动补偿去隔行算法使用块匹配运动估计。这种算法在运动幅度不大区域能够提供较好的去隔行效果,但是这种算法有误差传递、插值精度较低、计算复杂度较高等缺陷。

发明内容

[0006] 本发明所要解决的技术问题是,提供一种能够在较低计算复杂度的情况下提供较好的去隔行效果的新的块重叠运动补偿去隔行方法。
[0007] 本发明所采用的技术方案是:一种新的块重叠运动补偿去隔行方法,包括如下步骤:
[0008] 1)针对隔行扫描视频序列的第一场,采用场内信息进行插值得到重建图像,选取参考和一个待插值场,所述待插值场是基于之前的参考帧进行重建,所述参考帧是与所述待插值场在时间上相邻的前n个重建图像;
[0009] 2)从待插值场中选取待匹配块,待匹配块的大小为m×(2n+1),其中m是待匹配块的列数,(2n+1)是待匹配块的行数,待匹配块中的奇数行都是原始像素点位置,偶数行都是待插值像素点位置,当下次选取待匹配块的时候,纵向上的两个相邻待匹配块共用一行;
[0010] 3)从参考帧中选取矩形搜索窗,使步骤2)中所述的待匹配块的位置对应所述矩形搜索窗的中心位置;
[0011] 4)在矩形搜索窗中找到最佳匹配块,包括:
[0012] 首先,搜索的过程中只使用待匹配块中原始像素点和搜索窗中已获得插值的像素点进行搜索,其中将搜索窗中已获得插值的像素点称为重建像素点;
[0013] (1)从搜索窗的左上位置选取与待匹配块相同大小的匹配块开始搜索,使待匹配块中的原始像素点对应所述匹配块中的重建像素点,对一个所述的匹配块进行匹配操作;
[0014] (2)平向右移一个重建像素点的位置,重新选取与待匹配块相同大小的匹配块进行匹配操作,直至这一行的末尾;
[0015] (3)然后向下移动两行,在最左位置再重新选取与待匹配块相同大小的匹配块由左向右依次进行匹配操作,直至搜索窗中所有的重建像素点都完成匹配操作;
[0016] 5)利用行平均算法获得运动补偿插值点(i,j)的插值ILA(i,j);
[0017] 6)采用中值滤波的方式阻止误差传递,包括:针对步骤4)获得的运动补偿插值与运动补偿插值点(i,j)相邻的上一行像素值I(i-1,j)、与运动补偿插值点(i,j)相邻的下一行像素值I(i+1,j)以及步骤5)获得的运动补偿插值点(i,j)的插值ILA(i,j)共四个值进行中值滤波,由中值滤波得到的中间两个值的均值是最终的插值结果F(i,j),其中,最终插值的计算表达式如下:
[0018]
[0019] 7)针对待插值场边界情况的处理,包括:当待插值场是奇场时,对于底行的插值,是通过以底行为轴对称向下扩展一行,重复步骤2)至步骤6);当待插值场是偶场时,对于顶行的插值,是通过以顶行为轴对称向上扩展一行,重复步骤2)至步骤6)。
[0020] 步骤2)所述的纵向上的两个相邻待匹配块共用一行,是纵向上两个相邻待匹配块中上面的待匹配块中的最下一行和下面的待匹配块中的最上一行是同一行。
[0021] 步骤4)中所述的匹配操作,包括当匹配块中重建像素点的像素值和待匹配块中与重建像素点相对应的原始像素点的像素值最接近时,将所述的匹配块作为最佳匹配块,把最佳匹配块中原始像素点的像素值复制到待匹配块中与最佳匹配块中原始像素点对应的待插值像素点位置,从而获得运动补偿的插值
[0022] 步骤5)所述的利用行平均算法获得运动补偿插值点(i,j)的插值ILA(i,j)的计算表达式如下:
[0023] ILA(i,j)=[I(i-1,j)+I(i+1,j)]÷2  (1)
[0024] 其中,I(i-1,j)是与运动补偿插值点(i,j)相邻的上一行像素值,I(i+1,j)是与运动补偿插值点(i,j)相邻的下一行像素值。
[0025] 本发明的一种新的块重叠运动补偿去隔行方法,有效解决了传统的基于块重叠运动补偿去隔行算法的误差传递问题、插值精度较低问题和计算复杂度较高问题,能够在较低计算复杂度的情况下提供较好的去隔行效果。具有如下有益效果:
[0026] 1、有效遏制了误差传递问题,使得PSNR维持在一个较高的范围;
[0027] 2、考虑到待匹配块中原始像素值和搜索窗中重建像素值的奇偶性相同,因此只采用这两类像素值进行运动估计,插值精度获得了一定的提升,其中第二场的PSNR要比传统的基于块重叠运动补偿去隔行算法的PSNR高1dB左右;
[0028] 3、在运动估计过程中,只使用搜索窗中重建像素值,因此数据量大大降低,计算复杂度也显著降低。附图说明
[0029] 图1是本发明中新的块重叠运动补偿去隔行方法待匹配块的块重叠示意图;
[0030] 图2是本发明中新的块重叠运动补偿去隔行方法中块匹配方式的示意图;
[0031] 图3是本发明中新的块重叠运动补偿去隔行方法测试所用的视频序列图;
[0032] 图4是本发明去隔行方法与传统基于块重叠运动补偿去隔行算法的重建图像质量对比。

具体实施方式

[0033] 下面结合实施例和附图对本发明的一种新的块重叠运动补偿去隔行方法做出详细说明。
[0034] 本发明的一种新的块重叠运动补偿去隔行方法,包括如下步骤:
[0035] 1)针对隔行扫描视频序列的第一场,采用场内信息进行插值得到重建图像,选取参考帧和一个待插值场,所述待插值场是基于之前的参考帧进行重建,所述参考帧是与所述待插值场在时间上相邻的前n个重建图像。
[0036] 2)从待插值场中选取待匹配块,待匹配块的大小为m×(2n+1),其中m是待匹配块的列数,(2n+1)是待匹配块的行数,待匹配块中的奇数行都是原始像素点位置,偶数行都是待插值像素点位置,当下次选取待匹配块的时候,纵向上的两个相邻待匹配块共用一行,所述的纵向上的两个相邻待匹配块共用一行,是纵向上两个相邻待匹配块中上面的待匹配块中的最下一行和下面的待匹配块中的最上一行是同一行。
[0037] 3)从参考帧中选取矩形搜索窗,使步骤2)中所述的待匹配块的位置对应所述矩形搜索窗的中心位置。
[0038] 4)在矩形搜索窗中找到最佳匹配块,包括:
[0039] 首先,搜索的过程中只使用待匹配块中原始像素点和搜索窗中已获得插值的像素点进行搜索,其中将搜索窗中已获得插值的像素点称为重建像素点;
[0040] (1)从搜索窗的左上角位置选取与待匹配块相同大小的匹配块开始搜索,使待匹配块中的原始像素点对应所述匹配块中的重建像素点,对一个所述的匹配块进行匹配操作;
[0041] (2)水平向右移一个重建像素点的位置,重新选取与待匹配块相同大小的匹配块进行匹配操作,直至这一行的末尾;
[0042] (3)然后向下移动两行,在最左位置再重新选取与待匹配块相同大小的匹配块由左向右依次进行匹配操作,直至搜索窗中所有的重建像素点都完成匹配操作;
[0043] 上面所述的匹配操作,包括当匹配块中重建像素点的像素值和待匹配块中与重建像素点相对应的原始像素点的像素值最接近时,将所述的匹配块作为最佳匹配块,把最佳匹配块中原始像素点的像素值复制到待匹配块中与最佳匹配块中原始像素点对应的待插值像素点位置,从而获得运动补偿的插值
[0044] 图2是当待匹配块的大小为4×3时匹配的示意图,具体如下,当D1~D8与O1~O8最接近时,就认为该匹配块是最佳匹配块,那么待匹配块中I1~I4就由R1~R4进行填充,进而获得运动补偿的插值。
[0045] 5)利用行平均算法获得运动补偿插值点(i,j)的插值ILA(i,j),所述的利用行平均算法获得的运动补偿插值点(i,j)的插值ILA(i,j)的计算表达式如下:
[0046] ILA(i,j)=[I(i-1,j)+I(i+1,j)]÷2  (1)
[0047] 其中,I(i-1,j)是与运动补偿插值点(i,j)相邻的上一行像素值,I(i+1,j)是与运动补偿插值点(i,j)相邻的下一行像素值。
[0048] 6)为了解决原始算法中误差传递的问题,这里采用中值滤波的方式阻止误差传递,包括:针对步骤4)获得的运动补偿插值 与运动补偿插值点(i,j)相邻的上一行像素值I(i-1,j)、与运动补偿插值点(i,j)相邻的下一行像素值I(i+1,j)以及步骤5)获得的运动补偿插值点(i,j)的插值ILA(i,j)共四个值进行中值滤波,由中值滤波得到的中间两个值的均值是最终的插值结果F(i,j),其中,最终插值的计算表达式如下:
[0049]
[0050] 7)针对待插值场边界情况的处理,包括:当待插值场是奇场时,对于底行的插值,是通过以底行为轴对称向下扩展一行,重复步骤2)至步骤6);当待插值场是偶场时,对于顶行的插值,是通过以顶行为轴对称向上扩展一行,重复步骤2)至步骤6)。
[0051] 图4表示本发明所提去隔行方法获得的重建图像质量和传统的基于块重叠运动补偿去隔行算法(overlappedMC)获得的重建图像质量对比,衡量指标使用PSNR参数。测试视频序列采用splash,其分辨率为720×576。
[0052] 表1为本发明所提去隔行方法和传统的基于块重叠运动补偿去隔行算法的计算复杂度对比。计量计算复杂度的方式采用插值一个像素所需要的各种运算数量。
[0053] 表1
[0054]
[0055] 下面是本发明方法的最佳实施方式:
[0056] 1、针对隔行扫描视频序列的第一场,采用行平均插值算法进行插值,得到重建图像,选取一个待插值场和一个参考帧,其中参考帧是与该待插值场时间上相邻的前一个重建图像。行平均算法的计算表达式如(1)式所示。
[0057] 2、从待插值场中选取待匹配块,待匹配块的大小为4×3,最上一行和最下一行是原始像素的位置,中间一行是缺失像素的位置。当下次选取待匹配块的时候,其纵向上的两个相邻待匹配块共用一行,也就是上面待匹配块的最下一行和下面待匹配块的最上一行是同一行,如图1所示。
[0058] 3、从参考帧中选取搜索窗,搜索窗的大小为16×16,其中待匹配块左上角的位置对应搜索窗中(7,7)的位置(假设搜索窗的左上角位置为(0,0))。
[0059] 4、在搜索窗中找到最佳匹配块,采用的匹配准则如下:
[0060]
[0061] 针对搜索窗中不同的匹配块,认为SAD值最小的块为最佳匹配块,那么待匹配块中I1~I4就由R1~R4进行填充,因而获得了运动补偿的插值,图2是相关的示意图。
[0062] 5、针对上一步骤获得的运动补偿插值 与该插值相邻的上一行像素值I(i-1,j)、与该插值相邻的下一行像素值I(i+1,j)、利用行平均算法获得的该位置的插值ILA(i,j)共四个值进行中值滤波,其结果由中间两个值的均值获得。其中,这个均值也就是最后的插值结果F(i,j)由(2)式获得,行平均算法获得的插值ILA(i,j)由(1)式获得。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈