首页 / 专利库 / 视听技术与设备 / 运动估计 / 一种基于压缩感知的视频序列重构方法

一种基于压缩感知的视频序列重构方法

阅读:978发布:2020-05-08

专利汇可以提供一种基于压缩感知的视频序列重构方法专利检索,专利查询,专利分析的服务。并且本 发明 公开了一种基于 压缩 感知 的视频序列重构方法,编码端将原始视频序列分为关键 帧 、非关键帧两种类型,分别采用不同的 采样 率进行测量,在解码端先对不同的视频序列进行 运动估计 /补偿预测和光流法预测两种不同 算法 的性能判断,再结合对比结果利用帧间相关性对所有非关键帧进行性能较好的算法重构。本发明处理视频时,所需采样的数据量少,恢复的视频 质量 好。相对于视频独立重构的传统算法,提高了低采样率时峰值 信噪比 ,并缩短重构时间。,下面是一种基于压缩感知的视频序列重构方法专利的具体信息内容。

1.一种基于压缩感知的视频序列重构方法,其特征在于,包括如下步骤:
(1)测量过程
步骤A1:将原始视频序列以图像组GOP为单位分组,分为n个图像组;
步骤A2:将图像组尺寸设为m,每个图像组内的第1为关键帧xi,1,第2帧至第m帧为非关键帧xi,2,xi,3,...,xi,m,i为图像组的序号,i=1,2,...,n;
步骤A3:对每个图像组的关键帧以高采样率进行分采样,对应得到yi,1,i=1,2,...,n,对每个图像组的非关键帧以低采样率进行分块采样,对应得到yi,2,yi,3,...,yi,m,i=1,
2,...,n;
(2)重构过程
步骤B1:对每个图像组采样后的关键帧进行传统的独立重构,对应得到zi,1,i=1,
2,...,n;
步骤B2:将独立重构的关键帧zi,1和zi+1,1与采样后的非关键帧yi,2合并为group1,将独立重构的关键帧zi,1和zi+1,1与采样后的非关键帧yi,m合并为group2,i=1,2,...,n-1;
步骤B3:对group1进行基于块的运动估计/补偿或基于像素的光流法重构对应的第i个图像组的第2帧,并对重构结果进行性能对比,判断出适合该图像组的最佳帧间预测算法
步骤B4:根据步骤B3已判断出的性能较好的重构结果,若是判断出运动估计/补偿重构算法更好,则使用独立重构出的关键帧利用前后向运动估计/补偿可得到剩余非关键帧;若是判断出光流重构算法更好,则使用独立重构出的关键帧利用光流矢量和相对位置可扭曲出所有非关键帧;
步骤B5:将重构的所有帧整合起来得到最终恢复出的视频序列。
2.根据权利要求1所述的基于压缩感知的视频序列重构方法,其特征在于:如果在所述步骤B3中判断出光流法重构性能较好时,步骤B4如下:
对于重构第i个图像组的第j帧,取光流扭曲系数a,即利用zi,1向zi+1,1的光流矢量的a倍处的扭曲图像结合zi+1,1向zi,1的光流矢量的1-a倍处的扭曲图像,得到重构的第j帧zi,j,i=
1,2,...,n-1,j=2,3,...,m;对于每个图像组重构第j帧时,光流扭曲系数 其中j=2,3,...,m,以此来重构序列帧。

说明书全文

一种基于压缩感知的视频序列重构方法

技术领域

[0001] 本发明涉及一种基于压缩感知的视频序列重构方法。

背景技术

[0002] 在传统的混合编码技术架构中,通常首先对视频信号进行全采样,而后进行压缩处理,丢弃大量冗余数据,只留下少量重要数据。这不仅造成了采样资源的严重浪费,而且大大提高了编解码器的复杂程度。压缩感知是一种新型的信息处理学说,使得信号能够以远低于奈奎斯特采样率的速率进行采样,而在解码端仍能高概率地重构原始信号,可根据少量的观测值实现信号的精准重构。
[0003] 在压缩感知框架中,核心问题是利用信号的稀疏性,通过随机投影测量并重建最接近原始信号的稀疏信号,将压缩感知引入视频处理领域,相当于将编码端的计算难度转移到了解码端,所以另外再结合基于视频间相关性的重构算法,将大大提高视频的采样效率和重构效果。
[0004] 诸多学者研究了传统的基于运动估计/补偿技术、基于像素的光流估计算法在视频处理中的应用,针对不同类型的视频序列这两种算法的性能互有优劣。由于基于单一预测模式的视频重构算法的通用性欠佳,本发明尝试将两种预测模型应用于视频压缩感知的重构过程中。

发明内容

[0005] 有鉴于此,本发明的目的在于提供一种基于压缩感知的视频序列重构方法,进一步提高视频序列的重构质量,以应用于低采样率条件的视频压缩感知中。
[0006] 为实现上述目的,本发明采用如下技术方案:一种基于压缩感知的视频序列重构方法,包括如下步骤:
[0007] (1)测量过程
[0008] 步骤A1:将原始视频序列以图像组GOP为单位分组,分为n个图像组;
[0009] 步骤A2:将图像组尺寸设为m,每个图像组内的第1帧为关键帧 ,第2帧至第m帧为非关键帧 , ,…, ,i为图像组的序号,i=1,2, …,n;
[0010] 步骤A3:对每个图像组的关键帧以高采样率进行分块采样,对应得到 ,i=1,2, …,n,对每个图像组的非关键帧以低采样率进行分块采样,对应得到 , ,…,,i=1,2, …,n;
[0011] (2)重构过程
[0012] 步骤B1:对每个图像组采样后的关键帧进行传统的独立重构,对应得到 ,i=1,2, …,n;
[0013] 步骤B2:将独立重构的关键帧 和 与采样后的非关键帧 合并为group1,将独立重构的关键帧 和 与采样后的非关键帧 合并为group2,i=1,
2, …,n-1;
[0014] 步骤B3:对group1进行基于块的运动估计/补偿或基于像素的光流法重构对应的第i个图像组的第2帧,并对重构结果进行性能对比,判断出适合该图像组的最佳帧间预测算法;
[0015] 步骤B4:根据步骤B3已判断出的性能较好的重构结果作为对应第i个图像组的第2帧的重构输出 ,并利用最佳帧间预测算法对第i个图像组的第m帧进行联合重构输出,然后利用最佳帧间预测算法结合 和 重构中间帧 , ,…,  ;
[0016] 步骤B5:将重构的所有帧整合起来得到最终恢复出的视频序列。
[0017] 进一步地,在所述步骤B3中判断出光流法重构性能较好时,步骤B4如下:
[0018] 步骤B4:对于重构第i个图像组的第j帧,取光流扭曲系数a,即利用 向 的光流矢量的a倍处的扭曲图像结合 向 的光流矢量的1-a倍处的扭曲图像,得到重构的第j帧 ,i=1,2, …,n-1,j=2,3,…,m。
[0019] 进一步地,对于每个图像组重构第j帧时,光流扭曲系数 ,其中j=2,3,…,m,以此来重构序列帧。
[0020] 本发明与现有技术相比具有以下有益效果:本发明处理视频时,所需采样的数据量少,恢复的视频质量好,尤其适用于低采样率条件的视频序列重构算法,相对于视频独立重构的传统算法,在低采样率时峰值信噪比约提高5-7dB,重构时间约缩短10%。附图说明
[0021] 图1是本发明总体流程图
[0022] 图2是本发明一实施例图像组分解示意图。
[0023] 图3是本发明一实施例的前后向运动估计/补偿重构算法示意图。
[0024] 图4是本发明基于块的运动估计/补偿重构算法流程图。
[0025] 图5是本发明基于像素的光流估计重构算法流程图。
[0026] 图6是本发明一实施例的扭曲光流矢量示意图。
[0027] 图7是本发明帧间预测模式决策示意图。

具体实施方式

[0028] 下面结合附图及实施例对本发明做进一步说明。
[0029] 如图1所示,本发明提供一种基于压缩感知的视频序列重构方法,包括如下步骤:
[0030] (1)测量过程
[0031] 步骤A1:将原始视频序列以图像组GOP为单位分组,分为n个图像组;
[0032] 步骤A2:将图像组尺寸设为m,每个图像组内的第1帧为关键帧 ,第2帧至第m帧为非关键帧 , ,…, ,i为图像组的序号,i=1,2, …,n;
[0033] 步骤A3:对每个图像组的关键帧以高采样率进行分块采样,对应得到 ,i=1,2, …,n,对每个图像组的非关键帧以低采样率进行分块采样,对应得到 , ,…,,i=1,2, …,n;
[0034] (2)重构过程
[0035] 步骤B1:对每个图像组采样后的关键帧进行传统的独立重构,对应得到 ,i=1,2, …,n;
[0036] 步骤B2:将独立重构的关键帧 和 与采样后的非关键帧 合并为group1,将独立重构的关键帧 和 与采样后的非关键帧 合并为group2,i=1,
2, …,n-1;
[0037] 步骤B3:对group1进行基于块的运动估计/补偿或基于像素的光流法重构对应的第i个图像组的第2帧,并对重构结果进行性能对比,判断出适合该图像组的最佳帧间预测算法;
[0038] 步骤B4:根据步骤B3已判断出的性能较好的重构结果作为对应第i个图像组的第2帧的重构输出 ,并利用最佳帧间预测算法对第i个图像组的第m帧进行联合重构输出,然后利用最佳帧间预测算法结合 和 重构中间帧 , ,…,  ;
[0039] 步骤B5:将重构的所有帧整合起来得到最终恢复出的视频序列。
[0040] 在本实施例中,如图2所示,视频序列以4帧为一个图像组,每个图像组包含一个关键帧和三个非关键帧。
[0041] 在本实施例中,如图3所示,基于块的运动估计/补偿重构算法重构非关键帧的方式是以第3帧 为分界点,第3帧前的以前向估计的形式逐帧恢复,第3帧后的以后向估计的形式逐帧恢复,所以第2帧将利用前一步独立重构出的第一帧关键帧 前向重构出。
[0042] 在本实施例中,如图4所示流程图,运动估计/补偿重构算法前向重构,先对第2帧进行独立重构得到f1,计算第2帧的测量残差,并进行残差重构和补偿得到f2,将f1与f2取均值后经过残差重构和补偿将得到估计出的第2帧。运动估计/补偿重构算法前向重构和后向重构方式一致,只是参考帧变为后一帧。
[0043] 如图5所示流程图,基于像素的光流重构算法重构非关键帧的方式是对两个已重构出的关键帧进行前向、后向光流扭曲,将扭曲结果取均值,计算测量残差,再进行残差重构和补偿,获得最终重构出的非关键帧。前、后向光流扭曲,参照图6进行说明,在假设图像组尺寸为4的情况下,前向扭曲是指将第1帧扭向第5帧的光流矢量(Vx,Vy)取其1/4倍进行双三次插值扭曲得到的结果f1;后向扭曲是指将第5帧扭向第1帧的光流矢量(-Vx,-Vy)取其3/4倍进行双三次插值扭曲得到的结果f2;将f1、f2取均值作为估计出的第2帧。
[0044] 参照图7流程图进行group1的帧间预测模型的决策,将上文所述的运动估计/补偿和光流法预测的重构结果,进行峰值信噪比(PSNR)的性能对比,判断出适合该图像组的重构算法。如果光流法重构获得的PSNR_of大于运动估计/补偿重构的PSNR_mc,则对剩余非关键帧进行光流重构,否则进行运动估计/补偿重构。
[0045] 根据已判断出的性能较好的重构结果作为第2帧的重构输出 ,并利用最佳的帧间预测算法对第4帧进行联合重构输出 。
[0046] 利用最佳的帧间预测算法结合前一步重构出的2、4帧重构中间帧 。
[0047] 若是判断出运动估计/补偿重构算法更好,使用独立重构出的关键帧利用前后向运动估计/补偿可得到剩余非关键帧,对第4帧以重构的关键帧 为参考,利用类似后向运动估计/补偿重构算法进行重构,而对于第3帧中间帧则是进行双向重构,是利用 、分别进行前向、后向重构,将结果取均值作为最终恢复出的中间帧。
[0048] 若是判断出光流重构算法更好,使用独立重构出的关键帧利用光流矢量和相对位置可扭曲出所有非关键帧,如下:对于重构第2帧取光流扭曲系数a=1/4,即利用所述 向的光流矢量的a=1/4倍的扭曲图像结合 向 的光流矢量的1-a=3/4倍的扭曲图像可得到重构的第2帧 ;对于重构第4帧取光流扭曲系数a=3/4,即利用所述 向的光流矢量的a=3/4倍的扭曲图像结合 向 的光流矢量的1-a=1/4倍的扭曲图像可得到重构的第4帧 ;对于重构第3帧取光流扭曲系数a=1/2,即利用所述 向的光流矢量的a=1/2倍的扭曲图像结合 向 的光流矢量的1-a=1/2倍的扭曲图像,可得到重构的第3帧 ,对于第n帧,a满足下式:
[0049]
[0050] 以此来重构序列帧。
[0051] 为了验证本发明方法的效果,以352×288的视频序列Coastguard.yuv和Mobile.yuv为例,假设分块大小为16×16,测量矩阵为正交矩阵,对本发明的视频重构方法与传统的独立重构方法进行了比较,以峰值信噪比PSNR(单位为dB)作为算法的重构评价指标。表1给出了本发明的视频重构方法在低采样率下的PSNR。
[0052]
[0053] 从表1可以看出,对于视频序列Coastguard.yuv和Mobile.yuv,在同等采样率的情况下对视频序列进行重构,本发明提出的方法PSNR比传统的独立重构方法高约5—7dB。由此可知本发明提出的基于压缩感知的视频重构方法能够在相同采样率的情况下,有效提高视频重构质量。
[0054] 对本发明的视频重构方法与传统的独立重构方法进行了运行速度比较,以非关键帧平均重构时间为评价指标。表2给出了本发明的视频重构算法在低采样率下的运行时长。
[0055]
[0056] 从表2可以看出,对于视频序列Coastguard.yuv和Mobile.yuv,在同等采样率的情况下对视频序列进行重构,本发明提出的方法时间上比传统的独立重构方法缩短0.5—1s,大约缩短了10%。由此可知本发明提出的基于压缩感知的视频重构方法能够在相同采样率的情况下,提高了运行速度。
[0057] 本发明虽然已以较佳实施例公开如上,但其并不是用来限定本发明,任何本领域技术人员在不脱离本发明的精神和范围内,都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改,因此,凡是未脱离本发明技术方案的内容,依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰,均属于本发明技术方案的保护范围。以上所述仅为本发明的较佳实施例,凡依本发明申请专利范围所做的均等变化与修饰,皆应属本发明的涵盖范围。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈