一种基于时间相关性的分布式视频压缩感知重构方法专利检索-帧内预测广播专利检索查询-专利查询网

一种基于时间相关性的分布式视频压缩 感知重构方法

阅读：0发布：2020-06-22

专利汇可以提供一种基于时间相关性的分布式视频压缩感知重构方法专利检索，专利查询，专利分析的服务。并且本发明公开了一种基于时间相关性的分布式视频压缩感知重构方法。该方法在建立无反馈的分布式视频压缩感知模型的基础上，充分利用视频帧非关键帧之间的时间相关性，对非关键帧的每个块进行模式判别，将非关键帧与前一帧的残差编码传输；在重构时，按照模式判别的结果自适应地选择有无边信息的重构方式，重构每个非关键帧的块，避免了部分不必要的边信息计算。该方法利用了当前帧的前一帧进行重构，而不只是单纯地使用关键帧作为参考帧进行重构，使得视频帧之间的时间相关性能够得到有效利用。该方法在相同总采样率下能保证视频的重构质量，同时减少系统重构时间，且没有使用反馈信道。，下面是一种基于时间相关性的分布式视频压缩感知重构方法专利的具体信息内容。

权利要求

1.一种基于时间相关性的分布式视频压缩感知重构方法，其特征在于，所述方法包括如下步骤：
输入：视频序列，每帧有Ic×Ir个像素，图像每行有Ic个像素，每列有Ir个像素；
步骤1)将原始视频流拆分为若干个长度为G的图像组Group of Picture，GOP，每组第一帧x0为关键帧，其余帧{x1,x2,…,xt…,xG-1}为非关键帧；
步骤2)将每个非关键帧分成小块，块的长度和宽度均为B；
步骤3)计算一个图像组中每个非关键帧与前一帧的残差xr＝xt-xt-1；
步骤4)计算每个非关键帧的块与前一帧相应块的时间相关度u，利用均方误差的倒数来表示第t-1帧的块与第t帧相应块的时间相关度：
其中n＝B×B；进行模式判别，T1和T2为模式识别中的阀值，0步骤5)对关键帧帧内编码或压缩测量；
步骤6)对每个非关键帧进行基于块的压缩感知测量；
步骤7)在重构时，对关键帧帧内解码或者重构；
步骤8)非关键帧在重构时，若非关键帧中的块为近似不变块，则用已经重构完成的前一帧相应部位的块进行填补，转到步骤11)，否则转到步骤9)；
步骤9)若为非关键帧中的块为中等变化块，利用当前帧的残差测量值yr重构得到残差预测帧块结合已重构的前一帧相应部位的块产生重构帧块转到步骤
11)，否则转到步骤10)；
步骤10)若非关键帧中的块为剧烈变化块，则该块需要利用双向运动估计与补偿产生边信息；在双向运动补偿过程中，xf为前一帧中的块，为前一帧中的块的重构值，xb为与xt相邻的后面一个关键帧的块，为其相应的重构值；按照时间相关度进行加权，则边信息为：其中a为自适应加权系数，
并且结合已经重构的前一帧
进行残差重构；
步骤11)将各个块组合在一起生成非关键帧。
2.根据权利要求1所述的一种基于时间相关性的分布式视频压缩感知重构方法，其特征在于，所述步骤1)中的G取为4。
3.根据权利要求1所述的一种基于时间相关性的分布式视频压缩感知重构方法，其特征在于，所述步骤2)中的分块尺寸为B＝32。
4.根据权利要求1所述的一种基于时间相关性的分布式视频压缩感知重构方法，其特征在于，所述步骤5)中的关键帧的测量率假设固定为0.7。
5.根据权利要求1所述的一种基于时间相关性的分布式视频压缩感知重构方法，其特征在于，所述步骤6)中的近似不变块不分配测量率，其余模式的块分配测量率，每个非关键帧总的测量率取为0.3。
6.根据权利要求1所述的一种基于时间相关性的分布式视频压缩感知重构方法，其特征在于：所述步骤6)中的压缩感知的稀疏矩阵采用沃尔什-哈达玛矩阵。
7.根据权利要求1所述的一种基于时间相关性的分布式视频压缩感知重构方法，其特征在于：所述步骤10)中重构采用梯度投影稀疏重构算法，重构迭代次数取为100。

说明书全文

一种基于时间相关性的分布式视频压缩 感知重构方法

技术领域

[0001] 本发明涉及一种基于时间相关性的分布式视频压缩感知重构方法，属于视频图像处理技术领域。

背景技术

[0002] 由于视频信号处理的复杂性和传输的流量大，对于缺乏电力和通信网络基础设施的应用环境，现有的视频监控系统无法满足应用需。压缩感知(Compressive Sensing，CS)技术深度挖掘视频信号内部的稀疏性，通过欠采样方法提取原始信号的低维投影，并利用优化或迭代的手段高概率完成原始信号的重构。将CS应用到分布式视频编码(Distributed Video Coding，DVC)中产生了分布式视频压缩感知技术(Distributed Compressive Video Sensing，DCVS)，节省了存储空间，降低编码复杂度，提高了视频图像的质量。

[0003] 目前，DCVS研究中的重构过程大多都是采用生成边信息的方法来辅助非关键帧的重构，虽然视频图像帧的重构质量越来越高，但是由于重构时间较长，这些方法大部分不能应用到应急视频服务等情景中。边信息的形式有很多种，可以是运动矢量，也可以是像素值，像素梯度方向，图像二进制边缘等，其中像素值形式简单直观，是最常用的边信息形式。基于运动补偿的边信息生成算法，可以分为运动补偿内插插值法和运动补偿外推法。对于运动补偿内插插值法，一般利用前后解码的关键帧图像计算出图像块的运动矢量，取其一半作为当前帧的运动矢量，经过运动补偿后得到的图像作为边信息。由于运动矢量不一定落在块的中心点，所以会产生空洞和叠加区域，采用双向运动估计的算法，避免了空洞和重叠区域的处理，提高了重构图像的质量。但是，在视频帧中有些块是固定不变的或者缓慢变化的，如土地，石头，水，白云等，在各个视频帧中都是相同的，如果使用复杂的边信息生成技术，会使得系统复杂度增加，重构时间延长，浪费了资源。在目前的分布式视频压缩感知系统中，一般是使用关键帧作为参考帧，忽略了相邻非关键的时间相关性，已重构的非关键帧在重构过程中没有得到充分利用，造成了一定的资源和能源的浪费。总体而言，目前的重构方案研究尚不能用于应急视频服务等场景中，所以还有待进一步地完善和发展。

发明内容

[0004] 本发明的目的在于提出一种基于时间相关性的分布式视频压缩感知重构方法。该方法解决了现有分布式视频压缩感知过程中未充分考虑视频非关键帧时间相关性的问题。对非关键帧的每个块进行模式判别，将非关键帧与前一帧的残差编码传输。在重构时，按照模式判别的结果自适应地选择有无边信息的重构方式，重构每个非关键帧的块。该方法利用了当前帧的前一帧进行重构，而不只是单纯地使用关键帧作为参考帧进行重构，使得视频帧之间的时间相关性能够得到有效利用。该方法在相同总采样率下能保证视频的重构质量同时，减少系统重构时间，且没有使用反馈信道，时延较小，使得分布式视频压缩感知更加适用于抗险救灾现场等应急场景应用中。

[0005] 本发明解决其技术问题所采取的技术方法是：一种基于时间相关性的分布式视频压缩感知重构方法，其特征在于，具体步骤如下：

[0006] 输入：视频序列，每帧有Ic×Ir个像素(图像每行有Ic个像素，每列有Ir个像素)；

[0007] 步骤1：将原始视频流拆分为若干个长度为G的图像组(Group ofPicture，GOP)，每组第一帧x0为关键帧，其余帧{x1,x2,…,xt…,xG-1}为非关键帧；

[0008] 步骤2：将每个非关键帧分成小块，块的长度和宽度均别为B；

[0009] 步骤3：计算一个图像组中每个非关键帧与前一帧的残差xr＝xt-xt-1；

[0010] 步骤4：计算每个非关键帧的块与前一帧相应块的时间相关度u，利用均方误差的倒数来表示第t-1帧的块与第t帧相应块的时间相关度为：

[0011]

[0012] 其中n＝B×B。进行模式判别，T1和T2为模式识别中的阀值(0

[0013] 步骤5：对关键帧帧内编码或压缩测量；

[0014] 步骤6：对每个非关键帧进行基于块的压缩感知测量；

[0015] 步骤7；在重构时，对关键帧帧内解码或者重构；

[0016] 步骤8：非关键帧在重构时，若非关键帧中的块为近似不变块，则用已经重构完成的前一帧相应部位的块进行填补，转到步骤11，否则转到步骤9；

[0017] 步骤9：若为非关键帧中的块为中等变化块，利用当前帧的残差测量值yr重构得到残差预测帧块结合已重构的前一帧相应部位的块产生重构帧块转到步骤11，否则转到步骤10；

[0018] 步骤10：若非关键帧中的块为剧烈变化块，则该块需要利用双向运动估计与补偿产生边信息。在双向运动补偿过程中，xf为前一帧中的块，为前一帧中的块的重构值，xb为与xt相邻的后面一个关键帧的块，为其相应的重构值。按照时间相关度进行加权，则边信息为： (其中a为自适应加权系数，并且结合已经重构的前一帧
进行残差重构。

[0019] 步骤11：将各个块组合在一起生成非关键帧。

[0020] 进一步地，本发明上述步骤1中的G取为4。

[0021] 进一步地，本发明上述步骤2中的分块尺寸为B＝32。

[0022] 进一步地，本发明上述步骤5中的关键帧的测量率假设固定为0.7。

[0023] 进一步地，本发明上述步骤6中的近似不变块不分配测量率，其余模式的块分配测量率，每个非关键帧总的测量率取为0.3。

[0024] 进一步地，本发明上述步骤6中的压缩感知的稀疏矩阵采用沃尔什-哈达玛矩阵。

[0025] 进一步地，本发明上述步骤10中重构采用梯度投影稀疏重构算法，重构迭代次数取为100。

[0026] 有益效果

[0027] 与现有技术相比，本发明具有如下优点：

[0028] 第一，本发明首先在分布式视频压缩感知模型基础上，充分利用了视频帧之间的时间相关性。对于静态的块，不分配采样率，解码时，直接用前一帧的相应块进行填补；对于变化块，使用与前一帧的残差进行编码传输，由于残差图像的稀疏性更强，所需的测量样本数可以更少，解码时，在稀疏域重构出差值信号，再与前一帧相加得到解码后的各帧。因此，编码端的测量数相应减少，解码也相对简单，减少了系统运行时间，降低了系统能耗，适用于有线网络与电力能源稀缺的应用环境。

[0029] 第二，本发明是基于无反馈信道的分布式视频压缩感知系统，时延较小，使得分布式视频压缩感知更加适用于抗险救灾现场等应急场景应用中。

[0030] 第三，本发明利用了当前帧的前一帧进行重构，而不只是单纯地使用关键帧作为参考帧进行重构，使得视频帧之间的时间相关性能够得到有效利用。该方法在相同总采样率下能保证视频的重构质量同时，减少系统重构时间，该方法解决了现有分布式视频压缩感知过程中未充分考虑时间相关性的问题，具有很好地实用价值。

[0031] 第四，本发明实现了自适应重构，该方法将有无边信息重构相结合，减少了不必要的边信息计算，在保证重构质量的情况下，节约了一定的重构时间，适用于应急视频服务中。附图说明

[0032] 图1为本发明一种基于时间相关性的分布式视频压缩感知重构方法的框架图。

具体实施方式

[0033] 以下结合附图，对本发明技术方案进行详细说明，具体实施例如下：

[0034] 如图1所示，本发明提供了一种基于时间相关性的分布式视频压缩感知重构方法，该方法具体步骤如下：

[0035] 输入：视频序列，每帧有Ic×Ir个像素(图像每行有Ic个像素，每列有Ir个像素)；

[0036] 步骤1：将原始视频流拆分为若干个长度为G的图像组(Group ofPicture，GOP)，每组第一帧x0为关键帧，其余帧{x1,x2,…,xt…,xG-1}为非关键帧；

[0037] 步骤2：将每个非关键帧分成小块，块的长度和宽度均别为B；

[0038] 步骤3：计算一个图像组中每个非关键帧与前一帧的残差xr＝xt-xt-1；

[0039] 步骤4：计算每个非关键帧的块与前一帧相应块的时间相关度u，利用均方误差的倒数来表示第t-1帧的块与第t帧相应块的时间相关度为：

[0040]

[0041] 其中n＝B×B。进行模式判别，T1和T2为模式识别中的阀值(0

[0042] 步骤5：对关键帧帧内编码或压缩测量；

[0043] 步骤6：对每个非关键帧进行基于块的压缩感知测量；

[0044] 步骤7；在重构时，对关键帧帧内解码或者重构；

[0045] 步骤8：非关键帧在重构时，若非关键帧中的块为近似不变块，则用已经重构完成的前一帧相应部位的块进行填补，转到步骤11，否则转到步骤9；

[0046] 步骤9：若为非关键帧中的块为中等变化块，利用当前帧的残差测量值yr重构得到残差预测帧块结合已重构的前一帧相应部位的块产生重构帧块转到步骤11，否则转到步骤10；

[0047] 步骤10：若非关键帧中的块为剧烈变化块，则该块需要利用双向运动估计与补偿产生边信息。在双向运动补偿过程中，xf为前一帧中的块，为前一帧中的块的重构值，xb为与xt相邻的后面一个关键帧的块，为其相应的重构值。按照时间相关度进行加权，则边信息为： (其中a为自适应加权系数，并且结合已经重构的前一帧
进行残差重构。

[0048] 步骤11：将各个块组合在一起生成非关键帧。

[0049] 本发明所述步骤1中的G取为4。

[0050] 本发明所述步骤2中的分块尺寸为B＝32。

[0051] 本发明所述步骤5中的关键帧的测量率假设固定为0.7。

[0052] 本发明所述步骤6中的近似不变块不分配测量率，其余模式的块分配测量率，每个非关键帧总的测量率取为0.3。

[0053] 本发明所述步骤6中的压缩感知的稀疏矩阵采用沃尔什-哈达玛矩阵。

[0054] 本发明所述步骤10中重构采用梯度投影稀疏重构算法，重构迭代次数取为100。

[0055] 本发明在分布式视频压缩感知模型基础上，充分利用视频帧非关键帧之间的时间相关性，对非关键帧的分块并且对每个块进行模式判别，将非关键帧与前一帧的残差编码传输；在重构时，按照模式判别的结果自适应地选择有无边信息的重构方式，重构每个非关键帧的块，避免了部分不必要的边信息计算。该方法利用了当前帧的前一帧进行重构，而不只是单纯地使用关键帧作为参考帧进行重构，使得视频帧之间的时间相关性能够得到有效利用。该方法在相同总采样率下能保证视频的重构质量，同时减少系统重构时间，且没有使用反馈信道，时延较小。

[0056] 应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

标题	发布/更新时间	阅读量
手语识别系统	2020-05-08	975
一种早教机器人的控制方法	2020-05-08	259
目标跟踪方法及存储介质	2020-05-08	545
影像处理设备和影像处理方法	2020-05-08	951
基于视觉显著性的HEVC优化算法	2020-05-08	55
一种柜面助手履职监控装置和方法	2020-05-08	867
双向光流中的梯度计算	2020-05-08	626
一种基于二维骨架信息的攻击性行为识别方法	2020-05-08	84
图像质量评估方法、装置、终端及可读存储介质	2020-05-11	677
基于增量学习算法的人脸识别跟踪器	2020-05-11	318

一种基于时间相关性的分布式视频压缩感知重构方法

一种基于时间相关性的分布式视频压缩感知重构方法

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：