首页 / 专利库 / 图形技术 / 色度 / 视频编码的时域滤波方法

视频编码的时域滤波方法

阅读:156发布:2023-01-06

专利汇可以提供视频编码的时域滤波方法专利检索,专利查询,专利分析的服务。并且本 发明 公开了一种 视频编码 的时域滤波方法,在同一宏 块 内部,对 亮度 分量和 色度 分量数据分别进行操作:对于亮度分量,首先计算当前 帧 当前宏块与前一帧对应宏块中亮度分量的绝对差值总和以初步将该宏块赋予一定的属性标记,根据所判定的宏块属性标记分别采取相应策略。对于判定为可能静止并且其邻近宏块满足特定规则的宏块,根据其中各象素点与前一帧对应象素点亮度分量的绝对差值的统计信息,判断其运动属性,根据判定的宏块属性,分别采取相应的滤波方法,对于判定为静止宏块的宏块,根据其属性采取相应策略。本发明克服了 现有技术 中复杂度较高、适应性较弱的缺点,在满足实时性要求的同时具有较强的鲁棒性。,下面是视频编码的时域滤波方法专利的具体信息内容。

1、一种视频编码的时域滤波方法,其特征在于,当前当前宏 的滤波操作在其上一宏块的运动搜索之后、当前宏块的运动搜索之前进 行,在同一宏块内部,对亮度分量和色度分量数据分别进行如下操作:
(一)亮度分量的处理,包括以下步骤:
第一步:计算当前帧当前宏块与前一帧对应宏块中亮度分量的SAD 值以初步将宏块赋予一定的属性标记;
第二步:根据第一步所判定的宏块属性标记,及其邻近宏块的标记及 运动矢量等信息,分别采取相应策略:对于运动宏块或其邻近宏块不满足 预定规则的可能静止宏块,不执行滤波操作,以当前宏块的亮度分量作为 处理结果,跳到第六步;否则继续执行第三步操作;
第三步:对于由第二步判断为需要继续进行处理的宏块,根据其中各 象素点与前一帧对应象素点亮度分量的绝对差值的统计信息,判断其运动 属性;
第四步:根据第三步判定的宏块属性,分别采取相应的滤波方法:对 于运动宏块,不执行滤波操作,跳到第六步;对于静止宏块,继续执行第 五步操作;
第五步:对于在第三步判定为静止宏块的宏块,将其亮度分量SAD 值与一限相比较判定其属性,然后根据其属性采取相应策略;
第六步:结束本宏块亮度分量的时域滤波处理;
(二)色度分量的处理,包括以下步骤:
第一步:计算当前帧当前宏块与前一帧对应宏块的色度分量的绝对 差值总和并判断其是否需要执行滤波操作;
第二步:根据第一步的判断结果,分别采取相应的处理方法;
第三步:结束本宏块色度分量的时域滤波处理。
2、根据权利要求1所述视频编码的时域滤波方法,其特征在于, 所述的当前帧指未经时域滤波的当前图像,所述的前一帧指经过时域滤 波的前帧图像。
3、根据权利要求1所述视频编码的时域滤波方法,其特征在于, 所述亮度分量处理第一步中属性自定义为运动或可能静止两种情况,进 一步包括以下步骤:
1)计算当前帧的任一宏块与前一帧对应宏块的各亮度分量之差的 绝对值总和;
2)根据该总和与门限的比较结果,将宏块赋予一定的标记;其中 门限值为经验值,通过大量实验确定。
4、根据权利要求3所述视频编码的时域滤波方法,其特征在于, 在步骤1)中,对任意当前宏块,计算 SAD y = Σ i = 1 N ( | Y i - Y i | ) ;
其中,SADy为当前宏块与前一帧对应宏块亮度分量之间的SAD值; N为宏块的亮度分量总数;Yi为当前宏块第i个亮度分量的值;Y′为前 一帧对应宏块第i个亮度分量的值。
5、根据权利要求3所述视频编码的时域滤波方法,其特征在于, 在步骤2)中,如果任一宏块的SADy>T1,将该宏块标记为运动宏块; 否则将该宏块标记为可能静止宏块;其中T1为门限值,该数值通过大量 的实验获得。
6、根据权利要求1所述视频编码的时域滤波方法,其特征在于, 所述亮度分量处理第三步包括以下步骤:
1)根据当前宏块与对应宏块各对应象素点的亮度分量之间的绝对 差值与设定门限的比较结果,将象素点赋予运动或静止标记;
2)分别统计该宏块的四个块中运动象素点的数目并计算其总和;
3)由2)的结果,依照预定判决规则及门限,最终确定该宏块的 属性。
7、根据权利要求6所述视频编码的时域滤波方法,其特征在于, 在步骤1)中,Diffi=|Yi-Yi′|,如果Diffi>Td,令Marki=1,否则令Marki=0;
其中,Diffi表示该宏块与前一帧对应宏块第i个亮度分量之差的绝 对值;Yi、Yi′的定义与前面相同;Marki为第i个象素点的标记;Td为将 象素点判断为运动的门限值,其取值由大量实验确定。
8、根据权利要求6所述视频编码的时域滤波方法,其特征在于, 在步骤2)中, P j = Σ i = 1 M Mark i , Sum = Σ j = 1 4 P j ;
其中Pj表示第j个块的运动象素点数;M表示一个块的亮度分量总 数;Sum表示该宏块的总运动象素点数。
9、根据权利要求6所述视频编码的时域滤波方法,其特征在于, 在步骤3)中,如果任一Pj>Ta或Sum>Tb,则判断该宏块为运动宏块, 否则判断该宏块为静止宏块;
其中,门限值Ta、Tb分别表示块与宏块中运动象素点数门限,其取 值由大量实验结果确定。
10、根据权利要求1所述视频编码的时域滤波方法,其特征在于, 所述亮度分量处理第五步中,如果被判定为绝对静止宏块,则采用前一 帧对应宏块的亮度分量作为该宏块的亮度分量;反之,如果被判定为一 般静止宏块,则将该宏块的各亮度分量与前一帧对应亮度分量采用预定 权值逐一进行滤波,所产生的新亮度值为该宏块的处理结果。
11、根据权利要求10所述视频编码的时域滤波方法,其特征在于, 具体判断方式为:如果SADy>T2,对宏块中各亮度分量:Yi=αYi+βYi′; 否则对宏块中各亮度分量:Yi=Yi′
其中T2为门限值,由实验确定,本发明中取400;Yi、Yi′的定义与 前面相同;α、β表示权值系数,由实验进行设置,也可以根据需要使 其随宏块的SAD值或该象素与其对应象素亮度分量的绝对差值等信息 自适应变化,本发明中各取0.5,相当于执行均值操作。
12、根据权利要求11所述视频编码的时域滤波方法,其特征在于, T2取400;α、β各取0.5。
13、根据权利要求1所述视频编码的时域滤波方法,其特征在于, 所述色度分量处理第一步中,具体实施如下:
对任一宏块,令 SAD uv = Σ i = 1 N ( | UV i - UV i | ) ;
其中SADuv为当前宏块与前一帧对应宏块色度分量的SAD值;N为 宏块的色度分量总数;UVi为当前宏块第i个色度分量的值;UVi′为前一 帧对应宏块第i个色度分量的值。
14、根据权利要求1所述视频编码的时域滤波方法,其特征在于, 所述色度分量处理第二步中,具体实施如下:
如果该宏块SADuv<T3,则UVi=(UVi+UVi′)/2;否则不执行滤波操作;
其中,UVi、UVi′的定义与前同,T3为门限值,通过大量实验获得。
15、根据权利要求1所述视频编码的时域滤波方法,其特征在于, 所述色度分量处理第三步中如判断为需要进行滤波,则将该宏块的色度 分量与前一帧对应色度分量采用预定权值逐一进行滤波,所产生的新象 素值为色度分量的处理结果;否则,不执行滤波操作,直接保存当前数 据。

说明书全文

技术领域

发明属于计算机图像信息处理领域,具体涉及一种在视频编码中减 少噪声的时域滤波方法。

背景技术

计算机图像信息处理技术随着社会各领域的需求而快速发展。视频编 码噪声的处理是其中的重要问题。将摄像头拍摄到的静止场景输送到电视 屏幕时,往往会发现图形序列出现麻点噪声,对于纹理丰富的场景,这一 现象尤为明显。由于麻点噪声的影响,使得静止场景相同位置下的象素值 在不同时刻出现非相关性。当采用诸如国际标准化组织(ISO)的MPEG 和国际无线通信联盟(ITU)推荐的H.263图像编码标准直接对这些序列进 行编码时,由于相邻时刻图像在预测时的相关性比较弱,必将导致编码压 缩比降低,进而影响静止序列下的图像效果。
为了抑制噪声,可以通过空域的、时域的或时空域的滤波器来实现, 其中空域滤波器只需要在某时刻一图像内完成,而时域滤波器则需要从 两个或更多的连续的图像上获取数据,另外,时域滤波能够更好地消除序 列间的不相关性。对于时域滤波,近年来出现一些相关研究和方法,例如: 索尼公司申请专利“视频数据处理设备和视频数据处理方法”(公开号为 CN 1336765A),该专利方法中的时域滤波部分将输入视频数据作为图像 编码难易程度的函数,在编码时由自适应滤波器自适应滤波,方法包括场 景变化检测、编码难易计算、运动补偿字段递归降噪、多路复用等一系列 处理过程,其计算复杂度较高,对实时视频的编码不太适用;美国公开号 为6,281,942的“Spatial and temporal filtering mechanism for digital motion video signals”,该专利方法首先以一定大小的为单位判断其是否满足特 定准则,然后在符合条件的块内根据其中各象素与其前帧对应象素之间的 差值信息决定该象素的滤波强度,此方法对噪声小的静止序列能获得较好 的处理效果,但难以区分噪声较小的小运动区域和噪声较大的静止区域, 适应性较弱。

发明内容

本发明所要解决的技术问题是提供一种在编码系统中减小编码序列 噪声的时域滤波方法,使编码序列中的静止宏块在序列中不同图像之间具 有更好的相关性,并且克服现有技术中复杂度较高、适应性较弱的缺点, 在满足实时性要求的同时具有较强的鲁棒性。本发明所述的视频编码的时 域滤波方法中,作为视频编码系统的一部分,当前帧当前宏块的滤波操作 在其上一宏块的运动搜索之后、当前宏块的运动搜索之前进行,在同一宏 块内部,对亮度分量和色度分量数据分别进行操作:
(一)亮度分量的处理,包括以下步骤:
第一步:计算当前帧(指未经时域滤波的当前图像,以下同)当前宏 块与前一帧(指经过时域滤波的前帧图像,以下同)对应宏块中亮度分量 的绝对差值总和(即SAD值)以初步将宏块赋予一定的属性标记(此时 的属性自定义为运动或可能静止两种情况);
1)计算当前帧的任一宏块与前一帧对应宏块的各亮度分量之差的绝 对值总和;
2)根据该总和与限的比较结果,将宏块赋予一定的标记;其中门 限值为经验值,通过大量实验确定。
第二步:根据第一步所判定的宏块属性标记,及其邻近宏块的标记及 运动矢量等信息,分别采取相应策略:对于运动宏块或其邻近宏块不满足 预定规则的可能静止宏块,不执行滤波操作,以当前宏块的亮度分量作为 处理结果,跳到第六步;否则继续执行第三步操作;
第三步:对于由第二步判断为需要继续进行处理的宏块,根据其中各 象素点与前一帧对应象素点亮度分量的绝对差值的统计信息,判断其运动 属性(此时属性定义为运动或静止两种);
1)根据各对应象素点的亮度分量之间的绝对差值与设定门限的比较 结果,将象素点赋予运动或静止标记;
2)分别统计该宏块的四个块中运动象素点的数目并计算其总和;
3)由2)的结果,依照预定判决规则及门限,最终确定该宏块的属性。 其中,预定判决规则以及门限值由大量实验结果确定。
第四步,根据第三步判定的宏块属性,分别采取相应的滤波方法:对 于运动宏块,不执行滤波操作,跳到第六步;对于静止宏块,继续执行第 五步操作;
第五步,对于在第三步判定为静止宏块的宏块,将其亮度分量SAD 值与设定门限相比较判定其属性(此处的属性自定义为绝对静止或一般静 止)。然后根据其属性采取以下策略:如果被判定为绝对静止宏块,则采 用前一帧对应宏块的亮度分量作为该宏块的亮度分量;反之,如果被判定 为一般静止宏块,则将该宏块的各亮度分量与前一帧对应亮度分量采用预 定权值逐一进行滤波,所产生的新亮度值为该宏块的处理结果。
第六步,结束本宏块亮度分量的时域滤波处理。
(二)色度分量的处理,包括以下步骤:
第一步,计算当前帧当前宏块与前一帧对应宏块的色度分量的绝对差 值总和(即SAD值)并判断其是否需要执行滤波操作;
第二步,根据第一步的判断结果,分别采取相应的处理方法:如判断 为需要进行滤波,则将该宏块的色度分量与前一帧对应宏块色度分量采用 预定权值逐一进行滤波,所产生的新象素值为色度分量的处理结果;否则, 不执行滤波操作,直接保存当前数据;
第三步,结束本宏块色度分量的时域滤波处理。
采用本发明的方法,使编码序列中的静止宏块在序列中不同图像之间 具有更强的相关性,并且克服现有技术中复杂度较高、适应性较弱的缺点, 在满足实时性要求的同时具有较强的鲁棒性。
附图说明
图1是本发明所述的时域滤波方法中亮度分量处理流程图
图2是本发明所述的时域滤波方法中色度分量处理流程图;

具体实施方式

下面结合附图和具体实施方式对本发明所述方法作进一步描述。
本发明的时域滤波方法以宏块为单位进行,作为视频编码系统的一部 分,当前帧当前宏块的滤波操作在其上一宏块的运动搜索之后、当前宏块 的运动搜索之前进行,在同一宏块内部,对亮度分量和色度分量数据分别 进行操作,两者的处理可以并行进行。下面结合附图对本发明做进一步的 详细描述。
(一)亮度分量的具体实施方式
本发明的时域滤波方法对亮度分量的处理可具体分为宏块中运动宏 块的检测与处理,可能静止并满足预定规则的宏块中绝对静止宏块与一般 静止宏块的检测与滤波几部分(如图1所示)。
第一步,计算当前帧当前宏块与前一帧对应宏块中亮度分量的绝对差 值总和(即SAD值)以初步将该宏块赋予一定的属性标记,此时属性标 记分别表示运动宏块、可能静止宏块。具体包括以下步骤:
1)计算当前宏块与前一帧对应宏块各亮度分量之差的绝对值总和 (SAD);
具体实施如下:
对任意当前宏块,计算 SAD y = Σ i = 1 N ( | Y i - Y i | ) ;
其中,SADy为当前宏块与前一帧对应宏块亮度分量之间的SAD值;N 为宏块的亮度分量总数;Yi为当前宏块第i个亮度分量的值;Yi′为前一帧对 应宏块第i个亮度分量的值;
2)根据该SAD值与门限的比较结果,确定该宏块属性。
具体实施如下:
如果任一宏块的SADy>T1,将该宏块标记为运动宏块;否则将该宏块 标记为可能静止宏块。其中T1为门限值,该数值通过大量的实验获得,这 里选择的是一个偏大的数值,以尽量避免一些噪声较大的静止宏块被误判 为运动宏块,例如,可取为1200。
第二步,根据第一步判定的宏块属性标记,及其邻近宏块的标记及运 动矢量等信息,分别采取相应策略:
对于运动宏块或其邻近宏块不满足预定规则的可能静止宏块,则认为 该宏块与前一帧对应位置宏块已不具备内容上的相关性,对其不执行滤波 操作,以当前宏块的亮度分量作为处理结果,但不改变当前宏块属性标记, 跳到第六步;否则,继续执行第三步的操作。
具体实施如下:
如果宏块被标记为可能静止宏块,
如果其邻近宏块不满足预定规则,
以当前宏块亮度分量作为处理结果,并跳到第六步;
否则继续进行第三步操作,
否则以当前宏块亮度分量作为处理结果,并跳到第六步。
其中,这里提到的邻近宏块指的是以当前宏块为中心,一定尺寸窗口 内已经过处理(包括视频编码中的前处理、运动搜索等操作)的一个或多 个宏块;预定规则是指为增强方法鲁棒性所添加的附加规定,这样使得一 些SAD值较小的非静止宏块在不进行后续判断的同时得到正确处理。这 些规定包括邻近宏块是否包含带运动标记的宏块(第一步的判断结果)、 带运动矢量的宏块,以及该宏块相同列方向的邻近宏块在平方向一定范 围内是否存在带运动矢量的宏块等情况,此规则由实验确定,可根据效果 进行调整,实用中并不局限于此。
例如,可以采用如下规则:
1)其左边宏块、左上边、正上、右上边宏块均为由第一步标记为可 能静止宏块的宏块;
2)其左边宏块、左上边、正上、右上边宏块均无运动矢量;
3)其前面三行相同列位置的宏块在其同一行上一定范围内左右两边 不同时存在带运动矢量的非孤立宏块(这里指其周围至少存在一个带运动 矢量的宏块)。具体实施时,可以将任一行上在不超过一定跨度的两个带 运动矢量的非孤立宏块对之间的宏块加以特殊标记,如果前面三行相同列 的宏块均未被打上此标记,则认为此宏块符合3)的规定。
若以上三条规则同时满足则表示符合规定。
第三步,考虑到对于一些包含小面积运动对象的宏块,其SAD值可 能小于第一步所设定的门限,并且其邻近宏块满足第二步设定的规则,故 需要对可能静止宏块进行进一步的判断以排除其中的非静止宏块:根据其 中各象素点与前一帧对应象素点亮度分量绝对差值的统计信息,判断其运 动属性,其属性最终自定义为运动或静止两种。具体包括以下步骤:
1)根据各对应象素点的亮度分量之间的绝对差值与门限的比较结果, 将象素点赋予运动或静止标记。
具体实施如下:
令Diffi=|Yi-Yi′|,如果Diffi>Td,令Marki=1;否则,令Marki=0
其中,Diffi表示该宏块与前一帧对应宏块第i个亮度分量之差的绝对 值;Yi、Yi′的定义与前面相同;Marki为第i个象素点的标记;Td为将象素 点判断为运动的门限值,其取值由大量实验确定,本发明中取为8。
2)在该宏块的亮度分量中以块为单位分别统计其运动象素点的数目 并计算其总和;
具体实施如下:
P j = Σ i = 1 M Mar k i , Sum = Σ j = 1 4 P j
其中Pj表示第j个块的运动象素点数;M表示一个块的亮度分量总 数;Sum表示该宏块的总运动象素点数。
3)由2)的结果,依照预定判决规则及门限,最终确定该宏块的属性。
具体实施如下:
如果任一Pj>Ta或Sum>Tb,判断该宏块为运动宏块;否则,判断该宏 块为静止宏块。其中,门限值Ta、Tb分别表示块与宏块中运动象素点数门 限,其取值由大量实验结果确定,本发明中分别取3、6。
第四步,根据第三步判定的宏块属性,采取相应的滤波方法:对于运 动宏块,不执行滤波操作,跳到第六步;对于静止宏块,继续执行第五步 操作;
第五步,对于由第三步判定为静止宏块的宏块,根据其第一步计算的 亮度分量的SAD值与设定门限的比较结果判定其属性(此处的属性自定 义为绝对静止或一般静止),并根据其属性采取相应的策略,具体实施如 下:
如果SADy>T2,对宏块中各亮度分量:Ti=αYi+βYi′;否则,对宏块中 各亮度分量:Yi=Yi′。其中T2为门限值,由实验确定,本发明中取400;Yi、 Yi′的定义与前面相同;α、β表示权值系数,由实验进行设置,也可以根 据需要使其随宏块的SAD值或该象素与其对应象素亮度分量的绝对差值 等信息自适应变化,本发明中各取0.5,相当于执行均值操作。
第六步,结束本宏块亮度分量的时域滤波处理。
(二)色度分量的具体实施方式
本发明的时域滤波方法中对色度分量的处理比较简单,下面结合图2 进行说明。
第一步,计算当前帧当前宏块与前一帧对应宏块色度分量的绝对差值 总和(即SAD值)并判断其是否需要执行滤波操作。具体实施如下:
对任一宏块,令 SAD uv = Σ i = 1 N ( | UV i - UV i | ) ;
其中SADuv为当前宏块与前一帧对应宏块色度分量的SAD值;N为宏 块的色度分量总数;UVi为当前宏块第i个色度分量的值;UVi′为前一帧对 应宏块第i个色度分量的值。
第二步,根据该SAD值与门限的比较结果,分别采取相应的处理方 法。具体实施如下:
如果该宏块SADuv<T3,则UVi=(UVi+UVi′)/2;否则,不执行滤波操作。 其中,UVi、UVi′的定义与前同。T3为门限值,通过大量实验获得,本发明 中取为200。
第三步,结束本宏块色度分量的时域滤波处理。
时域滤波方法是视频压缩中视频序列预处理的一个重要技术,会直接 影响图像的主观质量。本发明的滤波方法可广泛应用于视频编码系统中, 方法计算复杂度较低,并且在一定的传输速率下可以获得实时高质的图像 效果,具有较高的实用价值。
相关专利内容
标题 发布/更新时间 阅读量
OLED色度调整方法 2020-05-11 578
色度量化参数扩展 2020-05-13 814
色度处理系统 2020-05-11 826
酱油色度标样 2020-05-12 967
酱油色度标样 2020-05-12 123
视频编码中的色度量化 2020-05-13 147
视频编码中的色度量化 2020-05-13 857
色度摩擦仪 2020-05-11 127
色度计 2020-05-11 230
牙齿色度映射 2020-05-11 223
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈