技术领域
本发明实施例涉及视频编解码领域,尤其是一种色度补偿方法和装置。
背景技术
随着多媒体通信技术的发展,人们不再满足于传统的固定视点视觉以及 2D平面视觉,尤其在娱乐、教育、观光和外科医学等许多应用领域内出现了 对于自由视点视频和3D视频的需求。例如能够由观看者选择视
角的自由视点 电视(FTV),以及为处于不同
位置观看者播放不同视角视频的3DTV。这些技 术都要求使用多个摄像机在不同的空间位置以不同的角度同时获取同一场景 的视频
信号,并对所获得的一组
视频信号进行压缩编码和传输。这一组视频 被称为多视点视频,而对它们进行压缩编码这一过程则被称为多视点视频编 码(Multi-view Video Coding,MVC)。
(联合视频专家组JVT)提出了一种与高级
视频编码(Advanced Video Coding,AVC)兼容的多视点视频预测结构,即分等级B
帧预测结构,该技术 充分利用了单个视点视频内部视图的时间相关性以及不同视点视图间的相关 性进行预测编码,能够获得较高的编码增益。如图1所示为
现有技术分等级B 帧预测结构的示意图,S0,S1,..S7是每个视图的序号,S0是采用H.264的编 码方式单独编码的视图,不需要其他视图做预测,S2,S4,S6,S7仅有一个视 图作为其参考帧,S1,S3,S5利用上下相邻视图做预测,从而去除视图间的冗 余信息。
在H.264/MPEG AVC中,包含了加权预测(weighted Prediction,WP) 工具,但是对
亮度和色度分量分别做加权预测,该方法主要是对参考帧做 处理,具体地讲是对参考帧的Y,Cb,Cr分量做线性变换后,对参考帧进 行加权处理后用于
运动估计和
运动补偿,能够有效地提高编码效率。表示 式为:
Y=weight*X+offset
其中X为当前参考帧的亮度或色度的任一分量,weight是加权因子, offset是偏移量,加权因子和偏移量统称为加权系数,加权预测技术比较 适用于编码淡入或淡出序列。
在显性模式中,加权因子和偏移量将会在条带头中编码传输,解码端可以 从码流中解码得到相应的值。现有技术的一种实现方法是weight的值通过参 考帧和当前帧平均亮度之比求出,offset置为零。色度分量偏移offset为0, 权重weight为1。
在隐性模式中,加权因子和补偿是通过参考帧和当前编码帧的POC (picture order count)距离推导得出的。
加权机制主要是针对淡入淡出序列设计的,单个
图像采集器再图像采集 时,由于图像出现渐亮或渐暗引起的,现有技术是通过一个线性变换来消除 参考帧和当前编码帧的不匹配,即只对亮度进行补偿,而对色度值不进行补 偿。
图像采集器往往是在RGB(Red Green Blue,红绿蓝)或CMYK(请提供 英文全称和中文译文)色彩空间上进行图像的色彩采集的,因此YCbCr分量 不是原始图像的
颜色空间,例如在RGB色彩空间,假设图像采集器C1每个通 道对应的增益为Kr1,Kg1,Kb1,图像采集器C2每个通道对应的增益为 Kr2,Kg2,Kb2,这样同一个图像内容经过C1和C2成像后满足:
R1/R2=Kr1/Kr2
G1/G2=Kg1/Kg2
B1/B2=Kb1/Kb2。
其中,R1为图像采集器C1采集的一个整个图像的色彩分量R的值,G1 为图像采集器C1采集的一个整个图像的色彩分量G的值,B1为图像采集器 C1采集的一个整个图像的色彩分量B的值;R2为图像采集器C2采集的一个 整个图像的色彩分量R的值,G2为图像采集器C2采集的一个整个图像的色 彩分量G的值,B2为图像采集器C2采集的一个整个图像的色彩分量B的值。
实际编码时用到的YCbCr色彩空间,YCbCr色彩空间与RGB色彩空间的 转换关系如式(1)所示。
其中
在MVC中,引入了视图间参考帧作为预测,此时参考帧和当前编码帧仍旧 是不匹配的,而在多视图情况下,这种不匹配往往是由于图像采集器内部参 数不同引起的,因此利用现有技术的线性变换对参考帧进行
修改,也不能很 好的与当前编码匹配。
发明内容
本发明实施例提供了一种色度补偿方法和装置,以实现利用加权预测对 视图间参考帧存在颜色不匹配进行色度补偿。
本发明实施例提供了一种色度补偿方法,包括:
将原始参考帧的亮度分量和两个色度分量,进行加权预测处理;
生成加权参考帧的亮度分量和两个色度分量的值。
本发明实施例还提供了一种色度补偿装置,包括:
处理模
块,用于将原始参考帧的亮度分量和两个色度分量,进行加权预 测处理;
生成模块,用于生成加权参考帧的亮度分量和两个色度分量的值。
本发明实施例还提供了一种色度补偿装置,包括:
第一补偿模块,用于对亮度值Y进行加权补偿;
第二补偿模块,用于对第一色度值U进行加权补偿;
第三补偿模块,用于对第二色度值V进行加权补偿;
加法器,用于将经过加权补偿的亮度值Y、经过加权补偿的第一色度值U 和经过加权补偿的第二色度值V相加,得到加权参考帧的分量值。
本发明实施例还提供了一种编码方法,包括:
利用当前帧的三个RGB色度分量的值与原始参考帧的三个RGB色度分量 的值,进行加权计算得到加权比值系数;
将原始参考帧的亮度分量和两个色度分量,利用加权比值系数进行加权 预测处理;
生成加权参考帧的亮度分量和两个色度分量的值;
将加权参考帧的亮度分量和两个色度分量的值与当前帧进行运动估计和 运动补偿,得到残差值;
该残差值经过DCT变换得到
熵编码的码流。
本发明实施例还提供了一种编码装置,包括:
加权比值系数计算模块,用于利用当前帧的三个RGB色度分量的值与原 始参考帧的三个RGB色度分量的值,进行加权计算得到加权比值系数;
处理模块,用于将原始参考帧的亮度分量和两个色度分量,利用加权比 值系数进行加权预测处理;
生成模块,用于生成加权参考帧的亮度分量和两个色度分量的值;
残差值计算模块,用于将加权参考帧的亮度分量和两个色度分量的值与 当前帧进行运动估计和运动补偿,得到残差值;
码流声成模块,用于将所述残差值经过DCT变换得到熵编码的码流。
本发明实施例还提供了一种解码方法,包括:
对熵编码的码流进行反DCT变化,得到残差值;
利用该残差值进行运动补偿,得到原始参考帧的亮度分量Y和两个色度 分量UV的值;
将原始参考帧的亮度分量和两个色度分量值,利用加权比值系数进行加 权预测处理;
生成加权参考帧的亮度分量和两个色度分量的值。
本发明实施例还提供了一种解码装置,包括:
残差值计算模块,用于对熵编码的码流进行反DCT变化,得到残差值;
原始参考帧计算模块,利用该残差值进行运动补偿,得到原始参考帧的 亮度分量Y和两个色度分量UV的值;
处理模块,用于将原始参考帧的亮度分量和两个色度分量值,利用加权 比值系数进行加权预测处理;
生成模块,用于生成加权参考帧的亮度分量和两个色度分量的值。
因此,本发明实施例实现了利用加权预测对视图间参考帧存在颜色不 匹配进行色度补偿,码率降低。
附图说明
图1为现有技术分等级B帧预测结构的示意图;
图2为本发明实施例色度补偿方法的
流程图;
图3为本发明实施例色度补偿装置的结构示意图。
具体实施方式
下面通过附图和实施例,对本发明实施例的技术方案做进一步的详细描 述。
如果当前编码帧的值为Yc,Cbc,Crc,参考帧的值为Yr,Cbr,Crr,则提高 编码效率的主要手段是要消除参考帧Ref和当前帧Cod的差异,即调整 Yr,Cbr,Crr的值尽可能接近Yc,Cbc,Crc的值。
本发明实施例色度补偿方法在进行熵编码时具体包括如下步骤:
步骤201,利用输入图像的当前帧的三个色度RGB的值与原始参考帧的 三个色度RGB的值,进行加权计算得到比值系数Kr、Kg和Kb;
Kr为当前帧和原始参考帧的色度R的值的比值,即Rc/Rr=Kr,也可以是 当前帧和原始参考帧的色度R的增益值的比值;
Kg为当前帧和原始参考帧的色度G的值的比值,即Gc/Gr=Kg,也可以是 当前帧和原始参考帧的色度G的增益值的比值;
Kb为当前帧和原始参考帧的色度B的值的比值,即Bc/Br=Kb,也可以是 当前帧和原始参考帧的色度B的增益值的比值;
步骤202,将原始参考帧的亮度分量Y和两个色度分量UV,利用比值系 数Kr、Kg、Kb进行加权预测处理,生成加权参考帧的亮度分量和两个色度分 量的值;
如图2所示,为本发明实施例色度补偿方法的流程图,具体包括:
步骤101,将原始参考帧的亮度分量Y和两个色度分量UV,利用比值系 数Kr、Kg、Kb进行加权预测处理;
Kr,Kg,Kb的值可以通过SliceHeader传到解码端;
步骤102,生成加权参考帧的亮度分量和两个色度分量的值:
加权参考帧的亮度分量利用原始参考帧的亮度分量和两个色度分量加权 预测生成;所述加权参考帧的两个色度分量利用原始参考帧的亮度分量和两 个色度分量加权预测生成,具体为加权参考帧的亮度分量和两个色度分量按 照公式(2)
...................(2)
利用原始参考帧的亮度分量和两个色度分量加权预测生成;
其中Yr′,Crr′,Cbr′是加权后的加权参考帧的亮度值和两个色度值, Yr,Crr,Cbr是未经修改的原始参考帧的亮度值和两个色度值;
其中,Rc为当前帧的整幅图像的色彩分量R的值,Krc为当前帧的整幅 图像的色彩分量R的增益值;Gc为当前帧的整幅图像的色彩分量G的值,Kgr 为当前帧的整幅图像的色彩分量G的增益值;Bc为当前帧的整幅图像的色彩 分量B的值,Kbr为当前帧的整幅图像的色彩分量B的增益值;Rr为原始参 考帧的整幅图像的色彩分量R的值,Krr为原始参考帧的整幅图像的色彩分 量R的增益值;Gr为原始参考帧的整幅图像的色彩分量G的值,Kgr为原始 参考帧的整幅图像的色彩分量G的增益值;Br为原始参考帧的整幅图像的色 彩分量B的值,Kbr为原始参考帧的整幅图像的色彩分量B的增益值。
公式(2)为利用矩阵表示的矢量式,而利用标量式则加权参考帧的亮度 分量按照公式Yr′=aYr+b×Crr+c×Cbr利用原始参考帧的亮度分量和两个色度 分量加权预测生成;加权参考帧的色度分量Cr按照公式 Crr′=d×Yr+e×Crr+f×Cbr利用原始参考帧的亮度分量和两个色度分量加权预 测生成;加权参考帧的色度分量Cb按照公式Cbr′=g×Yr+h×Crr+i×Cbr利用原 始参考帧的亮度分量和两个色度分量加权预测生成;
其中,a、b、c、d、e、f、g、h和i为权重,
本发明实施例中的各个权重的系数是但不代表都利用这个系 数;其他各个参数的意义和式(2)相同;
步骤203,将加权参考帧的亮度分量和两个色度分量的值与当前帧的亮 度分量和两个色度分量的值进行运动估计和运动补偿,得到残差值;
步骤204,该残差值经过DCT变换得到熵编码的码流;
步骤205,该编码码流经过反DCT变换,与参差值相加用来计算比值系 数Kr、Kg、Kb。
以亮度分量Y为例,在某一时刻,加权参考帧的亮度值Y′,利用前后参 考帧的亮度值Y和色度值Cr和Cb进行加权预测。
本发明实施例色度补偿方法在进行熵解码时具体包括如下步骤:
步骤301,对熵编码的码流进行反DCT变化,得到残差值;
步骤302,利用该残差值进行运动补偿,得到原始参考帧的亮度分量Y 和两个色度分量UV的值;
步骤303,将原始参考帧的亮度分量Y和两个色度分量UV,利用比值系 数Kr、Kg、Kb进行加权预测处理,生成加权参考帧的亮度分量和两个色度分 量的值;
加权参考帧的亮度分量利用原始参考帧的亮度分量和两个色度分量加权 预测生成;加权参考帧的两个色度分量利用原始参考帧的亮度分量和两个色 度分量加权预测生成,生成方法与熵编码时完全一致,此处不再赘述。
本发明实施例对于视图间参考帧不采用现有的加权预测方法,利用 Y′=aY+b的方法对原始参考帧进行加权预测,而是利用亮度加色度对原始参 考帧进行加权预测,可以去除由于摄像机参数不一致引入的色度不匹配。
如图3所示,为本发明实施例色度补偿装置的结构示意图,包括:第一 补偿模块11,用于对原始参考帧的亮度值Y进行加权补偿,生成用于生成加 权参考帧的亮度值Y或者第一色度值U或者第二色度值V的,亮度值Y的加 权预测值;第二补偿模块12,用于对原始参考帧的第一色度值U进行加权补 偿,生成用于生成加权参考帧的亮度值Y或者第一色度值U或者第二色度值 V的,第一色度值U的加权预测值;第三补偿模块13,用于对原始参考帧的 第二色度值V进行加权补偿,生成用于生成加权参考帧的亮度值Y或者第一 色度值U或者第二色度值V的,第二色度值V的加权预测值;加法器2,用 于将经过加权补偿的亮度值Y、经过加权补偿的第一色度值U和经过加权补 偿的第二色度值V相加,得到加权参考帧的亮度分量值Y,或者第一色度分 量值U,或者第二色度分量值V。利用加权预测装置,可以对原始的参考帧的 三个分量进行加权预测侧求和,得到加权参考帧的三个分量。
本发明实施例的一种色度补偿装置,包括:处理模块,用于将原始参考 帧的亮度分量和两个色度分量,进行加权预测处理;生成模块,用于生成加 权参考帧的亮度分量和两个色度分量的值。
本发明实施例色度补偿方法和装置,可以对参考帧进行加权预测,能够 带来一定的编码增益。并且加权预测后的加权补偿参考帧的值与当前编码帧 的值更加接近。
因此本发明实施例色度补偿方法和装置利用加权预测,对视图间参考 帧存在颜色不匹配进行色度补偿,码率有所降低,同时UV分量的PSNR有所 增加。
最后所应说明的是,以上实施例仅用以说明本发明实施例的技术方案而 非限制,尽管参照较佳实施例对本发明实施例进行了详细说明,本领域的普 通技术人员应当理解,可以对本发明实施例的技术方案进行修改或者等同替 换,而不脱离本发明实施例技术方案的精神和范围。