首页 / 专利库 / 人工智能 / 机器学习 / 一种基于联合字典的彩色与深度图像后处理方法

一种基于联合字典的彩色与深度图像后处理方法

阅读:822发布:2024-02-28

专利汇可以提供一种基于联合字典的彩色与深度图像后处理方法专利检索,专利查询,专利分析的服务。并且本 发明 公开了一种基于联合字典的彩色与 深度图 像 后处理方法,其在训练阶段,采用K-SVD方法对多幅无失真彩色图像中的所有子 块 构成的集合、多幅无失真深度图像中的所有子块构成的集合进行字典训练操作,构造得到彩色字典表和深度字典表;在测试阶段,根据彩色字典表和深度字典表,考虑到彩色特征空间与深度特征空间之间的几何关系,对待处理的彩色与深度图像构造联合字典表,根据联合字典表对彩色与深度图像进行后处理,得到后处理的彩色与深度图像;优点是在训练阶段不需要复杂的 机器学习 训练过程,在测试阶段只需构造能反映彩色与深度图像本质特征的联合字典,根据联合字典表进行后处理操作,能够保持更好的对象轮廓信息,提高虚拟视点图像的 质量 。,下面是一种基于联合字典的彩色与深度图像后处理方法专利的具体信息内容。

1.一种基于联合字典的彩色与深度图像后处理方法,其特征在于包括训练阶段和测试
阶段两个过程,所述的训练阶段过程的具体步骤如下:
①-1、选取N幅宽度为W且高度为H的原始的无失真彩色图像及对应的深度图像,将由N
幅原始的无失真彩色图像构成的彩色图像集合记为{Ii,org|1≤i≤N},将由N幅原始的无失真彩色图像对应的深度图像构成的深度图像集合记为{Di,org|1≤i≤N},其中,N≥1,Ii,org表示{Ii,org|1≤i≤N}中的第i幅彩色图像,Di,org表示{Di,org|1≤i≤N}中的第i幅深度图像,Ii,org与Di,org对应;
①-2、将{Ii,org|1≤i≤N}中的每幅彩色图像划分成 个互不重叠的尺寸大小为8
×8的子;然后采用K-SVD方法对{Ii,org|1≤i≤N}中的所有彩色图像中的子块构成的集合进行字典训练操作,构造得到{Ii,org|1≤i≤N}的彩色字典表,记为Dc,其中,Dc的维数为64×K,K表示设定的字典的个数,K≥1;
同样,将{Di,org|1≤i≤N}中的每幅深度图像划分成 个互不重叠的尺寸大小为8
×8的子块;然后采用K-SVD方法对{Di,org|1≤i≤N}中的所有深度图像中的子块构成的集合进行字典训练操作,构造得到{Di,org|1≤i≤N}的深度字典表,记为Dd,其中,Dd的维数为64×K;
所述的测试阶段过程的具体步骤如下:
②-1、对于任意一幅宽度为W'且高度为H'的经JPEG编码失真的彩色图像Itest及对应的
经JPEG编码失真的深度图像Dtest;
②-2、将Itest划分成 个互不重叠的尺寸大小为8×8的子块;同样,将Dtest划分成
个互不重叠的尺寸大小为8×8的子块;然后根据Itest中的所有子块构成的集合和
Dtest中的所有子块构成的集合、在训练阶段构造得到的Dc和Dd,获取Itest和Dtest的联合字典表,记为{Dc,test,Dd,test},其中,Dc,test为{Dc,test,Dd,test}中的彩色字典表,Dd,test为{Dc,test,Dd,test}中的深度字典表,Dc,test和Dd,test的维数均为64×K,K表示设定的字典的个数,K≥1;
②-3、根据Dc,test,获取 中的每个列向量的稀疏系数矩阵,将 的
稀疏系数矩阵记为 通过求解 得到,其中, 的维
数为K×1,min( )为取最小值函数,符号“|| ||0”为求取矩阵的0-范数符号,符号“|| ||2”为求取矩阵的2-范数符号,Tp1为误差系数;
同样,根据Dd,test,获取 中的每个列向量的稀疏系数矩阵,将 的
稀疏系数矩阵记为 通过求解 得到,其中, 的
维数为K×1,Tp2为误差系数;
②-4、计算 中的每个列向量的重建向量,将 的重建向量记为
然后将 中的每个列向量的重建向量中的每个
元素的值作为Itest中对应的子块中对应的像素点经后处理后的像素值,对于 中的第j
个元素的值,将其作为Itest中的第t'个子块中的第j个像素点经后处理后的像素值,从而得到Itest的后处理图像,记为I'test,其中,1≤j≤64;
同样,计算 中的每个列向量的重建向量,将 的重建向量记为
然后将 中的每个列向量的重建向量中的每个
元素的值作为Dtest中对应的子块中对应的像素点经后处理后的像素值,对于 中的第j
个元素的值,将其作为Dtest中的第t'个子块中的第j个像素点经后处理后的像素值,从而得到Dtest的后处理图像,记为D'test。
2.根据权利要求1所述的一种基于联合字典的彩色与深度图像后处理方法,其特征在
于所述的步骤①-2中的Dc的获取过程为:
①-2a、将{Ii,org|1≤i≤N}中的N幅彩色图像中的所有子块构成一个集合,记为
其中,此处M表示{Ii,org|1≤i≤N}中的所有彩色图像中的子块的总个数,
的维数为64×1, 表示{Ii,org|1≤i≤N}中的所有彩色图像中的第t个
子块中的所有像素点组成的列向量;
①-2b、采用K-SVD方法对 进行字典训练操作,构造得到{Ii,org|1≤i≤N}
的彩色字典表Dc,Dc通过K-SVD方法求解 得到,其中,min( )为取最小值函
数,符号“|| ||2”为求取矩阵的2-范数符号,Yc的维数为64×M, 为
中的第1个列向量, 为 中的第t个列向量, 为
中的第M个列向量,Xc的维数为K×M, 表示Xc中的第1
个列向量, 亦表示 的稀疏系数矩阵, 表示Xc中的第t个列向量, 亦表示 的稀疏系
数矩阵, 表示Xc中的第M个列向量, 亦表示 的稀疏系数矩阵,符号“[ ]”为矢量表示
符号,符号“|| ||0”为求取矩阵的0-范数符号,T为误差系数;
所述的步骤①-2中的Dd的获取过程为:
①-2c、将{Di,org|1≤i≤N}中的N幅深度图像中的所有子块构成一个集合,记为
其中,此处M表示{Di,org|1≤i≤N}中的所有深度图像中的子块的总个数,
的维数为64×1, 表示{Di,org|1≤i≤N}中的所有深度图像中的第t个
子块中的所有像素点组成的列向量;
①-2d、采用K-SVD方法对 进行字典训练操作,构造得到{Di,org|1≤i≤N}
的深度字典表Dd,Dd通过K-SVD方法求解 得到,其中,Yd的维数为64×M,
为 中的第1个列向量, 为 中的第t
个列向量, 为 中的第M个列向量,Xd的维数为K×M,
表示Xd中的第1个列向量, 亦表示 的稀疏系数矩阵, 表示Xd中的第t个列向量,
亦表示 的稀疏系数矩阵, 表示Xd中的第M个列向量, 亦表示 的稀疏系数矩阵,符
号“[ ]”为矢量表示符号,T为误差系数。
3.根据权利要求1或2所述的一种基于联合字典的彩色与深度图像后处理方法,其特征
在于所述的步骤②-2中的{Dc,test,Dd,test}的获取过程为:
②-2a、将Itest中的所有子块构成一个集合,记为 并将Dtest中的所有
子块构成一个集合,记为 其中,M'表示Itest中的子块的总个数,M'亦表示
Dtest中的子块的总个数, 的维数为64×1, 表示Itest中的第t'个子
块中的所有像素点组成的列向量, 的维数为64×1, 表示Dtest中的第t'个子块中的
所有像素点组成的列向量;
②-2b、根据在训练阶段构造得到的Dc,获取 中的每个列向量的稀疏
系数矩阵,将 的稀疏系数矩阵记为 通过求解
得到,其中, 的维数为K×1,min( )为取最小值函数,符号“|| ||0”为求取矩阵的0-范
数符号,符号“|| ||2”为求取矩阵的2-范数符号,T为误差系数;
同样,根据在训练阶段构造得到的Dd,获取 中的每个列向量的稀疏系
数矩阵,将 的稀疏系数矩阵记为 通过求解 得
到,其中, 的维数为K×1,T为误差系数;
②-2c、根据 和 中的所有列向量各自的稀疏系数矩
阵,计算彩色联合矩阵和深度联合矩阵,对应记为Mc,test和Md,test,Mc,test=[(Xc,test(Xc,test)T)-1Xc,test(Xd,test)T]T,Md,test=[(Xd,test(Xd,test)T)-1Xd,test(Xc,test)T]T,其中,Xc,test的维数为K×M', 表示 中的第1个列向量的稀
疏系数矩阵, 表示 中的第t'个列向量的稀疏系数矩阵, 表示
中的第M'个列向量的稀疏系数矩阵,Xd,test的维数为K×M',
表示 中的第1个列向量的稀疏系数
矩阵, 表示 中的第t'个列向量的稀疏系数矩阵, 表示
中的第M'个列向量的稀疏系数矩阵,(Xc,test)T为Xc,test的转置矩阵,
(Xd,test)T为Xd,test的转置矩阵,(Xc,test(Xc,test)T)-1为Xc,test(Xc,test)T的逆矩阵,(Xd,test(Xd,test)T)-1为Xd,test(Xd,test)T的逆矩阵,[(Xc,test(Xc,test)T)-1Xc,test(Xd,test)T]T为(Xc,test(Xc,test)T)-1Xc,test(Xd,test)T的转置矩阵,[(Xd,test(Xd,test)T)-1Xd,test(Xc,test)T]T为(Xd,test(Xd,test)T)-1Xd,test(Xc,test)T的转置矩阵;
②-2d、对训练阶段构造得到的Dc和Dd、Mc,test和Md,test进行联合,得到Itest和Dtest的联合字典表{Dc,test,Dd,test},Dc,test=DcMc,test,Dd,test=DdMd,test。
4.根据权利要求3所述的一种基于联合字典的彩色与深度图像后处理方法,其特征在
于所述的步骤②-3中的Tp1的取值与对Itest进行JPEG编码的压缩因子q1有关,
Tp2的取值与对Dtest进行JPEG编码的压缩因子q2有关,
其中,C=1.15,c1=36.143,c2=-19.789,c3=3.881,
c4=-0.250。

说明书全文

一种基于联合字典的彩色与深度图像后处理方法

技术领域

[0001] 本发明涉及一种视频信号的处理方法,尤其是涉及一种基于联合字典的彩色与深度图像后处理方法。

背景技术

[0002] 随着通信技术和视频技术的不断成熟,高质量的视觉体验成为发展的主流,而3D视频能够提供深度信息,满足人们对立体感和真实感的视觉需求。但是3D视频的数据量非
常庞大,需要进行编码以适应传输或存储的要求。近年来,基于的离散余弦变换已经广泛
的应用于图像和视频压缩之中,如:JPEG、MPEG、H.264/AVC等,然而,视频经过编码后会产生
块效应,并严重影响观看和绘制效果,因此有效的滤波后处理技术已成为研究的热点。
[0003] 现有的视频编码标准采用环路处理方法将去除块效应操作嵌入到编码框架中,这样能有效地避免块效应在间的传播;或者通过采用滤波方法对解码视频图像进行后处
理,但这类方法更多的是考虑如何提升编码,而经过压缩后的彩色与深度图像,结构信息会
发生严重的退化,而彩色与深度图像本身存在较强的结构关联度,因此,如何构造能反映彩
色与深度图像本质特征的联合字典,如何根据联合字典来对彩色与深度图像进行后处理操
作,都是在对彩色与深度图像后处理研究中需要重点解决的技术问题。

发明内容

[0004] 本发明所要解决的技术问题是提供一种基于联合字典的彩色与深度图像后处理方法,其能够充分地恢复出彩色与深度图像的结构信息,能够有效地提高虚拟视点图像的
绘制性能。
[0005] 本发明解决上述技术问题所采用的技术方案为:一种基于联合字典的彩色与深度图像后处理方法,其特征在于包括训练阶段和测试阶段两个过程,所述的训练阶段过程的
具体步骤如下:
[0006] ①-1、选取N幅宽度为W且高度为H的原始的无失真彩色图像及对应的深度图像,将由N幅原始的无失真彩色图像构成的彩色图像集合记为{Ii,org|1≤i≤N},将由N幅原始的无
失真彩色图像对应的深度图像构成的深度图像集合记为{Di,org|1≤i≤N},其中,N≥1,
Ii,org表示{Ii,org|1≤i≤N}中的第i幅彩色图像,Di,org表示{Di,org|1≤i≤N}中的第i幅深度
图像,Ii,org与Di,org对应;
[0007] ①-2、将{Ii,org|1≤i≤N}中的每幅彩色图像划分成 个互不重叠的尺寸大小为8×8的子块;然后采用K-SVD方法对{Ii,org|1≤i≤N}中的所有彩色图像中的子块构成的
集合进行字典训练操作,构造得到{Ii,org|1≤i≤N}的彩色字典表,记为Dc,其中,Dc的维数
为64×K,K表示设定的字典的个数,K≥1;
[0008] 同样,将{Di,org|1≤i≤N}中的每幅深度图像划分成 个互不重叠的尺寸大小为8×8的子块;然后采用K-SVD方法对{Di,org|1≤i≤N}中的所有深度图像中的子块构成的
集合进行字典训练操作,构造得到{Di,org|1≤i≤N}的深度字典表,记为Dd,其中,Dd的维数
为64×K;
[0009] 所述的测试阶段过程的具体步骤如下:
[0010] ②-1、对于任意一幅宽度为W'且高度为H'的经JPEG编码失真的彩色图像Itest及对应的经JPEG编码失真的深度图像Dtest;
[0011] ②-2、将Itest划分成 个互不重叠的尺寸大小为8×8的子块;同样,将Dtest划分成 个互不重叠的尺寸大小为8×8的子块;然后根据Itest中的所有子块构成的集合
和Dtest中的所有子块构成的集合、在训练阶段构造得到的Dc和Dd,获取Itest和Dtest的联合字
典表,记为{Dc,test,Dd,test},其中,Dc,test为{Dc,test,Dd,test}中的彩色字典表,Dd,test为{Dc,test,Dd,test}中的深度字典表,Dc,test和Dd,test的维数均为64×K,K表示设定的字典的个数,K≥1;
[0012] ②-3、根据Dc,test,获取 中的每个列向量的稀疏系数矩阵,将的稀疏系数矩阵记为 通过求解 得到,其中,
的维数为K×1,min()为取最小值函数,符号“|| ||0”为求取矩阵的0-范数符号,符号
“|| ||2”为求取矩阵的2-范数符号,Tp1为误差系数;
[0013] 同样,根据Dd,test,获取 中的每个列向量的稀疏系数矩阵,将的稀疏系数矩阵记为 通过求解 得到,其中,
的维数为K×1,Tp2为误差系数;
[0014] ②-4、计算 中的每个列向量的重建向量,将 的重建向量记为 然后将 中的每个列向量的重建向量中的每
个元素的值作为Itest中对应的子块中对应的像素点经后处理后的像素值,对于 中的第
j个元素的值,将其作为Itest中的第t'个子块中的第j个像素点经后处理后的像素值,从而
得到Itest的后处理图像,记为I'test,其中,1≤j≤64;
[0015] 同样,计算 中的每个列向量的重建向量,将 的重建向量记为然后将 中的每个列向量的重建向量中的每个
元素的值作为Dtest中对应的子块中对应的像素点经后处理后的像素值,对于 中的第j
个元素的值,将其作为Dtest中的第t'个子块中的第j个像素点经后处理后的像素值,从而得
到Dtest的后处理图像,记为D'test。
[0016] 所述的步骤①-2中的Dc的获取过程为:
[0017] ①-2a、将{Ii,org|1≤i≤N}中的N幅彩色图像中的所有子块构成一个集合,记为其中,此处M表示{Ii,org|1≤i≤N}中的所有彩色图像中的子块的总个数,
的维数为64×1, 表示{Ii,org|1≤i≤N}中的所有彩色图像中的第t个
子块中的所有像素点组成的列向量;
[0018] ①-2b、采用K-SVD方法对 进行字典训练操作,构造得到{Ii,org|1≤i≤N}的彩色字典表Dc,Dc通过K-SVD方法求解 得到,其中,min()为取最小
值函数,符号“|| ||2”为求取矩阵的2-范数符号,Yc的维数为64×M,
为 中的第1个列向量, 为 中的第t个列向量, 为
中的第M个列向量,Xc的维数为K×M, 表示Xc中的第1个
列向量, 亦表示 的稀疏系数矩阵, 表示Xc中的第t个列向量, 亦表示 的稀疏系数
矩阵, 表示Xc中的第M个列向量, 亦表示 的稀疏系数矩阵,符号“[]”为矢量表示符
号,符号“|| ||0”为求取矩阵的0-范数符号,T为误差系数;
[0019] 所述的步骤①-2中的Dd的获取过程为:
[0020] ①-2c、将{Di,org|1≤i≤N}中的N幅深度图像中的所有子块构成一个集合,记为其中,此处M表示{Di,org|1≤i≤N}中的所有深度图像中的子块的总个数,
的维数为64×1, 表示{Di,org|1≤i≤N}中的所有深度图像中的第t个
子块中的所有像素点组成的列向量;
[0021] ①-2d、采用K-SVD方法对 进行字典训练操作,构造得到{Di,org|1≤i≤N}的深度字典表Dd,Dd通过K-SVD方法求解 得到,其中,Yd的维数为64×
M, 为 中的第1个列向量, 为 中的第t
个列向量, 为 中的第M个列向量,Xd的维数为K×M,
表示Xd中的第1个列向量, 亦表示 的稀疏系数矩阵, 表示Xd中的第t个列向量,
亦表示 的稀疏系数矩阵, 表示Xd中的第M个列向量, 亦表示 的稀疏系数矩阵,符
号“[]”为矢量表示符号,T为误差系数。
[0022] 所述的步骤②-2中的{Dc,test,Dd,test}的获取过程为:
[0023] ②-2a、将Itest中的所有子块构成一个集合,记为 并将Dtest中的所有子块构成一个集合,记为 其中,M'表示Itest中的子块的总个数,M'亦
表示Dtest中的子块的总个数, 的维数为64×1, 表示Itest中的第t'个
子块中的所有像素点组成的列向量, 的维数为64×1, 表示Dtest中的第t'个子块
中的所有像素点组成的列向量;
[0024] ②-2b、根据在训练阶段构造得到的Dc,获取 中的每个列向量的稀 疏 系 数 矩 阵 ,将 的 稀 疏 系 数 矩 阵 记 为 通 过 求 解
得到,其中, 的维数为K×1,min()为取最小值函数,符号“|| 
||0”为求取矩阵的0-范数符号,符号“|| ||2”为求取矩阵的2-范数符号,T为误差系数;
[0025] 同样,根据在训练阶段构造得到的Dd,获取 中的每个列向量的稀疏 系 数 矩 阵 ,将 的 稀 疏 系 数 矩 阵 记 为 通 过 求 解
得到,其中, 的维数为K×1,T为误差系数;
[0026] ②-2c、根据 和 中的所有列向量各自的稀疏系数矩阵,计算彩色联合矩阵和深度联合矩阵,对应记为Mc,test和Md,test,Mc,test=[(Xc,test
(Xc,test)T)-1Xc,test(Xd,test)T]T,Md,test=[(Xd,test(Xd,test)T)-1Xd,test(Xc,test)T]T,其中,Xc,test的维数为K×M', 表示 中的第1个列向
量的稀疏系数矩阵, 表示 中的第t'个列向量的稀疏系数矩阵,
表示 中的第M'个列向量的稀疏系数矩阵,Xd,test的维数为K×M',
表示 中的第1个列向量的稀疏系数
矩阵, 表示 中的第t'个列向量的稀疏系数矩阵, 表示
中的第M'个列向量的稀疏系数矩阵,(Xc,test)T为Xc,test的转置矩阵,
(Xd,test)T为Xd,test的转置矩阵,(Xc,test(Xc,test)T)-1为Xc,test(Xc,test)T的逆矩阵,(Xd,test(Xd,test)T)-1为Xd,test(Xd,test)T的逆矩阵,[(Xc,test(Xc,test)T)-1Xc,test(Xd,test)T]T为(Xc,test(Xc,test)T)-1Xc,test(Xd,test)T的转置矩阵,[(Xd,test(Xd,test)T)-1Xd,test(Xc,test)T]T为(Xd,test(Xd,test)T)-1Xd,test(Xc,test)T的转置矩阵;
[0027] ②-2d、对训练阶段构造得到的Dc和Dd、Mc,test和Md,test进行联合,得到Itest和Dtest的联合字典表{Dc,test,Dd,test},Dc,test=DcMc,test,Dd,test=DdMd,test。
[0028] 所述的步骤②-3中的Tp1的取值与对Itest进行JPEG编码的压缩因子q1有关,Tp2的取值与对Dtest进行JPEG编码的压缩因子q2有关,
其中,C=1.15,c1=36.143,c2=-19.789,c3=3.881,
c4=-0.250。
[0029] 与现有技术相比,本发明的优点在于:
[0030] 1)本发明方法考虑到失真会导致彩色图像或深度图像结构信息的损失,因此在训练阶段对由多幅无失真彩色图像中的所有子块构成的集合进行字典训练操作,构造得到彩
色字典表,对由多幅无失真深度图像中的所有子块构成的集合进行字典训练操作,构造得
到深度字典表,这样避免了复杂的机器学习训练过程,降低了计算复杂度。
[0031] 2)本发明方法在测试阶段,根据在训练阶段构造得到的彩色字典表和深度字典表,考虑到彩色特征空间与深度特征空间之间的几何关系,对不同的待处理的彩色图像与
深度图像构造对应的联合字典表,并根据联合字典表对彩色图像与深度图像进行后处理操
作,这样能够保持更好的对象轮廓信息,提高了虚拟视点图像的质量。
附图说明
[0032] 图1为本发明方法的总体实现框图
[0033] 图2a为“Undo Dancer”三维视频序列中的一帧经JPEG编码失真的彩色图像;
[0034] 图2b为“Undo Dancer”三维视频序列中的一帧经JPEG编码失真的深度图像;
[0035] 图2c为采用图2a所示的彩色图像和图2b所示的深度图像绘制得到的虚拟视点图像;
[0036] 图3a为图2a所示的彩色图像经本发明方法处理后得到的彩色图像;
[0037] 图3b为图2b所示的深度图像经本发明方法处理后得到的深度图像;
[0038] 图3c为采用图3a所示的彩色图像和图3b所示的深度图像绘制得到的虚拟视点图像;
[0039] 图4a为“Balloons”三维视频序列中的一帧经JPEG编码失真的彩色图像;
[0040] 图4b为“Balloons”三维视频序列中的一帧经JPEG编码失真的深度图像;
[0041] 图4c为采用图4a所示的彩色图像和图4b所示的深度图像绘制得到的虚拟视点图像;
[0042] 图5a为图4a所示的彩色图像经本发明方法处理后得到的彩色图像;
[0043] 图5b为图4b所示的深度图像经本发明方法处理后得到的深度图像;
[0044] 图5c为采用图5a所示的彩色图像和图5b所示的深度图像绘制得到的虚拟视点图像。

具体实施方式

[0045] 以下结合附图实施例对本发明作进一步详细描述。
[0046] 本发明提出的一种基于联合字典的彩色与深度图像后处理方法,其总体实现框图如图1所示,其包括训练阶段和测试阶段两个过程,所述的训练阶段过程的具体步骤如下:
[0047] ①-1、选取N幅宽度为W且高度为H的原始的无失真彩色图像及对应的深度图像,将由N幅原始的无失真彩色图像构成的彩色图像集合记为{Ii,org|1≤i≤N},将由N幅原始的无
失真彩色图像对应的深度图像构成的深度图像集合记为{Di,org|1≤i≤N},其中,N≥1,
Ii,org表示{Ii,org|1≤i≤N}中的第i幅彩色图像,Di,org表示{Di,org|1≤i≤N}中的第i幅深度
图像,Ii,org与Di,org对应。
[0048] 在具体实施时,原始的无失真彩色图像及对应的深度图像选取的幅数应当适当,如果N的值越大,则通过训练得到的字典表的精度也就越高,但计算复杂度也就越高,因此
在本实施例中取N=10。
[0049] ①-2、将{Ii,org|1≤i≤N}中的每幅彩色图像划分成 个互不重叠的尺寸大小为8×8的子块;然后采用K-SVD方法对{Ii,org|1≤i≤N}中的所有彩色图像中的子块构成的
集合进行字典训练操作,构造得到{Ii,org|1≤i≤N}的彩色字典表,记为Dc,其中,Dc的维数
为64×K,K表示设定的字典的个数,K≥1,K的取值过大会出现过聚类现象,K的取值过小会
出现欠聚类现象,在本实施例中取K=128。
[0050] 在此具体实施例中,步骤①-2中的Dc的获取过程为:
[0051] ①-2a、将{Ii,org|1≤i≤N}中的N幅彩色图像中的所有子块构成一个集合,记为其中,此处M表示{Ii,org|1≤i≤N}中的所有彩色图像中的子块的总个数,
的维数为64×1, 表示{Ii,org|1≤i≤N}中的所有彩色图像中的第t个
子块中的所有像素点组成的列向量, 亦表示 中的第t个列向量。
[0052] ①-2b、采用现有的K-SVD方法对 进行字典训练操作,构造得到{Ii,org|1≤i≤N}的彩色字典表Dc,Dc通过K-SVD方法求解 得到,其中,min
()为取最小值函数,符号“|| ||2”为求取矩阵的2-范数符号,Yc的维数为64×M,
为 中的第1个列向量, 亦表示{Ii,org|1≤i≤N}中的
所有彩色图像中的第1个子块中的所有像素点组成的列向量, 为 中的第t
个列向量, 亦表示{Ii,org|1≤i≤N}中的所有彩色图像中的第t个子块中的所有像素点组
成的列向量, 为 中的第M个列向量, 亦表示{Ii,org|1≤i≤N}中的所有
彩色图像中的第M个子块中的所有像素点组成的列向量,Xc的维数为K×M,
表示Xc中的第1个列向量, 亦表示 的稀疏系数矩阵, 表示Xc中
的第t个列向量, 亦表示 的稀疏系数矩阵, 表示Xc中的第M个列向量, 亦表示
的稀疏系数矩阵,符号“[]”为矢量表示符号,符号“|| ||0”为求取矩阵的0-范数符号,T为
误差系数,在本实施例中取T=0.1。
[0053] 同样,将{Di,org|1≤i≤N}中的每幅深度图像划分成 个互不重叠的尺寸大小为8×8的子块;然后采用K-SVD方法对{Di,org|1≤i≤N}中的所有深度图像中的子块构成的
集合进行字典训练操作,构造得到{Di,org|1≤i≤N}的深度字典表,记为Dd,其中,Dd的维数
为64×K。
[0054] 在此具体实施例中,步骤①-2中的Dd的获取过程为:
[0055] ①-2c、将{Di,org|1≤i≤N}中的N幅深度图像中的所有子块构成一个集合,记为其中,此处M表示{Di,org|1≤i≤N}中的所有深度图像中的子块的总个数,
的维数为64×1, 表示{Di,org|1≤i≤N}中的所有深度图像中的第t个
子块中的所有像素点组成的列向量, 亦表示 中的第t个列向量。
[0056] ①-2d、采用现有的K-SVD方法对 进行字典训练操作,构造得到{Di,org|1≤i≤N}的深度字典表Dd,Dd通过K-SVD方法求解 得到,其中,Yd的
维数为64×M, 为 中的第1个列向量, 亦表示{Di,org
|1≤i ≤N}中的所有深度图像中的第1个子块中的所有像素点组成的列向量, 为
中的第t个列向量, 亦表示{Di,org|1≤i≤N}中的所有深度图像中的第t个
子块中的所有像素点组成的列向量, 为 中的第M个列向量, 亦表示
{Di,org|1≤i≤N}中的所有深度图像中的第M个子块中的所有像素点组成的列向量,Xd的维
数为K×M, 表示Xd中的第1个列向量, 亦表示 的稀疏系数矩
阵, 表示Xd中的第t个列向量, 亦表示 的稀疏系数矩阵, 表示Xd中的第M个列向量,
亦表示 的稀疏系数矩阵,符号“[]”为矢量表示符号,T为误差系数,在本实施例中取T
=0.1。
[0057] 所述的测试阶段过程的具体步骤如下:
[0058] ②-1、对于任意一幅宽度为W'且高度为H'的经JPEG编码失真的彩色图像Itest及对应的经JPEG编码失真的深度图像Dtest;在此,W'与W可以相同也可以不同,H'与H可以相同也
可以不同。
[0059] ②-2、将Itest划分成 个互不重叠的尺寸大小为8×8的子块;同样,将Dtest划分成 个互不重叠的尺寸大小为8×8的子块;然后由于在训练阶段独立构造的彩色
字典表和深度字典表忽略了彩色特征空间与深度特征空间之间的几何关系,因此本发明方
法根据Itest中的所有子块构成的集合和Dtest中的所有子块构成的集合、在训练阶段构造得
到的Dc和Dd,获取Itest和Dtest的联合字典表,记为{Dc,test,Dd,test},其中,Dc,test为{Dc,test,Dd,test}中的彩色字典表,Dd,test为{Dc,test,Dd,test}中的深度字典表,Dc,test和Dd,test的维数均为64×K,K表示设定的字典的个数,K≥1,K的取值过大会出现过聚类现象,K的取值过小会
出现欠聚类现象,在本实施例中取K=128。
[0060] 在此具体实施例中,步骤②-2中的{Dc,test,Dd,test}的获取过程为:
[0061] ②-2a、将Itest中的所有子块构成一个集合,记为 并将Dtest中的所有子块构成一个集合,记为 其中,M'表示Itest中的子块的总个数,M'亦
表示Dtest中的子块的总个数, 的维数为64×1, 表示Itest中的第t'
个子块中的所有像素点组成的列向量, 亦表示 中的第t'个列向量,
的维数为64×1, 表示Dtest中的第t'个子块中的所有像素点组成的列向量,
亦表示 中的第t'个列向量。
[0062] ②-2b、根据在训练阶段构造得到的Dc,获取 中的每个列向量的稀 疏 系 数 矩 阵 ,将 的 稀 疏 系 数 矩 阵 记 为 通 过 求 解
得到,其中, 的维数为K×1,min()为取最小值函数,符号“|| 
||0”为求取矩阵的0-范数符号,符号“|| ||2”为求取矩阵的2-范数符号,T为误差系数,在本
实施例中取T=0.1。
[0063] 同样,根据在训练阶段构造得到的Dd,获取 中的每个列向量的稀疏 系 数 矩 阵 ,将 的 稀 疏 系 数 矩 阵 记 为 通 过 求 解
得到,其中, 的维数为K×1,T为误差系数,在本实施例中取T
=0.1。
[0064] ②-2c、根据 和 中的所有列向量各自的稀疏系数矩阵,计算彩色联合矩阵和深度联合矩阵,对应记为Mc,test和Md,test,Mc,test=[(Xc,test
(Xc,test)T)-1Xc,test(Xd,test)T]T,Md,test=[(Xd,test(Xd,test)T)-1Xd,test(Xc,test)T]T,其中,Xc,test的维数为K×M', 表示 中的第1个列向
量的稀疏系数矩阵, 表示 中的第t'个列向量的稀疏系数矩阵,
表示 中的第M'个列向量的稀疏系数矩阵,Xd,test的维数为K×M',
表示 中的第1个列向量的稀疏系数
矩阵, 表示 中的第t'个列向量的稀疏系数矩阵, 表示
中的第M'个列向量的稀疏系数矩阵,(Xc,test)T为Xc,test的转置矩阵,
(Xd,test)T为Xd,test的转置矩阵,(Xc,test(Xc,test)T)-1为Xc,test(Xc,test)T的逆矩阵,(Xd,test(Xd,test)T)-1为Xd,test(Xd,test)T的逆矩阵,[(Xc,test(Xc,test)T)-1Xc,test(Xd,test)T]T为(Xc,test(Xc,test)T)-1Xc,test(Xd,test)T的转置矩阵,[(Xd,test(Xd,test)T)-1Xd,test(Xc,test)T]T为(Xd,test(Xd,test)T)-1Xd,test(Xc,test)T的转置矩阵。
[0065] ②-2d、对训练阶段构造得到的Dc和Dd、Mc,test和Md,test进行联合,得到Itest和Dtest的联合字典表{Dc,test,Dd,test},Dc,test=DcMc,test,Dd,test=DdMd,test。
[0066] ②-3、根据Dc,test,获取 中的每个列向量的稀疏系数矩阵,将的稀疏系数矩阵记为 通过求解 得到,其中,
的维数为K×1,min()为取最小值函数,符号“|| ||0”为求取矩阵的0-范数符号,符号
“|| ||2”为求取矩阵的2-范数符号,Tp1为误差系数,在本实施例中Tp1的取值与对彩色图像
Itest进行JPEG编码的压缩因子q1有关, C=1.15,c1=
36.143,c2=-19.789,c3=3.881,c4=-0.250。
[0067] 同样,根据Dd,test,获取 中的每个列向量的稀疏系数矩阵,将的稀疏系数矩阵记为 通过求解 得到,其中,
的维数为K×1,Tp2为误差系数,在本实施例中Tp2的取值与对深度图像Dtest进行JPEG编
码的压缩因子q2有关, C=1.15,c1=36.143,c2=-
19.789,c3=3.881,c4=-0.250。
[0068] ②-4、计算 中的每个列向量的重建向量,将 的重建向量记为 然后将 中的每个列向量的重建向量中的每
个元素的值作为Itest中对应的子块中对应的像素点经后处理后的像素值,对于 中的第
j个元素的值,将其作为Itest中的第t'个子块中的第j个像素点经后处理后的像素值,从而
得到Itest的后处理图像,记为I'test,其中,1≤j≤64。
[0069] 同样,计算 中的每个列向量的重建向量,将 的重建向量记为然后将 中的每个列向量的重建向量中的每个
元素的值作为Dtest中对应的子块中对应的像素点经后处理后的像素值,对于 中的第j
个元素的值,将其作为Dtest中的第t'个子块中的第j个像素点经后处理后的像素值,从而得
到Dtest的后处理图像,记为D'test。
[0070] 以下就本发明方法对“Undo Dancer”和“Balloons”三维视频序列中的彩色图像及对应的深度图像进行后处理和虚拟视点图像绘制的主客观性能进行比较。
[0071] 对“Undo Dancer”和“Balloons”三维视频序列中的彩色图像及对应的深度图像进行滤波后处理实验,图2a给出了“Undo Dancer”三维视频序列中的一帧经JPEG编码失真的
彩色图像,图2b给出了“Undo Dancer”三维视频序列中的一帧经JPEG编码失真的深度图像,
图2c给出了采用图2a所示的彩色图像和图2b所示的深度图像绘制得到的虚拟视点图像;图
3a给出了图2a所示的彩色图像经本发明方法处理后得到的彩色图像即彩色滤波图像,图3b
给出了图2b所示的深度图像经本发明方法处理后得到的深度图像即深度滤波图像,图3c给
出了采用图3a所示的彩色图像和图3b所示的深度图像绘制得到的虚拟视点图像;图4a给出
了“Balloons”三维视频序列中的一帧经JPEG编码失真的彩色图像,图4b给出了“Balloons”
三维视频序列中的一帧经JPEG编码失真的深度图像,图4c给出了采用图4a所示的彩色图像
和图4b所示的深度图像绘制得到的虚拟视点图像;图5a给出了图4a所示的彩色图像经本发
明方法处理后得到的彩色图像即彩色滤波图像,图5b给出了图4b所示的深度图像经本发明
方法处理后得到的深度图像即深度滤波图像,图5c给出了采用图5a所示的彩色图像和图5b
所示的深度图像绘制得到的虚拟视点图像。从图2a至图5c中可以看出,采用本发明方法后
处理滤波后的彩色图像和深度图像均保持了重要的几何特征,并且采用本发明方法后处理
滤波后的彩色图像和深度图像绘制得到的虚拟视点图像能够保持更好的对象轮廓信息,提
高了虚拟视点图像的质量。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈