首页 / 专利库 / 专利权 / 专利合作条约 / 第I章 / 国际申请 / 说明书 / 序列表 / 用于编码和解码借助于运动管道表示的图像序列的方法和设备、相应的计算机程序产品和信号

用于编码和解码借助于运动管道表示的图像序列的方法和设备、相应的计算机程序产品和信号

阅读:1015发布:2020-06-23

专利汇可以提供用于编码和解码借助于运动管道表示的图像序列的方法和设备、相应的计算机程序产品和信号专利检索,专利查询,专利分析的服务。并且本 发明 涉及用于解码表示 图像序列 的 信号 的方法。根据本发明,这种方法包括以下步骤:从所述信号中提取运动管道,至少通过以下信息来定义每个所述管道:包括参考纹理信息的参考 像素 块 ;管道开始时刻和管道结束时刻;过渡信息;处理所述过渡信息;组合与在所述当前图像的重叠区域中重叠的至少两个所述管道的当前块相关联的信息。,下面是用于编码和解码借助于运动管道表示的图像序列的方法和设备、相应的计算机程序产品和信号专利的具体信息内容。

1.一种用于解码表示图像序列信号的方法,其特征在于包括以下步骤:
-从所述信号中提取(31)运动管道,管道包括可以独立于至少一个其它管道演变的像素,两个管道在给定的时刻可以给所述图像中的一个图像的同一个像素分配不同值,
至少通过以下信息提示来定义每个所述管道:
-包括参考纹理信息提示的参考像素块;
-管道开始时刻和管道结束时刻;
-过渡信息提示,所述过渡信息提示使得可以更新所述序列的在至少一个时刻t的所述参考块;
-处理(32)所述过渡信息提示,提供当前图像中每个所述管道在时刻t的当前块;
-组合(33)与在所述当前图像的重叠区域中重叠的至少两个所述管道的当前块相关联的信息提示,从而重构在所述重叠区域中为最佳的像素。
2.如权利要求1所述的解码方法,其特征在于所述组合步骤(33)包括,对于所述重叠区域中的至少一个像素,计算分配给每个所述重叠管道中的所述像素的纹理值的均值的操作。
3.如权利要求2所述的解码方法,其特征在于所述均值是根据属于包括以下内容的组中的至少一个准则获得的加权均值:
-与每个所述管道相关联的深度信息提示;
-与每个所述管道相关联的优先级信息提示;
-每个所述管道的创建时刻和/或持续时间;
-所考虑的像素在每个所述管道内的位置信息提示;
-与每个所述管道中的管道类型相关的信息提示。
4.如权利要求1到3中的任意一个所述的解码方法,其特征在于被称为开始块的在管道开始时刻的像素块相应于定义所述管道的参考像素块,或基于所述参考像素块的修改而获得。
5.如权利要求1到4中的任意一个所述的解码方法,其特征在于所述提取步骤(31)提供基础管道和旨在改进至少一个基础管道的恢复的细化管道。
6.如权利要求5所述的解码方法,其特征在于所述细化管道包括加性管道和描述管道,
其中,加性管道包括旨在被添加到基础管道的信息提示中的残差信息提示,而描述管道包括描述信息提示,所述描述信息提示提供补充由基础管道的信息提示所提供的第一描述和/或为所述第一描述提供冗余的第二描述。
7.如权利要求1到6中的任意一个所述的解码方法,其特征在于所述过渡信息提示包括:
-关于所述当前图像中的所述块的偏移和/或位置的修改的信息提示;和
-关于所述纹理的修改的信息提示。
8.如权利要求7所述的解码方法,其特征在于所述过渡信息提示包括关于实现属于包括以下内容的组中的至少一个操作的所述块的变形的信息提示:
-单应变换;
-仿射变换;
-旋转;
并且,其中所述处理步骤(32)根据所述变形信息提示而执行所述操作。
9.如权利要求1到8中的任意一个所述的解码方法,其特征在于所述提取步骤(31)包括在时刻t为每个所述管道读取下列信息提示中的至少一个的步骤:
-使用或不使用所述管道的指示;
-使用或不使用对所述管道的预测的指示;
-关于所述管道在所述图像中的位置的信息提示;
-关于管道类型的信息提示;
-纹理数据。
10.一种用于解码表示图像序列的信号的设备,其特征在于包括:
-用于从所述信号中提取运动管道的装置(31),管道包括可以独立于至少一个其它管道演变的像素的块,两个管道在给定的时刻可以给所述图像中的一个图像的同一个像素分配不同值,至少通过以下信息提示来定义每个所述管道:
-包括参考纹理信息提示的参考像素块;
-管道开始时刻和管道结束时刻;
-过渡信息提示,所述过渡信息提示使得可以更新所述序列的在至少一个时刻t的所述参考块;
-用于处理所述过渡信息提示以提供当前图像中每个所述管道在时刻t的当前块的装置(32);
-用于组合与在所述当前图像的重叠区域中重叠的至少两个所述管道的当前块相关联的信息提示,从而重构在所述重叠区域中为最佳的像素的装置(33)。
11.一种能够从通信网络下载和/或记录在计算机可读介质上和/或由处理器执行的计算机程序产品,其特征在于包括用于执行如权利要求1到9中的至少一个所述的解码方法的程序代码指令。
12.一种用于编码图像序列的方法,其特征在于包括以下步骤:
-将运动管道插入(52)表示所述序列的信号中,管道包括可以独立于至少一个其它管道演变的像素的块,两个管道在给定的时刻可以给所述图像中的一个图像的同一个像素分配不同值,至少通过以下信息提示来定义每个所述管道:
-包括参考纹理信息提示的参考像素块;
-管道开始时刻和管道结束时刻;
-过渡信息提示,所述过渡信息提示使得可以更新所述序列的在至少一个时刻t的所述参考块;
-产生(53)定义所述运动管道的过渡信息提示;
以便允许在解码时组合与在当前图像的重叠区域内重叠的至少两个所述管道中的当前块相关联的信息提示,以便重构在重叠区域中为最佳的像素。
13.一种用于编码图像序列的设备,其特征在于包括:
-用于将运动管道插入表示所述序列的信号中的装置(52),管道包括可以独立于至少一个其它管道演变的像素的块,两个管道在给定的时刻可以给所述图像中的一个图像的同一个像素分配不同值,至少通过以下信息提示来定义每个所述管道:
-包括参考纹理信息提示的参考像素块;
-管道开始时刻和管道结束时刻;
-过渡信息提示,所述过渡信息提示使得可以更新所述序列的在至少一个时刻t的所述参考块;
-用于产生定义所述运动管道的过渡信息提示的装置(53);
以便允许在解码时组合与在当前图像的重叠区域内重叠的至少两个所述管道中的当前块相关联的信息提示,以便重构在重叠区域中为最佳的像素。
14.一种能够从通信网络下载和/或记录在计算机可读介质上和/或由处理器执行的计算机程序产品,其特征在于包括用于执行如权利要求12所述的编码方法的程序代码指令。
15.一种表示图像序列的信号,其特征在于包括运动管道,管道包括可以独立于至少一个其它管道演变的像素的块,两个管道在给定的时刻可以给所述图像中的一个图像的同一个像素分配不同值,至少通过以下信息提示来定义每个所述管道:
-包括参考纹理信息提示的参考像素块;
-管道开始时刻和管道结束时刻;
-过渡信息提示,所述过渡信息提示使得可以更新所述序列的在至少一个时刻t的所述参考块;
所述信号包括与每个所述运动管道相关联的过渡信息提示,
以便允许在解码时组合与在当前图像的重叠区域内重叠的至少两个所述管道中的当前块相关联的信息提示,以便重构在重叠区域中为最佳的像素。

说明书全文

技术领域

发明涉及图像序列的编码和解码。

更具体地,本发明涉及对借助于运动管道(motion tube)表示的各个视频图像序列或二维或三维场景(或展现出更多维度的场景)序列的处理。

背景技术

当前的视频编码器,诸如按照例如ITU(“国际电信联盟”)在文档ISO/IEC 14496-10中给出的AVC H.264/MPEG-4标准(“高级视频编码”)开发的视频编码器,使得可以对图像序列编码,从而提供相对于源图像序列被压缩的编码序列。
因此,这些编码器使用视频序列的不连续表示。更准确地,图像序列被划分为像素,一个像素块相应于一组相邻的像素。这些编码器基于对包含在这些块中的信息的处理,这些处理涉及变换步骤、量化步骤和熵编码步骤。因此,通过图像内预测或图像间预测对每个块编码。
这些现有技术的缺点是每个图像中的块独立于序列中的其它图像的块而被定义。这导致了序列中的运动的不连续表示,并且因此,导致了对真实运动的不良表示,以及在压缩比特率方面的成本开销。
因此,已经提出了例如基于网格的提供运动的连续表示的替代技术。
然而,这些基于网格的技术的缺点是限制了区域之间的运动,并且因此,使得不能表示在具有不同运动的两个区域之间可能在图像序列中出现的运动场的中断(例如,由于物体的出现或消失)。
另外,这些技术的另一个缺点源于对不规则网格的使用,对于不规则网格,必须传输网格单元随时间推移而变化的结构。实际上,这种附加信息的传输导致了压缩性能方面的损失。
因此,存在对使得能够至少部分地缓解现有技术的缺点的用于编码/解码图像的新技术的需求。

发明内容

本发明以用于解码表示图像序列的信号的方法的形式,提出了没有表现出现有技术中的所有这些缺点的新的解决方案。
根据本发明,这种方法包括以下步骤:
-从所述信号中提取运动管道,一个管道包括可能独立于至少一个其它管道演变的像素块,两个管道在给定的时刻可能给所述图像中的一个图像的同一个像素分配不同值,
至少通过以下信息提示来定义每个所述管道:
-包括参考纹理(texture)信息提示的参考像素块;
-管道开始时刻和管道结束时刻;
-过渡信息提示(transition information cue),过渡信息提示使得可以更新所述序列的至少一个时刻t时的所述参考块;
-处理所述过渡信息提示,提供当前图像中的每个所述管道在时刻t的当前块;
-组合与在所述当前图像的重叠区域中重叠的至少两个所述管道的当前块相关联的信息提示,从而重构在所述重叠区域中为最佳的像素。
因此,本发明在于一种解码以运动管道的形式表示的图像序列的新颖的并且有创造性的方法。
更准确地,运动管道对应于随时间推移而演变的像素块。在这种演变进程中,管道可以变形,例如以便考虑明显运动,或如果存在于块内的像素的数目增加或减少。还可以例如通过转到块的子像素级别来细化这种管道。
因此,各种运动管道可以彼此独立地演变。然后,可以用沿着该序列的运动轨迹,随时间推移在空间中移动的运动管道集合表示图像序列。管道的这种“时间持久性”使得可以用连续的方式表示视频序列。另外,这种表示使得可以同时有效地表示序列的连续运动区域和不连续运动区域。
相反,回想在现有技术的块预测编码技术中,每个图像中的块独立于该序列中的其它图像的块而被定义。因此,这些预测中不存在追踪。
具体地,根据本发明,解码侧从收到的信号中提取运动管道,以便处理这些管道的过渡信息提示,并且为在寻求重构的图像中的每个管道重构潜在地变形了的当前块。
此后,组合与相应于重叠管道的当前块相关联的信息提示,以便重构位于该重叠区域内的像素。具体地,表述重叠区域被理解为意味着这样的区域,其中与管道相关联的当前块具有公共像素。
具体地,被称为开始块的、在管道开始时刻的像素块可以直接相应于定义所述管道的参考像素块,或可基于对所述参考像素块的修改而被获得。这种修改例如相应于包括几何变换的编码(单应变换(homographic transformation)、仿射变换(affine transformation)、旋转等)。
根据本发明的特定实施例,组合步骤包括,为重叠区域中的至少一个像素,计算分配给每个所述重叠管道中的像素的纹理值(texturevalue)的均值的操作。
具体地,可以按照属于包括以下内容的组的至少一个准则,对这种均值加权:
-与每个所述管道相关联的深度信息提示;
-与每个所述管道相关联的优先级信息提示;
-每个所述管道的创建时刻和/或持续时间;
-所考虑的像素在每个所述管道内的位置信息提示;
-与每个所述管道中的管道类型相关的信息提示。
除非另外说明,基于分配给每个所述重叠管道内的像素的纹理值的(线性的、几何的,等等)组合,确定在重叠区域内为最佳的像素。
根据本发明的特定方面,提取步骤提供不同类型的管道,特别地,包括基础管道和旨在改进至少一个基础管道的恢复的细化管道(refinement tube)。
细化管道的演变可以不受基础管道的演变的约束。
特别地,细化管道包括:
-加性管道,加性管道包括旨在被添加到基础管道的信息提示中的残差信息提示;和
-描述管道,描述管道包括描述信息提示,其提供补充由基础管道的信息提示所提供的第一描述和/或为所述第一描述提供冗余的第二描述。例如,第一描述使得可以描述块内的偶数像素,并且第二描述使得可以描述奇数像素。
因此根据这个实施例,本发明能够应用于表现出适应性质量和可变的空时分辨率的可伸缩数据编码和解码。
根据旨在利用基础管道和加性类型的细化管道之间的相关性来执行可伸缩表示的一种实现方式的变型,加性类型的细化管道被认为与其细化的基础管道相关。因此,加性类型的细化管道的时间演变依赖于基础管道的时间演变。
根据本发明的特定特性,定义运动管道的过渡信息提示包括:
-关于所述当前图像中的块的偏移和/或位置的修改的信息提示;以及
-关于所述纹理的修改的信息提示。
这些过渡信息提示特别地使得可以通过考虑已经对以前解码的图像进行的修改,来重构当前图像中的当前块。例如,这些修改相应于从一个图像到另一个图像的更新,相应于以空间和/或时间变换进行的编码等。
例如,过渡信息提示包括关于实现属于包括以下内容的组中的至少一个操作的块变形的信息提示:
-单应变换;
-仿射变换;
-旋转;
通过考虑变形信息提示,在所述处理步骤过程中执行该操作。
根据本发明的特定实施例,该解码方法包括创建和更新参考管道列表的步骤。可以为序列中的第一图像执行创建该列表的这个步骤。
根据本发明的特定实施例,提取步骤包括在时刻t为每个管道读取下列信息提示中的至少一个的步骤:
-使用或不使用所述管道的指示;
-使用或不使用针对所述管道的预测的指示;
-关于图像中的所述管道的位置的信息提示;
-关于管道类型的信息提示;
-纹理数据。
例如,该解码方法包括以下步骤:
-读取定义参考管道的信息提示(参考像素块、管道的开始时刻和结束时刻、过渡信息提示);
-对于每个参考管道:
■读取使用或不使用所述参考管道以重构当前图像的指示,
■读取关于纹理的修改和/或所述参考管道的偏移和/或位置的修改的信息提示,和
■更新所述参考管道列表;
-对于当前图像中的每个块:
■读取使用或不使用基于运动管道的预测的指示;
■读取创建或不创建新管道的指示;和
■如果必要,读取定义所述新管道的信息提示;
-读取关于管道的参考列表的更新的信息提示;
-重构当前图像。
在另一个实施例中,本发明涉及一种用于解码表示图像序列的信号的设备。
根据本发明,这种设备包括:
-用于从所述信号中提取运动管道的装置,管道包括可以独立于至少一个其它管道演变的像素块;
-用于处理所述过渡信息提示以提供当前图像中的每个所述管道在时刻t的当前块的装置;
-用于组合与在所述当前图像的重叠区域内重叠的至少两个所述管道的当前块相关联的信息提示,以便重构在所述重叠区域内为最佳的像素的装置。
这种解码设备特别适用于实现上述的解码方法。例如它涉及H.264或H.264的修订类型的视频解码器
本发明的另一个方面还涉及可从通信网络下载和/或记录在计算机可读介质上和/或可由处理器执行的计算机程序产品,包括用于实现上述解码方法的程序代码指令。
本发明的另一个实施例涉及用于编码图像序列的方法。
根据本发明,这种编码方法包括以下步骤:
-在表示所述序列的信号中插入运动管道,管道包括可以独立于至少一个其它管道演变的像素块,
两个管道在给定的时刻可以给所述图像中的一个图像中的同一个像素分配不同的值,
至少通过以下信息提示来定义每个所述管道:
-包括参考纹理信息提示的参考像素块;
-管道开始时刻和管道结束时刻;
-过渡信息提示,过渡信息提示使得可以更新所述序列的在至少一个时刻t时的所述参考块;
-产生定义所述运动管道的过渡信息提示;
以便允许在解码时组合与在当前图像的重叠区域内重叠的至少两个所述管道中的当前块相关联的信息提示,以便重构在重叠区域中为最佳的像素。
这种编码方法特别适合于编码旨在根据上述解码方法解码的图像序列。
具体地,这种编码方法包括两个主要阶段:
-建立运动管道的阶段,使得可以基于所述信息提示构造所述管道,和
-对所述运动管道编码的阶段。
根据本发明的特定实施例:
-建立阶段包括以下步骤:
○获得参考运动管道列表;
○对于每个参考管道:
■确定关于所述序列中将被编码的图像中的所述参考管道的位置的信息提示,
■确定使用或不使用所述参考管道的指示;和
■更新纹理信息提示;
○对于将被编码的图像中的每个块:
■确定使用或不使用基于运动管道的预测来重构所述块的指示;
-并且,编码阶段包括以下步骤:
○对所述参考运动管道列表编码;
○对于每个参考管道:
■编码使用或不使用所述参考管道的所述指示;
■如果使用这个参考管道,对关于纹理的修改和偏移和/或位置的修改的信息提示编码;
○对于将被编码的图像的每个块:
■编码对使用或不使用借助于至少一个运动管道进行的预测的指示;
■对新管道基于这个块的创建或不创建编码;
○对关于所述参考列表的更新的信息提示编码。
另一个实施例涉及用于编码图像序列的设备。
这种设备包括:
-用于将运动管道插入到表示所述序列的信号内的装置,管道包括可以独立于至少一个其它管道演变的像素块,
-用于产生定义所述运动管道的过渡信息提示的装置;
以便允许在解码时组合与在当前图像的重叠区域内重叠的至少两个所述管道中的当前块相关联的信息提示,以便重构在重叠区域中为最佳的像素。
这种编码设备特别适用于实现上述的编码方法。例如它涉及H.264或H.264的修订类型的视频编码器。
本发明的另一个方面还涉及可从通信网络下载和/或记录在计算机可读介质上和/或可由处理器执行的计算机程序产品,包括用于实现上述编码方法的程序代码指令。
本发明的另一个方面涉及表示图像序列的信号。
这种信号包括运动管道,管道包括可以独立于至少一个其它管道演变的像素块,
两个管道在给定的时刻可以给所述图像中的一个图像中的同一个像素分配不同的值,
至少通过以下信息提示来定义每个所述管道:
-包括参考纹理信息提示的参考像素块;
-管道开始时刻和管道结束时刻;
-过渡信息提示,过渡信息提示使得可以更新所述序列的在至少一个时刻t时的所述参考块;
所述信号包括与每个所述运动管道相关联的过渡信息提示,
以便允许在解码时组合与在当前图像的重叠区域内重叠的至少两个所述管道中的当前块相关联的信息提示,以便重构在重叠区域中为最佳的像素。
这种信号特别地可以表示根据上述编码方法编码的数据流。这种信号当然可以包括关于根据本发明的编码方法的各种特征。
附图说明
在阅读对特定实施例的下列描述和所附附图之后,将更加清楚地明了本发明的其它特征和优点,其中下列描述是通过简单的说明性且非限制性的例子给出的,在附图中:
-图1示出了借助于运动管道的图像序列的示例性表示;
-图2给出了运动管道中的块随时间推移的演变;
-图3给出了根据本发明的实施例的解码方法的主要步骤;
-图4示出了用于管理重叠的机制;
-图5给出了根据本发明的实施例的编码方法的主要步骤;
-图6A和6B给出了根据本发明的特定实施例的编码设备和解码设备的结构。

具体实施方式

5.1一般原理
本发明的一般原理在于对借助于运动管道表示的2D或3D图像序列的编码和解码。
通过图1给出了视频序列的借助于运动管道的示例性表示。
根据这个例子,考虑在图像I0、I1、I2和I3之间延伸的、分别相应于视频序列的时刻t0、t1、t2和t3的4个运动管道Tu1、Tu2、Tu3和Tu4。
更准确地,运动管道(motion tube)被定义为像素集合(例如,正方形块、矩形块或3D的立方体),并且其特征是:
-创建时刻或管道开始时刻;
-消失时刻或管道结束时刻;
-依赖于时间t的位置集合(xt,yt)或偏移集合(dxt,dyt),t位于管道的创建时刻和消失时刻之间,
-可选择地随时间改变的纹理(texture)。
例如,管道Tu1在时刻t0被创建,并且在时刻t2消失。这表示管道Tu1在时刻t0之前不存在,并且在时刻t2之后,管道Tu1不再存在。类似地,管道Tu2在时刻t0被创建,并且在时刻t1消失,管道Tu3在时刻t1被创建,并且在时刻t3消失,并且管道Tu4在时刻t1被创建,并且在时刻t2消失。另外,每个管道包括其自己的纹理值。
除非另外说明,如果例如考虑图像I0,管道Tu1相应于图像I0的像素块1,对该像素块1应用“时间延伸”t,t在t0到t2之间改变。
因此,管道不是在每个时刻都被重新初始化,而是在图像中得以“幸存”。特别地,可以为图像序列中的不连续图像定义运动管道。例如,如果管道从时刻t的图像中“消失”,它保持在存储器中,并且可以在时刻“t+1”“重现”。
解码侧使用这些管道重构该序列的图像。例如,管道Tu1使得可以执行对于图像I1和I2的预测。
还可以注意到,与各个管道相关联的像素块可以彼此独立地演变。因此,管道可以重叠,例如如图1中时刻t2的管道Tu3和Tu4那样,而这对于基于网格的技术来说是不可能的。
还可以注意到,管道的时间演变不局限于平移。对于包括第一图像在内的每个图像,像素块可以经历几何变换,诸如例如,旋转、仿射变换或单应变换。
图2更准确地示出了各个管道的重叠。例如,管道Tui和Tuk在时刻t在图像It中被初始化。在时刻t+1,管道Tui和Tuk可以在图像It+1中完全重叠。除非另外说明,管道Tui和Tuk相应于相同的像素块。例如,这会导致在一个物体的与管道Tui的像素块相关联的一部分被与块Tuk相关联的另一个物体遮掩。此后,由于管道的独立演变,根据与每个管道相关联的物体的偏移,每个管道Tui或Tuk可以在不同方向上离开。
运动管道还随时间的推移而变形(从平移运动延伸到旋转运动、仿射变形、单应变形等)。例如,对于图2,考虑在时刻t+1在图像It+1初始化的且在时刻t+2在图像It+2内消失的管道Tu1。相应于图像It+2内的管道Tu1的像素块可以与相应于图像It+1中的相同管道Tu1的像素块不同。例如,管道Tu1相应于图像It+1中的8×8的像素块,并且相应于图像It+2中的12×8的像素块。在这种情况下,构成管道的像素集合随时间的推移而改变。为了表示相应于图像It+2中的管道Tu1的像素块,可以对包含最初为图像It+1定义的修改后像素的值的块执行变形。这种变形例如实现单应变换、仿射变换、旋转类型等的操作。
因此,用沿着视频序列的运动轨迹随时间的推移在空间中移动的运动管道的集合来表示该视频序列。
5.2解码
通过图3更准确地给出了根据本发明的解码方法的主要步骤。
因此,考虑由解码器收到的表示图像序列的信号30。
该解码方法首先包括提取步骤31,提取步骤31用于从信号30中提取其每一个与一个像素块相关联的运动管道。根据本发明,认为管道可以彼此独立地演变。还认为两个管道在给定时刻可以给图像的同一个像素分配不同的纹理值。
然后,至少通过以下信息提示来定义每个管道:
-包括参考纹理信息提示的参考像素块;
-管道开始时刻和管道结束时刻;
-过渡信息提示,过渡信息提示使得可以更新所述序列的在
至少一个时刻t时的所述参考块。
在管道开始时刻的像素块,其被称为开始块,可以相应于定义所述管道的参考像素块,或可基于对所述参考像素块的修改而获得。因此,这种开始块不必属于该序列的一个图像,而是可以源于存储存储器、数据库等。
还规定参考像素块(或在管道开始时刻的像素块)可以随运动管道的不同而不同。
例如,在图1的图像I1中,在管道Tu3开始时刻的像素块是块3,并且在管道Tu4开始时刻的像素块是块4。
还规定,管道的开始时刻可以随运动管道的不同而不同。例如,管道Tu1具有开始时刻t0,并且管道Tu3具有开始时刻t1。
这些过渡信息提示特别地包括关于当前图像中的块的偏移和/或位置的修改的信息提示,以及关于纹理的修改的信息提示。
在处理过渡信息提示的步骤32中,该解码方法提供当前图像中每个管道在时刻t的当前块。例如,如果寻求重构图像I2(表示当前图像),通过考虑图像I1在时刻t1的块3和与这个管道Tu3相关联的过渡信息提示,在时刻t2更新图像I2中的管道Tu3的块3。除非另外说明,考虑过渡信息提示,开始块可以随时间的推移而演变。然后,得到当前块。
解码方法此后包括步骤33,在步骤33组合与在当前图像的重叠区域中重叠的至少两个所述管道的当前块相关联的信息提示,以便重构在所述重叠区域内为最佳的像素。
如果再次考虑图1,注意例如管道Tu3和Tu4在图像I2中重叠。基于组合与管道Tu3和Tu4相关联的信息提示(特别是纹理信息提示),实施用于管理重叠的机制。用于管理重叠的机制使得可以定义位于重叠区域内的图像像素的重构值是什么。
然后解码方法提供重构的图像序列34。
通过图4更准确地示出了组合各个运动管道的信息提示的步骤33。
例如,考虑在给定时刻的图像I,该图像包括三个运动管道,每个运动管道与一个像素块相关联。为了简单起见,将相同的标记用于所述块和相应管道。在图4中,三个管道41、42和43在以H表示的阴影重叠区域内重叠。
可以实施用于管理这种重叠区域H的各种技术。
例如,组合步骤33执行计算在每个重叠管道中分配给重叠区域H中的每个像素的纹理值的均值的操作,以便重构重叠区域中的像素。因此,如果区域H中的像素P在块41中带有值210,在块42中带有值230,并且在块43中带有值240,重构的
像素将带有值226()。
还可以构想通过给各个运动管道加权,给这种均值加权。例如,优先级信息提示可以与每个管道相关联。这种优先级信息提示可以相应于质量信息提示。在该情况下,将仅仅考虑与带有最大优先级信息提示的管道相关联的纹理值。
优先级信息提示还可以相应于深度信息提示。在该情况下,可以仅仅考虑与带有最大深度信息提示的管道相关联的纹理值。还可以通过按照与每个管道相关联的深度给这些值加权,组合与所有重叠管道相关联的纹理值。
根据另一种变型,还可以考虑与重叠管道中的单个管道相关联的纹理值:例如,仅仅考虑最长(持续时间)的管道,即,在最大数目的连续或不连续图像上定义的管道,或仅仅考虑最近的管道,即,其创建时刻在时间上最接近的管道。还可以通过按照每个管道的持续时间(结束时刻和创建时刻之间的差)或按照时间距离相对于每个管道的创建时刻的单调递减(或相反)函数(当前时刻和创建时刻之间的差),给与所有重叠管道相关联的纹理值加权,而组合这些纹理值。
另一种技术依赖于对每个管道中的被考虑像素的位置的考虑。例如,重叠区域H的像素P位于与管道41的中心相距距离d1处、与管道42的中心相距距离d2处、以及与管道43的中心相距距离d3处。可以仅仅考虑与最接近将要重构的像素的管道相关联的纹理值,例如,如果考虑到d2<d1并且d2<d3,与管道42相关联的纹理值。还可以针对重叠管道中的像素在管道中的位置,给重叠管道的像素加权。
在另一个实施例中,可以注意到提取步骤31提供不同的管道类型:或是基础管道或是细化管道。这些细化管道特别地使得能够改进基础管道的恢复。
因此根据这个实施例,本发明能够应用于表现出适应性质量和可变的空时分辨率的可伸缩数据编码和解码。
根据这个实施例,本发明还能够应用于健壮的数据编码和解码。
在这个实施例中,对重叠区域H的管理使得可以在组合步骤33过程中将细化管道的信息提示添加到基础管道的信息提示。
更准确地,细化管道可以具有两种类型:
-加性管道,其允许基础管道的质量的细化,并且包括残差值(value of residual)。在这种情况下,基础管道的信息提示和细化管道的恢复信息提示的组合是相加;
-描述性管道,描述性管道包括描述信息提示,其提供补充由参考管道的信息提示所提供的第一描述和/或为所述第一描述提供冗余的第二描述。例如,第一描述使得可以描述块内的偶数像素,并且第二描述使得可以描述奇数像素。在该情况下,基础管道的信息提示和细化管道的信息提示的组合可以是基础管道的信息提示和细化管道的信息提示的加权。还可以仅仅考虑基础管道的信息提示或细化管道的信息提示。
在该情况下,考虑基础管道和细节与其相关的细化管道(一个或多个),并且它们的时间演变是相关的。
下面描述用于实现用于解码表示图像序列的信号的解码方法的示例性算法
-读取定义参考管道列表的信息提示,或参考像素块,特别是如果在编码器侧执行这个阶段;
-对于每个参考管道:
-读取使用或不使用这个参考管道以重构当前图像的指示;
-如果使用这个管道:
○读取与所使用的管道相关联的过渡信息提示,即,关于对该块的纹理的修改和对该块的偏移和/或位置的修改的信息提示,
○更新与这些管道相关联的过渡信息提示(即,纹理的更新和位置和/或偏移的更新);
-对于当前图像的每个块:
-读取使用或不使用基于运动管道的预测的指示;
-读取创建或不创建新管道的指示;
-如果必须要创建新管道,读取定义新的运动管道的信息提示,
-读取关于管道的参考列表的更新的信息提示;
-重构当前图像。
因此,通过组合产生于各个运动管道的预测,执行当前图像的重构。因此,每个管道定义一个通过运动补偿和可选择地对这个管道在点(x,y)和时刻t的纹理进行的插值而获得的预测
例如,如图4所示,这些各个预测被如下组合:

引入权重wi和wj,以便考虑在多个预测过程中应用的加权。
因此,根据第一个变量,这些权重可被定义为:
w=1/{这个点处的预测数目}
根据第二个变量,每个管道定义与所述点相对于该管道的位置有关的权重wt(例如,与距这个管道的中心的距离成反比例的权重),并且wi被定义为wt除以各个wt的总合。
根据第三个变量,使用例如产生自多描述编码的技术,组合管道的各个预测以便获得最终预测可以需要加权操作之外的操作。
5.3编码
下面参照图5给出根据本发明的编码方法的主要步骤。
更准确地,考虑希望在编码侧编码的图像序列51。
在第一插入步骤52中,运动管道,诸如上面定义的运动管道,被插入到表示该序列的信号中。
更准确地,至少通过以下的信息提示来定义每个运动管道:
-包括参考纹理信息提示的参考像素块;
-管道开始时刻和管道结束时刻;
-过渡信息提示,过渡信息提示使得可以更新所述序列的在至少一个时刻t时的所述参考块。
在下面的产生步骤53中,产生定义运动管道的过渡信息提示。除非另外说明,为每个运动管道定义参考像素块随时间推移的演变。
从而产生表示图像序列51的信号54,其包括运动管道,并且在解码时,允许组合与在当前图像的重叠区域内重叠的至少两个管道的当前块相关联的信息提示,以便重构在重叠区域内为最佳的像素。
下面描述用于实现用于编码图像视频序列的编码方法的示例性算法。这种算法包括两个主要阶段:建立管道阶段和对管道编码阶段。
A)建立管道阶段
首先,将视频序列分解为运动管道集合。
对于序列中的第一图像,为覆盖该第一图像的块集合中的每个块初始化运动管道。覆盖第一图像的这个块集合可以仅包括分离的块(即,没有公共像素的块),或部分重叠的块(即,包括公共像素的至少两个块)。所考虑的划分是冗余的,从而使得可以例如为同一个内容实现多个描述,或更好地估计物体的边界区域内的运动。
这些运动管道使得可以定义参考管道列表。
然后,考虑将被编码的图像的编码,事先给定已知的一列图像或参考像素块(例如,已经编码/解码并且存储在高速缓存存储器内的),以及参考管道列表。
建立运动管道以便实现编码方法的阶段包括以下步骤:
-对于该参考管道列表中的每个管道:
○确定该管道在该序列中的将被编码的图像内的位置信息提示。除非另外说明,例如通过寻找将导致对将被编码的图像的最佳预测的位置平移,寻找该管道在将被编码的图像内的位置;
○通过例如对管道的预测使用阈值技术,确定使用或不使用参考管道的指示;
○通过定义例如将被添加到在一参考时刻的该管道中定义的纹理值上的残差,更新纹理信息提示;
-对于将被编码的图像中的每个块:
○确定使用或不使用基于运动管道的预测来重构该块的指示:
■如果不借助产生自参考管道的预测来对将被编码的图像的一个块进行编码,则对将被编码的图像中的这个块的纹理值编码,并且其与在当前图像的编码完成时补充参考管道列表的新管道相关联;
■如果基于对参考管道的预测来重构图像的一个块,或是决定不再对任何内容编码,或是决定启动(initiate)这个块上的细化管道(即,包括将被添加的残差值的加性管道,或包括表示该块的值的描述管道)。
B)编码管道阶段:
为了对各个管道编码,根据用于实现编码的这个算法,使用一种内残差(intra-residual)类型的方案:
-在管道创建过程中,通过常规的逐块编码技术,例如,通过重新使用H.264编码方案中为大小为4×4、8×8或16×16的块定义的内编码模式,对该图像中被考虑的块内的像素的值编码;
-在对参考管道的纹理进行更新的过程中,例如,通过重新使用H.264编码方案中为大小为4×4、8×8或16×16的块定义的残差编码模式,对将被添加到参考像素块的值上的残差编码;
-对于将被编码的每个新图像,例如,通过使用在H.264编码方案中使用的块运动信息提示编码技术,对过渡信息提示(特别是参考管道的位置)编码。
因此,获得用于对图像进行编码的以下过程:
-如果已经创建了参考管道列表,则对所使用的这样的参考管道列表编码。通过使用在对以前的图像编码时预先建立的列表,可以忽略这个步骤;
-对于每个参考管道:
○编码针对当前图像使用或不使用参考管道的指示;
○如果使用这个管道:编码关于纹理的修改和偏移和/或位置的修改的信息提示;
-对于将被编码的图像中的每个块:
○编码使用或不使用借助于至少一个运动管道的预测的指示;
○对新管道基于这个块的创建或不创建进行编码;
○如果创建新管道:
■对新管道的类型编码,
■如果新管道是描述管道,对其纹理值编码,或如果新管道是加性管道,对其残差值编码。
-例如,通过删除到达已经消失时刻的管道,对关于参考管道列表的更新的信息提示编码。
5.4编码器和解码器的结构
最后,通过图6A和6B给出分别实现诸如上述的编码技术和解码技术的编码设备和解码设备的简化结构。
诸如图6A所示的编码设备包括由缓冲器存储器组成的存储器61、配备有例如微处理器μP并且被实现根据本发明的编码方法的计算机程序63驱动的处理单元62。
在初始化时,计算机程序63的代码指令例如在由处理单元62的处理器执行之前被加载到RAM存储器中。处理单元62接收将被编码的图像序列51作为输入。处理单元62的微处理器根据计算机程序63的指令,执行上述编码方法的各步骤,以便对由运动管道表示的图像序列编码。为此,除了缓冲器存储器61之外,该编码设备包括用于插入运动管道的装置,和用于产生定义运动管道的过渡信息提示的装置。由处理单元62的微处理器驱动这些装置。
处理单元62提供包括运动管道的、表示图像序列的信号54作为输出。
诸如图6B中示出的解码设备包括由缓冲器存储器组成的存储器66、配备有例如微处理器μP并且被实现根据本发明的解码方法的计算机程序68驱动的处理单元67。
在初始化时,计算机程序68的代码指令例如在由处理单元67的处理器执行之前被加载到RAM存储器中。处理单元67接收包括运动管道的表示图像序列的信号30作为输入。处理单元67的微处理器根据计算机程序68的指令执行上述解码方法的各步骤,以便重构该序列的图像。为此,除了缓冲器存储器66之外,该解码设备包括用于从信号30中提取运动管道的装置、用于处理过渡信息提示的装置和用于组合与至少两个所述重叠管道中的当前块相关联的信息提示的装置。由处理单元67的微处理器驱动这些装置。
处理单元67提供重构的图像序列34。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈