首页 / 专利库 / 视听技术与设备 / 帧间位移误差 / 利用轮廓运动估算技术编码视频信号中目标轮廓的方法

利用轮廓运动估算技术编码视频信号中目标轮廓的方法

阅读:426发布:2020-12-12

专利汇可以提供利用轮廓运动估算技术编码视频信号中目标轮廓的方法专利检索,专利查询,专利分析的服务。并且一种目标轮廓编码方法,预测当前轮廓,并产生代表重构的先前轮廓和预测的当前轮廓之间的位移的 运动矢量 。从当前轮廓中减去匹配轮廓,得到差分轮廓。根据差分轮廓的多边形近似确定 顶点 。计算出来的两个顶点之间的线段上预定数目的取样点的一组近似误差被变换成一组量化的离散正弦变换系数,并连同运动矢量被编码,以便重构差分轮廓。并被加到匹配轮廓上以提供重构的先前轮廓。,下面是利用轮廓运动估算技术编码视频信号中目标轮廓的方法专利的具体信息内容。

1、一种对数字视频信号中显现的目标轮廓进行编码的方法,所述数字视频 信号具有包括当前和先前帧的多个帧,该编码方法包括以下步骤:
(a)检测当前帧中的目标边界,以产生一当前轮廓,其中,该当前轮廓提 供用于追踪当前帧中目标边界的当前轮廓信息,该当前信息包括沿目标边界的象 素的位置数据;
(b)存储一重构的先前轮廓,其中,该重构的先前轮廓提供用于追踪先前 帧中目标边界的重构的先前轮廓信息;
(c)通过寻求重构的先前轮廓的移动,即当重构的先前轮廓被移动至与当 前轮廓重叠时,使当前轮廓和重构的先前轮廓之间达到最佳匹配时的移动,确定 运动矢量,并产生运动矢量和一个预测的当前轮廓,其中,该运动矢量表示重构 的先前轮廓和预测的当前轮廓之间的位移,该预测的当前轮廓表示从重构的先前 轮廓移动了该运动矢量的轮廓;
(d)使预测的当前轮廓与当前轮廓重叠,由此提供一个匹配轮廓,表示它 们之间重合的轮廓部分;
(e)通过从当前轮廓中去掉匹配轮廓,产生一差分轮廓,该差分轮廓表示 当前轮廓和匹配轮廓之间有差别的轮廓部分;
(f)确定该差分轮廓上的多个顶点
(g)通过用许多线段拟合该差分轮廓,提供该差分轮廓的一个多边形近似, 由此产生表示该差分轮廓顶点位置的顶点信息,各线段连接两相邻的顶点;
(h)为各个线段提供N个取样点,并计算各个线段上N个取样点中的各点 的误差,由此产生各个线段的一组误差,其中,所述N个取样点在各个线段上是 等距离的,各组误差表示所述N个取样点中的各点与该差分轮廓之间距离;
(i)将各个线段的该组误差变换为与之相应的一组离散正弦变换系数;
(j)将该组离散的正弦变换系数转换为与之相应的一组量化的离散正弦变 换系数;
(k)对运动矢量和各组离散正弦变换系数的该组量化的离散正弦变换系数 进行编码;
(l)基于预测的当前轮廓对该顶点信息进行编码,由此提供已编码的顶点 信息;
(m)基于预测的当前轮廓对编码的顶点信息进行解码,由此提供已解码的 顶点信息;
(n)将各组离散正弦变换系数的该组量化的离散正弦变换系数,转换为一 组重构的离散正弦变换系数;
(o)将该组重构的离散正弦变换系数转换为所述各个线段的一组重构的误 差;
(p)根据已解码的顶点信息和该组重构的误差,提供重构的差分轮廓;以 及
(q)将匹配轮廓与重构的差分轮廓相加,由此提供相加的轮廓作为重构的 先前轮廓。
2、根据权利要求1的方法,其中所述步骤(1)包括:
(l1)为预测的当前轮廓上的各个象素加上附标,从一个所选的象素开始; 以及
(l2)如果一个半径为R、中心在该顶点的圆中不含有预测的当前轮廓上 的象素,则对先前已编码的顶点和该顶点之间的位移进行编码,反之,在包含在 这个圆内的象素当中寻找一个最靠近该顶点的象素,并对相应于这个最近象素的 附标,和该顶点与最靠近的象素之间的位移进行编码,R是一个预定值。

说明书全文

发明涉及一种视频信号的编码方法,且更具体地,涉及一种能对包含在视 频信号中的目标轮廓进行有效地编码,从而减少待传输的数据量的方法。

在例如电视电话,电话会议和高清晰度电视系统等数字电视系统中,需要大 量的数字数据以定义各视频信号,因为视频帧信号中的视频行信号包含一序列 被称作象素值的数字数据。然而,由于常规的传输信道的可用频率带宽是有限的, 为了通过其传输大量数字数据,不可避免地要利用各种数字压缩技术,压缩或减 少数据量,特别是在低比特率的视频信号编码器例如电视电话和电话会议系统的 情况中。

这些用于低比特率编码系统的视频信号编码技术之一,是所谓面向目标的分 析-综合技术(见Michael Hotter著的“基于二维运动目标的面 向目标的分析-综合编码”,Signal Processing:Imag e Communication 2,409-428页(1990年12月) )。

根据面向目标的分析-综合编码技术,一输入视频图象被分成若干目标;并 且,确定各个目标的运动、轮廓和象素数据的三组参数通过不同的编码信道进行 处理。

在一个目标的轮廓处理中,轮廓信息对于分析和综合目标的形状是重要的。 表示轮廓信息的一种常规的编码方法是链式编码方法。但是,链式编码方法要求 大量的比特来表示信息,尽管轮廓信息不会有损失。

因此,为克服这种缺点,提出了几种轮廓编码方法,例如多边形近似法以及 B-仿样函数近似法。多边形近似法的缺点之一是对轮廓的表示得粗糙。另一方 面,B-仿样函数近似法能够更精细地表示轮廓,但它要求一个高阶多项式以减 少近似误差。但是,B-仿样函数近似技术增加了视频编码器整体上计算的复杂 性。

为改善轮廓表示粗糙以及在上述近似方法中增加计算复杂性这些问题,所提 出的技术之一是使用离散正弦变换(DST)的轮廓近似技术。

在采用以多边形近似和DST为基础的轮廓近似技术的装置中,例如在共有 未决申请,中国专利申请号95104784.1,题为“再现一个目标轮廓 的轮廓近似装置”中所公开的,确定多个顶点,目标的轮廓则采用以线段拟合轮 廓的多边形近似法来近似。且各个线段选择N个取样点,顺序计算各个线段上的 N个取样点的各点的近似误差,以便获得每个线段的一组近似误差。各个线段上 的N个取样点是等距离的,各个近似误差表示N个取样点中的各点和轮廓之间的 距离。然后,通过对各组近似误差执行一维DST运算,产生若干组DST系数。

虽然,采用上述基于轮廓近似的DST方法,有可能补救表示的粗糙和计算 的复杂性,并且使数据传输量有某些减少,但仍可期望进一步减少数据传输量, 以便成功地实现具有例如64Kb/传输信道带宽的低比特率编码系统。

因此,本发明的主要目的是提供一种改进的对视频信号中目标轮廓进行编码 的方法,这种方法通过采用轮廓运动估算技术,能进一步减少数据传输量。

根据本发明,提供一种对表示在数字视频信号中的目标轮廓进行编码的方法, 这种数字视频信号有许多帧,包括一当前帧和一先前帧,所述编码方法包括以下 步骤”(a)检测当前帧中的目标边界,以产生一当前轮廓,其中当前轮廓提供 追踪当前帧中目标边界的当前轮廓信息,该当前轮廓信息包含沿目标边界的象素 的位置数据;(b)存储重构的先前轮廓,其中该重构的先前轮廓提供追踪先前 帧中的目标边界的重构的先前轮廓信息;(c)通过检测重构的先前轮廓的位移, 即当重构的先前轮廓被移动至与当前轮廓重叠时,使当前轮廓和重构的先前轮廓 之间达到最佳匹配时的位移,确定一运动矢量,并生成该运动矢量和一个预测的 当前轮廓,其中,该运动矢量表示重构的先前轮廓和预测的当前轮廓之间的位移, 该预测的当前轮廓表示从重构的先前轮廓移动了该运动矢量的轮廓;(d)使预 测的当前轮廓与当前轮廓重叠,由此提供一个表示它们之间重合的轮廓部分的匹 配轮廓;(e)从当前轮廓中去掉匹配轮廓,产生一差分轮廓,该差分轮廓表示 当前轮廓和匹配轮廓之间的差别的轮廓部分;(f)在该差分轮廓上确定若干顶 点;(g)用许多线段拟合该差分轮廓,提供一个差分轮廓的多边形近似,由此 产生表示差分轮廓的顶点位置的顶点信息,各个线段连接两个相邻的顶点;(h) 为各个线段提供N个取样点,并计算各个线段上N个取样点中的各点的误差,由 此产生各个线段的一组误差,其中,所述N个取样点在各个线段上是等距离的, 各组误差表示所述N个取样点中的各点与该差分轮廓之间的距离;(i)将各个 线段的该组误差变换为与之相应的一组离散正弦变换系数;(j)将该组离散正 弦变换系数转换为与之相应的一组量化的离散正弦变换系数;(k)对该运动矢 量和各组离散正弦变换系数的该组量化的离散正弦变换系数进行编码;(l)基 于该预测的当前轮廓对该顶点信息进行编码,由此提供已编码的顶点信息;(m) 基于该预测的当前轮廓对已编码的顶点信息进行解码,由此提供已解码的顶点信 息;(n)将各组离散正弦变换系数的该组量化的离散正弦变换系数转换为一组 重构的离散正弦变换系数;(o)将该组重构的离散正弦变换系数转换为各个线 段的一组重构的误差;(p)基于该已解码的顶点信息和该组重构的误差,提供 重构的差分轮廓;以及(q)将匹配轮廓与重构的差分轮廓相加,由此提供相加 的轮廓作为重构的先前轮廓。

本发明以上的和其他的目的与特征,在下面结合附图对优选实施例进行的描 述中将变得明显可见,其中:

图1描绘用于编码一目标轮廓的本发明装置的简要方框图

图2表示图1中所示的内部编码信道的详细方框图;

图3表示图1中所示的交互编码信道的详细方框图;

图4A至4C示例性说明一目标轮廓的多边形近似处理;

图5A和5B是示例性图,各表示连接两个顶点的线段与相应轮廓线段之间 的误差;以及

图6提供一说明本发明的顶点编码方案的示例性图。

参考图1,所示为本发明装置的简要方框图,该装置用于对视频信号中所显 现的目标轮廓进行编码。该轮廓编码装置包括两个编码信道,即内部编码信道2 5和交互编码信道35,这两个编码信道可响应于系统控制器(未示)产生一逻 辑高或逻辑低的信道选择信号CS,有选择地进行目标轮廓编码,其中,内部编 码信道25采用多边形近似和离散正弦变换(DST)对轮廓编码,而交互编码 信道35采用轮廓运动估算技术,连同多边形近似和DST,对轮廓编码。

如图所示,一输入数字视频信号作为一当前帧信号,被馈送至轮廓检测器1 0。轮廓检测器10检测一当前帧中的目标边界或轮廓,并产生一当前轮廓,其 中当前轮廓提供追踪当前帧中的目标边界的当前轮廓信息,该当前轮廓信息包括 沿当前帧中目标边界的象素的位置数据。表示目标轮廓的当前轮廓被输入到一预 处理单元15。该预处理单元15去除一些象素组成的一轮廓,以改善编码效率 和消除噪声影响。来自预处理单元15的预处理后的当前轮廓,经过线路L10 被送到第一开关20,开关20用于响应于该CS,将线路10中预处理后的当 前轮廓有选择地提供给内部编码信道25或交互编码信道35。明确地说,如果 由系统控制器所产生的CS比如说是逻辑低,第一开关20就将线路L10中的 经过预处理的当前轮廓,经由线路L12供给内部编码信道25;相反,它就将 经过预处理的当前轮廓经由线路L14,传递给交互编码信道35。内部编码信 道25由于多边形近似和DST,对线路L12中的轮廓编码,从而经过线路L 16向第二开关40提供已编码的轮廓信号;同时也向存储器30提供重构的 轮廓作为先前轮廓存储在那里。内部编码信道25的细节将在以后参考图2,4 A至4C,5A和5B加以描述。

同时,在本发明的交互编码信道35中,通过根据线路L14中的经过预处 理的当前轮廓和从帧存储器30取出的重构的先前轮廓来预测当前轮廓,由此产 生一预测的当前轮廓和一运动矢量,其中该运动矢量表示重构的先前轮廓和预测 的当前轮廓之间的空间位移。通过从预处理过的当前轮廓减去匹配的轮廓部分, 得到一差分轮廓,其中,匹配的轮廓部分代表预处理过的当前轮廓和预测的当前 轮廓重合的轮廓部分。此后,通过应用多边形近似和DST,该差分轮廓和运动 矢量被编码,从而,经过线路L18,向第二开关40提供一已编码的轮廓信号; 同时也向帧存储器30提供重构的轮廓,作为先前轮廓存储在那里。交互编码信 道35将在以后参考图3和6进行详细描述。第二开关40响应从系统控制器( 未示)来的CS,有选择地输出来自内部编码信道25或交互编码信道35的已 编码的轮廓信号。

现在参考图2,所说明的是图1中所示的内部编码信道25的详细方框图。 来自图1中第一开关20的在线路L12中的预处理后的当前轮廓,被输入到多 边形近似单元101和取样电路102。

在多边形近似单元101中,经过预处理的当前轮廓通过采用多边形近似技 术被近似。通过采用以许多线段拟合轮廓的常规近似算法,得到目标形状的多边 形近似。

参考图4A至4C,所说明的是根据多边形近似技术,对一个示例性的预处 理后的当前轮廓5所作的节段处理。

首先,选择两个起始顶点。如果预处理后的当前轮廓是一个开环,就选择两 端点,例如图4A上所示的A和B,作为起始顶点。另一方面,如果预处理后的 当前轮廓在形状上是一个闭环,就选择轮廓上两个最远的点作为起始顶点。然后, 确定在轮廓上离线段AB最远的点。如果最远的点例如C与线段AB之间的距离 Dmax大于一预先确定的阈值,点C就变成一个顶点。这个程序一直重复到各 个线段的Dmax变得小于预定的阈值时为止。

顶点的数目取决于预定的阈值。从图4A至4C可以看出,随着预定的阈值 变得更小,用线段来表现轮廓就更为精确,而编码的效率有所损耗。

回来参考图2,表示预处理后的当前轮廓5的已确定的顶点例如A,B,C, D和E的位置的顶点信息,被从多边形近似单元101提供到取样电路102和 顶点编码器105。取样电路102在各个线段上选择N个取样点,并根据顶点 信息和预处理后的当前轮廓数据,计算各个线段上的N个取样点的各点的近似误 差,其中,在两个顶点之间的各个线段上的N个取样点是等距离的,而N是整数。 近似误差表示连接两个顶点的线段与这两个顶点之间的轮廓区段之间的距离。

图5A和5B是表示线段与相应轮廓区段之间的近似误差的示例性图,其中, 图5A描述线段AD与它的相应轮廓区段之间的近似误差,图5B表示线段DC 与它的相应轮廓区段之间的近似误差。各误差d1至d4或d1′至d4′表示从 线段AD上的各个取样点S1至S4或线段DC上的各个取样点S1′至S4′到 相应的轮廓区段的距离。从图5A和图5B可以看出,顶点的近似误差全部是“ 零”,因为所有的顶点都位在于轮廓上。

取样电路102计算出来的近似误差被提供到DST和量化(Q)单元10 3。DST和Q单元103对各个线段的该组近似误差进行一维DST运算,产 生与各组近似误差相应一组DST系数,各组近似误差包括各个线段上的N个取 样点和两个顶点的误差;并对各组DST系数进行量化,以提供与各组DST系 数相应的一组量化了的DST系数给系数编码器104和离散正弦变换(IDS T)及逆量化(IQ)单元107。在系数编码器104中,例如通过采用JP EG(联合图象专家组)的二进制算术码,量化的DST系数被编码,然后,已 编码的量化的DST系数被输送到信道编码器109。

顶点编码器105采用例如常规的语法算术码或二进制算术码,对表示顶点 位置的顶点信息进行编码,并将已编码的顶点信息送至顶点解码器106和信道 编码器109。信道编码器109对编码的顶点信息连同编码的量化DST系数 一起进行编码,并向图1所示的第二开关40提供包括编码的顶点信息和编码的 量化DST系数的编码的轮廓信号。IDST和IQ单元107对各组已编码的 量化的DST系数进行IDST和IQ运算,向轮廓重构单元108提供各线段 的一组重构的近似误差。顶点解码器106对自顶点编码器105来的已编码的 顶点信息进行解码,并由此向轮廓重构单元108提供重构的顶点信息。在轮廓 重构单元108中,根据来自顶点解码器106的重构的顶点信息和来自IDS T和IQ单元107的各个线段的各组重构的近似误差,进行轮廓重构。此后, 重构的轮廓被存储在图1所示的帧存储器30中,作为先前轮廓。

图3说明的是图1所示交互编码信道35的详细方框图,其中包括有多边形 近似单元204,取样电路205,DST和Q单元206,系数编码器207, 信道编码器213,IDST和IQ单元210,以及轮廓重构单元211,执 行与内部编码信道25中的相应元件相同的功能。

来自图1所示第一开关20的线路L14中的预处理的当前轮廓,被送到轮 廓预测单元201,轮廓匹配单元202和减法器203。在轮廓预测单元20 1中,当前轮廓和从图1中的帧存储器30取出的重构的先前轮廓被进行处理, 以对当前轮廓进行预测,由此产生预测的当前轮廓送至线路L20,及运动矢量 送至线路L18,该运动矢量表示重构的先前轮廓和预测的当前轮廓之间的空间 位移。在本发明的优选实施例中,运动矢量的确定是通过寻求重构的先前轮廓的 移动,即当重构的先前轮廓被移动至与预处理后的当前轮廓重叠时,使预处理后 的当前轮廓和重构的先前轮廓之间达到最佳匹配时的移动,其中,匹配包括这种 情况,即相应的象素之间的偏差是一个象素位置。

线路L20中的预测的当前轮廓与线路L14中的预处理后的现行轮廓,在 轮廓匹配单元202中被重叠,产生表示它们之间的轮廓重合部分的匹配轮廓, 送至线路L22。在减法器中从线路L14中的预处理后的当前轮廓中减去线路 L22中的匹配轮廓,并且,表示预处理后的当前轮廓与匹配轮廓之间的有差别 的轮廓部分被传递至多边形近似单元204和取样电路205。

在多边形近似单元204中,通过用许多线段拟合差分轮廓来确定许多顶点。 然后,表示所确定的顶点位置的顶点信息被提供到本发明的取样电路205和顶 点编码器208。取样电路205对各线段选取N个取样点,并根据顶点信息和 差分轮廓计算各个线段上的N个取样点的各点的近似误差。由取样电路205算 出的近似误差被提供到DST和Q单元206。DST和Q单元206对各线段 的该组近似误差执行一维DST运算,产生与各组近似误差相应的一组DST系 数;并对各组DST系数进行量化以提供与各组DST系数相应的一组量化的D ST第数,送至系数编码器207和IDST和IQ单元210。在系数编码器 207中,例如通过采用二进制算术码,对量化的DST系数连同来自轮廓预测 单元201的线路L18中的运运矢量一起进行编码。包括编码量化的DST系 数和运动矢量的编码的数字信号从系数编码器207被传送至信道编码器213。

根据本发明,顶点编码器208利用位移对选自多边形近似单元204的顶 点进行编码,所说的位移是距来自轮廓预测单元201的线路L20中的预测的 当前轮廓上象素的位移,或者是距先前已编码的顶点位移。

参考图6,所表示的是解释根据本发明的顶点编码方案的示意图。

首先,为从一个所选的象素开始的预测的当前轮廓7上的各个象素加上附标。 如果预测的当前轮廓是一个开环,其两个端点例如EA和EB中的具有较小的X 分量的一个点被选作为起始点。在这个例子中,EA被选作为起始点。另一方面, 如果预测的当前轮廓在形状上是一个闭环,在轮廓上的具有最小X分量的象素被 选作为起始点。然后,根据本发明,顶点例如EA和对差分轮廓6执行多边形近 似时得到的V1至V3被编码。

如果一个具有预定的半径R,在其中心的有待被编码的一个顶点的圆,至少 包含一个处于预测的当前轮廓7上的象素,那么,通过使用例如二进制算术码, 这个顶点和包含在该圆中的象素中的与该顶点最靠近的一个象素之间的位移,以 及与该最靠近象素相应的附标被编码;反之,一个先前已编码的顶点与这个顶点 之间的位移被编码。

例如,通过使用一个与圆C1中距V1最近的象素相应的附标以及它们之间 的位移,顶点V1被编码,这是因为具有预定半径R且在其中心的V1的圆C1 包含有预测的当前轮廓7上的象素,而通过使用V2和先前编码的顶点例如V1 之间的位移,顶点V2被编码,因为具有预定半径R且其中心的V2的圆C2不 包含有预测的当前轮廓7上的象素。顶点EA和V3是差分轮廓6的两个端点, 它们通过使用与其相应的附标而被编码,因为它们位于预测的当前轮廓7上。已 编码的顶点信息从顶点编码器208被提供到信道编码器213和顶点解码器2 09。

信道编码器213对已编码的顶点信息连同包括已编码的量化DST系数和 运动矢量的已编码的的数字信号进行编码,并将已编码的轮廓信号提供给图1中 所示的第二开关40。IDST和IQ单元210对各组量化的DST系数进行 IDST和IQ运算,以向轮廓重构单元211提供各线段的一组重构近似误差。 顶点解码器209通过使用来自轮廓预测单元201的线路L20中的预测的当 前轮廓,产生重构的顶点信息。在轮廓重构单元211中,根据来自顶点解码器 209的重构的顶点信息和来自IDST和IQ单元210的各个线段的各组重 构的近似误差,轮廓信号被重构。此后,在加法器212中,重构的轮廓与来自 轮廓匹配单元202的线路L22中的匹配轮廓相加,产生一重构的轮廓。该重 构的轮廓作为先前轮廓,被存储在图1所示的帧存储器30中。

如上所述,本发明通过使用轮廓运动估算技术,对视频信号中显示的目标轮 廓进行有效的编码,从而减少待被传输的数据量。

虽然本发明已就具体的实施例作了描述,对于熟悉本领域技术的人员来说, 在不偏离由下述权利要求所确定的本发明的精神和范围的前提下,显而易见地可 作出各种修改和变型。

高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈