首页 / 专利库 / 视听技术与设备 / 帧间位移误差 / 对视频信号中的目标轮廓进行编码的方法及装置

对视频信号中的目标轮廓进行编码的方法及装置

阅读:892发布:2020-12-01

专利汇可以提供对视频信号中的目标轮廓进行编码的方法及装置专利检索,专利查询,专利分析的服务。并且一种采用改进的轮廓 运动估计 技术对以数字视频 信号 表示的目标的轮廓编码的方法,该数字 视频信号 具有包括当前 帧 和先前帧的多个 视频帧 ,首先通过对每一轮廓上的象素 位置 进行平均分别确定当前和先前轮廓的形心,并将其间的位移作为 运动矢量 输出,根据该运动矢量将先前轮廓移位,以产生预测的当前轮廓。根据预测的当前轮廓、当前轮廓和当前轮廓的形心检测表示预测的当前轮廓和当前轮廓之间差异的偏移信息,并对该信息编码。,下面是对视频信号中的目标轮廓进行编码的方法及装置专利的具体信息内容。

1、用于对以数字视频信号表示的目标的轮廓进行编码的一种 方法,该数字视频信号具有包括当前和先前帧的的多个视频帧, 该方法包括以下步骤:
(a)通过对当前轮廓和先前轮廓中的每一轮廓的象素位置进 行平均,确定当前和先前轮廓的形心,其中该当前的和先前的轮廓 分别表示在当前和先前帧中的目标的轮廓;
(b)检测这些形心之间的位移;
(c)根据先前的和当前的轮廓和该位移产生重叠的轮廓;
(d)根据重叠的轮廓和当前轮廓的形心检测表示先前和当前 轮廓之间的形状差的偏移信息;以及
(e)对该偏移信息进行编码。
2、如权利要求1的方法,其中所述步骤(c)包括以下步骤,
(c1)通过把先前轮廓移位该位移量而产生预测的当前轮 廓;
(c2)以当前轮廓的形心为基准将预测的当前轮廓和当前轮 廓相重叠,从而产生重叠的轮廓。
3、如权利要求2的方法,其中所述步骤(d)包括如下步骤:
(d11)从当前轮廓的形心引出多条射线段;
(d12)针对每一条射线段检测当前轮廓的交叉点和预测当 前轮廓的交叉点,所述每一条射线段分别与当前轮廓和预测当前轮 廓相交在当前轮廓和预测当前轮廓的交叉点处;以及
(d13)根据每一射线段的交叉点之间的差,计算在当前轮 廓交叉点处的误差,从而产生偏移信息。
4、如权利要求3的方法,其中的误差取决于当前轮廓的形心 和在每一射线段上的预测当前轮廓交叉点之间的距离,其中的预测 当前轮廓的交叉点是根据每条射线段的交叉点之间的距离决定的。
5、如权利要求4的方法,其中的误差是通过从当前轮廓的形 心和预测当前轮廓交叉点之间的距离减去当前轮廓的形心和当前轮 廓交叉点间的距离而被确定的。
6、如权利要求5的方法,其中所述步骤(d)中进一步包括 在步骤(d11)之前的如下步骤:
(d21)检测重叠轮廓的尺寸;以及
(d22)根据该重叠轮廓的尺寸确定射线段的数目。
7、如权利要求5的方法,其中所述步骤(d)进一步包括在 步骤(d13)之后的如下步骤:把偏移信息分组成多个阵列,每 个阵列具有一个预定的误差数。
8、如权利要求7的方法,其中的分组的偏移信息被以逐个阵 列为基础而被编码。
9、如权利要求2的方法,其中所述步骤(d)中包括如下的 步骤:
(d31)从预置的基准射线段开始,从当前轮廓的形心引出 数目为M的基础射线段,M是大于1的整数;
(d32)检测在当前轮廓上的一个或多个转折点,一个转折 点代表在当前轮廓上的这样一个点,一条连接当前轮廓的形心和该 转折点的线与该当前轮廓相切于该转折点;
(d33)在每两条相邻基础射线段之间引出N-1条次级射 线段;N是正整数;
(d34)标记每一条基础和次级射线段与当前轮廓的一个或 多个交叉点;
(d35)寻找每一条基础和次级射线段与预测当前轮廓的一 个交点;并
(d36)对于所述每一条射线段,沿当前轮廓以预定方向移 动,根据在当前廓上的交叉点和在预测当前轮廓上的交叉点之间的 差异计算在每一当前轮廓交叉点处的误差,从而产生该偏移信息。
10、如权利要求9的方法,其中每一条基础和次级射线段与 预测当前轮廓的交叉点是在所述每一条射线段与预测当前轮廓的诸 多交叉点中的最接近当前轮廓形心的一个交叉点。
11、如权利要求10的方法,其中在所述步骤(d)中,在 步骤(d31)之前还包括以下步骤:
(d41)检测重叠轮廓的大小;并且,
(d42)根据该重叠轮廓的大小确定数目M。
12、如权利要求10的方法,如果检测到转折点的话,在所 述步骤(d)中在步骤(d32)之后还包括以下步骤:寻找最接 近转折点的基础射线段并把该基础射线段移到该转折点;并且当该 最接近的基础射线段不能获得的时候,使用下一条最接近的可用的 基础射线段。
13、如权利要求12的方法,其中在所述步骤(d)中,在 步骤(d36)之后还包括以下步骤:将偏移信息分组成多个阵列, 每个阵列具有预定的误差数目。
14、如权利要求13的方法,其中的预定数目与数目N对应。
15、如权利要求14的方法,其中已分组的偏移信息以逐个 阵列为基础而被编码。
16、一种对以数字视频信号表示的目标的轮廓进行编码的设 备,该数字视频信号具有包括当前帧和先前帧的多个视频帧,该设 备包括:
当前形心计算模(100)和先前形心计算模块(210),用于 通过对当前和先前轮廓中的每一轮廓上的象素位置进行平均来分别 确定当前和先前轮廓的形心,其中该当前和先前轮廓分别表示在当 前和先前帧中的目标的轮廓;
运动矢量检测模块(220),用于检测这些形心之间的位移;
匹配模块(110),用于根据先前的和当前的轮廓和该位移产生 重叠的轮廓;
偏移检测模块(120),用于根据重叠的轮廓和当前轮廓的形心 检测表示先前和当前轮廓之间的形状差的偏移信息;和
图象信号编码器(140),用于对该偏移信息进行编码。
17、如权利要求16的设备,其中所述的匹配模块(110) 包括:
用于通过把先前轮廓位移该位移量产生预测的当前轮廓的装 置;
用于以当前轮廓的形心为基准将预测的当前轮廓和当前轮廓相 重叠从而产生重叠的轮廓的装置。
18、如权利要求17的设备,其中所述偏移检测模块(120) 包括:
用于从当前轮廓的形心引出多条射线段的装置;
用于针对每一条射线段检测当前轮廓的交叉点和预测当前轮廓 的交叉点的装置,其中所述每一条射线段分别与当前轮廓和预测当 前轮廓相交在该当前轮廓和预测当前轮廓的交叉点处;以及
用于根据每一射线段的交叉点之间的差计算在当前轮廓交叉点 处的误差从而产生偏移信息的装置。
19、如权利要求18的设备,其中的误差取决于当前轮廓的 形心和在每一射线段上的预测当前轮廓交叉点之间的距离,其中的 预测当前轮廓的交叉点是根据每个射线段的交叉点之间的距离决定 的。
20、如权利要求19的设备,其中的误差是通过从当前轮廓 的形心和预测当前轮廓交叉点之间的距离减去当前轮廓的形心和当 前轮廓交叉点间的距离而被决定的。
21、如权利要求20的设备,其中所述偏移检测模块还包括:
用于检测重叠轮廓的尺寸的装置,以及
根据该重叠轮廓的尺寸确定射线段的数目的装置。
22、如权利要求20的设备,其中所述偏移检测模块(120) 还包括:用于把偏移信息分组成多个阵列的装置,每个阵列具有一 个预定的误差数。
23、如权利要求22的设备,其中的已分组的偏移信息在逐 个阵列的基础上被编码。
24、如权利要求17的设备,其中所述偏移检测模块(120) 包括:
用于从预置的基准射线段开始、从当前轮廓的形心引出数目为 M的基础射线段的装置,M是大于1的整数;
用于检测在当前轮廓上的一个或多个转折点的装置,一个转折 点代表在当前轮廓上的这样一个点,一条连接当前轮廓的形心和该 转折点的线与该当前轮廓相切于该转折点;
在每两条相邻基础射线段之间引出N-1条次级射线段的装 置,其中N是正整数;
用于标记每条基础和次级射线段与当前轮廓的一个或多个交叉 点的装置;
用于寻找每一条基础和次级射线段与预测当前轮廓的一个交叉 点的装置;以及
装置,针对所述每一条射线段,沿当前轮廓以预定方向移动, 根据在当前轮廓上的交叉点和在预测当前轮廓的交叉点之间的差异 计算在每一当前轮廓交叉点处的误差,以而产生出偏移信息。
25、如权利要求24的设备,其中每一条基础和次级射线段 与预测当前轮廓的交叉点是在所述每一条射线段与预测当前轮廓的 诸多交叉点当中的最接近当前轮廓形心的一个交叉点。
26、如权利要求25的设备,其中所述偏移检测模块还包括:
用于检测重叠轮廓的尺寸的装置;以及
根据该重叠轮廓的尺寸确定数目M的装置。
27、如权利要求25的设备,其中所述的偏移检测模块(120) 进一步包括:如果检测到转折点则寻找最接近转折点的基础射线段 并把该基础射线段移到该转折点、并且当该最接近的基础射线段不 能获得时使用下一条最接近的可用的基础射线段的装置。
28、如权利要求27的设备,其中所述偏移检测模块(120) 还包括用于将偏移信息分组成多个阵列的装置,每个阵列具有预定 的误差数目。
29、如权利要求28的设备,其中的预定数目对应于数目N。
30、如权利要求29的设备,其中的已分组的偏移信息在逐 个阵列的基础上被编码。

说明书全文

发明涉及一种视频信号的编码方法及其装置,尤其是用于对视频信号中目 标的轮廓进行编码的方法的装置。

在象可视电话、电话会议及高清晰度电视系统的数字视频系统中,由于视频 信号包括一系列称为象素值的数字数据,因而需要大量的数字数据来定义每一 个视频帧信号。然而,由于普通发送信道可用频带宽度有限,为了通过其发送大 量数字数据,就需要通过采用各种数据压缩技术来压缩或降低该数据量,尤其是 在象可视电话或电话会议系统这种低比特速率视频信号编码器的情况下更是如此。

用于对低比特速率编码系统的视频信号进行编码的技术之一是面向目标的分 析-合成编码技术,其中把输入的视频图象分成几个目标并经不同的编码信道处 理用于定义每一目标的运动、轮廓和象素数据的三套参数。

这种面向目标的编码方案的一个实例是所谓的MPEG(运动图象专家组) 阶段(MPEG-4),它旨在提供一个音频-视频编码标准,以便实现在例如 低比特速率通信、交互式多媒体(例如游戏机、交互式电视等)及监测的应用中 的根据内容的对话、改进的编码效率和/或普遍的可用性。(例如可见MPEG -4视频验证模式片本2、0,国际标准化组织,ISO/IECJTC1/S C29/WG11 N1260,1996年3月)

根据MPEG-4,输入的视频图象的帧被分成多个视频目标平面(VOP’ s),它们是可由用户以比特数据流的形式所存取并操作(剪切、粘贴等)的实 体,并可称之内一个目标。每个VOP的宽度和高度可以是绕每个目标的16个 象素(一个宏模的的尺寸)的最小倍数,以使得编码器以逐个VOP为基础( 即以逐个目标为基础)处理输入的视频信号,该VOP包括由亮度(Y)和色度 (U,V)成分构成的颜色信息以及由例如二进制掩码表示的形状信息。

在对目标的形状进行处理过程中,对于目标的形状的分析与合成来说,轮廓 信息是重要的。表示这样的轮廓信息的传统的编码方案之一是一种链式编码技术。 但是,在这种链式编码技术中,对于比特量的需求是相当过量的。

为了克服这一缺陷,已经提出了轮廓逼近技术,例如多边形逼近,B仿样曲 线逼近,以及采用多边形逼近和离散正弦变换(DST)的轮廓编码技术,以便 有效地对目标的轮廓编码。然而,由于对目标的轮廓的编码与暂态的冗余量无关, 所以为进行在轮廓逼近技术中的轮廓编码,仍需要大的比特量。

与此相关,包括轮廓运动估计技术的轮廓编码方法已经被提出来改善上述的 问题。这种编码方案的一个共有未决申请中,其中国专利申请号是__。题为 “利用轮廓运动估计技术对视频信号中的目标轮廓进行编码的方法”,其中利用 多边逼近和DST对两个连续视频帧之间的一个目标的轮廓的差进行编码。

虽然用前述轮廓运动估计技术有可能去除一个目标的轮廓的一些暂态冗余量, 减少所发送数据量,但仍然希望进一步降低发送数据的量。以便成功地实现具有 例如64kb/s发送信道带宽的低比特速率编码系统的性能。

因此,本发明的首要目的是提供一种用于对视频信号中的目标的轮廓进行编 码的改进的方法和装置,它能够进一步降低发送的数据量。

本发明的另一目的是提供一种改进的方法和装置,它能够降低对一个目标轮 廓进行运动估计的计算负担或复杂性。

根据本发明,它提供了用于对以数字视频信号所表示的目标的轮廓进行编码 的一种方法,该数字视频信号具有包括当前帧和先前帧的多个视频帧,该方法包 括以下的步骤:(a),通过对所述每一个轮廓的象素位置进行平均,确定当前 和先前轮廓的形心;(b)确定这些形心之间的位移;(c)通过把先前轮廓移 动上述位移量来产生预测的当前轮廓;(d)根据预测的当前轮廓和当前轮廓产 生一个重叠的轮廓;(e)根据重叠轮廓和当前轮廓形心,检测表示预测的当前 轮廓和当前轮廓之间的形状差的偏移信息;以及(f)对该偏移信息进行编码。

以下述结合附图对本发明实施例的描述中,本发明的上述及其它目的及特征 将变得显见,附图中,

图1是本发明视频信号编码器的框图

图2是图1所示的当前轮廓预测单元的详细框图;

图3A和3B是描述偏移计算处理的示意图。

参考图1,其中示出本发明用于对一个目标轮廓进行编码的装置的框图,该 目标是以具有包括先前帧和当前帧的多个视频帧的视频信号所表示的。

目标的当前轮廓图象数据,例如以当前帧的VOP(视频目标平面)的形式 表示的数据,被送到当前形心计算单元100和匹配单元110,其中该当前轮 廓图象数据包括轮廓象素的位置数据,该轮廓象素表示处在该目标轮廓处的象素。

根据本发明的优选实施例,当前形心计算单元100通过对当前轮廓的全部 轮廓象素的坐标进行平均来确定当前轮轮廓的形心,并产生当前形心的位置数据。 该当前形心位置数据被耦合到匹配单元110,并经线路L10送到当前轮廓预 测单元130。

参考图2,它示出了包括先前形心计算块210和运动矢量检测块220的 当前轮廓预测单元130详细框图,。与在当前形心计算单元100中一样。该 先前形心计算块是根据经由线路L30从图1所示的存储器160提取并输入 的先前轮廓图象数据计算先前形心位置数据,并把该先前形心位置数据输出到运 动矢量检测块220,其中存储在帧存储器160中的该先前轮廓图象数据包括 在先前帧中目标轮廓象素的位置数据。该运动矢量检测块220根据线路L10 上的当前形心位置数据和从先前形心计算块210提供的先前形心位置数据来计 算当前轮廓形心和先前轮廓形心之间的位移。计算出的位移作为运动矢量经线路 L20送到匹配单元110和轮廓重建单元180且经线路L40送到熵编码器 170。    

再参考图1,匹配单元110将从帧存储器160提供的先前轮廓图象数据 移动该运动矢量。并产生重叠的轮廓图象数据以将其提供到偏移检测单元120, 其中该重叠的轮廓图象数据包括与当前形心位置数据完全一样的形心位置数据以 及当前轮廓和一个预测的当前轮廓,即已被移位的先前轮廓的识别的轮廓象素的 位置数据。数据本发明,该偏移检测单元120根据重叠轮廓图象数据检测当前 轮廓和预测和当前轮廓之间的差异。

参考图3A和3B,它们是描述偏移检测过程的示意图。在图3A中,以简 单的闭合凸形曲线为例,说明当前轮廓和预测的当前轮廓的偏移的检测过程,其 中该偏移检测单元120首先从一预定基准段线开始,从形心T引一套数目为M 的径向等弧基础段线,两条相邻基础段线间的角度的值是2π/M弧度,其中 M是大于1的整数;随后将每两个相邻基础段线例如第i和第(i+1)条基础 段线间的角度再细分,在其中画出数目为N-1的径向等角次级段线,例如K1 至K15,其中N是正整数。随后,偏移检测单元120检测总共M×N条段线 与重叠轮廓的交叉点,例如在图3A例中所示,在预测当前轮廓OB1上的点A 至P以及在当前轮廓OB2上的点A’到P’,一旦数目为M×N的段线的全部 交叉点都被检测,该偏移检测单元120则从(例如)基准段线开始顺时针移动, 计算在所有段线与当前轮廓的所有交叉点例如A’、B’、C’…P’处的误差, 其中每个误差的计算是通过从形心T和每条段线与预测当前轮廓交叉点间的距离, (例如 TA减去形心T和每条段线与当前轮廓交叉点间的距离(例如 TA′)而 实现的。在利用如上所述的偏移检测过程计算在当前轮廓OB2上的所有交叉点 处的误差之后,这些误差被分成一套阵列组,每个阵列包括如下例的N个误差:

D1=〔d11,d12…,d1j,…,d1N〕

D2=〔d21,d22…,d2j,…,d2N〕

                       …

DI=〔dI1,dI2…,dIj,…,dIN〕

DM=〔dM1,dM2…,dMj,…,dMN〕 其中DI表示第I个阵列;dI1表示第I条基础段线的一个误差;dIj表示 第I和第(I+1)基础段线间的第j条次级段线的一个误差,I和j的范围分 别是从1到M和从2到N;dMx表示在第M和第一条基础(即基准的)段线之 间的第j条次级段线的误差。

在本发明的另一个优选实施例中,基础段线的数目M被适度地调节到重叠轮 廓的尺寸。就是说,根据形心T和在预测当前轮廓OB1上的相交点之间的距离, 首先计算针对一预定M的均值;并随后调节数目M,使得其相对合适的阈值使M 随着均值的增加而增加。

参考图3B,其中示出在预测当前轮廓和当前轮廓不是简单的凸曲线形状, 即重叠的轮廓和段线之间的交叉点大于2的情况下的偏移检测过程,偏移检测单 元120首先以象图3A那样的方式引出M×N条段线,并检测每条段线与当前 轮廓的交叉点的数目。如果任何一条段线与当前轮廓的交叉点数目大于1,该处 理过程则先按下一步骤寻找基准的径向线。例如象图3B所示,如果在第i和第 i+2条基础段线之间的某些段线具有多于一个的与当前轮廓的交点,就从形心 T引出一系列的径向线;检测当前轮廓OB2和每条径向线之间的交叉点数,相 邻径向线之间的角度是一个预定的小值。基准径向线被定义为与当前轮廓相切的 径向线。例如,基准径向线R1和R2与当前轮廓OB2在P1和P2两点相切, 点P1和P2是转折点,曲线轨迹在此反向。一且确定了象R1和R2这样的基 准径向线,就移动和该基准径向线最接近的基础段线以便与该基准径向线相重叠, 从而提供重新排列的基础段线,例如,第i和第i+2条基础段线分别被移到R 1和R2的位置。当不能得到最靠近基准径向线的基础段线时,就采用下一条最 靠近的可用基础段线。在重新设置的基础段线之间重新设置N-1条次级段线, 以使得由这些次级段线所细分的全部角度幅值都相等。并且检测每一重新设置的 段线和重叠轮廓之间的交叉点。一旦在重新设置的M×N条段线上的全部交叉点 都被检测,该偏移检测单元120就计算在每一段线与当前轮廓的全部交叉点处 的误差。在段线与当前轮廓和预测当前轮廓分别相交于一点的情况下,每个误差 的计算都以与图3A所描述的相似的方式进行。

然而,如果段线与当前轮廓或预测当前轮廓的交叉点多于一点,则在当前轮 廓与段线的每一交叉点处的误差是由预测当前轮廓与段线的交叉点当中的与距心 最接近的一个交叉点所确定。例如,重新安排的第i′基础段线与当前轮廓OB 2有两个交叉点P0和P2,而与预测当前轮廓OB1有三个交叉点L0、L3 和L4。此情形中,在P0和P2处的误差是根据L0而通过从距离 TL0分别 减去 TP0和 TP2而获得的,其中的点L0是在重新安排的第i′段线与预测 当前轮廓OB1的交点中与形心T最接近一个点。同样,在P1和P3的误差是 根据L1计算的,它比其余的交叉点L2和L5更接近于形心。在利用上述的偏 差检测过程计算了所有的段线与当前轮廓OB2的全部交叉点的误差之后,这些 误差从基准基础段线与当前轮廓交叉点开始沿当前轮廓以预定的例如顺时针方向 按交叉点出现的顺序排列。以与图3A所用的相似的方式,排列的误差被分组成 一套阵列。然而应当指出,对于每一对基础段线i’、(i+1)和(i+1)、 (i+2)′生成例如对应于线 P0P4、 P5P2、 P2P6等等的三个一组 的阵列,由上述过程所确定的代表一套阵列的偏差信息被从偏移检测单元120 发送到图象信号编码器140,并将转折点信息发送到熵编码器170和轮廓重 建单元180,其中该转折点信息包括这些转折点例如P1和P2的位置信息, 以及表示它们沿轮廓出现的顺序的信息。

用例如一维DCT(离散余弦变换)和其它任何公知的量化技术,图象信 号编码器140将每个包含在来自偏移计算单元120的偏差信息中的阵列变换 成一套量化变换系数。这些套量化的变换系数再被发送到熵编码器170和图象 信号解码器150。

在熵编码器170,来自图象信号编码器140的一套量化变换系数、在线 路L40上的来自当前轮廓预测单元130的运动矢量以及来自偏移检测单元1 20的转折点信息通过利用例如已知的可变长度编码技术被一起编码,并发送到 发射机(没示出)以进行发送。

同时,图象信号解码器150采用反向量化和逆DCT把来自图象信号编码 器140的若干套量化变换系数转换回成重建的偏移信息,并把重建的偏移信息 送到轮廓重建单元180,

轮廓重建单元180通过把来自帧存储器160的先前轮廓移位运动矢量而 产生出预测的当前轮廓,并根据预测的当前轮廓、来自图象信息解码器150的 该重建的偏移信息和来自偏移检测单元120的转折点信(如果存在的话),产 生要被作为刷新的先前轮廓存储在帧存储器160中的重建的当前轮廓。

虽然仅根据特定的优选实施例对本发明作了描述,可如后面权利要求所述在 不背离本发明的精神和范围的条件下作出修改和变动。

高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈