首页 / 专利库 / 视听技术与设备 / 帧间位移误差 / 利用子抽样技术的运动估算方法和装置

利用子抽样技术的运动估算方法和装置

阅读:22发布:2020-12-03

专利汇可以提供利用子抽样技术的运动估算方法和装置专利检索,专利查询,专利分析的服务。并且在以预定的基准 帧 (RF)为 基础 ,用于对当前帧内的一个NxM象素 块 执行运动估算(ME)的装置(300)中,一个块分割器(202)将所述块分割为KxL个象素的子块,之后,依据同一组内的所有SB都彼此对 角 相邻的规则,将这些SB分为A组SB和B组SB。第一和第二判定 电路 (204,206)分别从ASB内众多象素中判定出一个满足第一预定条件的象素作为A组代表象素(ARP),从BSB内众多象素中判定出一个满足第二预定条件的象素作为B组代表象素(BRP),其中,第一预定条件与第二预定条件不同。一个抽样块发生器(208)将ARP与BRP相组合,从而生成一个抽样块。之后,RF子抽样电路(210)依据如上所述的同一个子抽样方法而产生一个抽样RF(SRF)。最佳匹配后选块(CB)检测器(220)利用预定的 块匹配 方法,以所述抽样块和所述SRF为基础,从所述SRF内的众多CB中检测出对所述抽样块具有最小误差值的一个CB,作为最佳匹配CB(BMCB)。 运动矢量 (MV)发生器(222)产生表示所述抽样块和所述BMCB之间位移的一个MV。,下面是利用子抽样技术的运动估算方法和装置专利的具体信息内容。

1.一种基于预定的基准而对当前帧内的N×M象素执行运动估 算的装置,其中N和M分别是预定的正整数,该装置包括:
块分割装置,用于将块分割为若干K×L个象素的子块(SB),之 后,依据在同一组内的所有SB彼此对相邻的规则,将这些SB分为 A组SB和B组SB,由此提供A组SB(ASB)和B组SB(BSB), 其中K和L是分别为N和M因子的预定的正整数;
第一判定装置,用于从每个ASB内的众多象素中判定出满足第一 预定条件的一个象素,将其作为用于所述每个ASB的A组代表象素, 由此提供与所述ASB相应的A组代表象素(ARP);
第二判定装置,用于从每个BSB内的众多象素中判定出满足第二 预定条件的一个象素,将其作为用于所述每个BSB的B组代表象素, 由此提供与所述BSB相应的B组代表象素(BRP),其中第二预定条 件与第一预定条件不同;抽样块发生装置,用于将ARP与BRP相组合, 从而生成一个抽样块;
基准帧子抽样装置,用于产生一个抽样基准帧(SRF),这是依据 与通过所述块分割装置、所述第一判定装置、所述第二判定装置以及所 述抽样块发生装置而生成抽样块的方法相同的方法,通过对预定的基准 帧执行子抽样而实现的,其中SRF具有若干后选块(CB),每一个CB 的大小与所述抽样块的大小相等;
装置,它使用预定的块匹配方法,用于依据所述抽样块和所述SRF 而从众多CB中检测出对所述抽样块具有最小误差值的一个CB,作为 最佳匹配后选块;以及
装置,用于产生所述抽样块与所述最佳匹配后选块之间的位移,作 为与所述抽样块相应的运动矢量(MV)。
2.依据权利要求1的装置,其特征在于所述第一预定条件是所述象 素在所述众多象素中具有最大象素值;所述第二预定条件是所述象素在 所述众多象素中具有最小象素值。
3.依据权利要求1的装置,其特征在于所述第一预定条件是所述象 素在所述众多象素中具有最大象素值;所述第二预定条件是所述象素具 有所述众多象素的平均象素值。
4.依据权利要求2的装置,其特征在于所述基准帧子抽样装置包 括:
基准帧分割装置,用于将所述基准帧分割为若干K×L个象素的基 准子块(RSB),之后,依据同一组内的所有RSB都是对角相邻的规 则,将这些RSB分为A组RSB和B组RSB,由此提供A组RSB(ARSB) 和B组RSB(BRSB);
第三判定装置,用于从每个ARSB内的众多象素中判定出一个满足 第一预定条件的象素,作为用于所述每个ARSB的A组典型象素,由 此提供一个与ARSB相应的A组典型象素(ATP);
第四判定装置,用于从每个BRSB内的众多象素中判定出一个满足 第二预定条件的象素,作为用于所述每个BRSB的B组典型象素,由此 提供一个与BRSB相应的B组典型象素(BTP);以及
抽样基准帧发生装置,用于组合ATP与BTP,从而产生具有若干 CB的SRF。
5.依据权利要求4的装置,其特征在于ASB包括位于块内左上角 SB位置上的一个SB,ARSB包括位于基准帧内左上角RSB位置上的一 个RSB。
6.依据权利要求5的装置,其特征在于所述预定基准帧是依据预定 重建方法而重建的一个在先帧。
7.依据权利要求6的装置,其特征在于N和K分别等于M和L。
8.依据权利要求7的装置,其特征在于N和K分别为8和2。
9.一种依据一个预定的基准帧,对当前帧内的N×M的象素块执行 运动估算的方法,其中N和M分别是预定的正整数,所述方法包括以 下步骤:
(a)将所述块分割为若干K×L个象素的子块(SB),之后依据同一 组内的所有SB彼此对角相邻的规则,将这些SB分为A组SB和B组 SB,由此提供A组SB(ASB)和B组SB(BSB),其中K和L是分 别为N和M的因子的预定的正整数;
(b)第一判定:从每个ASB内的众多象素中确定出一个满足第一预 定条件的象素,作为用于所述每个ASB的A组代表象素,由此提供与 所述ASB相应的A组代表象素(ARP);
(c)第二判定:从每个BSB内的众多象素中确定出一个满足第二预 定条件的象素,作为用于所述每个BSB的B组代表象素,由此提供与 所述BSB相应的B组代表象素(BRP),其中所述第二预定条件与所 述第一预定条件不同;
(d)抽样块的产生:将ARP和BRP相组合,从而产生一个抽样块;
(e)基准帧的子抽样:依据与通过所述步骤(a)、(b)、(c)和(d)而生成 抽样块的方法相同的方法,通过对预定的基准帧执行子抽样,从而产生 一个抽样基准帧(SRF),其中,所述SRF具有若干后选块(CB), 每个CB的大小与所述抽样块的大小相等;
(f)使用预定的块匹配方法,以所述抽样块和所述SRF为基础,从众 多CB中检测出对所述抽样块具有最小误差值的一个CB,作为最佳匹 配后选块;以及
(g)产生所述抽样块和所述最佳匹配后选块之间的位移,将其作为与 所述抽样块相应的运动矢量。
10.依据权利要求9的方法,其特征在于所述第一预定条件是所述象 素在所述众多象素中具有最大象素值;所述第二预定条件是所述象素在 所述众多象素中具有最小象素值。
11.依据权利要求9的方法,其特征在于所述第一预定条件是所述象 素在所述众多象素中具有最大象素值;所述第二预定条件是所述象素具 有所述若干象素的平均象素值。
12.依据权利要求10的方法,其特征在于所述步骤(e)包括以下步 骤:
(e1)对基准帧的分割,将所述基准帧分割为若干K×L个象素的基准 子块(RSB),之后依据同一帧内的所有RSB都彼此对角相邻的规则, 将这些RSB分为A组RSB和B组RSB,由此提供A组RSB(ARSB) 和B组RSB(BRSB);
(e2)第三判定,从每个ARSB内的所述众多象素中判定出一个满足 所述第一预定条件的象素,作为用于所述每个ARSB的A组典型象素, 由此提供与所述ARSB相应的A组典型象素(ATP);
(e3)第四判定,从每个BRSB内的所述众多象素中判定出一个满足 所述第二预定条件的象素,作为用于所述每个BRSB的B组典型象素, 由此提供与所述BRSB相应的B组典型象素(BTP);以及
(e4)抽样基准帧的产生,将ATP与BTP相组合,从而产生具有若 干CB的SRF。
13.依据权利要求12的方法,其特征在于所述ASB包括位于所述块 内左上角SB位置上的一个SB,所述ARSB包括位于所述基准帧内左 上角RSB位置上的一个RSB。
14.依据权利要求13的方法,其特征在于所述预定的基准帧是依据 预定的重建方法而重建的在先帧。
15.依据权利要求14的方法,其中N和K分别等于M和L。
16.依据权利要求15的方法,其特征在于N和K分别为8和2。

说明书全文

发明领域

本发明涉及运动估算方法和装置;尤其涉及利用子抽样技术的运动 估算方法和装置。

背景技术

在象视频电话、电视会议和高清晰度电视(HDTV)系统这样的数字 视频系统中,由于视频信号内的视频行信号包括一系列被称作象素值 的数字数据,因此需要大量的数字数据来确定一个视频帧信号。
但是,由于传统传输信道的可用频率带宽是有限的,因此,为了通 过这些信道传输大量的数字数据,就必须通过各种数据压缩技术来压缩 或减少数据量,在象视频电话和电视会议系统这样的低比特率信号编码 器的情况下尤其如此。
在各种视频压缩技术中,利用了两个相邻视频帧之间的视频信号的 暂时冗余度运动补偿帧内编码技术是已知的最有效的压缩技术。
在运动补偿帧内编码技术中,依据运动估算以及当前帧与在先帧内 相应象素数据之间的差,而从在先帧数据预测出当前帧数据。
本领域内已经提出的一种运动矢量估算方案是匹配算法,在这种 算法中,当前帧被分为若干大小相等的搜索块,每一个搜索块的典型大 小在8×8到32×32个象素之间,在先的帧被分为相应数目的大搜索区 域,每一个搜索区还进一步被分割为众多的与搜索块大小相同的侯选 块。
为对当前帧内的搜索块确定一个运动矢量,要在当前帧的搜索块与 在先帧内相应搜索区中所包括的若干侯选块中的每一块之间执行相似 性计算。使用象均方差(MES)函数或平均绝对误差(MAE)函数这样 的误差函数,来实现在当前帧的搜索块与搜索区内的每一个候选块之间 的相似性计算。
MSE和MAE函数可表示如下: MSE = 1 H × V Σ i = 1 H Σ j = 1 V ( I ( i , j ) - P ( i , j ) ) 2 MAE = 1 H × V Σ i = 1 H Σ j = 1 V | I ( i , j ) - P ( i , j ) | 其中,H×V表示搜索块的大小;I(i,j)表示该搜索块内的在坐标(i,j)处的 象素的亮度平;P(i,j)表示侯选块内的在坐标(i,j)处的相应象素的亮度 水平。
在传统的块匹配算法中,搜索块与最佳匹配侯选块之间的位移矢量 被选为运动矢量(MV),其中最佳匹配侯选块是使误差函数最小的候 选块。
之后,表示搜索块和最佳匹配候选块之间的差的MV以及误差信号 被分别编码并被分别传送到一个接收器。在接收器中使用经编码的MV 以及经编码的误差信号,以便依据逐块(block-by-block)原则在在先帧的 基础上重建当前帧。
同时,依据传统的运动估算方法以及装置,利用所谓的子抽样技术 来进一步减少编码数据的量,以及进一步减少其处理时间。
参见图1,这里显示了包含子抽样电路的传统运动估算装置100的 框图。该装置100包括一个第一子抽样电路130、一个第二子抽样电路 140以及一个运动估算电路150。
在装置100中,例如象当前帧内的N×M个象素的一个搜索块这样的 一个块被馈送到第一子抽样电路130,其中N和M分别为预定的正整 数。例如象一个在先帧这样的基准帧被输入到第二子抽样电路140。
第一子抽样电路130利用传统的子抽样方法对当前帧内的块实施子 抽样,以通过线路L5向运动估算电路150提供一个子抽样块作为一个 抽样块。
依据传统的子抽样方法,当前帧内的块被分别分割成许多K×L个象 素的大小相同的子块,其中K和L都是预定的正整数,且分别是N和 M的因子。在K×L个象素中,位于子块内预定位置上的一个象素被选 为该子块的代表象素。这样,可得到所有子块的代表象素(RP),因此 提供了与该块相应的抽样块。
例如,参见图2A和2B,这里显示了一个16×16个象素的块20,以 及一个8×8个象素的抽样块29,用于说明传统子抽样方法。参见图2A, 块20被分为若干2×2个象素的子块。之后,将位于该子块内右下位 置上的一个象素选为RP。这样,可得到块20的所有子块的RP,因而 提供了与块20相应的抽样块29,这里,RP被分别用图2A和2B内的 阴影区来表示。
第二子抽样电路140通过使用与上述方法相同的子抽样方法,在基 准帧上执行子抽样,因而通过线路L7向运动估算电路提供了一个子抽 样基准帧,作为抽样基准帧。
以抽样基准帧为基础,通过使用传统的块匹配方法,运动估算电路 150在抽样块上执行运动估算,因而产生了与该抽样块相应的一个 MV。
但是,利用上述那种传统的子抽样技术的传统的运动估算方法和装 置不能克服运动估算精度的恶化,这种精度的恶化有可能在具有高活动 性或高象素值变化的帧内的一个块的一个抽样块上执行运动估算的情 况下发生。
发明概述
因此,本发明的一个主要目的是提供一种利用了能增强运动估算的 精度的子抽样技术的运动估算方法和装置。
依据本发明,提供了一种装置,用于以预定的基准帧为基础,对当 前帧内的N×M的象素块执行运动估算,N和M分别是预定的正整数, 该装置包括:一个块分割电路、一个第一判定电路、一个第二判定电路、 一个抽样块发生电路、一个基准帧子抽样信道、一个最佳匹配候选块检 测电路以及一个运动矢量发生电路。块分割电路用于将所述块分割为若 干K×L个象素的子块(SB),之后依据在同一组内的所有SB必须彼此 对角相邻的规则,将SB分为A组SB和B组SB,由此提供A组SB (ASB)和B组SB(BSB),其中K和L都是预定的正整数,它们分 别是N和M的因子;第一判定电路用于将每一个ASB内诸象素中满足 第一预定条件的一个象素确定为对所述每一个ASB的A组代表象素, 由此提供与该ASB相应的A组代表象素(ARP);第二判定电路用于 将每一个BSB内诸象素中满足第二预定条件的一个象素确定为对所述 每一个BSB的B组代表象素,由此提供与该BSB相应的B组代表象素 (BRP),其中,第二预定条件与第一预定条件不同;抽样块发生电路 用于组合ARP和BRP,从而产生一个抽样块;基准帧子抽样信道用于 产生一个抽样基准帧(SRF),这是依据与经由块分割电路、第一判定 电路、第二判定电路和抽样块发生电路而产生抽样块的方法相同的方 法,通过对预定的基准帧进行子抽样而实现的,其中SRF具有大量的候 选块(CB),每个CB的大小与抽样块的大小相同;最佳匹配候选块检 测电路,它以抽样块和SRF为基础,使用预定的块匹配方法,用于从众 多CB中检测出对所述抽样块具有最小误差值的CB,将其作为最佳匹 配候选块;运动矢量发生电路,用于生成所述抽样块和最佳匹配候选块 之间的位移,并将其作为与该抽样块相应的运动矢量(MV)。
附图的简要说明
通过联系附图,对所举的最佳实施例进行的以下说明,使本发明上 述的和其它的目的和特征变得更加明显,其中:
图1说明了包含子抽样电路的传统运动估算装置的框图;
图2A和2B分别显示了一个块以及一个抽样块,用于描述传统的子 抽样方法;
图3描述了依据本发明的运动估算装置的一个框图;以及
图4A和4B分别表示一个块及一个抽样块,用于说明依据本发明最 佳实施例的子抽样方法。
本发明的实现方式
参见图3,其中描述了依据本发明的运动估算装置300的一个框图。 参见图4A和4B,它们代表一个块及一个抽样块,用于描述依据本发明 最佳实施例的装置300中所利用的子抽样方法。
装置300包括一个块分割电路202、一个第一判定电路204、一个第 二判定电路206、一个抽样块发生电路208、一个基准帧子抽样信道 210、一个最佳匹配后选块检测电路220以及一个运动矢量发生电路 222。基准帧子抽样信道210包括一个基准帧分割电路212、一个第三判 定电路214、一个第四判定电路216以及一个抽样基准帧发生电路218。
在装置300中,通过线路L11,将当前帧内的一个N×M的象素块 从当前存储器(未示出)输入到块分割电路202,其中N和M分别 是预定的正整数。通过线路L13,预定的基准帧被从基准帧存储器(未 示出)输入到基准块分割电路212。应当注意,预定的基准帧通常都是 依据预定的重建方法而重建的在先帧。
块分割电路202将所述块分割为若干K×L个象素的子块(SB), 之后依据在同一组内的所有SB必须彼此对角相邻的原则将这些SB划 分为A组SB和B组SB。
之后,块分割电路202分别通过线路L21和L22向第一判定电路 204和第二判定电路206提供A组SB(ASB)以及B组SB(BSB)。 应当注意,K和L都是预定的正整数,它们分别是N和M的因子。
依据本发明的最佳实施例,N和K分别等于M和L。一般来说,N 和K分别为8和2。在本发明的又一个最佳实施例之中,N和K分别为 16和4。
例如,参见图4A,它表示了一个包括ASB的A1到A8以及BSB 的B1到B8的8×8个象素的一个块40,其中A1到A8中的每一个都被 表示为阴影区,而B1到B8中的每一个都被表示为非阴影区。在图4A 中,ASB的A1到A8中的每一个以及BSB的B1到B8中的每一个都 分别具有2×2个象素;这里显示了有4个象素p1到p4的BSB的B1。
第一判定电路204从ASB内众多象素中确定出一个满足第一预定 条件的象素,作为用于ASB的A组代表象素。依据本发明的最佳实施 例,第一预定条件是所述象素在众多象素中具有最大象素值。
这样,第一判定电路204就确定出与所有ASB相应的A组代表象 素(ARP),之后,通过线路L23向抽样块发生电路208提供该ARP。
第二判定电路206将BSB内众多象素中满足第二预定条件的一个 象素确定为用于BSB的B组代表象素,其中第二预定条件与第一预定 条件不同。
依据本发明的最佳实施例,第二预定条件是该象素在所述若干象素 中具有最小象素值。例如,p2是在象素p1到p4中具有最小象素值的一 个象素,则p2被判定为是与BSB的B1相应的RP。在本发明的另一个 最佳实施例中,第二预定条件是所述象素具有所述若干象素的平均象素 值。
这样,第二判定电路206就确定出与所有BSB相应的B组代表象 素(BRP),之后,通过线路L24将该BRP提供给抽样块发生电路208。
之后,抽样块发生电路208将ARP与BRP组合,由此生成一个抽 样块。应当注意,在抽样块发生电路208中,当ARP与BRP进行组合 时,是将每一个ARP放置到与相应的ASB的位置相对应的位置上,同 时,将每一个BSP放置到与相应的BSB的位置相对应的位置上。
例如,参见图4B,它表示通过将ARP的ARP1至ARP8与BRP的 BRP1至BRP8相组合而得到的一个4×4象素的抽样块45,ARP1至ARP8 用阴影区表示,而BRP1至BRP8用非阴影区表示,其中ARPi和BRPi 都是分别与Ai和Bi相应的一个ARP和BRP,i的范围从1至8。
同时,基准帧子抽样信道210在线路L35上生成一个抽样基准帧 (SRF),这是依据与通过块分割电路202、第一判定电路204、第二判 定电路206以及抽样块发生电路208来生成抽样块的方法相同的方法, 通过对预定的基准帧执行子抽样而实现的。应当注意,所述SRF具有若 干后选块(CB),每一个CB的大小与所述抽样块的大小相等。
详细地说,基准帧分割电路212将基准帧分割成若干K×L个象素的 基准子块,之后,依据在同一组内的所有RSB必须彼此对角相邻的规 则,将RSB分割成A组RSB和B组RSB。
此后,基准帧分割电路212分别通过线路L31和L32,向第三判定 电路214以及第四判定216提供A组RSB(ARSB)和B组RSB(BRSB)。 应当注意,依据本发明的最佳实施例,ASB包括位于块内左上角SB位 置上的一个SB,而ARSB包括位于基准帧内左上角RSB位置上的一个 RSB。
第三判定电路214从ARSB内的众多象素中判定出一个满足第一预 定条件的象素,将其作为用于ARSB的一个A组典型象素。这样,第 三判定电路214就判定出与所有ARSB相应的A组典型象素(ATP), 之后,通过线路L33,将该ATP提供给抽样基准帧发生电路218。
第四判定电路216从BRSB内的众多象素中判定出一个满足第二预 定条件的象素,将其作为用于BRSB的一个B组典型象素。这样,第四 判定电路216就判定出与所有BRSB相应的B组典型象素(BTP),之 后,通过线路L34,将BRP提供给抽样块发生电路208。
抽样基准帧发生电路218将ATP与BTP相组合,由此生成具有若 干CB的SRF。应当注意,在抽样基准帧发生电路208中,通过将每一 个ATP放置在与相应的ARSB相对应的位置上,将每一个BTP放置在 与相应的BTB相对应的位置上,从而将ATP与BTP组合在一起。
依据抽样块和SRF,最佳匹配后选块检测电路220利用预定的块匹 配方法从众多CB中检测出对所述抽样块具有最小误差值的CB,将其 作为最佳匹配后选块,之后,将该最佳匹配后选块提供给运动矢量发生 电路222。
运动矢量发生电路222产生所述抽样块和最佳匹配块之间的位移, 作为与所述抽样块相应的运动矢量(MV)。
因此,依据本发明,有可能提供一种运动估算方法和装置,以便对 具有高活动性的帧内的一个块,能有效地检测出与一个抽样块相应的 MV,这是通过利用子抽样方法来实现的,因而增强了运动估算的精度。
虽然对本发明的说明仅仅参照了某些最佳实施例,但不脱离在以下 权利要求书中所阐述的本发明的主旨及范围,也可得到其它形式的修改 及变化。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈