图1显示了根据
现有技术的一种视频系统。即,视频系统包括: 发射单元110,用于通过无线信道发射视频比特流;和接收单元120, 用于通过解码通过无线信道接收的视频比特流来显示图像。
该发射单元110包括:用于拍照视频的
照相机111;和
编码器112, 用于通过H.263标准编码经照相机拍照的视频并产生视频比特流。该 H.263是用于压缩多媒体通信业务的视频部分的国际标准,比如视频 会议,视频电话等等,通过具有低传输速率的通信信道。该H.263被 描述在美国
专利No.6,560,280中。
接收单元120包括:
解码器121,错误检测器122,错误补偿器 123,和显示单元124。解码器以MPEG(运动图像专家组)或H.263 标准解码通过无线信道接收的视频比特流。错误检测器检测来自解码 的视频比特流的错误。错误补偿器补偿检测的错误。以及,显示单元 在屏幕上显示错误补偿的视频比特流(视频
信号)。根据现有技术的 视频错误补偿装置包括用于补偿检测的错误的错误检测器122和错误 补偿器。
现在将描述视频系统的操作。首先,使用编码器112按照MPEG 或H.263标准,该发射单元110通过编码从照相机111接收的视频信 号来产生视频比特流。然后将产生的视频比特流发送到无线信道。在 形成的流中,编码器112以MB(宏
块)单位编码
视频信号。这里, H.263标准的比特流的句法结构被分成四层。更为具体的,8×8的块 层是最低层,该宏块层包括六块层(四个
亮度层,两个
色度层),而 一个GOB(块层组)包括几个宏块层。并且,一个画
面层包括几个GOB。
接收单元120的解码器121以MPEG或H.263标准解码通过无线 信道接收的视频比特流。该解码的视频比特流接着被输出到错误检测 器122。检测器参考代码块从解码的
视频流中检测错误和输出检测的 错误到错误补偿器123。该类型的代码块被描述在美国专利 No.5,768,438。
通过隐蔽其上检测到错误的宏块,错误补偿器123补偿该错误, 并通过显示单元124在屏幕上显示错误补偿的解码的视频比特流(视 频信号)。该隐蔽包括用先前解码的宏块或当前的宏块替代其中被检 出错误的宏块。更为具体的,在通过无线信道的视频通信中,毫无例 外地必须执行错误补偿,其中错误频繁地出现,而且错误隐蔽技术是 错误补偿方法的其中之一。错误隐蔽被公开在美国专利No.6,078,616 中。
当参考代码本没有相关于视频比特流的索引时,现有技术的错误 检测器检测相关的视频比特流作为错误。更为具体的,当没有相关于 视频比特流的索引时,相关视频比特流被判断作为无效代码。实际上, 当在视频比特流中出现错误时,因为误解一个错误的概率远远大于“无 效代码”-判断概率,则现有技术的错误检测技术所使用的“无效代码” 可能不会检测到错误,尽管可以检测错误,但由于可变长度编码特性, 检测的错误总是在时间之后。
表1显示了按照H.263标准操作的系统中,无效代码没有在代码 本中的存在的概率。
表1 代码本类型 代码数 无效代码数 无效代码出现的概率 有关P-
帧的MCBPC 代码本 8192 9 0.110% 有关I-帧的MCBPC 代码本 512 7 1.37% CBPY代码本 64 2 3.125% MVD代码本 81924 5 0.061% TCOEFF代码本 81924 16 0.195%
在表中,MCBPC表示“色度的MB类型&编码的块状图案”,CBPY 表示“亮度的编码的块状图案”,MVD表示“
运动矢量数据”,以 及TCOEFF表示“变换系数”。
在前述的讨论中,现有技术至少具有三个缺点。首先,当具有有 关其中出现错误的视频比特流的索引时,判断在视频比特流中不具有 错误,并因而不能检测错误出现的
位置。第二,因为可变长度编码特 性,其中甚至错误影响再同步标记,尽管错误被检测,因为总是在经 过实际的错误出现位置之后才检测到错误,由于错误在解码的视频中 具有多个绿粉(green-pink)块。因此,画面
质量被降低。第三,当达 到H.263标准中的无效代码出现的概率时,不能够检测有关视频比特 流的所有错误。
本发明的目的是解决现有技术的一个或多个缺点和/或实现至少 一个和最好是所有的下述优点。本发明的另一个目的是提供一种用于 通过检测解码的相邻宏块之间或它们中的断续来补偿视频错误的方法 和装置。
为了实现上述目的,视频错误补偿方法包括通过参考代码本从宏 块单元解码的视频比特流中检测错误;补偿检测的错误;检测其中错 误没有被检测的视频比特流的当前宏块和相邻宏块之间的连续;以及 当没有检测到连续时隐蔽当前的宏块。
一种视频错误补偿装置,包括:解码器,用于解码由宏块单元编 码的视频比特流;第一错误检测器,用于参考代码本从解码的视频比 特流中检测错误;第一错误补偿器,用于补偿由第一错误检测器检测 的错误;第二错误检测器,根据其中没有被第一错误检测器检测到错 误的解码的视频比特流的当前宏块和当前宏块的相邻宏块之间的连 续,用于从其中没有被第一错误检测器检测到错误的视频比特流中检 测错误;以及第二错误补偿器,用于补偿通过第二错误检测器检测的 错误。
附图说明
图1是方
框图,示例了根据现有技术的的视频系统的结构;
图2是方框图,示例了按照本发明的一个
实施例的使用视频错误 补偿装置的视频系统的结构;
图3是
流程图,示例了按照本发明一个实施例的包括在视频错误 补偿方法中的步骤;
图4示例了按照本发明的宏块的最佳解码顺序;
图5示例了为了检测断续错误的目的按照本发明的可以被比较的 当前的解码宏块和空间相邻的宏块;
图6A和6B示例了通过根据现有技术的视频错误检测器所恢复 的图像;和
图7A和7B示例了根据本发明的一个或多个前述的实施例的通 过视频错误检测器恢复的图像。
相对于现有技术的系统和方法,按照本发明的用于补偿视频错误 的方法和装置提高了画面质量。它是这样实现的,通过参考代码本从 解码的视频比特流中检测错误,对第一次时间补偿检测的错误,当解 码的视频比特流的当前宏块和相邻的宏块之间没有连续性时隐蔽当前 的宏块,对第二次时间在解码的视频比特流中补偿错误,和接着在屏 幕上显示解码的(补偿的两次错误)视频比特流。这里,当解码的视 频比特流的当前宏块和相邻宏块之间没有连续性时,当前宏块是“绿 粉块”。更为具体的,按照本发明,通过参考代码本从解码的视频比 特流中检测错误,错误被补偿,通过隐蔽绿粉块。作为结果,视频的 画面质量被提高。
图2显示了按照本发明的一个实施例的使用视频错误补偿装置的 视频系统。该系统包括:发射单元210,用于通过无线信道发射视频 比特流;和接收单元220,用于解码通过无线信道接收的视频比特流, 和显示单元。
发射单元210包括:照相机211,用于拍照和捕捉视频;和编码 器212,用于编码由照相机拍照或捕捉的视频。优选地是在H.263的 标准中并产生相应的视频比特流。照相机和编码器可以执行现有技术 的相同的功能。
接收单元220包括解码器221,第一错误检测器222,第一错误 补偿器223,显示单元224,第二错误检测器225,和第二错误补偿器 226。解码器解码经MPEG(动图像专家组)或H.263标准通过无线 信道接收的视频比特流。第一错误检测器参考代码本从解码的视频比 特流中检测错误。第一错误补偿器补偿由第一错误检测器检测的错 误。基于解码的视频比特流的当前宏块和一个或多个相邻宏块之间的 连续性,第二错误检测器从没有被第一错误检测检测到的解码的视频 比特流中检测错误。第二错误补偿器补偿由第二错误检测器检测的错 误。而且,显示单元在屏幕上显示已经由第一和第二错误补偿器进行 错误补偿的视频比特流(视频信号)。
第二错误检测器225检测其中没有被第一错误检测器检测到的视 频比特流的当前的解码的宏块和一个或多个相邻的宏块之间的连续 性。当不具有连续性时,当前解码的宏块被判断是错误的。例如,当 其中没有被检测到错误的视频比特流的当前解码的宏块和它的一个或 多个相邻宏块之间的连续性被检测时,第二错误检测器比较彼此的亮 度Y和色度Cr/Cb,以及一个或多个亮度和色度的MAD值与各个存 在的参考值相比较。当MAD值小于参考值时,其中没有检测到错误 的视频比特流的当前宏块被判断为错误。此外,第二错误补偿器226 隐蔽由第二错误检测器判断为错误的宏块。
按照本发明的视频系统的视频错误补偿装置包括第一错误检测 器,第一错误补偿器223,第二错误检测器225,和第二错误补偿器226。 此外,在本发明中,第一错误补偿器223和第二错误补偿器226被描 述成独立部分。然而,还可以把它们构成一个整体的错误补偿器。
图3是流程图,显示了按照本发明一个实施例的包括在视频错误 补偿方法中的步骤。该方法执行两个错误检测/错误补偿步骤。首先, 该方法参考代码本从解码的视频比特流中的宏块单元中检测错误,然 后通过隐蔽其中检测到错误的宏块来补偿错误。第二,该方法检测视 频比特流中没有检测到错误的当前宏块和一个或多个相邻宏块之间的 连续性,并然后当没有连续性时隐蔽当前宏块。通过采用该方法,从 而能够去除在现有技术的视频错误补偿装置中出现的“绿粉现象”。
更为具体的,当发射单元210通过编码器202使用MPEG或H.263 标准从照相机211中编码视频信号而产生视频比特流时该方法开 始。优选地,该编码器通过以MB(宏块)单位编码视频信号来产 生视频比特流。然后将产生的视频比特流通过无线信道发送。
接收单元的解码器221以MPEG或H.263标准解码从无线信道接 收的编码的视频比特流,并把解码的视频比特流输出到第一错误检测 器222,如步骤S1所示。
第一错误检测器222第一次参考代码本从解码的视频比特流中检 测错误并输出第一次检测的错误到第一错误补偿器223。更为具体的, 通过比较解码的视频比特流和代码本,第一错误检测器第一次从解码 的视频比特流中检测错误,如步骤S2所示。
当第一错误检测器222检测到错误时,如步骤S3所示,第一错 误补偿器223补偿第一次检测的错误并输出错误补偿的视频比特流(视 频信号)到显示单元224。第一错误补偿器223补偿该错误,优选地 通过隐蔽其上检测到错误的宏块,如步骤S4所示。
此后,第二错误检测器225在从第一错误检测器222输出的视频 比特流中检测其中没有检测到错误的视频比特流的当前解码的宏块中 的错误。
图4示例了优选的宏块的解码顺序。更为具体的,图4显示了QCIF (四分之一公共中间格式)4:2:0格式(Y:176×144象素,Cr/Cb: 88×72象素)。其中,Y意味着亮度和Cr/Cb意味着色度。在图4中, K表示当前解码的宏块的位置,和箭头表示先前解码的宏块的解码顺 序(K-11,K-1,K)。
图5更为具体的显示了按照本发明的当前的解码的宏块和空间相 邻的宏块。通过使用视频
信号处理和压缩成“自然世界中的视频信号 在暂时的空间相邻位置上不会随时改变”的理念,来检测视频错误。 例如,当具有没有被第一错误检测器222检测到错误的视频比特流时, 为了检测是否其中在视频比特流中没有检测到错误的第K宏块是“绿 粉宏块”,在第K宏块和一个或多个相邻宏块(K-1,K-11)的边界 上检测连续性(图5的501,502)。更为具体的,在解码以宏块单位 编码的视频信号中,当目前解码的宏块和一个或多个先前解码的相邻 宏块之间的差值是很大时,例如,大于预定的
门限等级,则当前解码 的宏块被判断为错误,如步骤S5所示。
最好根据公式1-3的MAD(平均绝对误差)来检测当前解码的 宏块和先前解码的相邻宏块之间的连续性。
Yk(i,j)是Y(亮度)信号的第K宏块的i,j
像素值,其中i是宏 块的
水平坐标轴,和j是宏块的垂直坐标轴。
当第一错误检测器在视频比特流中没有检测到错误时,将视频比 特流输入到第二错误检测器中。然后,在根据公式1-3定义的MAD
基础上使用公式4,第二错误检测器执行有关当前解码的第K宏块 (MB)的错误检测。
如果MADY(k)≥THY,则kthMB是错误的MB
如果MADCb(k)≥THCb,则kthMB是错误的MB (4)
如果MADCr(k)≥THCr,则kthMB是错误的MB
选择的门限值可以是任何一个可变的值。最好是,ThY=70,ThCb, ThCr=50。当对当前的解码的第K宏块(MB)执行错误检测时,绿粉 宏块中每个彩色信号的MAD值(MADy,MADCb,MADCr)表示断续。 这相应于MAD值大于门限值的情况,例如,至少在MADy,MADCb, MADCr上大于它们各自的门限值ThY,ThCb,ThCr。如果需要,在错误 被检测存在之前,多于一个或所有的MADy、MADCb、MADCr可以被要 求大于它们各自的门限值。相反,不具有错误的正常宏块的MAD值 小于门限值,因为自然界中的视频是连续的,例如,所有三个MADy, MADCb,MADCr分别小于ThY,ThCb和ThCr,尽管只有一些或它们的其 中之一可以是小于的,如果需要的话。
第二错误检测器225因此比较相邻块之间的亮度Y和色度 Cr/Cb,用现存的参考或门限值比较所比较的亮度和色度MAD值,当 MAD值不小于参考值时,第二错误检测器225判断它有错误。根据 公式1-4,第二错误检测器225对没有被第一错误检测器222检测到 错误的视频比特流执行该错误检测功能。更为具体的,根据公式1-4, 第二错误检测器225从被表示没有被第一错误检测器222检测到错误 的视频比特流中检测“绿粉宏块”。
当通过第二错误检测器225检测到错误时,第二错误补偿器226 通过隐蔽其上检测到错误的宏块(绿粉宏块)来补偿该错误。然后补 偿器226把错误补偿的视频比特流输出到显示单元224,如步骤S6 所示。
当第二错误检测器225没有检测到错误时,第二错误补偿器226 把具有其中没有检测到错误的宏块的视频比特流输出到显示单元 224。
显示单元224在屏幕上显示由第一和第二错误补偿器223、226 进行错误补偿的解码的视频比特流,如步骤S7所示。更为具体的, 按照本发明,通过在第一次补偿检测的错误和在第二次根据其中没有 被第一检测检测到错误的视频比特流的当前宏块和相邻宏块之间的连 续性来补偿错误,可以显示质量改善的画面视频。
图6A和6B以及图7A和7B比较了由现有技术的视频错误检测 器和由本发明的视频错误检测器所恢复的视频的例子。更为具体的, 图6A和6B示例了按照现有技术的视频错误检测器所恢复的图像。如 图所示,图象包括绿粉宏块。图7A和7B示例了按照本发明的视频错 误检测器恢复的图像。这些图像不包括绿粉宏块。
如所述的,当通过现有技术的错误检测方法恢复视频时,绿粉宏 块100和200出现在恢复的视频中。然而,在本发明中,通过隐蔽其 中被检测到错误的当前宏块,如图7A和7B所示,没有出现绿粉宏块。 更为具体的,通过使用按照本发明的针对视频系统的视频错误补偿装 置,如图7A和7B所示,可以显示质量改善的画面视频。
在本发明中,在当作测试数据的ITU-T提供的错误图案中通过使 用BER(误码率)=103,将视频比特流注入到编码为48kbps,15fps 的Foreman视频比特流中。
如上所述,在按照本发明的视频错误补偿装置和方法中,通过参 考代码本从解码的视频比特流中检测错误并补偿该错误,通过从没有 检测到错误的视频比特流中检测绿粉块并隐蔽检测的绿粉块,可以提 高视频的画面质量。