首页 / 专利库 / 广播 / 帧内预测 / 视讯图像传输的主动防错方法

视讯图像传输的主动防错方法

阅读:518发布:2024-02-28

专利汇可以提供视讯图像传输的主动防错方法专利检索,专利查询,专利分析的服务。并且一种视讯图像传输的主动防错方法,它由下列步骤组成:发送端的 编码器 与接收端的 解码器 之间采用能够传送图像数据/同时能够进行两端的数据反馈的协议,接收端解码器通过该协议定期向发送端编码器发送含有当前网络条件信息的数据包;发送端编码器对该数据包中的当前网络条件信息进行分析,对待编码的 帧 或宏 块 间隔一段时间采取帧内编码;对编码器编好的码流打包,在信道上传输;接收端恢复包中数据并解码。本 发明 在达到主动防错效果的同时,还适合于实时应用,且不增加带宽开销。,下面是视讯图像传输的主动防错方法专利的具体信息内容。

1、一种视讯图像传输的主动防错方法,其特征在于,它由下列步骤 组成:
a、发送端的编码器与接收端的解码器之间采用能够传送图像数 据且同时能够进行两端的数据反馈的实时传输/实时传输控制协议, 接收端解码器通过该协议定期向发送端编码器发送含有当前网络条 件信息的数据包;
b、发送端编码器对该数据包中的当前网络条件信息进行分析, 对待编码的或宏间隔一段时间编码;
c、对编码器编好的码流打包,在信道上传输;
d、接收端恢复包中数据并解码。
2、根据权利要求1所述的视讯图像传输的主动防错方法,其特征在于, 步骤b具体包括:
b1、根据步骤a获得的当前网络条件信息中的丢包率,按照Ifreq= 1/p计算出进行帧内编码相隔的帧数,其中,p代表丢包率,Ifreq代表 进行帧内编码相隔的帧数;
b2、每隔Ifreq帧对待编码的宏块进行帧内编码。
3、根据权利要求1所述的视讯图像传输的主动防错方法,其特征在于, 步骤b具体包括:
b1′、对于每个待编码的宏块,分别计算在跳过、帧间和帧内三种 编码模式下的参数Dq、Dc、R、p、λ,其中,跳过编码模式表示该 待编码宏块不进行编码,解码时只需复制上一帧相同位置上的宏块数 据,Dq是由于量化误差导致的方差,Dc是由于出现误码以后从一个 被掩盖处理后的块进行预测所造成的方差,R是编码所得的码率,λ 为常数,以上参数编码时能够确定,p代表丢包率,从步骤a获得的当 前网络条件信息中获取;
b2′、按照公式J=(1-p)*Dq+pDc+λR计算三种不同编码 模式下的J值,选择使J值最小的模式作为宏块的编码模式。
4、根据权利要求3所述的视讯图像传输的主动防错方法,其特征在于: 步骤b1′中,λ取0.85×(Q/2)2,其中,Q为编码所用的量化步长。
5、根据权利要求1所述的视讯图像传输的主动防错方法,其特征在于:
步骤c中所述的码流打包是采用双重打包方法:将每一帧图像编 码后码流的奇数行放到一个数据包中,偶数行放到另一个数据包中, 其中一个数据包有原始的图像头数据,另一个数据包复制一份图像头 数据。
6、根据权利要求5所述的视讯图像传输的主动防错方法,其特征在 于:
步骤d中,如果两个数据包均正确接收,解码器将每个包的数据恢复 原始数据进行编码,将另一个数据包中复制的图像头数据抛弃;如果 有数据包丢失,解码器对接收到的包的数据进行解码,再用接收到的 数据和前帧数据对丢失的数据进行掩盖。

说明书全文

技术领域

发明属于视讯领域,是一种视讯图像传输的主动防错方法

背景技术

随着多媒体和网络技术的发展,无线和因特网(INTERNET)上 的多媒体应用越来越受到关注。目前常用的视频压缩标准,如H.26X, 运动图象专家组(MPEG:Moving Pictures Experts Group)等,能够有 效地压缩视频图像序列使其能够在低码率的信道上传输,但是随之带来 的是数据对信道错误十分敏感,由于采用可变长编码(VLC:Variable Length Code),单个位错误就会导致同步的丢失而不得不丢弃大片数据。 运动预测的使用则导致到错误发生时,其所造成的影响将延续到后续的 若干图像,造成图像质量的严重下降。在无线传输信道中,位丢失率 (BER:Bit Error Rate)可能会达到10-2之多。而因特网更是无法保证服务质 量(Qos:Quality of service),试验证明,因特网上的包丢失率经常会达到 5%-10%。因此,在以上两种信道中传送视频内容,保证可以接收的视 频质量是一个极负挑战性的工作,而这就需要错误恢复技术来完成。
为了克服上述缺陷,目前一般采用两种技术:一种是错误掩盖技术, 它是在接收解码端对于已经发生的数据丢失或误码用接收到的正确数 据进行预测、掩盖;另一种则是主动防错技术,其由编码端采取措施提 高码流的抗误码性能,使其在传输过程中抵抗误码的影响使解码器能够 正确解码,它是在错误发生以前进行防止的措施。
由于在H.263中采用了可变长编码和运动预测和运动补偿,因此如 果在解码过程中发现错误就会导致同步的丢失,必须跳到下个同步字继 续解码过程,因为在H.263中最小的同步单元为组(GOB:Group Of Block),因此当错误发生时则会引起整个块组数据的丢失。同时,在解 码当前帧时,要用到前一帧数据参考进行运动补偿,因此前一帧中的错 误数据会衍生到当前帧,然后继续向下传递,直到出现一个帧内(INTRA 帧)为止。
主动防错方法总体上可以分为两类:开路和闭路。在闭路方法中, 存在一条从接收端到传送端的反馈通路,接收端能够通过这条通道传送 当前的解码情况,编码端根据反馈信息调整当前的编码行为。例如当错 误发生时,解码端能够传送没有正确解码的图像帧,编码端接收到后将 重发该帧直到接收端正确接收为止。这称为自动重传请求 ARQ(Automation Retransmission reQuest)恢复方法。在因特网上传输视频 数据一般采用实时传输/实时传输控制协议(RTP/RTCP),实时传输协 议(RTP)用于传送媒体数据,而实时传输控制协议(RTCP)则负责两 端的数据反馈。编解码双方可以根据实时传输控制协议(RTCP)数据 包中的信息调节自己的行为。闭路方法中典型技术是H.263附录N的“参 考帧选择模式”和附录U的“增强的参考帧选择模式”。开路方法则表 示两端并不存在信道,因此错误恢复的工作只能有解码器完成。例如编 码器使用前向错误校验(FEC:Forward Error Correction)时,向码流中加入 适当的冗余位,解码器接收到数据后,通过这些冗余位完成错误的检测 和纠正。闭路技术中典型技术是H.263附录V的方向可变长编码。
闭路方法由于编码器反馈信息完成需要的编码任务,因此会造成一 定的延时,不适合实时应用。而且在多点会议中,由于需要通过多点控 制单元(MCU)完成会议数据的传送,因此闭路算法实现较为困难。开 路算法由于需要在码流中加入附加信息从而增加了带宽的开销。
另外,现有技术的数据编码后打包发送时,其打包也存在着缺陷: 它一般是前半帧放入一个数据包,后半帧放入一个数据包。如果一个包 丢失后,实际上丢失了若干行连续的数据,在解码端根本不可能恢复。
发明目的
本发明的目的是提供一种既适合于实时应用,又不增加带宽开销的 主动防错方法。
为实现上述目的,本发明的解决方案是:一种视讯图像传输的主动防 错方法,由下列步骤组成:
a、发送端的编码器与接收端的解码器之间采用能够传送图像数据 且同时能够进行两端的数据反馈的实时传输/实时传输控制协议,接收端 解码器通过该协议定期向发送端编码器发送含有当前网络条件信息的 数据包;
b、发送端编码器对该数据包中的当前网络条件信息进行分析,对 待编码的帧或宏块间隔一段时间编码;
c、对编码器编好的码流打包,在信道上传输;
d、接收端恢复包中数据并解码。
步骤b具体包括:
b1、根据步骤a获得的当前网络条件信息中的丢包率,按照Ifreq=1/p 计算出进行帧内编码相隔的帧数,其中,p代表丢包率,Ifreq代表进行帧 内编码相隔的帧数;
b2、每隔Ifreq帧对待编码的宏块进行帧内编码。
所述的步骤b具体包括:
b1′、对于每个待编码的宏块,分别计算在跳过、帧间和帧内三种编 码模式下的参数Dq、Dc、R、p、λ,其中,跳过编码模式表示该待编 码宏块不进行编码,解码时只需复制上一帧相同位置上的宏块数据,Dq 是由于量化误差导致的方差,Dc是由于出现误码以后从一个被掩盖处理 后的块进行预测所造成的方差,R是编码所得的码率,λ为常数,以上 参数编码时能够确定,p代表丢包率,从步骤a获得的当前网络条件信息 中获取;
b2′、按照公式J=(1-p)*Dq+pDc+λR计算三种不同编码模 式下的J值,选择使J值最小的模式作为宏块的编码模式。
步骤b1′中,λ取0.85×(Q/2)2,其中,Q为编码所用的量化步长。
步骤c中所述的码流打包是采用双重打包方法:将每一帧图像编码 后码流的奇数行放到一个数据包中,偶数行放到另一个数据包中,其中 一个数据包有原始的图像头数据,另一个数据包复制一份图像头数据.
步骤d中,如果两个数据包均正确接收,解码器将每个包的数据恢 复原始数据进行编码,将另一个数据包中复制的图像头数据抛弃;如果 有数据包丢失,解码器对接收到的包的数据进行解码,再用接收到的数 据和前帧数据对丢失的数据进行掩盖。
由于在解码当前帧时,要用到前一帧数据参考进行运动补偿,因此 前一帧中的错误数据会衍生到当前帧,然后继续向下传递,直到出现一 个帧内帧为止,因此,本发明通过对待编码的帧或宏块间隔一段时间采 取帧内编码,防止了错误继续向下传递,达到了主动防错的效果。
由于本发明实际上是开路方式,无反向的反馈信道,因此适合于实 时应用,能应用于多点通信。又由于本发明没有在码流中加入冗余信息, 不会增大码流带宽的开销,这样就克服了开路、闭路两种方法的缺点。
另外,由于本发明的打包方式是将每一帧图像编码后码流的每行按 次序分别分到若干个数据包中,如果有数据包丢失,解码器对接收到的 包的数据进行解码,再用接收到的数据和前帧数据对丢失的数据进行掩 盖,由于相邻行的信息是邻近的,可以是相邻行的信息对丢失的数据进 行预测和掩盖,而现有技术的若干行是连续丢失的,因此就不容易进行 恢复,本发明的打包方式提高了本发明的抗误码性能。
附图说明
图1是本发明的方法流程图
图2是本发明的打包方法示意图。
具体实现方式
图1是本发明的方法流程图。在图1中,可以看出本发明的实现过程。
一、发送端的编码器与接收端的解码器之间采用能够传送图像数据 /同时能够进行两端的数据反馈的协议,接收端解码器通过该协议定期向 发送端编码器发送含有当前网络条件信息的数据包。一般来说,该能够 传送图像数据/同时能够进行两端的数据反馈的协议指的是实时传输/实 时传输控制协议(RTP/RTCP)。
当前网络条件信息如丢包率、延迟、抖动等。接收端解码器通过 该协议定期向发送端编码器发送含有当前网络条件信息的数据包是后 面根据网络实时条件及时调整插入帧内编码模式的基础。编码端根据这 些信息调整帧内Intra编码宏块的个数,如果网络条件变差,丢包率增加, 则增加帧内Intra编码宏块的个数,反之则减少。
二、发送端编码器对该数据包中的当前网络条件信息进行分析,对 待编码的帧或宏块间隔一段时间采取帧内编码。
在解码当前帧时,要用到前一帧数据参考进行运动补偿,因此前一 帧中的错误数据会衍生到当前帧,然后继续向下传递,直到出现一个帧 内Intra帧为止,因此,本发明通过对待编码的帧或宏块间隔一段时间采 取帧内编码,这样错误就不会继续向下传递了。但在实时应用中,出于 实时性的考虑,不可能过多地加入帧内编码,就需要确定其加入的数量 和位置。帧内Intra编码宏块的个数在很大程度上依赖于上述的当前网络 条件信息。
本发明对这一部分提供了两个实施例
实施例1
实施例1是这样实现的:
1、根据前一步骤获得的当前网络条件信息中的丢包率,按照Ifreq= 1/p计算出进行帧内编码相隔的帧数,p代表丢包率,Ifreq代表进行帧内 编码相隔的帧数。在因特网上,评价网络状况的重要数据是丢包率, 一般情况下,因特网上会存在5-10%左右的丢包率,因此宏块的编码模 式需要根据丢包率进行选择。丢包率越低,代表当前网络状况越好,Ifreq 的值越高,帧内帧编码模式的更新频率越低,即编码模式更新的频率与 丢包率成正比。如当丢包率为5%时,Ifreq为20,表示每隔20帧对特定的 宏块进行Intra编码,如果丢包率上升到20%,在需要每隔5帧进行帧内 Intra编码。
2、每隔Ifreq帧对待编码的宏块进行帧内编码。
至于帧内Intra编码宏块的位置,可以任意确定其位置。第一个帧内 编码的位置确定后,后续的帧内编码就参照该位置按更新的频率进行更 新就可以了。
以上是一种较实用且较简便的方法。
实施例2
实施例2是一种更有效但比实施例1烦琐的方法,它基于率失真理 论。其实现过程如下:
b1′、对于每个待编码的宏块,分别计算在跳过、帧间和帧内三种编 码模式下的参数Dq、Dc、R、p、λ,其中,跳过编码模式表示该特定 宏块不进行编码,解码时只需复制上一帧相同位置上的宏块数据,它是 帧间编码模式的特例,Dq是由于量化误差导致的方差,Dc是由于出现 误码以后从一个被掩盖处理后的块进行预测所造成的方差,R是编码所 得的码率,λ为常数,以上参数编码时能够确定,p代表丢包率,从前 面获得的当前网络条件信息中获取;
b2′、按照公式J=(1-p)Dq+pDc+λR计算三种不同编码模式下的J 值,选择使J值最小的模式作为宏块的编码模式。
上述步骤b1′中的λ最好取0.85×(Q/2)2,Q为编码所用的量化步 长。
上述公式是考虑到信道误码影响后的结构,其实在不考虑信道误码 影响的情况下,该公式本来是这样的:
J=D+λR            (1)
其中D是编码以后的重建数据和原始数据的方差,该方差可以有很 多方法计算,最简单的方法是计算对应像素差值的平方和。R表示编码 所得的码率,λ为常数,一般取经验值,实验证明,当λ=0.85×(Q/2)2 时能够提供最好的效果,其中Q为编码所用的量化步长。对于每一个宏 块,我们分别计算在三种模式下的公式的值,选择使上式的值最小的模 式作为宏块的编码模式。这个公式没有考虑到信道误码的影响,因此它 只对于当解码器正确接收时才能得到的最优化的结果。当存在误差时, 帧间编码模式由于使用时域预测导致误差衍生,而使用帧内编码模式则 能够抑制误差衍生但是造成了更多的带宽开销。如果编码器端能够知道 解码器使用的错误掩盖方法以及网络的丢包率,就可以在压缩效率和抗 误码性能之间获得最佳的平衡。在考虑信道误码的情况下,编码所造成 的偏差将归结为两个因素:其一是由于量化误差导致的方差Dq,其二是 由于出现误码以后,从一个被掩盖处理后的块进行预测所造成的方差 Dc。假设丢包率为p,则以上的拉格朗日公式变为:
J=(1-p)Dq+pDc+λR                (2)
同样计算三种编码模式下上式的值,其中Dc是认为该块已经丢失而 进行掩盖所造成的偏差,所以需要乘上误码率p这个系数,Dc可以预先 计算并保存。而Dq认为是在没有发生误码时所得到的偏差,因此需要乘 上(1-P)各个系数。这样,我们就得到了考虑信道误差时的最优的结 果。其中Dq、Dc、λ、R是编码端编码时就可以计算产生,计算方法属 于现有技术,p是从前面获得的当前网络条件信息中获取的。
例如:
在丢包率为5%,λ=5的情况下,
跳过编码模式计算出的Dq=200,Dc=50,R=10,则J1=242.5
帧内编码模式计算出的Dq=30,Dc=40,R=50,则J2=281;
帧间编码模式计算出的Dq=10,Dc=20,R=30,则J3=160.5;
由于J3<J1<J2,所以采用帧间编码模式。
如果使用了效果十分完美的误差掩盖方法,则Dc=Dq,这样公式(1)就 等同于公式(2)了,那么信道误码没有对模式选择造成影响,即排除了误 码的因素。
至于如何帧内编码、帧间编码,则是现有技术的内容。
三、对编码器编好的码流打包,在信道上传输。本发明对这一部分 也有改进,是采用一种交叉打包的方法,即多重打包方法:将每一帧图 像编码后码流的每行按次序分别分到若干个数据包中,在第一个数据包 以外的每个数据包中复制一份图像头数据。其特例是一种双重打包方 式:将每一帧图像编码后码流的奇数行放到一个数据包中,偶数行放到 另一个数据包中,其中一个数据包有原始的图像头数据,另一个数据包 复制一份图像头数据。
本发明的数据打包主要针对完整块组(GOB)进行,对于宏块级的交叉 打包由于其操作比较复杂,与标准不兼容同时由于打乱了宏块正常排列 顺序因此需要在解码端进行重整而造成了额外的延时,所以一般只针对 块组进行。现在以双重打包方式为例进行说明,如图2,将块组1(GOB1)、 块组3(GOB3)、块组5(GOB5)、块组7(GOB7)、块组9(GOB9)放到 一个数据包中,该数据包中含有原始的图像头数据,如图2左边数据包 中的阴影所示。将块组2(GOB2)、块组4(GOB4)、块组6(GOB6)、块 组8(GOB8)放到另一个数据包中,为了在奇数包丢失的情况下另一个 数据包能够单独解码,在其中在复制了一份图像头数据,如右边数据包 中的阴影所示。这种交叉打包的方式能够使解码器使用时域或空域掩盖 方法对丢失的数据进行预测。当视频码流的码率超过300kbps时,这时 一帧图像可能会分为多个数据包,就必须用上面的多重打包方法。在图 2中,由于加入了冗余的图像头,引入的开销为20字节(IP包头)+8字 节(UDP头)+12字节(RTP头)+7字节(RFC2429头数据,其中包含 6个字节的图像头)=47个字节。可见其引入的开销是非常小的,几乎 没有引入什么开销。
四、接收端恢复包中数据并解码。
对于上述多重打包方法来说,如果多个数据包均正确接收,解码器 将每个包的数据恢复原始数据进行编码,将第一个数据包以外的每个数 据包中的图像头数据抛弃;如果有数据包丢失,解码器对接收到的包的 数据进行解码,再用接收到的数据和前帧数据对丢失的数据进行掩盖。
对于特例双重打包方法来说,如果两个数据包均正确接收,解码器 将每个包的数据恢复原始数据进行编码,将另一个数据包中复制的图像 头数据抛弃;如果只收到第一个数据包(这可以简单地通过判断接收到 的RTP包的序列号是否连续得到),解码器对接收到的包的数据进行解 码,再用接收到的数据和前帧数据对丢失的数据进行掩盖;如果只接收 到第二个数据包,则解码器首先处理RFC2429的包头得到正确的图像头 数据,然后再对包中的码流数据解码,丢失的奇数行数据用偶数行数据 和前帧数据掩盖。关于错误掩盖的方法是现有技术,编解码的方法也是 已有技术。
本方法经过了在计算机上的模拟实验,证明了在1%丢包率的情况 下,能够达到可以接受的图象质量。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈