技术领域
[0001] 本
发明属于视频传输方法技术领域，具体涉及一种在物理层对具有不同重要性的视频数据提供不同的保护、从而最终提高视频恢复
质量的基于信道特性的自适应分层视频传输方法。
背景技术
[0002] 随着无线网络和移动终端的快速发展，无线视频传输技术变得越来越普遍，因此，如何在无线网络中提供更好的视频服务已成为无线视频传输领域的一个研究热点。目前，无线组播是无线视频传输的一个重要方式，其目的是由视频
服务器将一个视频
信号同时传递给多个用户，每个用户得到自己的恢复视频。由于多个用户具有异构的信道条件(例如，基站同所有的用户进行通信，离基站较近的用户接收能
力强，而那些离基站较远的用户接收能力较差)，因此，无线视频组播面临的最主要的挑战是如何使具有异构特性的多个接收者得到与其信道条件相匹配的恢复质量。在传统的分层无线视频传输系统中，物理层不加区别地对待来自上层的视频数据流，即对收到的视频数据流采用固定的信道编码和调制技术进行处理。然而，对新兴的视频应用来说，视频数据流的不同比特数据对用户预期的服务质量(user-perceived quality of service，QoS)有着不同的重要性和影响。例如，采用分层的可伸缩
视频编码(Scalable Video Coding， SVC)技术，视频被编码为
基础层和增强层，基本层的数据丢失比增强层的数据丢失所导致的QoS退化更严重，因此，重要的数据需要被重点保护。对此，地面
数字视频广播(Digital Video Broadcast-Terrestrial，DVB-T)标准采用分层的无线视频传输方式(即将分层的视频编码
框架和分层的视频传输框架结合)，来解决异构用户的质量匹配问题。具体而言，DVB-T采用分层的SVC将视频编码为基础层和增强层，然后，采用分层传输技术保证接收能力较弱的接收者接收到基本层数据，从而解码出基本质量的视频，而接收能力较强的接收者则能接收到基础层和增强层，并解码出具有更好质量的视频。
[0003] 在新的数字视频广播系统中，开始使用分层调制(Hierarchical Modulation， H-mod)技术来实现具有不同优先级数据流的无线传输。H-mod的核心思想是将数据流的不同层信号分别映射为一个符号流，然后将不同层的符号
叠加在一起进行传输。由于基本层数据的映射
星座比增强层数据的映射星座更加稀疏，这样在解码端基本层的数据就更容易被区分。然而，现有的H-mod存在两个问题：第一，
硬件实现的限制，第二：性能的限制。针对H-mod出现的问题，Lin Cai 等人提出了可伸缩调制(Scalable Modulation，S-mod)。S-mod通过将不同层比特映射到具有不同最小欧几里得距离的星座，实现对不同层的保护。该方法的灵活性很高，可以为视频传输提供更多的选择。然而，当星座点密集时，S-mod 方案的误码率会升高。Hao Cui等人提出了混合调制(MixCast Modulation， MixCast)。MixCast调制将基础层和增强层比特通过算术加权和操作得到任意数目的无线符号。通过对重要比特设置较大权重系数，从而保护了重要比特。 MixCast调制存在两个问题：第一，解调
算法复杂度较高；第二，解调过程的错误蔓延将导致视频质量的严重退化。同时，现有方案没有考虑信道特性，这就使得分层的视频传输仍然面临很多挑战。
发明内容
[0004] 本发明的目的是提供一种根据实际的传输信道特性，在物理层对具有不同重要性的视频数据提供不同的保护，以有效克服现有视频传输技术不考虑信道特性的缺点，从而最终提高视频恢复质量的基于信道特性的自适应分层视频传输方法。
[0005] 本发明的技术方案是：一种基于信道特性的自适应分层视频传输方法，其特征是包括下列步骤：发送端采用SVC进行信源编码生成不同层的视频数据；利用反馈的信道特性对不同层的视频数据分配不同的
子载波进行传输；对不同的子载波采用注
水算法进行功率分配等，实验表明，本方案使不同的接收者能够恢复与其信道条件相匹配的视频质量，从而实现了自适应分层视频传输。
[0006] 具体操作步骤是：
[0007] Ⅰ.发送端，主要包括分层的SVC视频编码，
正交频分复用(Orthogonal Frequency Division Multiplexing，OFDM)技术，子载波分配，注水算法等，包括下列步骤：
[0008] ⑴.读入视频序列；
[0009] ⑵.使用SVC
编码器对视频序列编码，生成一个基本层(Base Layer，BL) 和一个增强层(Enhancement Layer，EL)；
[0010] ⑶.将编码生成的BL和EL比特流使用16正交幅度调制(16 Quadrature Amplitude Modulation，16QAM)进行调制，其调制原则是将相邻的四个二进制比特0000，0001，0010，0011，0100，0101，0110，0111，1000，1001，1010， 1011，1100，1101，1110，1111调制成相应的符号-3-3j，-3-j，-3+3j，-3+j，-1-3j，-1-j，-1+3j，-1+j，3-3j，3-j，3+3j，3+j，1-3j，1-j，1+
3j， 1+j；
[0011] ⑷.根据反馈信道传输来的信道状态信息，包括信道传递函数H和信道噪声方差E，对每个子信道对应的Hn进行排序，使得|Ho(1)|2≥|Ho(2)|2≥......≥|Ho(N)|2,其中N为子信道总数，Hn是第n个子信道的传递函数，n∈[1,N]，索引值通过函数 n＝o(m)进行表示，其中m∈[1,N]；
[0012] ⑸.根据索引值n＝o(m)，BL符号选择|Hn|2值最大，也即信道质量最好的X1个子信道进行传输；EL符号则用剩余的X2个子信道进行传输，其中X1+X2≤N；
[0013] ⑹.将BL和EL符号根据注水算法进行功率分配，对信道质量好，|Hn|2大的子信道，分配大的信号功率；对|Hn|2小的子信道分配小的信号功率，具体分配原则如式(1)所示：
[0014]
[0015] 其中，En是第n个子信道的噪声方差,Hn是第n个子信道的传递函数，式中，选择使其满足 其中Power是总功率；在本
专利方案中，如果某一个子信道的归一化噪声 特别高，当 时，那么这个子信道不被使用；
[0016] ⑺.将功率分配之后的BL和EL符号分别从串行信号转换为两个列数相同的并行信号，并将两个并行信号按第Ⅰ部分的步骤⑸所示原则混合得到S(n)，对 S(n)进行N点逆傅里叶变换(IFFT)，得到w(n)＝PowernF-1(S(n))，其中，F-1代表逆傅里叶变换，Powern是第n个子信道分配的功率；
[0017] ⑻.将w(n)根据公式(2)插入循环前缀(Cyclic prefix，CP)，得到u(n)：
[0018]
[0019] 其中，TCP是大小为P×N的插入循环前缀矩阵，其中P＝N+L，L是循环前缀的长度，TCP的矩阵形式如式(3)所示：
[0020]
[0021] 其中，IN是大小为N×N的单位阵，ICP是大小为L×N的单位阵。
[0022] ⑼.将u(n)进行
并串转换得到OFDM传输符号；
[0023] ⑽.将OFDM传输符号送入信道，发射到接收端。
[0024] Ⅱ.接收端，接收端的过程与发送端的过程是相反的，包括下列步骤：
[0025] ⑴.将接收到的串行信号转换为并行信号y(n)，这里y(n)可用式(4)表示：
[0026]
[0027] 其中，hl是信道冲击响应， η(n)为信道加性噪声，H0是大小为P×P的矩阵，如式(5)所示：
[0028]
[0029] H1是大小为P×P的矩阵，如式(6)所示：
[0030]
[0031] ⑵.将y(n)去除循环前缀得到x(n)，如式(7)所示：
[0032]
[0033] 其中，RCPH1u(n-1)为0， RCP是大小为N×P的去除循环前缀矩阵，如式(8)所示：
[0034] RCP＝[0N×L IN] (8)
[0035] 式中，0N×L是大小为N×L的零矩阵，IN是大小为N×N的单位阵。
[0036] ⑶.将x(n)进行傅里叶变换(FFT)，得到y′n，如式(9)所示：
[0037]
[0038] 其中，y′n是第n个子信道FFT变换之后的输出，F代表傅里叶变换，Sn＝S(n)，是大小为N×N的循环矩阵，如式(10)所示：
[0039]
[0040] ⑷.利用最大似然检测原则对y′n进行判决得到 判决过程如式(11)所示：
[0041]
[0042] 其中，s∈S，S＝{-3-3j，-3-j，-3+3j，-3+j，-1-3j，-1-j，-1+3j， -1+j，3-3j，3-j，3+3j，3+j，1-3j，1-j，1+3j，1+j}，是判决得到的符号；
[0043] ⑸.将判决得到的并行信号 转换为串行信号；
[0044] ⑹.对产生的串行信号进行解调，解调的原则是将-3-3j，-3-j，-3+3j， -3+j，-1-3j，-1-j，-1+3j，-1+j，3-3j，3-j，3+3j，3+j，1-3j，1-j，1+3j，1+j分别解调为二进制比特
0000，0001，0010，0011，0100，0101，0110， 0111，1000，1001，1010，1011，1100，1101，1110，
1111；
[0045] ⑺.将解调所得的比特流输入SVC
解码器进行解码，得到BL数据和EL数据；其中，能力弱的接收者接收BL数据，得到低
分辨率(Low Resolution，LR) 视频，能力强的接收者接收BL和EL数据，从而得到高分辨率(High Resolution， HR)视频。
[0046] 本发明的优点及积极效果是：
[0047] 1、本发明的基于信道特性的自适应分层视频传输方案，同时采用了可伸缩视频编码技术、正交频分复用技术、根据反馈信息进行子载波分配，根据注水算法对每个子载波进行功率分配，不同层的视频数据采用不同调制技术，最终实现了自适应的分层视频传输。
[0048] 2、与传统的视频传输方法相比，本发明的创新点及其优势体现在以下几点： 1)充分的考虑了信道特性，对具有不同重要性的视频数据分配不同的子载波进行传输，实现了在物理层对具有不同重要性的视频数据提供不同服务的目的； 2)采用注水算法作为功率分配算法，根据信道特性对功率进行了合理的分配，实现了对重要数据的进一步保护；3)对BL和EL采用不同的调制方法，比如： BL使用二进制
相移键控(Binary Phase Shift Keying，BPSK)，EL使用
正交相移键控(Quadrature Phase Shift Keying，QPSK)，能够更好的保护BL数据，实现了性能的进一步提升；另一方面，通过调整不同的调制方法，可以灵活调整BL 和EL的传输速率；4)通过调整BL和EL的调制方法和分配给BL和EL的子载
波数目，能够灵活调整BL和EL传输速率比例，例如：BL使用BPSK，EL 使用QPSK，假设子信道总数为64，分配给BL和EL的子载波数目分别为42 和21，在这种情况下，BL和EL的传输速率比例为1：1。
[0049] 3、本发明适合于一些多个用户具有不同信道带宽、对视频质量有可伸缩要求的视频组播或者广播应用场合，如移动电视、无线视频监控和移动视频会议等。
[0050] 下面结合
附图和
实施例对本发明做进一步的说明。
附图说明
[0052] 图2是本发明
中子载波分配原则示意图；
[0053] 图3是本发明中注水算法示意图；
[0054] 图4是本发明中插入循环前缀的示意图；
[0056] 图6是本发明与S-mod方案的误码率对比图；
[0057] 图7是本发明的均等功率分配和加入注水算法功率分配的误码率对比图；
[0058] 图8是本发明的恢复图像PSNR的对比图；
[0059] 图中：(a)为Foreman序列在相同
信噪比情况下(SNR＝14dB)，S-mod方案和本发明的PSNR对比图；
[0060] (b)为Soccer序列在相同信噪比情况下(SNR＝14dB)，S-mod方案和本发明的PSNR对比图；
[0061] (c)为Football序列在相同信噪比情况下(SNR＝14dB)，MixCast方案和本发明的PSNR对比图；
[0062] 图9是本发明的恢复图像的对比图。
[0063] 图中：(a)为Foreman序列第93
帧的原始图像；
[0064] (b)为S-mod方案恢复图像(SNR＝14dB，PSNR＝32.96dB)；
[0065] (c)为本专利方案恢复图像(SNR＝14dB，PSNR＝36.74dB)；
[0066] (d)为Soccer序列第294帧的原始图像；
[0067] (e)为S-mod方案恢复图像(SNR＝14dB，PSNR＝30.73dB)；
[0068] (f)为本专利方案恢复图像(SNR＝14dB，PSNR＝36.45dB
具体实施方式
[0069] 本发明提出的基于信道特性的自适应分层视频传输方法，由
软件仿真实现，在图1中我们给出了系统的一个实施框图。读入视频序列并采用SVC编码器对视频进行编码，对编码生成的BL和EL比特流，采用16QAM进行调制，根据反馈信道传输来的CSI，即H和E，进行子载波分配和功率分配，BL和EL符号分别进行
串并转换，混合进行IFFT，插入循环前缀，进行并串转换，送入信道；接收端的过程与发送端的过程是相反的，解码得到BL和EL数据，接收能力弱的接收者接收到BL数据，恢复低分辨率视频，而接收能力强的接收者接收到两层数据，恢复高分辨率视频，实现了自适应的分层视频传输。
[0070] 图2给出了子载波分配原则示意图。如图所示，BL数据使用信道质量较好的子信道进行传输，即|H(f)|2值较大的子载波，EL数据则使用|H(f)|2值较小的子载波。
[0071] 图3给出了注水算法的示意图。图中，En是第n个子信道的噪声方差，Hn是第n个子信道的传递函数，Pn是第n个子信道的功率。如图所示，信道质量较好的子载波，即|Hn|2较大，分配较大的功率，而|Hn|2较小的子载波则分配较小的功率，当 时，第n个子信道就不被使用，如图3中的P2＝0。
[0072] 图4是本发明中插入循环前缀的示意图。CP的插入用来消除由于多径传输造成的符号间干扰和子载波间干扰，如图5所示，循环前缀中的信号与OFDM 符号尾部宽带为Tg的部分相同。
[0073] 图5给出了本发明算法流程图。主要包括发送端，接收端和反馈部分。
具体实施方式
[0074] 具体操作步骤是：
[0075] Ⅰ.发送端，主要包括分层的SVC视频编码，OFDM技术，子载波分配，注水算法等，包括下列步骤：
[0076] 第一步：读入视频序列；
[0077] 第二步：使用SVC编码器对视频序列编码，生成一个基本层(Base Layer， BL)和一个增强层(Enhancement Layer，EL)；
[0078] 第三步：将编码生成的BL和EL比特流使用16正交幅度调制(16 Quadrature Amplitude Modulation，16QAM)进行调制，其调制原则是将相邻的四个二进制比特0000，0001，0010，0011，0100，0101，0110，0111，1000，1001，1010， 1011，1100，1101，1110，1111调制成相应的符号-3-3j，-3-j，-3+3j，-3+j， -1-3j，-1-j，-1+3j，-1+j，3-3j，3-j，3+3j，3+j，
1-3j，1-j，1+3j， 1+j；
[0079] 第四步：根据反馈信道传输来的信道状态信息，包括信道传递函数H和信道噪声方差E，对每个子信道对应的Hn进行排序，使得 |Ho(1)|2≥|Ho(2)|2≥......≥|Ho(N)|2,其中N为子信道总数，Hn是第n个子信道的传递函数，n∈[1,N]，索引值通过函数n＝o(m)进行表示，其中m∈[1,N]；
[0080] 第五步：根据索引值n＝o(m)，BL符号选择|Hn|2值最大，也即信道质量最好的X1个子信道进行传输；EL符号则用剩余的X2个子信道进行传输，其中X1+X2≤N；
[0081] 第六步：将BL和EL符号根据注水算法进行功率分配，对信道质量好，|Hn|2大的子信道，分配大的信号功率；对|Hn|2小的子信道分配小的信号功率，具体分配原则如式(1)所示：
[0082]
[0083] 其中，En是第n个子信道的噪声方差,Hn是第n个子信道的传递函数，式中，我们选择a使其满足 其中Power是总功率，在本专利方案中，如果某一个子信道的归一化噪声 特别高，当 时，那么这个子信道不被使用；
[0084] 第七步：将功率分配之后的BL和EL符号分别从串行信号转换为两个列数相同的并行信号，并将两个并行信号按第Ⅰ部分的步骤⑸所示原则混合得到 S(n)，对S(n)进行N点逆傅里叶变换(IFFT)，得到w(n)＝PowernF-1(S(n))，其中， F-1代表逆傅里叶变换，Powern是第n个子信道分配的功率；
[0085] 第八步：将w(n)根据公式(2)插入循环前缀(Cyclic prefix，CP)，得到u(n)：
[0086] u(n)＝PowernTCPF-1(S(n)) (2)
[0087] 其中，TCP是大小为P×N的插入循环前缀矩阵，其中P＝N+L，L是循环前缀的长度，TCP的矩阵形式如式(3)所示：
[0088]
[0089] 其中，IN是大小为N×N的单位阵，ICP是大小为L×N的单位阵。
[0090] 第九步：将u(n)进行并串转换得到OFDM传输符号；
[0091] 第十步：将OFDM传输符号送入高斯白噪声信道(AWGN)，发射到接收端。
[0092] Ⅱ.接收端，接收端的过程与发送端的过程是相反的，包括下列步骤：
[0093] 第一步：将接收到的串行信号转换为并行信号y(n)，这里y(n)可用式(4) 表示：
[0094]
[0095] 其中，hl是信道冲击响应， η(n)为信道加性噪声，H0是大小为P×P的矩阵，如式(5)所示：
[0096]
[0097] H1是大小为P×P的矩阵，如式(6)所示：
[0098]
[0099] 第二步：将y(n)去除循环前缀得到x(n)，如式(7)所示：
[0100]
[0101] 其中，RCPH1u(n-1)为0， RCP是大小为N×P的去除循环前缀矩阵，如式(8)所示：
[0102] RCP＝[0N×L IN] (8)
[0103] 式中，0N×L是大小为N×L的零矩阵，IN是大小为N×N的单位阵。
[0104] 第三步：将x(n)进行傅里叶变换(FFT)，得到y′n，如式(9)所示：
[0105]
[0106] 其中，y′n是第n个子信道FFT变换之后的输出，F代表傅里叶变换，Sn＝S(n)，是大小为N×N的循环矩阵，如式(10)所示：
[0107]
[0108] 第四步：利用最大似然检测原则对y′n进行判决得到 判决过程如式(11) 所示：
[0109]
[0110] 其中，s∈S，S＝{-3-3j，-3-j，-3+3j，-3+j，-1-3j，-1-j，-1+3j， -1+j，3-3j，3-j，3+3j，3+j，1-3j，1-j，1+3j，1+j}，是判决得到的符号；
[0111] 第五步：将判决得到的并行信号 转换为串行信号；
[0112] 第六步：对产生的串行信号进行解调，解调的原则是将-3-3j，-3-j， -3+3j，-3+j，-1-3j，-1-j，-1+3j，-1+j，3-3j，3-j，3+3j，3+j，1-3j， 1-j，1+3j，1+j分别解调为二进制比特0000，0001，0010，0011，0100，0101， 0110，0111，1000，1001，1010，1011，1100，1101，1110，1111；
[0113] 第七步：将解调所得的比特流输入SVC解码器进行解码，得到BL数据和 EL数据；其中，能力弱的接收者接收BL数据得到低分辨率(Low Resolution， LR)视频，能力强的接收者接收到BL和EL数据，从而得到高分辨率(High Resolution，HR)视频；
[0114] 我们对本发明提出的基于信道特性的自适应分层视频传输方法做了初步测试实验，我们采用三个标准测试视频序列(300帧Foreman、300帧Soccer和250 帧Football)做输入视频。在有噪声的有损信道进行传输。使用联想G470
笔记本电脑作算法处理，笔记本参数为：Intel(R),Core(TM)i5-2430M CPU， @2.40GHz，2.40GHz，2.0GB内存。软件平台为Visual Studio 2008和 MatlabR2008a，用标准JSVM9.0软件编码生成BL和EL比特流，并用Matlab 语言编程实现了自适应分层视频传输方法。
[0115] 在实验中，我们测试本发明方案和S-mod方案、MixCast方案的对比，包括误码率(Bit Rate Error，BER)和
峰值信噪比(Peak Signal to Noise Ratio，PSNR) 的比较。
[0116] 图6给出了信噪比(Signal to Noise Ratio，SNR)在10dB到30dB之间， S-mod方案和本发明方案在相同的传输速率比例下，BL和EL的BER对比图。可以看出，通过子载波分配，本发明方案BL和EL的BER比S-mod方案有明显降低。图7给出了SNR在10dB到30dB之间，本发明均等功率分配和加入注水算法功率分配的误码率对比图。从图中可以看出，加入功率分配之后，BL误码率降低了，而EL的误码率没有明显变化。因此，对误码率的影响而言，子载波分配比功率分配起着更重要的作用。
[0117] 图8给出了本发明方案和S-mod方案、MixCast方案恢复图像PSNR的对比图。从图(a)、(b)可以看出，对于Foreman序列和Soccer序列，本发明方案比S-mod方案分别提高了4dB和5dB。从图(c)可以看出，MixCast方案的视频质量有严重的退化，而本发明方案的PSNR变化则比较平滑。
[0118] 图9给出了在SNR＝14dB时，S-mod方案和本发明方案的恢复图像的对比图，可以看出，对于Foreman序列，本发明方案比S-mod方案提高了3.78dB；对于Soccer序列，本发明方案比S-mod方案提高了5.72dB。
[0119] 表1给出了上述三个视频序列在相同信噪比的情况下，不同帧数所对应的 PSNR的测试比较结果。可以看出，本发明方案比S-mod方案的PSNR有明显提高；MixCast方案的视频质量有严重退化，而本发明方案PSNR的变化则比较平滑，但是性能却没有明显提高。这使得本发明方案的恢复图像具有更好的主观和客观质量。同时，本方案使不同的接收者能够恢复与其信道条件相匹配的视频质量，从而实现了自适应的分层视频传输。
[0120] 表1
[0121]
[0122]
