在大多数无线多媒体通信系统中，信源编码和信道编码是分开考虑、独立设计的。这 一做法的依据是山农理论：如果信息传输速率R小于信道容量C，则存在一种信源编码和 一种信道编码方法，可以使信息在有噪信道中达到无误传输。然而在实际系统中，由于编 码延时和编码复杂度受限，信源编码不可能完全去除信息序列的冗余；而信道编码亦不能 达到山农极限的纠错性能。特别是在无线多媒体通信系统中，由于信源编码主要强调帧结 构特性而非冗余度压缩，而大量的数据需要在带宽受限并且受到各种突发严重干扰的信道 中传输，分离编码所带来的问题愈加严重，造成了无线多媒体通信的传输瓶颈。
信源信道联合编码技术将信源编码和信道编码进行联合优化，一方面可以利用信源编 码后的残留冗余帮助信道编码提高纠错性能，另一方面也可以根据信道编码不同码元的不 等差错保护特性，使得信道译码后的残余误码对信源解码的影响最小，非常适合无线多媒 体信道中的应用。
现有的信源信道联合编码方法主要有两种。方法一是传统的方法，即在进行信源编码 时考虑信道编码的特性，使得经过信源编码后的信息序列带有一定的冗余，在信道解码是 考虑这部分冗余，使得信道译码后的残留误码引起的误码扩散达到最小。这种方法可以有 效抑制信道编码码长有限所带来的误码扩散，但是信源的冗余应用的不充分，因而性能的 改进不明显。方法二是将信道编码的最新技术——Turbo编码与隐马尔可夫信源估计相结 合，在发送端直接对含有冗余的多媒体信源进行Turbo编码，在接收端把对有噪信源的冗 余度估计作为Turbo码的一个成分码，采用反馈式串行迭代的方法进行联合译码。通过这 种方法，在每一次联合迭代中，隐马尔可夫估计所得到的信源冗余可以改进信道码的纠错 性能，而经过信道码纠错后的信息序列反馈给隐马尔可夫估计作为下一次迭代的输入，可 以使对信源的估计做得更加准确，从而可以在下一次迭代中为信道解码提供更多的有用信 息。这一正反馈过程在不需事先知道信源冗余特性的前提下，可以使得信源的冗余和信道 Turbo码的纠错性能得到充分的利用。从而获得了逼近山农极限的信息传输性能。但是，在 联合迭代译码的过程中，由于Turbo码各成份码所采用的都是串行算法，同时迭代过程中 需要对信息序列进行多次交织/反交织，使得译码延时和译码复杂度过大，限制了这项技术 在实际系统中的应用。
发明内容
本发明的目的在于提出了一种基于LDPC编码的信源信道联合编码以解决现有的技术 之不足。
如图1所示，在发送端，含有冗余的信源输出序列不用经过信源压缩编码，直接进行 LDPC编码，得到包括信息序列和校验序列的码序列，然后送到下一级调制成适合在无线信 道中传输的波形，进行传输。在接收端，接收天线对接收到的信息序列进行解调，得到接 收序列。然后对接收序列采用联合信源估计、信道译码的方法进行解码，过程如下：首先， 对接收序列中的信息序列部分进行隐马尔可夫参数估计，并根据所得参数计算外信息，随 后将接收序列和信源估计所得的外信息序列作为信道译码的输入，进行LDPC迭代译码。 经过一定次数的迭代后，判断所得的硬判决译码结果是否为一个合法的码序列。如果是， 则迭代译码结束，输出该硬判决序列中的信息序列；如果不为一个合法码字，将经过LDPC 译码修正后的信息序列反馈给信源译码器，进行再次隐马尔可夫参数估计并计算相应的外 信息输出。然后用所得的外信息序列修正接收信息序列，继续进行LDPC迭代。直到所得 序列为一个合法码序列，或者迭代次数达到限定值。此时，输出硬判决信息序列，然后开 始下一个码矢量的联合译码。
本发明的特征在于，它是一种融合隐马尔可夫信源估计和低密度奇偶校验(LDPC)编 码的信源信道联合编码方法，它依次含有如下步骤：
(1)，在发送端，对含有冗余的信源输出序列用LDPC编码器进行LDPC编码，得到 包括信息序列和校验序列的码序列，再把它调制后送到无线信道进行传输；
(2)，在接收端，对接收到的信息序列解调，得到接收序列；
(3)，对接收序列采用联合信源估计、信道译码的方法进行解码，它依次含有如下步 骤：
(3.1)，在信源译码器中对接收序列中的信息序列进行隐马尔可夫参数估计，并根据所得 参数计算外信息；
(3.2)，再把接收序列和信源估计所得的外信息序列作为信道译码的输入，在LDPC译码 器中进行和积迭代译码；
(3.3)，经过一定次数的迭代后，判断所得的硬判决译码结果是否为一个合法的码序列：
如果是一个合法的码序列，则迭代译码结束，输出该硬判决序列中的信息序列；
如果不是一个合法的码序列，经过LDPC译码修正后的信息序列反馈给信源译码器， 再次进行隐马尔可夫参数估计并计算相应的外信息输出，然后用所得的外信息序列修正接 收信息序列，继续进行LDPC迭代，直到所得序列为一个合法码序列，或者迭代次数达到 极限值，输出硬判决信息序列；
(4)，如果需要，开始下一个码矢量的联合译码。
步骤(3)所述的联合译码方法用软件实现时依次含有如下步骤：
(a)译码器初始化：联合迭代的次数置为零，设置最大的联合迭代次数，同时设置在每 一次联合迭代中LDPC码的和积译码迭代次数；
(b)接收序列输入到译码器；
(c)译码器计算接收序列的硬判决，判断是否为一个合法码字：
如果是，输出相应硬判决结果，本次译码过程结束；
否则，对接收序列中的信息序列部分进行一次隐马尔可夫估计，并用所得的外信息修 正接收序列；计算经过修正后的接收序列的硬判决，并判断得到的结果是否为一个合法的 码字：
如果是，输出相应的硬判决结果，本次译码过程结束；
否则，进行规定次数的LDPC和积译码迭代，在结束迭代时联合译码的迭代次数加1， 随后判断联合迭代次数是否小于最大允许值：
如果是，返回到步骤(c)，继续执行相应的译码过程；
否则，计算并输出所得的硬判决结果；
(d)根据输入情况，判断是否需要进行下一次译码过程。
实验证明，它达到了预期目的。
附图说明
图1.本发明联合编码方法的原理框图。
图2.重复码的译码节点图。
图3.校验码的译码节点图。
图4.LDPC码的译码网格图。
图5.本发明联合估计/译码原理图。
图6.软件实现本发明联合译码算法的流程图。

本发明所述方法的原理及采用的算法说明如下：
一.首先，考虑在接收端采用含有传输差错的接收序列时进行隐马尔可夫信源估计的算 法。
考虑一个由转移状态参数为αij(i，j＝0，1)的两状态马尔可夫信源产生的二元比特序列 {uk，k＝1，2，…，K}，(式中K为信道码中信息比特的长度)。经过信道传输后，接收到的含 有噪声的信息序列为Rk(k＝1，2，…，K)，其中，R1 i表示从R1到Ri的符号序列。此外，根据 信道噪声的特性，在原来的马尔可夫模型中引入传输差错概率p，使原来转移概率为1路 径变为以概率1-p转移，而原来转移概率为0的路径则变为以概率p转移。这样，经过噪 声信道传输后所得的信息序列可以采用该扩展模型表示。在未知信源参数和信道传输差错 概率的条件下，接收端可以采用隐马尔可夫估计的方法，根据该扩展模型和接收序列得到 这两个参数，同时计算出相应的外信息。
假设该隐马尔可夫信源的初始参数为λ＝{p{u，sj|si}，π，u∈{0，1}，i，j＝0，1}，其中π为初 始状态，同时定义sk为隐马尔可夫信源的第k个状态，ek＝{sk-1＝i；uk；sk＝j}为第k 个转移路径，p{u，sj|si}为相应的转移概率，则对该模型参数的前后项迭代估计算法为：
${\alpha }_k\left(i\right)=P\{s_k=i|R_1^k,\lambda \}$
$=\frac{\underset{s_{k-1}}{\Sigma }\underset{u_k}{\Sigma }P\{s_{k-1}=j,u_k,s_k=i,R_1^{k-1},R_k|\lambda \}}{P\left\{R_1^{k-1}\right|\lambda \}·P\{R_k|R_1^{k-1},\lambda \}}$
$=\frac{\underset{s_{k-1}}{\Sigma }\underset{u_k}{\Sigma }{\alpha }_{k-1}\left(j\right)·P\{u_k,s_k=i|s_{k-1}=j,\lambda \}·P\{R_k\left|u_k\right\}}{P\left\{R_k\right|R_1^{k-1},\lambda \}}---\left(1\right)$
式中αk(i)为前项方程，并且
$P\left\{R_k\right|R_1^{k-1},\lambda \}=\underset{s_{k-1}}{\Sigma }\underset{u_k}{\Sigma }\underset{s_k}{\Sigma }P\{s_{k-1}=j,u_k,s_k=i,R_k|R_1^{k-1},\lambda \}$
$=\underset{s_{k-1}}{\Sigma }\underset{u_k}{\Sigma }\underset{s_k}{\Sigma }{\alpha }_{k-1}\left(j\right)·P\{u_k,s_k=i|S_{k-1}=j,\lambda \}·P\{R_k\left|u_k\right\}---\left(2\right)$
同样，后项方程βk(i)由下式给出：
${\beta }_k\left(i\right)=\frac{P\left\{R_{k+1}^K\right|s_k=i,\lambda \}}{P\left\{R_{k+1}^K\right|R_1^k,\lambda \}}$
$=\frac{\underset{u_{k+1}}{\Sigma }\underset{s_{k+1}}{\Sigma }P\{u_{k+1},s_{k-1}=j,R_{k+1},R_{k+2}^K|s_k=i,\lambda \}}{P\left\{R_{k+1}\right|R_1^k,\lambda \}·P\{R_{k+2}^K|R_1^{k+1},\lambda \}}$
$=\frac{\underset{u_{k+1}}{\Sigma }\underset{s_{k+1}}{\Sigma }P\{u_{k+1},s_{k-1}=j|s_k=i,\lambda \}·P\{R_{k+1}\left|u_{k+1}\right\}·{\beta }_{k+1}\left(j\right)}{P\left\{R_{k+1}\right|R_1^k,\lambda \}}---\left(3\right)$
因而，第k个转移路径的概率可以由下式得到：
$P\left(e_k\right)=P\{s_{k-1}=i,u_k,s_k=j|R_1^k,\lambda \}$
$=\frac{P\{s_{k-1}=i,u_k,s_k=j,R_1^K|\lambda \}}{P\left\{R_1^K\right|\lambda \}}$
$=\frac{P\{s_{k-1}=i,R_1^{k-1}|\lambda \}}{P\left\{R_1^{k-1}\right|\lambda \}}·\frac{P\{u_k,s_k=j|s_{k-1}=i,\lambda \}}{P\left\{R_k\right|R_1^{k-1},\lambda \}}$
$·\frac{P\left\{R_k\right|u_k\}·P\{R_{k+1}^K|s_k=j,\lambda \}}{P\left\{R_{k+1}^K\right|R_1^k,\lambda \}}$
$=\frac{{\alpha }_{k-1}\left(i\right)·P\{d_k,s_k=j|s_{k-1}=i,\lambda \}·P\{R_k\left|u_k\right\}·{\beta }_k\left(j\right)}{P\left\{R_k\right|R_1^{k-1},\lambda \}}---\left(4\right)$
注意到在隐马尔可夫模型的转移路径中，任意第k个路径ek都是由起始状态si，终止 状态sj，及其相应的信源输出u决定。从而，转移路径概率P{si，u，sj|λ}可以通过下式估 计：
$P\{s_1,u,s_1|\lambda \}=\frac{1}{K}\underset{k=1}{\overset{K}{\Sigma }}P\left(e_k\right|\lambda ),s_1,s_1\in \{s_0,s_1\},u\in \{\mathrm{0,1}\}---\left(5\right)$
据此，可以得到各路径的概率的修正式：
$P^{\text{'}}\{u,s_j|s_i,\lambda \}=\frac{P\{s_i,u,s_j|\lambda \}}{\underset{n}{\Sigma }\underset{s_j}{\Sigma }P\{s_i,u,s_j|\lambda \}}---\left(6\right)$
根据以上各式，噪声条件下隐马尔可夫信源的参数通过迭代修正为 λ′＝{p′{u.sj|si.λ}.π.u∈{0.1}.i.j＝0.1}.注意到，当信息序列的长度足够长时，初始状 态误差所带来的影响非常小，因而本算法去掉了对信源初始状态的估计过程。
通过上面所述的迭代过程，隐马尔可夫模型的转移路径参数可以被精确估计出来。根 据这些模型参数，隐含在信源序列的信息冗余可以被有效的提取出来，写成外信息的形式 为：
${\mathrm{LLR}}_e\left(u_k\right)=\ln \frac{\underset{s_{k-1}}{\Sigma }\underset{s_k}{\Sigma }{\alpha }_{k-1}\left(i\right)·P\{u_k=1,s_k=j|s_{k-1}=i,{\lambda }^{\prime }\}·{\beta }_k\left(j\right)}{\underset{s_{k-1}}{\Sigma }\underset{s_k}{\Sigma }{\alpha }_{k-1}\left(i\right)·P\{u_k=0,s_k=j|s_{k-1}=i,{\lambda }^{\prime }\}·{\beta }_k\left(j\right)}---\left(7\right)$
通过这些外信息，接收序列中的传输差错可以被有效的修正。作为一个例子，表1列 出了隐马尔可夫估计前后接收信息序列的误比特率。此次仿真的信源比特由一个熵率为0.81 比特/符号的二状态马尔可夫信源产生，每个信息序列的长度为5000比特，对每个Eb/N0(即 每个比特的平均信号功率与噪声功率的比值)下至少进行100万比特的仿真。由表1可见， 隐马尔可夫信源估计所得的外信息可以有效降低信道传输产生的差错。
表1.隐马尔可夫估计前后的信息序列的误比特率
  Eb/No(dB)   0.0187   0.265   0.466   0.63   0.915   隐马尔可夫估计   前的误比特率   0.1567   0.1513   0.1465   0.1406   0.1337   隐马尔可夫估计   后的误比特率   0.1295   0.1259   0.1216   0.1160   0.1084
二.采用LDPC码进行差错控制的译码方法为：
1.LDPC码的定义和参数：
LDPC码是一种二进制分组码，这种码采用超稀疏矩阵作为校验矩阵。矩阵中每行(每 列)中非零元素的个数非常稀少，且位置呈随机分布。为了便于描述，定义一行(一列) 中非零元素的个数为该行(列)的重量。由于LDPC码的校验矩阵为随机生成的矩阵，各 行(列)的重量不确定，因此采用重量分布式来描述这种矩阵。同一类LDPC码校验矩阵 的列重量分布可以用分布式表示为：
$\lambda \left(x\right)=\underset{i=2}{\overset{d_v}{\Sigma }}{\lambda }_i{x}^{i-1}---\left(8\right)$
式中λi表示重量为i的列在矩阵中所占的份量，dv为矩阵中列重量的最大的值。同样， 同一类LDPC码校验矩阵的行重量分布采用下式描述：
$\rho \left(x\right)=\underset{j=2}{\overset{d_c}{\Sigma }}{\rho }_j{x}^{j-1}---\left(9\right)$
式中pj表示重量为j的行在矩阵中所占的份量，dc为矩阵中行重量的最大值。由于 LDPC码是分组码，对于任何合法的码字V，与校验矩阵H的乘积为零，即H·VT＝0。由 该校验方程可知，校验矩阵中每列的非零元素只对应LDPC码的同一个码元，形成了一个 相当于重复码的约束。为了便于译码过程中的描述，定义这种约束关系为一个比特节点， 节点的阶数即为该列的重量。而校验矩阵中每行的非零元素，将所对应的LDPC码元映射 成一个相当于校验码的约束。同样定义这种校验关系为一个校验节点，节点的阶数即为该 行的重量。矩阵中的各个非零元素，既参与了比特节点的约束关系，又参与了校验节点的 约束关系，因而可以定义矩阵非零元素所对应的关系为连结这两种节点的“连结线”。在迭 代译码过程中，译码器利用矩阵的行和列所对应的校验节点和比特节点的约束关系进行迭 代译码。在一次迭代过程中，首先利用比特节点的约束关系进行译码，各比特节点的输入 为接收序列对应的对数似然值(即各个元符号取“1”的概率除以取“0”的概率再取自然 对数所得的值)以及相关校验节点在上一次迭代的输出；随后，比特节点的输出通过“连 结线”送到相应的校验节点，再利用校验节点的约束关系进行译码。在这个过程中，一种 节点的输出成为另外一种节点的输入，矩阵中非零元素所对应的“连结线”成为了这两种 节点输入输出交换信息的“通道”。对于码长为N比特，列重量分布和行重量分布分别由(8) (9)两式确定的LDPC码，其i阶比特节点的个数为：
$N_i=N·\frac{\frac{{\lambda }_i}{i}}{\underset{i=2}{\overset{d_v}{\Sigma }}\frac{{\lambda }_i}{i}}=N·\frac{\frac{{\lambda }_i}{i}}{{\int }_0^1\lambda \left(x\right)\mathrm{dx}},2\le i\le d_v---\left(10\right)$
同理，j阶校验节点的个数为：
$M_j=M·\frac{\frac{{\rho }_j}{j}}{\underset{j=2}{\overset{d_c}{\Sigma }}\frac{{\rho }_J}{j}}=M·\frac{\frac{{\rho }_j}{j}}{{\int }_0^1\rho \left(x\right)\mathrm{dx}}2\le j\le d_c---\left(11\right)$
式中M为一个LDPC码字中校验码元的长度。
2.LDPC码的译码：
LDPC码的译码充分应用了校验矩阵的超稀疏特性，通过比特节点和校验节点的约束关 系计算并输出外信息，并相互反馈，进行迭代译码。(外信息即所有同属于一个码字的其它 码元通过码字的约束关系而得到的关于某一个码元取值的信息，采用外信息交互是为了避 免迭代过程中出现正反馈。)当前，LDPC码的译码方法主要为和积译码方法。这种方法的 输入为接收序列的对数似然值，并在对数空间下通过利用比特节点和校验节点的约束关系 进行迭代译码。此时，比特节点的约束关系表现为“和”的形式，即各比特节点的输出是 各个输入对数似然值的和；而相应的校验节点则表现为某种“积”的形式，即各校验节点 的输出是各个输入对数似然值的某种“连乘积”。由于这个特点，该方法被称之为和积译码 方法。
以二元输入加性白高斯噪声信道下的信息传输系统为例，长为N-M比特的二进制信 息序列被LDPC编码器编成长度为N比特的LDPC码字。随后，该码字被调制成取值为±1 的符号序列在高斯信道中传输。在接收端，接收机经过匹配滤波后得到了一串含噪声干扰 的长度为N的实数序列R1 N，随后进行信号解调。高斯信道、BPSK调制下，第i个码元为1 而经调制和传输后接收机收到信号为Ri的概率为：
$P\left(R_i\right|v_i=1)=\frac{1}{\sqrt{2{\mathrm{\pi \sigma }}^2}}\exp \{-\frac{1}{{2\sigma }^2}{(R_1-1)}^2\},1\le i\le N---\left(12\right)$
其中σ2为信道噪声的标准方差。
同样，第i个码元为0而经调制和传输后接收机收到信号为Ri的概率为：
$P\left(R_i\right|v_i=0)=\frac{1}{\sqrt{{2\mathrm{\pi \sigma }}^2}}\exp \{-\frac{1}{2{\sigma }^2}{(R_i+1)}^2\}1\le i\le N---\left(13\right)$
由贝叶斯定理，得到：
$P(v_i=1|R_i)=\frac{P\left(R_i\right|v_i=1)·P(v_i=1)}{P\left(R_1\right)}---\left(14\right)$
$P(v_i=0|R_i)=\frac{P\left(R_i\right|v_i=0)·P(v_i=0)}{P\left(R_i\right)}.---\left(15\right)$
在发送过程中，码元符号取0和1的概率相等。为了便于解调信号的输出，通常采用 对数似然比的形式表示接收到的第i个码元取值的最大后验概率：
$\mathrm{LLR}\left(R_i\right)=\ln \frac{P(v_i=+1|R_i)}{P(v_i=-1|R_i)}---\left(16\right)$
由以上各式，得：
$\mathrm{LLR}\left(R_i\right)=\ln \frac{P(v_i=+1|R_i)}{P(v_i=-1|R_i)}=\ln \frac{P\left(R_i\right|v_i=+1)}{P\left(R_i\right|v_i=-1)}$
$=\ln \frac{\frac{1}{\sqrt{{2\mathrm{\pi \sigma }}^2}}\exp \{-\frac{1}{2{\sigma }^2}{(R_i-1)}^2\}}{\frac{1}{\sqrt{{2\mathrm{\pi \sigma }}^2}}\exp \{-\frac{1}{{2\sigma }^2}{(R_i+1)}^2\}}=\frac{2}{{\sigma }^2}{R}_i$
$=\mathrm{sign}\left(R_i\right)·\left|\frac{2}{{\sigma }^2}{R}_i\right|---\left(17\right)$
式中Sign(·)为符号函数。上式中，第一项符号函数表示了由接收信号得到的原发送信 号取值概率的比较结果。符号函数取正值表示原码元符号为1的概率大于为0的概率：取 负值则表示原妈元符号为0的概率大于为1的概率。而第二项绝对值的大小则表示了该符 号取l的概率与取0的概率之间的差异程度。绝对值越大，则两个概率值的差异越大。因 此，(17)式根据每个接收信号提供了两个信息，一个信息为原信号最可能取哪个值，另一 个信息则表示了这种判断的可靠程度。接收机的这种解调过程充分保留了原信号的信息， 被称为“软解调”，或者“软判决”，相应的软判决输出称为“软信息”。
解调器输出的软信息被送到LDPC译码器进行译码。LDPC译码器的译码充分利用了校 验矩阵的超稀疏特性，将校验矩阵的约束关系分解为行的校验码约束关系和列的重复码约 束关系，通过利用这两种约束关系的相互反馈，进行迭代译码。为了便于了解在这两种约 束关系下的译码过程，下面首先讨论重复码和校验码的译码过程。
1)重复码的约束关系及其译码：
重复码的编码即是将输入的信息符号进行N-1次重复，从而得到一个长为N的码字 V1 N。因此，重复码只有两个合法码字：全0码字01 N和全1码字11 N。经过调制、传输、解 调以后，译码器根据调制器提供的软信息进行译码。在接收到的信号序列为R1 N的前提下， 根据重复码的约束关系进行译码，得到一个采用对数似然比表示的输出序列U1 N。其中，第 i个符号最大后验概率取值的对数似然比为：
$\mathrm{LLR}\left(u_i\right)=\ln \frac{P(v_i=1|R_1^N)}{P(v_i=0|R_1^N)}=\ln \frac{P(v_i=1,R_1^N)}{P(v_i=0,R_1^N)}$
$=\ln \frac{{\Sigma }_{\underset{i^{\prime }\ne i}{1\le i^{\prime }\le N}}···\mathrm{\Sigma p}(v_1,v_2,···,v_i=1,···,v_N,R_1^N)}{{\Sigma }_{\underset{i^{\prime \ne i}}{1\le i^{\prime }\le N}}···\mathrm{\Sigma p}(v_1,v_2,···,v_i=0,···,v_N,R_1^N)}$
$=\ln \frac{{\Sigma }_{\underset{i^{\prime }\ne i}{v_{i^{\prime }}\in i_1^{\prime N}}}···\mathrm{\Sigma p}(v_1,v_2,···,v_i=1,···,v_N)·p\left(R_1^N\right|v_1,v_2,···,v_i=1,···,v_N)}{{\Sigma }_{\underset{i^{\prime }\ne i}{v_{i^{\prime }}\in i_1^{\prime N}}}···\mathrm{\Sigma p}(v_1,v_2,···,v_i=0,···,v_N)·p\left(R_1^N\right|v_1,v_2,···,v_i=0,···,v_N)}---\left(18\right)$
由于重复码只有全0和全1两个码字，因而上式中分子分母乘积项中的第一项只有在 码字分别为全1码字和全0码字时，概率才不为0。从而，(18)式可以继续化简为：
$\mathrm{LLR}\left(u_i\right)=\ln \frac{p\left(R_1^N\right|V_1^N=1_1^N)}{p\left(R_1^N\right|V_1^N=0_1^N)}=\ln \frac{\underset{i^{\prime }=1}{\overset{N}{\Pi }}p\left(R_{i^{\prime }}\right|v_{i^{\prime }}=1)}{\underset{i^{\prime }=1}{\overset{N}{\Pi }}p\left(R_{i^{\prime }}\right|v_{i^{\prime }}=0)}---\left(19\right)$
$=\underset{i^{\prime }}{\overset{N}{\Sigma }}\mathrm{LLR}\left(v_{i^{\prime }}\right)=\mathrm{LLR}\left(v_i\right)+\underset{i^{\prime }\ne i}{\Sigma }\mathrm{LLR}\left(v_{i^{\prime }}\right)$
上式中结果的第一部分是码元i接收信号的对数似然比值，为码元本身所具有的信息， 称为“先验信息”；第二部分是码字中其它码元根据码字的约束关系而提供的关于码元i的 取值信息，称为“外信息”。由于先验信息为各个码元本身就有，因而在译码过程中译码器 只需给每个码元反馈相应的外信息。重复码的译码关系可以采用图2所示的一个节点图来 表示。
图2中的节点共有N条连结线，对应N个码元。这些连结线既可以作为输入也可以作 为输出，分别对应N个码元的输入和译码输出。在一次译码过程中，接点通过N条连结线 收到以对数似然比的形式表示的解调信息序列，随后，通过节点的运算，译码结果也通过 这些连结线输出N个码元的外信息。其中，每条连结线的输出为其它各条连结线的输入值 的累加和。在对LDPC码译码的描述中，重复码的这种译码节点也被称为“比特节点”。
2)校验码的约束关系及其译码：
以码率为N-1/N的校验码为例，长为N-1个比特的信息序列经过编码后得到一个码长为 N的校验码，码元之间的约束关系可以用如下的关系式表示：
v1v2…vN＝0                                        (20)
式中表示二进制和，即二进制逻辑中的“异或”。校验码所得的码字V1 N经过调制、 传输、解调后，得到包含该码字信息的一个软信息序列LLR(R1 N)。校验码译码器即根据这 个软信息序列进行译码。定义二元符号ei为码字中除了第i个码元vi外其它所有码元的二进 制和，则由(20)式可得：
viei＝0                                                (21)
由二进制的异或关系以及(21)式，得码元vi与符号ei取值相同。因而，码元vi与符 号ei形成一个相当于重复码的关系。由上面重复码所讨论得到的结果可知，码元vi通过译 码后所得的后验信息为：
$\mathrm{LLR}\left({\hat{v}}_i\right)=\mathrm{LLR}\left(v_i\right)+\mathrm{LLR}\left(e_i\right)---\left(22\right)$
显然，(22)式中的第二项就是在译码过程中译码器根据整个码序列的约束关系反馈给 码元vi的外信息。下面，我们以码长为3的校验码为例，推导外信息的表示式。不失一般 性，我们讨论第一个码元的外信息表示式。在码长为3比特的情况下，符号e1取值为1的 概率为：
p(e1＝1)＝p(v2＝1)·p(v3＝0)+p(v2＝0)·p(v3＝1)
＝p(v2＝1)·(1-p(v3＝1))+(1-p(v2＝1))·p(v3＝1)                     (23)
＝p(v2＝1)+p(v3＝1)-2p(v2＝1)·p(v3＝1)
从而，
1-2p(e1＝1)＝1-2p(v2＝1)-2p(v3＝1)+4p(v2＝1)·p(v3＝1)
＝(1-2p(v2＝1))·(1-2p(v3＝1))                               (24)
引入一个函数：
$\Phi \left(x\right)=\tanh (-\frac{1}{2}x)=\frac{\exp (-\frac{1}{2}x)-\exp \left(\frac{1}{2}x\right)}{\exp (-\frac{1}{2}x)+\exp \left(\frac{1}{2}x\right)}=\frac{1-\exp \left(x\right)}{1+\exp \left(x\right)}---\left(25\right)$
那么，
$\Phi \left(\mathrm{LLR}\left(e_1\right)\right)=\Phi \left(\ln \frac{p(e_1=1)}{p(e_1=0)}\right)=\frac{1-\exp \left(\ln \frac{p(e_1=1)}{p(e_1=0)}\right)}{1+\exp \left(\ln \frac{p(e_1=1)}{p(e_1=0)}\right)}=1-2p(e_1=1)---\left(26\right)$
由(24)、(26)式，得码元v1的：外信息表示形式为：
LLR(e1)＝Φ-1(Φ(LLR(v2)·Φ(LLR(v3))                       (27)
(27)式可以推广到任意一个码元，也可以推广到码长大于3比特的情况。在码长为N 比特得情况下，码元i的外信息为：
$\mathrm{LLR}\left(e_i\right)={\Phi }^{-1}\left(\underset{i^{\prime }\ne i}{\underset{1\le i^{\prime }\le N}{\Pi }}\Phi \left(\mathrm{LLR}\left(v_i\right)\right)\right)---\left(28\right)$
校验码的这种译码运算关系也可以采用一个节点来表示，如图3所示：
图3中节点具有N个连结线，对应N个码元；每根连结线既是输入也是输出。其中， 输入对应于输入到译码器的软信息序列，输出则是译码器通过运算反馈给各个码元符号的 外信息。在一次译码中，每根连结线输入该码元解调后得到的软信息到节点，随后节点通 过运算，给每个连结线一个外信息输出。注意到，图3中每根连结线的输出是以其它所有 连结线的输入值作为输入的运算结果。在后续LDPC码的译码中，校验码的这种译码节点 被称为“校验节点”。
3)具体的译码过程：
信息序列经过LDPC码的编码、调制、传输后，由接收机进行匹配滤波，得到相应的 包含LDPC码字信息的接收序列R1 N，随后这个序列被送到LDPC码译码器进行纠错译码。 在一次译码过程中，译码器首先对接收序列进行解调，把接收序列转化为软信息的形式； 随后，利用LDPC码的校验方程H·VT＝0进行译码。注意到LDPC码的校验矩阵为超稀疏 矩阵，每行/列的非零元素个数非常稀少。由校验方程知，矩阵的每行LDPC码的乘积，实 际上是与该行非零元素相乘的码元的二进制和。由校验码的约束方程可知，这些码元构成 了一个校验码的约束。由于校验矩阵有M行，因而一共能得到M个校验码。通过采用校验 码的译码方法，每个校验码都可以在各自的约束关系下给各个码元一个反映该码元取值情 况的外信息输出。而对于校验矩阵的每一列，由于其元素在校验矩阵与码字的乘法中只与 同一个码元相乘，而该列的每个非零元素都对应一个校验码对该码元符号取值情况的输出。 于是，这些校验码的输出与接收到的码元软信息一起，构成了一个重复码的约束。由于校 验矩阵共有N列，因而可以得到N个重复码，分别与LDPC码字的N个码元对应。LDPC 码的译码即是通过将校验矩阵的约束关系分解为这M个校验码和N个重复码的约束关系， 通过这两种码的译码输出相互反馈为对方的输入，进行并行迭代译码。由以上关于重复码 和校验码的讨论，LDPC码的译码网格图可以由图4表示：
首先，接收序列被译码器转化为软信息后，译码器将所有校验节点的初始输出设为0， 随后根据接收序列的软信息和校验节点的初始输出进行N个比特节点的同时译码。这些比 特节点对各个码元的外信息输出，被通过连结线送到相应的校验节点，随后M个节点同时 进行校验码的译码，每个校验节点的对每个码元符号的译码输出都通过连结线反馈回相关 的比特节点。在下一次迭代开始时，每个比特节点都将自己所有的输入累加，得到一个码 元的后验信息，随后根据这个后验信息进行硬判决译码。N个比特节点的硬判决译码得到 一个码字的估值信息序列。如果校验矩阵与这个估值信息序列的乘积为零，则译码器停止 迭代译码并输出这个估值作为译码结果；否则，译码器进行下一次比特节点-校验节点的 译码迭代，直到所得估值序列为一个合法LDPC码字或者达到最大迭代次数为止。译码器 的输出为最后一次得到的硬判决估值序列。
设rij为从校验节点j输出到比特节点i的外信息，qij为从比特节点i到校验节点j的外 信息，该和积译码方法的迭代过程包括如下步骤：
1)译码初始化：对于接收到的实数序列R1 N，对应的LDPC码第i个码元的初始接收 值被译码器解调成对数似然比的形式：
$\mathrm{LLR}\left(R_i\right)=\frac{2}{{\sigma }^2}{R}_i,1\le i\le N---\left(29\right)$
式中LLR表示取值为对数似然比，σ2为信道噪声的标准方差。同时，初始条件下校 验节点没有任何关于码字的信息，故设置校验节点j输出到比特节点i的外信息为：
LLR(rij)＝0                                     (30)
2)若所得到的序列的硬判决结果不为一个合法的码字(其中硬判决是指根据序列各 个符号的对数似然值决定各个码元符号的比特取值，对数似然值为正数则码元取符号“1”， 为负数则码元取符号“0”)，执行一次和积译码的迭代过程为：
a)比特节点的译码：在这种节点的约束关系下，输出与输入的关系为“和”的关 系，即比特节点i到校验节点j的外信息输出为：
$\mathrm{LLR}\left(q_{\mathrm{ij}}\right)=\underset{\underset{j^{\prime }\ne j}{j^{\prime }\in \mathrm{Col}\left[i\right]}}{\Sigma }\mathrm{LLR}\left(r_{\mathrm{ij}}\right)+\mathrm{LLR}\left(R_i\right)---\left(31\right)$
式中Col[i]表示校验矩阵H第i列非零元素的位置集合。
b)校验节点的译码：在校验节点的约束关系下，输出与输入的关系为某种“积” 的关系，即校验节点j输出到比特节点i的外信息为：
$\mathrm{LLR}\left(r_{\mathrm{ij}}\right)={\Phi }^{-1}\left(\underset{i^{\prime }\ne i}{\underset{i^{\prime }\in \mathrm{Row}\left[j\right]}{\Pi }}\Phi \left(\mathrm{LLR}\left(q_{i^{\prime }j}\right)\right)\right)---\left(32\right)$
式中Row[j]表示校验矩阵H第j行非零元素的位置集合，并且
$\Phi \left(x\right)=\tanh (-\frac{1}{2}x)---\left(33\right)$
3)迭代后所得的第i个比特节点的译码结果为该节点所有输入的和：
$\mathrm{LLR}\left({\hat{v}}_i\right)=\underset{j^{\prime }\in \mathrm{Col}\left[i\right]}{\Sigma }\mathrm{LLR}\left(r_{{\mathrm{ij}}^{\prime }}\right)+\mathrm{LLR}\left(R_i\right)---\left(34\right)$
对所得到的译码结果进行如下的硬判决，然后转移到第二步。其中第i个码元符号的硬 判决为：
${\hat{u}}_i=\left\{\begin{array}{ccc}1& \mathrm{if}& \mathrm{LLR}\left({\hat{v}}_i\right)>0\\ 0& \mathrm{if}& \mathrm{LLR}\left({\hat{v}}_i\right)<0\end{array}---\left(35\right)\right.$
4)如果需要进行下一个码字的译码，跳转到第一步；否则，结束译码。
这种译码方法充分利用了超稀疏矩阵中比特节点和校验节点的性质，以及接收序列的 软信息，因而可以以很低的译码复杂度得到了逼近山农极限的译码性能。同时，该算法为 并行算法，可以有效降低译码延时。
三.结合以上两个算法，本发明提出了融合隐马尔可夫估计和LDPC编码的联合信源信 道译码方法。
本发明基于LDPC码的随机码特性，在发送端去掉了交织器，直接将信源序列与信道 编码级联起来。在译码端，该联合译码的结构图如附图5所示。图中上半部分为LDPC码 的比特一校验节点，下部分的节点E表示对信源信息比特序列的隐马尔可夫估计。在本发 明的迭代译码算法中，对接收序列R1 K的隐马尔可夫估计首先进行，利用所得的外信息序列 {LLRe(ui)，1≤i≤K}对接收序列进行修正：
$\left\{\begin{array}{cc}\mathrm{LLR}\left(p_i\right)=\frac{2}{{\sigma }^2}{R}_i+{\mathrm{LLR}}_e\left(u_i\right)& 1\le i\le K\\ \mathrm{LLR}\left(p_i\right)=\frac{2}{{\sigma }^2}{R}_i,& K+1\le i\le N\end{array}---\left(36\right)\right.$
随后，将经过修正后的序列送到信道译码器，在比特节点{vi，1≤i≤N}和校验节点 {cj，1≤j≤M}之间进行LDPC迭代译码。如图5所示，图中上半部分为LDPC码的比特- 校验节点，下部分的节点E表示对信源信息比特序列的隐马尔可夫估计。整个联合译码过 程包括以下步骤：
首先，在隐马尔可夫估计结点5c，对接收信息序列的隐马尔可夫估计首先进行，随后 将所得的外信息序列{LLRe(ui)，1≤i≤K}输出到比特节点5a。在比特节点5a，对接收序列按 照(36)式进行修正，同时按照(30)式进行初始化。然后，根据(34)(35)式计算各比 特节5a点的硬判决输出并判断是否为一个合法的LDPC码字。如果是一个合法的码字，则 译码结束，输出相应的硬判决结果；否则，执行一次迭代过程：比特节点5a根据(31)式 计算各节点的输出，通过节点间连线5d送到相应的校验节点5b作为输入；校验节点5b再 按照(32)式计算反馈给各比特节点5a的外信息，并把它作为比特节点5a下一次迭代的 输入。完成这些运算后，迭代次数加1。在下一次迭代开始时，各比特节点5a再次根据(34) (35)式计算硬判决输出并判决是否为一个合法码字。如果是一个合法码字，则结束译码 迭代，输出相应的硬判决序列；否则，再次执行一次迭代过程。经过一定次数的和积译码 迭代后，如果得到的硬判决系列不为一个合法码字，则将经过信道译码所得外信息修正的 信息序列反馈回信源译码器5c，进行隐马尔可夫估计，随后，将所得的外信息序列输出到 比特节点5a，继续进行LDPC译码迭代。直到得到一个合法码字或者迭代次数达到最大。 在这种情况下，输出所得的硬判决信息序列作为译码结果。整个联合译码过程可以总结如 下：
1)根据接收序列R1 K，执行一次如上所描述的隐马尔可夫估计过程，所得的外信息通 过连线传送到相应的信息比特节点；
2)采用和积译码算法进行一定次数(可以根据实际计算复杂度和纠错性能的需要选择 5，10，20次)的LDPC码的译码迭代，然后计算相应的硬判决输出；
3)如果步骤2)所得的硬判决输出不是一个合法的LDPC码字，并且迭代次数小于最大 允许的迭代次数，将信道译码所得到的外信息以及接收信息序列反馈给信源译码器，重新 进行一次隐马尔可夫迭代一LDPC迭代联合译码过程；否则，推出联合译码过程并输出所得 的硬判决序列。
注意到，在本发明的算法中，对信源的冗余度估计先于LDPC码的译码进行，这样获 得一定的有用信息，在一定程度上降低接收序列中的差错水平。从而可以使LDPC码的迭 代译码更快的收敛到正确的码字上。此外，本发明采用了一次隐马尔可夫迭代和多次LDPC 和积迭代译码相结合的联合估计/译码方法，不仅可以使LDPC码的强大纠错性能得以充分 发挥，还可以使得后续每次信源估计做得更加准确有效，从而可以给信道译码提供更多的 有用信息。同时，该方法还有效降低了译码复杂度和译码延时。
下面，根据附图和实施例来更加详细的解释本发明：
实施例一：本实施例为实现本发明提出的联合编码方法的系统流程，如图1所示，包 括以下步骤：在发送端，含有冗余的信源11输出序列12，不用经过信源压缩编码，而直接 通过LDPC编码器13进行信道编码，得到包括信息序列和校验序列的码序列14，然后送到 下一级调制成适合在无线信道15中传输的波形，进行传输。在接收端，接收天线对接收到 的信息序列进行解调，得到接收序列16。然后对接收序列采用联合信源估计、信道译码的 方法进行解码，过程如下：首先，在信源译码器18中对接收序列16中的信息序列17进行 隐马尔可夫参数估计，并根据所得参数计算外信息，随后将接收序列16和信源估计所得的 外信息序列19作为信道译码的输入，在LDPC译码器1a中进行和积迭代译码。经过一定 次数的迭代后，判断所得的硬判决译码结果是否为一个合法的码序列。如果是一个合法的 码序列，则迭代译码结束，输出该硬判决序列中的信息序列1b；如果不为一个合法码字， 将经过LDPC译码修正后的信息序列1c反馈给信源译码器18，进行再次隐马尔可夫参数估 计并计算相应的外信息输出。然后用所得的外信息序列修正接收信息序列，继续进行LDPC 迭代。直到所得序列为一个合法码序列，或者迭代次数达到限定值。此时，输出硬判决信 息序列1b，然后开始下一个码矢量的联合译码。
实施例二：本实施例为采用软件实现本发明提出的联合译码方法的一般流程，如图6 所示，译码开始时，译码器从步骤6a转到6b，进行初始化：联合迭代的次数置为0，设置 最大的联合迭代次数，同时设置在每一次联合迭代中LDPC码的和积译码迭代次数。随后， 在步骤6c，接收序列输入到译码器；在步骤6d，译码器计算接收系列的硬判决，并判断是 否为一个合法码字。如果是，则跳转到步骤6i，输出相应的硬判决结果，随后结束本次译 码过程；否则，译码器转到步骤6e，对接收序列中的信息序列部分进行一次隐马尔可夫估 计，并用所得的外信息修正接收序列。完成这些运算后，译码器转到步骤6f，计算经过修 正后的接收序列的硬判决，并判断所得的结果是否为一个合法码字。如果是，则跳转到步 骤6i，输出相应的硬判决结果，随后结束本次译码过程；否则，译码器转到步骤6g，进行 特定次数的LDPC和积译码迭代，在结束迭代时联合译码的迭代次数加1。随后，译码器在 步骤6h判断联合迭代次数是否小于最大允许值。如果是，则跳转到步骤6d，继续执行相应 的译码过程；否则，译码器转到步骤6i，计算并输出所得的硬判决结果。在步骤6j，译码 器根据输入情况判断是否需要进行下一次译码过程。如果是，则跳转到步骤6c，开始下一 个接收序列的译码；否则，译码器结束译码状态。
应当指出，本发明的方法还可以推广应用到其它诸如高清晰度有线电视广播系统等高 数据率、高可靠性的宽带有线通信系统中去。
本发明的效果是，通过隐马尔可夫信源估计和LDPC码的结合，得到了与方法二同样 接近山农极限的信息传输性能；同时，通过利用LDPC码的随机码特性省去联合解码中的 交织过程，并且利用LDPC码的迭代译码算法的并行特性，可以得到比方法二小得多的译 码复杂度和译码延时。因此，与已有的方法相比，本发明的联合编码方法更适合于无线多 媒体通信系统的应用。