技术领域
[0001] 本
发明涉及一种视频
信号的编码压缩方法，尤其是涉及一种立体视频非对称编码方法。
背景技术
[0002] 与二 维(2D，Two Dimensional)视 频显 示 相比，立体 /三维 (3D，Three Dimensional)视频显示与人的视觉更加匹配，它使人们在屏幕上观看图像时富有立体感和
沉浸感。近年来，美、欧、日、韩等政府和企业纷纷投入巨资进行立体电视/三维电视(3DTV，ThreeDimensional Television)的研究和开发，包括美国国家自然科学基金会、美国海军研究
能源部、美国先进的可视技术中心、欧盟第六
框架协议的3DTV计划、欧盟ATTEST计划、欧洲信息技术计划、德联邦政府教育研究科学技术部以及英国工程与自然科学研究委员会等，日本和韩国各自正在发展集获取、编码、传输以及立体显示于一体的3DTV系统或具有
立体视觉感的3D远程通信。国际标准组织ISO/IEC MPEG与ITU-T VCEG也开展了立体视频压缩应用标准制定的相关工作。
[0003] 立体视频摄取系统常用的摄取方法是从左右两个视
角对同一场景进行拍摄，立体视频摄取系统摄取得到的立体视频包括左右两个视点视频，左视点视频中某一时刻的图像与右视点视频中同一时刻的图像即两个视点视频的图像对之间存在很强的数据相关性。针对立体
视频编码，国际标准组织MPEG-3DAV提出了四种立体视频编码方法：第一种，左右视点均采用独立的MPEG-4编码；第二种，考虑左右视点相关性而不考虑右视点
视差预测的残差；第三种，考虑左右视点相关性和右视点视差预测的残差；第四种，利用MPEG-4时域分级编码应用于立体视频编码过程中的相关
信号处理技术包括快速视差与
运动估计、视差场与运动场的关联性等等，这四种立体视频编码方法在近几年都取得了一定的进展。
[0004] 现有的立体视频编码的研究更多地考虑了视点间的冗余信息，但对于立体视频的视觉冗余信息却缺乏足够的重视。
心理学研究结果表明，立体视觉中存在掩蔽效益，即构成立体视频的两个视点视频，
质量好的视点视频的质量对立体视频的整体质量贡献较大。考虑到移动3DTV无线网络带宽的限制，利用人类立体视觉系统的这一特性，对立体视频采用非对称编码方法，即对左视点视频进行正常编码，对右视点视频进行下
采样或多
分辨率滤波，这种非对称编码方法通过降低右视点视频的质量来达到进一步节省码流的效果。但是采用这种非对称编码方法，为了在编码端进行视点间预测，需要对
下采样的右视点视频重新进行上采样，因此，编码复杂度会有所增加，并且码流节省被限制在一定的范围之内，导致该非对称编码方法仍不能很好地应用于移动3DTV。
发明内容
[0005] 本发明所要解决的技术问题是提供一种能够充分地消除立体视频的视觉冗余信息，有效地提高立体视频的编码效率，并能够降低编码复杂度的立体视频非对称编码方法。
[0006] 本发明解决上述技术问题所采用的技术方案为：一种立体视频非对称编码方法，包括以下步骤：
[0007] ①将外部立体视频捕获工具捕获得到的未经处理的且
颜色空间为YUV的立体视频定义为原始立体视频，在
空域上该原始立体视频包括左视点原始视频和右视点原始视频，左视点原始视频主要由若干个
帧组的左视点图像组成，右视点原始视频主要由若干个帧组的右视点图像组成，其中，YUV颜色空间的三个分量的第1个分量为
亮度分量并记为Y、第2个分量为第一
色度分量并记为U及第3个分量为第二色度分量并记为V；
[0008] ②从原始立体视频中选取一幅左视点图像的峰值
信噪比与右视点图像的
峰值信噪比差值最小的立体图像，将该立体图像作为测试图像；然后令测试图像中的左视点图像的质量不变，且测试图像中的右视点图像的质量变化，通过主观实验测定人眼可
感知立体视觉变化时测试图像中的左视点图像的最小可辨变化值；
[0009] ③首先任取一个编码量化参数作为左视点图像的基本编码量化参数，根据左视点图像的基本编码量化参数和最小可辨变化值，获取一个值大于等于左视点图像的基本编码量化参数的最佳的编码量化参数作为右视点图像的基本编码量化参数；然后根据设定的
编码预测结构，采用左视点图像的基本编码量化参数，在时域上以帧组为编码单元对左视点原始视频的各个帧组中的各个左视点图像的亮度分量Y、第一色度分量U和第二色度分量V分别进行编码，得到左视点码流，采用右视点图像的基本编码量化参数，在时域上以帧组为编码单元对右视点原始视频的各个帧组中的各个右视点图像的亮度分量Y进行编码，得到右视点码流；
[0010] ④采用
块匹配法计算右视点原始视频中每一时刻的右视点图像和左视点原始视频中对应时刻的左视点图像之间的视差图像，然后对每一时刻的视差图像进行无失真
熵编码得到每一时刻的视差场码流；
[0011] ⑤根据设定的编码预测结构逐帧输出左视点码流、右视点码流及视差场码流得到最终的编码码流，然后服务端通过网络将最终的编码码流传输给用户端；
[0012] ⑥用户端分别对服务端发送来的左视点码流、右视点码流和视差场码流进行解码，得到左视点的视频数据、右视点的视频数据和视差场信息；然后利用解码得到的左视点的视频数据、右视点的视频数据和视差场信息，通过色度重构操作重构获取解码得到的右视点的视频数据中各个时刻的右视点图像的第一色度分量U和第二色度分量V。
[0013] 所述的步骤③的具体过程为：
[0014] ③-1、任取一个编码量化参数作为左视点图像的基本编码量化参数，并记为QP1；
[0015] ③-2、根据左视点图像的基本编码量化参数QP1，获取多个值大于等于QP1且各不相同的编码量化参数，并将这些编码量化参数作为右视点图像的候选的编码量化参数，记为QP2′，QP2′＝QP1+ΔQP，ΔQP∈[0，5]；
[0016] ③-3、根据设定的编码预测结构，采用左视点图像的基本编码量化参数QP1对左视点原始视频的第1个帧组中的各个左视点图像的亮度分量Y进行编码，获取左视点原始视频的第1个帧组中的所有左视点图像的亮度分量Y的峰值信噪比的平均值，记为PSNR1；
[0017] ③-4、根据设定的编码预测结构，分别采用各个候选的编码量化参数对右视点原始视频的第1个帧组中的各个右视点图像的亮度分量Y进行编码，分别获取右视点原始视频的第1个帧组中的所有右视点图像的亮度分量Y的峰值信噪比的平均值，记为PSNR2；
[0018] ③-5、分别计算PSNR1与各个PSNR2的差值，记为SUBPSNR，然后找出与最小可辨变化值的差值最小的SUBPSNR，再将找出的SUBPSNR对应的候选的编码量化参数QP2′确定为右视点图像的基本编码量化参数，并记为QP2；
[0019] ③-6、根据设定的编码预测结构，采用左视点图像的基本编码量化参数QP1对左视点原始视频的各个帧组中的各个左视点图像的亮度分量Y、第一色度分量U和第二色度分量V分别进行编码，得到左视点码流，采用右视点图像的基本编码量化参数QP2仅对右视点原始视频的各个帧组中的各个右视点图像的亮度分量Y进行编码，得到右视点码流。
[0020] 所述的步骤③-1中左视点图像的基本编码量化参数QP1的值为[22，50]区间内的一个正整数。
[0021] 所述的步骤④中对每一时刻的视差图像进行无失真熵编码过程中，采用CABAC无失真编码技术进行编码压缩。
[0022] 所述的步骤⑥中通过色度重构操作重构获取解码得到的右视点的视频数据中各个时刻的右视点图像的第一色度分量U和第二色度分量V的具体过程为：
[0023] ⑥-1、定义解码得到的右视点的视频数据中当前正在处理的右视点图像为当前右视点图像；
[0024] ⑥-2、根据当前右视点图像到与当前右视点图像同一时刻的左视点图像的视差矢量，判断当前右视点图像中的
像素s与同一时刻的左视点图像中与像素s相对应的像素r的亮度分量是否相同，如果像素s与像素r的亮度分量相同，则确定像素s的第一色度分量U(s)和第二色度分量V(s)分别与像素r的第一色度分量U(r)和第二色度分量V(r)相同，否则，假定像素s的第一色度分量U(s)和第二色度分量V(s)与亮度分量Y(s)分别存在线性关系，U(s)＝aY(s)+b，V(s)＝cY(s)+d，通过计算当前右视点图像中的像素s的第一色度分量的最小成本J(U)和第二色度分量的最小成本J(V)得到像素s的第一色度分量U(s)和第二色度分量V(s)，其中，U(r)为像素r的第一色度分量，V(r)为像素r的第二色度分量，a、b和c、d分
别为像素s的第一色度分量U(s)和第二色度分量V(s)的线性系数，wsr为加权参数，
Y(r)为像素r的亮度分量，N(s)为以像素s为中心的邻域窗口，σs为
像素s的亮度分量Y(s)在邻域窗口N(s)的标准差；
[0025] ⑥-3、将解码得到的右视点的视频数据中下一个待处理的右视点图像作为当前右视点图像，返
回执行步骤⑥-2重构当前右视点图像的第一色度分量和第二色度分量，直至解码得到的右视点的视频数据中的所有右视点图像的第一色度分量和第二色度分量重构完毕。
[0026] 所述的设定的编码预测结构采用公知的HBP编码预测结构。
[0027] 所述的步骤②的具体过程为：
[0028] ②-1、首先从原始立体视频中选取一幅左视点图像的峰值信噪比与该左视点图像对应的右视点图像的峰值信噪比的差值最小的立体图像，将该立体图像作为测试图像，然后利用H.264视频编码标准，从高、中、低质量段任取一个编码量化参数对测试图像的左视点图像以帧内编码方式进行编码，记对测试图像的左视点图像进行编码所采用的编码量化参数为QPL，将编码得到的左视点图像定义为A质量点的左视点图像，记为LA，再采用N个不同的编码量化参数分别对测试图像的右视点图像以帧内编码方式进行编码，获得所需的N幅质量各不相同的右视点图像，其中，对测试图像的右视点图像进行编码所采用的N个不同的编码量化参数分别为QPL-1、QPL、QPL+1、QPL+2、......，如果(51-(QPL-1)+1)＞15，则N＝15，否则，N＝51-(QPL-1)+1；
[0029] ②-2、从采用编码量化参数QPL-1、QPL、QPL+1进行编码得到的3幅质量各不相同的右视点图像中选取一幅采用客观质量评价标准评价时质量与A质量点的左视点图像LA的质量最为接近的右视点图像，并将该
选定的右视点图像定义为A质量点的右视点图像，记为RA，将A质量点的右视点图像RA编码采用的编码量化参数记为QPRA，将A质量点的左视点图像LA和A质量点的右视点图像RA所构成的最优立体图像记为SAA；记N幅质量各不相同的右视点图像中编码量化参数大于QPRA的右视点图像的数量为M幅，将A质量点的左视点图像LA与M幅采用大于QPRA的编码量化参数编码得到的右视点图像一一构成M幅立体图像，记为SM，1≤m≤M，SM为由A质量点的左视点图像LA和采用编码量化参数QPRA+m编码得到的右视点图像所构成的立体图像；
[0030] ②-3、组织参与进行图像主观质量评价的观察者若干名，先将m＝1时的立体图像Sm作为当前待评价立体图像，然后将内容相同但质量不同的最优立体图像SAA和当前待评价立体图像Sm同时播放在屏幕上，要求每位观察者对这2幅立体图像的质量进行独立评价，看观察者是否能辨别出这2幅立体图像的质量差异，并记录下每位观察者对这2幅立体图像的质量的评价结果，再将m加1后的立体图像Sm作为当前待评价立体图像，重复上述评价过程，直至m＞M时结束评价过程；根据所有观察者的评价结果选择B、C、D、E另外4个质量点的右视点图像，选择方法如下：如果立体图像Sm与最优立体图像SAA对比后大多数观察者都不能分辨出该Sm与SAA的质量差异，则将该Sm对应的右视点图像定义为B质量点的右视点图像，记为RB，并将该立体图像Sm记为SAB，将B质量点的右视点图像RB编码采用的编码量化参数记为QPRB；如果立体图像Sm与立体图像SAA对比后大多数观察者都可以分辨出该Sm与SAA的质量差异，则将该Sm对应的右视点图像定义为E质量点的右视点图像，记为RE，并将该立体图像Sm记为SAE，将E质量点的右视点图像RE编码采用的编码量化参数记为QPRE；再在B质量点的右视点图像RB与E质量点的右视点图像RE之间等量化步长选取C质量点的右视点图像和D质量点的右视点图像，将C质量点的右视点图像记为RC，将C质量点的右视点图像RC编码采用的编码量化参数记为QPRC，将D质量点的右视点图像记为RD，将D质量点的右视点图像RD编码采用的编码量化参数记为QPRD，(QPRB-QPRC)≈(QPRC-QPRD)≈(QPRD-QPRE)，将A质量点的左视点图像LA和C质量点的右视点图像RC所构成的立体图像记为SAC，将A质量点的左视点图像LA和D质量点的右视点图像RD所构成的立体图像记为SAD；
[0031] ②-4、将经上述步骤获得的5幅质量逐次递减的立体图像SAA、SAB、SAC、SAD和SAE两两组合，共组成十组不同的立体图像对比组合，分别为SAA SAB、SAA SAC、SAA SAD、SAA SAE、SAB SAC、SAB SAD、SAB SAE、SAC SAD、SAC SAE和SAD SAE；随机播放这十组立体图像对比组合，要求每位观察者分别对所有立体图像对比组合中的2幅立体图像两两对比进行独立的主观质量评价，指出其认为立体图像对比组合中的2幅立体图像质量相对较好的立体图像，并记录评价数据；
[0032] ②-5、对于十组立体图像对比组合中的其中一组立体图像对比组合，令Qi和Qj分别表示该立体图像对比组合中的2幅立体图像分别对应的2幅不同的右视点图像的质量点，Qi∈{A，B，C，D，E}，Qj∈{A，B，C，D，E}，且Qi≠Qj；然后根据记录的评价数据统计出参与图像主观质量评价的观察者认为Qi质量点的右视点图像对应的立体图像的质量高于Qj质量点的右视点图像对应的立体图像的质量的概率，记为pij，表示比例为pij的观察者认为Qi质量点的右视点图像对应的立体图像的质量高于Qj质量点的右视点图像对应的立体图像的质量；再根据十组立体图像对比组合各自的概率pij，构造十组立体图像对比组合的偏好概率矩阵；
[0033] ②-6、根据偏好概率矩阵构造适用于建立广义线性模型框架下的Thurstone模型所需的回归矩阵，其中，回归矩阵的总行数为10行，每一行对应一组立体图像对比组合，每行包括7项数据，分别记为N、As、Bs、Cs、Ds、Es、p，其中，N为参与对该组立体图像对比组合进行主观质量评价的观察者人数，As、Bs、Cs、Ds、Es分别对应于由A质量点的左视点图像LA和A、B、C、D、E 5个质量点的右视点图像分别构成的立体图像SAA、SAB、SAC、SAD和SAE，对于回归矩阵中的其中一行，如果As、Bs、Cs、Ds、Es 5项中的3项值为0，1项值为1，另1项值为-1，则表示该行数据反映的是非零的2项所对应的2幅立体图像的主观评价结果，p为偏好概率，表示参与评价的N名观察者中有比例为p的观察者认为As、Bs、Cs、Ds、Es 5项中值为1的项所对应的立体图像的质量要优于值为-1的项所对应的立体图像；
[0034] ②-7、根据回归矩阵建立广义线性模型框架下的Thurstone模型，Thurstone模型-1的形式为：Φ (p)＝a×As+b×Bs+c×Cs+d×Ds+e×Es，其中，a、b、c、d和e分别为对应于立-1
体图像SAA、SAB、SAC、SAD和SAE的Z分数，且e＝0，Φ (p)为二项分布的概率函数的反函数；
然后将回归矩阵数据代入Thurstone模型进行回归分析得到a、b、c、d的估计值，分别记为est est est est est
a 、b 、c 和d ，并令e的估计值e ＝e＝0；
[0035] ②-8、逐一计算Z分数对a和b、a和c、a和d及a和e的置信区间，Z分数对aest est est est
和b的置信区间为a -b -BOUND＜a-b＜a -b +BOUND，Z分数对a和c的置信区间为
est est est est est est
a -c -BOUND＜a-c＜a -c +BOUND，Z分数对a和d的置信区间为a -d -BOUND＜a-d
est est est est est est
＜a -d +BOUND，Z分数对a和e的置信区间为a -e -BOUND＜a-e＜a -e +BOUND，
为卡方分布，其
自由度dim＝4，α表示分位
T
数，x表示相应的检验向量，x 为x的转置矩阵，COV为随机向量(a，b，c，d)的协方差矩阵；
[0036] ②-9、按英文字母顺序排列b、c、d和e，依次判断Z分数对a和b、a和c、a和d及a和e的每一对中所对应的2幅立体图像的质量是否是可分辨的，具体过程如下：定义当est est前正在处理的Z分数对为a和q，q∈{b，c，d，e}，判断数值0是否在区间(a -q -BOUND，est est
a -q +BOUND)内，如果是，则认为a和q是不具有显著性差异的，表示a对应的最优立体图像SAA与由A质量点的左视点图像和q对应的质量点的右视点图像构成的立体图像SAQ之间的图像质量差异是不可分辨的，否则，认为a和q是具有显著性差异的，表示a对应的最优立体图像SAA与由A质量点的左视点图像和q对应的质量点的右视点图像构成的立体图像SAQ之间的图像质量差异是可分辨的，其中，Q∈{B，C，D，E}；
[0037] ②-10、如果a对应的最优立体图像SAA与由A质量点的左视点图像和q对应的质量点的右视点图像构成的立体图像SAQ之间的图像质量差异是可分辨的，而a对应的最优立体图像SAA与由A质量点的左视点图像和以英文字母顺序排在q对应的质量点之前的各个质量点所对应的右视点图像构成的立体图像之间的图像质量差异均是不可分辨的，则定义a对应的最优立体图像SAA与由A质量点的左视点图像和q对应的质量点的右视点图像构成的立体图像SAQ的峰值信噪比差值为测试图像的左视点图像采用的编码量化参数QPL编码时的最小可辨变化值，其中，q∈{b，c，d，e}。
[0039] 1)本发明方法利用人类立体视觉感知中的掩蔽效应，通过广义线性模型框架下的Thurstone模型对观察者主观评价数据进行回归分析，以在左视点图像质量固定不变的情况下，测定人眼可感知立体图像质量变化时右视点图像质量的临界值，从而确定非对称立体视频编码时右视点图像质量相对左视点图像质量可下降的最大变化范围，能充分消除视频的视觉冗余信息。
[0040] 2)本发明方法利用通过主观实验测定的立体视觉的最小可辨变化值对立体视频图像进行编码，根据左视点图像的基本编码量化参数和最小可辨变化值，对右视点图像的亮度分量Y进行编码，使得通过降低右视点图像质量来提高编码效率、降低编码复杂度，并通过色度重构操作重构获取右视点图像的第一色度分量U和第二色度分量V，从而保证了立体图像的整体质量。
附图说明
[0042] 图2a为“Door Flowers”立体测试集的第1个左视点视频中的一幅左视点图像；
[0043] 图2b为“Door Flowers”立体测试集的第1个右视点视频中与图2a对应的一幅右视点图像；
[0044] 图3a为“Alt Moabit”立体测试集的第1个左视点视频中的一幅左视点图像；
[0045] 图3b为“Alt Moabit”立体测试集的第1个右视点视频中与图3a对应的一幅右视点图像；
[0046] 图4a为“Panbomime”立体测试集的第1个左视点视频中的一幅左视点图像；
[0047] 图4b为“Panbomime”立体测试集的第1个右视点视频中与图4a对应的一幅右视点图像；
[0048] 图5a为“Champagne”立体测试集的第1个左视点视频中的一幅左视点图像；
[0049] 图5b为“Champagne”立体测试集的第1个右视点视频中与图5a对应的一幅右视点图像；
[0050] 图6为经本发明主观感知实验得到的左视点图像的质量与JND值的关系示意图；
[0051] 图7为本发明采用的HBP编码预测结构的框架示意图；
[0052] 图8a为“Door Flowers”立体测试集的真实的色度保留的右视点解码图像；
[0053] 图8b为“Door Flowers”立体测试集的色度丢失的右视点解码图像经本发明色度重构后得到的重构图像；
[0054] 图8c为图8a与图8b的第一色度分量U的残差图像；
[0055] 图8d为图8a与图8b的第二色度分量V的残差图像；
[0056] 图9a为“Alt Moabit”立体测试集的真实的色度保留的右视点解码图像；
[0057] 图9b为“Alt Moabit”立体测试集的色度丢失的右视点解码图像经本发明色度重构后得到的重构图像；
[0058] 图9c为图9a与图9b的第一色度分量U的残差图像；
[0059] 图9d为图9a与图9b的第二色度分量V的残差图像；
[0060] 图10a为“Panbomime”立体测试集的真实的色度保留的右视点解码图像；
[0061] 图10b为“Panbomime”立体测试集的色度丢失的右视点解码图像经本发明色度重构后得到的重构图像；
[0062] 图10c为图10a与图10b的第一色度分量U的残差图像；
[0063] 图10d为图10a与图10b的第二色度分量V的残差图像；
[0064] 图11a为“Champagne”立体测试集的真实的色度保留的右视点解码图像；
[0065] 图11b为“Champagne”立体测试集的色度丢失的右视点解码图像经本发明色度重构后得到的重构图像；
[0066] 图11c为图11a与图11b的第一色度分量U的残差图像；
[0067] 图11d为图11a与图11b的第二色度分量V的残差图像；
[0068] 图12a为图8a的局部细节放大图；
[0069] 图12b为图8b的局部细节放大图；
[0070] 图13a为图9a的局部细节放大图；
[0071] 图13b为图9b的局部细节放大图；
[0072] 图14a为图10a的局部细节放大图；
[0073] 图14b为图10b的局部细节放大图；
[0074] 图15a为图11a的局部细节放大图；
[0075] 图15b为图11b的局部细节放大图；
[0076] 图16a为“Door Flowers”立体测试集的采用本发明方法的第一色度分量U和第二色度分量V的峰值信噪比比较结果；
[0077] 图16b为“Alt Moabit”立体测试集的采用本发明方法的第一色度分量U和第二色度分量V的峰值信噪比比较结果；
[0078] 图16c为“Panbomime”立体测试集的采用本发明方法的第一色度分量U和第二色度分量V的峰值信噪比比较结果；
[0079] 图16d为“Champagne”立体测试集的采用本发明方法的第一色度分量U和第二色度分量V的峰值信噪比比较结果。
具体实施方式
[0080] 以下结合附图
实施例对本发明作进一步详细描述。
[0081] 本发明的立体视频非对称编码方法的基本流程框图如图1所示，其具体包括以下步骤：
[0082] ①将外部立体视频捕获工具捕获得到的未经处理的且颜色空间为YUV的立体视频定义为原始立体视频，在空域上该原始立体视频包括左视点原始视频和右视点原始视频，左视点原始视频主要由若干个帧组的左视点图像组成，右视点原始视频主要由若干个帧组的右视点图像组成，其中，YUV颜色空间的三个分量的第1个分量为亮度分量并记为Y、第2个分量为第一色度分量并记为U及第3个分量为第二色度分量并记为V。
[0083] 在此，截取德国HHI研究所提供的多视点视频序列“Door Flowers”、“Alt Moabit”，日本Nagoya大学提供的多视点视频序列“Panbomime”、“Champagne”的两个视点视频作为原始立体视频，原始立体视频中各幅立体图像的分辨率都为1024×768，帧率为30帧每秒，即30fps，是ISO/MPEG所推荐的标准测试序列，是在立体视频研究领域广泛采用的实验测试序列，图2a和图2b分别给出了序列“Door Flowers”的左视点原始视频中的一帧图像和右视点原始视频中对应的一帧图像；图3a和图3b分别给出了序列“AltMoabit”的左视点原始视频中的一帧图像和右视点原始视频中对应的一帧图像；图4a和图4b分别给出了序列“Panbomime”的左视点原始视频中的一帧图像和右视点原始视频中对应的一帧图像；图5a和图5b给出了序列“Champagne”的左视点原始视频中的一帧图像和右视点原始视频中对应的一帧图像。
[0084] ②通过主观实验测定人眼可感知立体视觉变化时测试图像中的右视点图像的质量的临界值，该临界值可用测试图像中的左视点图像的最小可辨变化(JND，Just NoticeableDifference)值来表示，为了考查非对称编码在不同的主观感知质量下对最小可辨变化值的影响，从原始立体视频中选取一幅左视点图像的峰值信噪比(Peak Signal to NoiseRatio，PSNR)与右视点图像的峰值信噪比差值最小的立体图像，将该立体图像作为测试图像；然后令测试图像中的左视点图像的质量不变，且测试图像中的右视点图像的质量在一定范围内变化，定义最小可辨变化值为相应的变化步长的峰值信噪比的差值。最小可辨变化值的选取标准为：立体图像质量差异的变化下界为大多数人不能分辨出差异，变化上界为大多数人可以分辨出差异。
[0085] 在此，通过主观实验测定人眼可感知立体视觉变化时测试图像中的左视点图像的最小可辨变化值的具体过程为：
[0086] ②-1、首先从原始立体视频中选取一幅左视点图像的峰值信噪比与该左视点图像对应的右视点图像的峰值信噪比的差值最小的立体图像，将该立体图像作为测试图像，然后利用H.264视频编码标准，从高、中、低质量段任取一个编码量化参数对测试图像的左视点图像以帧内编码方式进行编码，记对测试图像的左视点图像进行编码所采用的编码量化参数为QPL，将编码得到的左视点图像定义为A质量点的左视点图像，记为LA，再采用N个不同的编码量化参数分别对测试图像的右视点图像以帧内编码方式进行编码，获得所需的N幅质量各不相同的右视点图像，其中，对测试图像的右视点图像进行编码所采用的N个不同的编码量化参数分别为QPL-1、QPL、QPL+1、QPL+2、......，如果(51-(QPL-1)+1)＞15，则N＝15，否则，N＝51-(QPL-1)+1。
[0087] 在此，测试图像的左视点图像进行编码所采用的编码量化参数可在[22，50]区间内任取一个正整数，实际实验中可在高、中、低质量段分别任取一个编码量化参数进行多次不同的主观实验，以测定人眼可感知立体视觉变化时右视点图像的质量的临界值。
[0088] ②-2、从采用编码量化参数QPL-1、QPL、QPL+1进行编码得到的3幅质量各不相同的右视点图像中选取一幅采用客观质量评价标准评价时质量与A质量点的左视点图像LA的质量最为接近的右视点图像，并将该选定的右视点图像定义为A质量点的右视点图像，记为RA，将A质量点的右视点图像RA编码采用的编码量化参数记为QPRA，将A质量点的左视点图像LA和A质量点的右视点图像RA所构成的最优立体图像记为SAA；记N幅质量各不相同的右视点图像中编码量化参数大于QPRA的右视点图像的数量为M幅，将A质量点的左视点图像LA与M幅采用大于QPRA的编码量化参数编码得到的右视点图像一一构成M幅立体图像，记为Sm，1≤m≤M，Sm为由A质量点的左视点图像LA和采用编码量化参数QPRA+m编码得到的右视点图像所构成的立体图像。
[0089] 在此，选取一幅采用客观质量评价标准评价时质量与A质量点的左视点图像LA的质量最为接近的右视点图像的选择准则为：A质量点的左视点图像LA的峰值信噪比与采用不同的编码量化参数进行编码所获得的质量各不相同的右视点图像的峰值信噪比(PSNR)数值最为接近即差值最小的右视点图像。
[0090] ②-3、组织参与进行图像主观质量评价的观察者若干名，先将m＝1时的立体图像Sm作为当前待评价立体图像，然后将内容相同但质量不同的最优立体图像SAA和当前待评价立体图像Sm同时播放在屏幕上，要求每位观察者对这2幅立体图像的质量进行独立评价，看观察者是否能辨别出这2幅立体图像的质量差异，并记录下每位观察者对这2幅立体图像的质量的评价结果，再将m加1后的立体图像Sm作为当前待评价立体图像，重复上述评价过程，直至m＞M时结束评价过程；然后根据所有观察者的评价结果选择B、C、D、E另外4个质量点的右视点图像，选择方法如下：若在某立体图像Sm与最优立体图像SAA对比显示时大多数观察者都不能分辨出该Sm与SAA的质量差异，则将该Sm对应的右视点图像定义为B质量点的右视点图像，记为RB，并将该立体图像Sm记为SAB，将B质量点的右视点图像编码采用的编码量化参数记为QPRB；而若在某立体图像Sm与最优立体图像SAA对比显示时大多数观察者都可以分辨出该Sm与SAA的质量差异，则将该Sm对应的右视点图像定义为E质量点的右视点图像，记为RE，并将该立体图像Sm记为SAE，将E质量点的右视点图像编码采用的编码量化参数记为QPRE；再在B与E质量点的2幅右视点图像之间等量化步长选取C质量点和D质量点的右视点图像RC和RD，即若记C质量点和D质量点的右视点图像编码采用的编码量化参数为QPRC和QPRD，则有(QPRB-QPRC)≈(QPRC-QPRD)≈(QPRD-QPRE)，将A质量点的左视点图像LA和C质量点的右视点图像RC所构成的立体图像记为SAC，将A质量点的左视点图像LA和D质量点的右视点图像RD所构成的立体图像记为SAD。
[0091] 在此，在某立体图像Sm与最优立体图像SAA对比显示时大多数观察者都不能分辨出该Sm与SAA的质量差异是指75％以上的观察者都不能分辨其质量差异，所谓大多数观察者都可以分辨出该SM与SAA的质量差异是指75％以上的观察者都能够分辨其质量差异。
[0092] ②-4、将经上述步骤获得的5幅质量逐次递减的立体图像SAA、SAB、SAC、SAD和SAE两两组合，共组成十组不同的立体图像对比组合，分别为SAA SAB、SAA SAC、SAA SAD、SAA SAE、SAB SAC、SAB SAD、SAB SAE、SAC SAD、SAC SAE和SAD SAE，在立体图像对比组合中的两幅立体图像的左视点图像质量相同，但右视点图像的质量不相同；随机播放这十组立体图像对比组合，播放时，同一立体图像对比组合中的两幅立体图像同时播放在屏幕上供观察者进行对比，以确认两幅立体图像的质量孰优孰劣亦或是质量相同，每一名观察者分别对所有立体图像对比组合中的两幅立体图像两两对比进行独立的主观质量评价，被告知从立体图像对比组合中的2幅立体图像中选出质量相对较好的那一幅立体图像，即从2幅立体图像中直接确定一幅质量好的立体图像，并记录下评价数据。本实施例中，观察者每次比较时，立体图像播放40秒，评价打分时间10秒。。
[0093] ②-5、对于十组立体图像对比组合中的其中一组立体图像对比组合，令Qi和Qj分别表示该立体图像对比组合中的2幅立体图像分别对应的2幅不同的右视点图像的质量点，Qi∈{A，B，C，D，E}，Qj∈{A，B，C，D，E}，且Qi≠Qj；然后根据记录的评价数据统计出参与图像主观质量评价的观察者认为Qi质量点的右视点图像对应的立体图像的质量高于Qj质量点的右视点图像对应的立体图像的质量的概率，记为pij，表示比例为pij的观察者认为Qi质量点的右视点图像对应的立体图像的质量高于Qj质量点的右视点图像对应的立体图像的质量；再根据十组立体图像对比组合各自的概率pij，构造十组立体图像对比组合的偏好概率矩阵。
[0094] ②-6、为在广义线性模型框架下建立Thurstone模型，衡量编码量化参数对立体图像的人眼最小可辨变化的影响，首先需要确定合适的回归矩阵，回归矩阵可由偏好概率矩阵来构造。构造得到的回归矩阵的总行数为十行，每一行对应一组立体图像对比组合，回归矩阵的每一行包括7项数据，分别记为N、As、Bs、Cs、Ds、Es、p，其中，N为参与对该组立体图像对比组合进行主观质量评价的观察者人数；As、Bs、Cs、Ds、Es分别对应于由A质量点的左视点图像LA和A、B、C、D、E 5个质量点的右视点图像分别构成的立体图像SAA、SAB、SAC、SAD和SAE，对于回归矩阵中的某一行，如果As、Bs、Cs、Ds、Es 5项中的3项值为0，1项值为1，另1项值为-1，则表示该行数据反映的是非零的2项所对应的2幅立体图像的主观评价结果；
p为偏好概率，表示参与评价的N名观察者中有比例为p的观察者认为As、Bs、Cs、Ds、Es 5项中值为1的项所对应的立体图像的质量要优于值为-1的项所对应的立体图像；回归矩阵的十行，对应于立体图像SAA、SAB、SAC、SAD和SAE十种不同的两两组合，即AsBs、AsCs、AsDs、AsEs、BsCs、BsDs、BsEs、CsDs、CsEs、DsEs十种组合方式。
[0095] ②-7、在确定了合适的回归矩阵后，可根据回归矩阵建立广义线性模型框架下的-1Thurstone模型，Thurstone模型的形式为：Φ (p)＝a×As+b×Bs+c×Cs+d×Ds+e×Es，其中，a、b、c、d和e分别为对应于立体图像SAA、SAB、SAC、SAD和SAE的Z分数，需要注意的是，为了衡量采用不同编码量化参数得到的质量不同的立体图像SAA、SAB、SAC、SAD和SAE之间的Z分-1
数的差异，SAE的Z分数在此处设为0，即e＝0，Φ (p)为二项分布的概率函数的反函数；
然后将回归矩阵的数据代入Thurstone模型进行回归分析得到a、b、c、d的估计值，分别记est est est est est
为a 、b 、c 和d ，并令e的估计值e ＝e＝0。
[0096] ②-8、为了比较采用不同的编码量化参数编码得到的立体图像之间的质量差异是否为概率事件，需计算a、b、c、d和e各个Z分数之间的置信区间。在此，采用改进的Scheffe模型，做Z分数对差值的零假设(null hypothesis)检验，以对比和检验所获得的Z分数是否有显著性的差异。具体方法如下：逐一计算Z分数对a和b、a和c、a和d及a和e的置est est est est信区间，Z分数对a和b的置信区间为a -b -BOUND＜a-b＜a -b +BOUND，Z分数对a
est est est est
和c的置信区间为a -c -BOUND＜a-c＜a -c +BOUND，Z分数对a和d的置信区间为
est est est est est est
a -d -BOUND＜a-d＜a -d +BOUND，Z分数对a和e的置信区间为a -e -BOUND＜a-e
est est
＜a -e +BOUND， 为卡方分布，其自由度dim
T
＝4，α表示分位数，x表示相应的检验向量，x 为x的转置矩阵，COV为随机向量(a，b，c，d)的协方差矩阵。
[0097] 在本实施例中，计算了5幅立体图像SAA、SAB、SAC、SAD和SAE的所有十种不同的立体图像对比组合的置信区间以判断所有立体图像对比组合中的两个不同质量点的右视点图像对应的立体图像质量差异是否可分辨。事实上对于非对称立体视频编码来说，希望测定的是当左视点图像质量固定不变时，人眼可感知立体图像质量变化时右视点图像质量的临界值，以确定非对称立体视频编码时右视点图像质量相对于左视点图像质量可下降的最大变化范围，因此，具体实施人眼最小可辨变化测定时，可只简单地如本步骤所述逐一计算a和b、a和c、a和d及a和e分数对的置信区间，以判断立体图像SAA分别与立体图像SAB、SAC、SAD和SAE之间的图像质量差异是否可分辨即可。这里，分位数α为0.05。对于a和bT分数对，为比较它们的差异，相应的检验向量为x＝(1，-1，0，0)，a和b分数对的置信区间T
给出了a-b的差值的上下界。对于a和c分数对，相应的检验向量为x＝(1，0，-1，0) ；对T
于a和d分数对，相应的检验向量为x＝(1，0，0，-1) ；对于a和e分数对，相应的检验向T
量为x＝(1，0，0，0)。
[0098] ②-9、对于某一Z分数对，如果数值0不在其置信区间内，则认为该Z分数对是具有显著性差异的，也即该Z分数对所对应的2幅立体图像的质量差异是可分辨的；反之则表明该Z分数对所对应的2幅立体图像的质量差异是不可分辨的，也就是说观察者认为这2幅立体图像的图像质量是相同的。因此，可以按英文字母顺序排列b、c、d和e，依次判断Z分数对a和b、a和c、a和d及a和e的每一对中所对应的2幅立体图像的质量是否是可分辨的，方法如下：定义当前正在处理的Z分数对为a和q，q∈{b，c，d，e}，判断数值0是否est est est est在区间(a -q -BOUND，a -q +BOUND)内，如果是，则认为a和q是不具有显著性差异的，表示a所对应的最优立体图像SAA与由A质量点的左视点图像和q对应的质量点的右视点图像构成的立体图像SAQ(Q∈{B，C，D，E})之间的图像质量差异是不可分辨的，否则，则认为a和q是具有显著性差异的，表示a所对应的最优立体图像SAA与由A质量点的左视点图像和q对应的质量点的右视点图像构成的立体图像SAQ之间的图像质量差异是可分辨的。
[0099] ②-10、若a所对应的最优立体图像SAA与由A质量点的左视点图像和q(q为b、c、d、e中的某一个)对应的质量点的右视点图像构成的立体图像SAQ之间的图像质量差异是可分辨的，而a所对应的最优立体图像SAA与由A质量点的左视点图像和以英文字母顺序排在q对应的质量点之前的各个质量点所对应的右视点图像构成的立体图像之间的图像质量差异均是不可分辨的，则定义a所对应的立体图像SAA与由A质量点的左视点图像和q对应的质量点的右视点图像构成的立体图像SAQ的信噪比差值为测试图像的左视点图像采用编码量化参数QPL编码时的最小可辨变化值。
[0100] 对“Door Flowers”和“Alt Moabit”测试序列进行主观实验，得到的左视点图像的质量与最小可辨变化值的关系如图6所示，随着立体图像的左视点图像的质量的下降(PSNR值减小)，JND值也会下降，即左视点图像和右视点图像的PSNR的差值变小，并且对于低质量段(PSNR＜35dB)，JND值的变化也都在2dB以上，因此，在本实施例中，可取所有测试序列的JND值都为2dB。
[0101] ③首先任取一个编码量化参数作为左视点图像的基本编码量化参数，根据左视点图像的基本编码量化参数和最小可辨变化值，获取一个值大于等于左视点图像的基本编码量化参数的最佳的编码量化参数作为右视点图像的基本编码量化参数；然后根据设定的编码预测结构，采用左视点图像的基本编码量化参数，在时域上以帧组为编码单元对左视点原始视频的各个帧组中的各个左视点图像的亮度分量Y、第一色度分量U和第二色度分量V分别进行编码，得到左视点码流，采用右视点图像的基本编码量化参数，在时域上以帧组为编码单元对右视点原始视频的各个帧组中的各个右视点图像的亮度分量Y进行编码，得到右视点码流。在此，编码量化参数值的大小决定了信息压缩的比率，编码量化参数值越大压缩率就越大，图像质量也就越低，并且右视点图像的PSNR值小于左视点图像的PSNR值，相应的右视点图像的编码量化参数值就大于左视点图像的编码量化参数，在此，左视点图像的基本编码量化参数的取值范围可为[22，50]区间内的一个正整数，而右视点图像的基本编码量化参数大于等于左视点图像的基本编码量化参数。
[0102] 在本实施例中，步骤③的具体过程为：
[0103] ③-1、任取一个编码量化参数作为左视点图像的基本编码量化参数，并记为QP1。
[0104] ③-2、根据左视点图像的基本编码量化参数QP1，获取多个值大于等于QP1且各不相同的编码量化参数，并将这些编码量化参数作为右视点图像的候选的编码量化参数，记为QP2′，QP2′＝QP1+ΔQP，ΔQP∈[0，5]。
[0105] ③-3、根据设定的编码预测结构，采用左视点图像的基本编码量化参数QP1对左视点原始视频的第1个帧组中的各个左视点图像的亮度分量Y进行编码，获取左视点原始视频的第1个帧组中的所有左视点图像的亮度分量Y的峰值信噪比的平均值，记为PSNR1。
[0106] ③-4、根据设定的编码预测结构，分别采用各个候选的编码量化参数对右视点原始视频的第1个帧组中的各个右视点图像的亮度分量Y进行编码，分别获取右视点原始视频的第1个帧组中的所有右视点图像的亮度分量Y的峰值信噪比的平均值，记为PSNR2。
[0107] ③-5、分别计算PSNR1与各个PSNR2的差值，记为SUBPSNR，然后找出与最小可辨变化值的差值最小的SUBPSNR，再将找出的SUBPSNR对应的候选的编码量化参数QP2′确定为右视点图像的基本编码量化参数，并记为QP2。
[0108] ③-6、根据设定的编码预测结构，采用左视点图像的基本编码量化参数QP1对左视点原始视频的各个帧组中的各个左视点图像的亮度分量Y、第一色度分量U和第二色度分量V分别进行编码，得到左视点码流，采用右视点图像的基本编码量化参数QP2仅对右视点原始视频的各个帧组中的各个右视点图像的亮度分量Y进行编码，得到右视点码流。
[0109] ④采用经典的
块匹配法计算右视点原始视频中每一时刻的右视点图像和左视点原始视频中对应时刻的左视点图像之间的视差图像，其基本思想是将图像分成小块，对右视点原始视频中的右视点图像的每一块，在左视点原始视频图像中寻找相关性最大的块，两个块之间的空间位移量就是视差。然后对每一时刻的视差图像采用现有的基于上下文的自适应二进制算术熵编码技术(CABAC，Context-based Adaptive Binary ArithmeticCoding)进行无损编码得到每一时刻的视差场码流。
[0110] ⑤根据设定的编码预测结构逐帧输出左视点码流、右视点码流及视差场码流得到最终的编码码流，然后服务端通过网络将最终的编码码流传输给用户端。
[0111] ⑥用户端分别对服务端发送来的左视点码流、右视点码流和视差场码流进行解码，得到左视点的视频数据、右视点的视频数据和视差场信息；然后利用解码得到的左视点的视频数据、右视点的视频数据和视差场信息，通过色度重构操作重构获取解码得到的右视点的视频数据中各个时刻的右视点图像的第一色度分量U和第二色度分量V。
[0112] 在此具体实施例中，通过色度重构操作重构获取解码得到的右视点的视频数据中各个时刻的右视点图像的第一色度分量U和第二色度分量V的具体过程为：
[0113] ⑥-1、定义解码得到的右视点的视频数据中当前正在处理的右视点图像为当前右视点图像。
[0114] ⑥-2、根据当前右视点图像到与当前右视点图像同一时刻的左视点图像的视差矢量，判断当前右视点图像中的像素s与同一时刻的左视点图像中与像素s相对应的像素r的亮度分量是否相同，如果像素s与像素r的亮度分量相同，则确定像素s的第一色度分量U(s)和第二色度分量V(s)分别与像素r的第一色度分量U(r)和第二色度分量V(r)相同，否则，假定像素s的第一色度分量U(s)和第二色度分量V(s)与亮度分量Y(s)分别存在线性关系，U(s)＝aY(s)+b，V(s)＝cY(s)+d，通过计算当前右视点图像中的像素s的第一色度分量的最小成本J(U)和第二色度分量的最小成本J(V)得到像素s的第一色度分量U(s)和第二色度分量V(s)，其中，U(r)为像素r的第一色度分量，V(r)为像素r的第二色度分量，a、b和c、d分
别为像素s的第一色度分量U(s)和第二色度分量V(s)的线性系数，wsr为加权参数，
Y(r)为像素r的亮度分量，N(s)为以像素s为中心的邻域窗口，σs为
像素s的亮度分量Y(s)在邻域窗口N(s)的标准差。
[0115] ⑥-3、将解码得到的右视点的视频数据中下一个待处理的右视点图像作为当前右视点图像，返回执行步骤⑥-2重构当前右视点图像的第一色度分量和第二色度分量，直至解码得到的右视点的视频数据中的所有右视点图像的第一色度分量和第二色度分量重构完毕。
[0116] 在此具体实施例中，设定的编码预测结构采用公知的HBP编码预测结构，如图7所示，HBP编码预测结构在时间参考和视点间参考做了比较好的均衡，使其不论是对时间相关性强的序列还是对空间相关性强的序列都表现了较高的编码性能。
[0117] 以下就利用本发明方法及传统的编码方法分别对“Door Flowers”、“Alt Moabit”、“Panbomime”、“Champagne”立体测试集进行非对称立体视频编码的编码性能进行比较。
[0118] 使用本发明的编码方法，可以为不同终端要求及不同带宽要求提供不同码率的码流。表1给出了本发明方法与传统编码方法的编码性能比较，从表1中可以看出，对“DoorFlowers”立体测试序列，为了提供高质量的立体视频，采用传统的编码方法需要3137.509kbps带宽，而本发明方法仅需要2014.138kbps带宽就可以满足高质量的立体视频系统以及
自动立体显示设备的要求。对于“Door Flowers”、“Alt Moabit”、“Panbomime”和“Champagne”采用本发明方法处理后，最低的码率节省也能达到15％左右，最高的码率节省能达到35％左右，足以说明本发明方法是有效可行的。
[0119] 表1本发明方法与传统编码方法的编码性能比较
[0120]
[0121] 将采用本发明的色度重构操作得到的重构图像，与真实的色度保留的解码图像进行比较。图8a和图8b分别给出了“Door Flowers”测试集的真实的色度保留的右视点解码图像和色度丢失的右视点解码图像经本发明色度重构后得到的重构图像，图8c给出了图8a和图8b的第一色度分量U的残差图像，图8d给出了图8a和图8b的第二色度分量V的残差图像；图9a和图9b分别给出了“Alt Moabit”测试集的真实的色度保留的右视点解码图像和色度丢失的右视点解码图像经本发明色度重构后得到的重构图像，图9c给出了图9a和图9b的第一色度分量U的残差图像，图9d给出了图9a和图9b的第二色度分量V
的残差图像；图10a和图10b分别给出了“Panbomime”测试集的真实的色度保留的右视点解码图像和色度丢失的右视点解码图像经本发明色度重构后得到的重构图像，图10c给出了图10a和图10b的第一色度分量U的残差图像，图10d给出了图10a和图10b的第二色
度分量V的残差图像；图11a和图11b分别给出了“Champagne”测试集的真实的色度保留的右视点解码图像和色度丢失的右视点解码图像经本发明色度重构后得到的重构图像，图
11c给出了图11a和图11b的第一色度分量U的残差图像，图11d给出了图11a和图11b的第二色度分量V的残差图像。图12a和图12b分别为图8a和图8b的局部细节放大图，图
13a和图13b分别为图9a和图9b的局部细节放大图，图14a和图14b分别为图10a和图
10b的局部细节放大图，图15a和图15b分别为图11a和图11b的局部细节放大图。从图
8a至图15b中可以看出，采用本发明的色度重构操作得到的重构图像的颜色外表与真实的色度保留的解码图像非常接近。
[0122] 以峰值信噪比来表示图像的差异，计算经本发明得到的重构图像与真实的色度保留的解码图像的第一色度分量U、第二色度分量V的峰值信噪比，图16a、图16b、图16c和图16d分别为“Door Flowers”、“Alt Moabit”、“Panbomime”和“Champagne”的比较结果，从计算结果可看出峰值信噪比都在32dB以上，足以说明采用本发明方法得到的重构图像基本保留了图像真实的颜色信息。
