[0080] 本发明的主要思想如下:先采用重要性加权掩膜对变换图像加权;然后计算加权后各子带能量,并按照能量的降序排列确定子带间的扫描顺序;最后,对加权子带内部的扫描,根据子带的特性确定扫描方法。对水平方向子带,其反映的是图像在水平方向的信息,故采用“horizontal_z扫描”作为扫描方法。同样,对那些垂直方向子带,其反映的是图像垂直方向的信息,如果扫描能沿着垂直方向进行,则在给定码率下,更多的垂直信息可以被保留。在本发明中,对垂直子带提出了一种“vertical_z扫描”的方法。“horizontal_z扫描”和“vertical_z扫描”分别如图5中(a)、(b)所示。对于对角子带,扫描方法取决于图像本身。若在当前小波层,图像的水平信息多于垂直信息,则对角子带采用“horizontal_z扫描”,反之,对角子带采用“vertical_z扫描”。
[0081] 对本发明的验证如下:
[0082] 原始图像如图6中(a)所示。对于给定的图像,先计算其视觉敏感度模型,并结合观测距离的概率密度函数,生成重要性加权掩膜。然后根据重要性加权掩膜对每个小波系数进行加权。设小波分解层数为3,根据本发明的方法,计算每个加权后子带的能量,结果见表1。根据表1,可确定加权后子带的扫描顺序,即LL3、LH3、HH3、HL3、LH2、HH2、HL2、LH1、HL1、HH1。
[0083] 然后,对每个加权子带,其内部扫描顺序由子带特性决定。对子带LL3、HL3、HL2、和HL1,采用“horizontal_z扫描”方式;对子带LH3、LH2和LH1,采用“vertical_z扫描”的方式。根据表1,可以看出,对每层小波子带,垂直方向信息均多于水平方向信息,故对所有对角子带HH3、HH2和HH1,均采用“vertical_z扫描”。整个扫描过程如图6中(b)所示。最后,可生成一维的系数序列。图6中(c)和(d)分别表示采用morton扫描和本发明生成的一维系数矩阵。从图6可以看出,本发明方法可以自适应的扫描变换图像,使那些重要的系数排在一维序列的前面。同时,由于子带内扫描是以尽可能保留图像纹理信息为目的,故能够在视觉加权的基础上,进一步提高重建图像的视觉效果。
[0084] 表1变换图像中每个子带的能量(×109)
[0085]
[0086] 比特开销:
[0087] 由于,重要性加权掩膜与图像内容无关。因此,该掩膜不必传到解码端。仅将黄斑中心凹点,以及图像宽度作为边信息,传送到解码端即可。在本发明中,用四个整数记录黄斑中心凹点(其中,两个整数记录该点的横坐标位置,另外两个整数记录该点的纵坐标位置),两个整数用来记录图像宽度。因此,整个加权掩膜所需的边信息,仅需六个整数。
[0088] 此外,对于自适应扫描,边信息包括子带间的扫描顺序和对角子带的扫描方法。对J层小波变换,共有3J+1个子带,故共需3J+1个整数来表示子带间的扫描顺序。此外,还需J个整数来表示所有对角子带的扫描方法。因此,自适应扫描所需要的边信息,共需(3J+1)+J=4J+1个整数。基于上面的分析,编码端的总的边信息共需6+(4J+1)=4J+7个整数。
[0089] 以图6中(a)为例,图像“lunar”的大小为512×512,小波分解层数为3层,则本发明的总比特开销为(4×3+7)/(512×512)≈0.00725%。也就是说,图像越大,开销所占的比例越小。而且,如果对开销比特再进一步采用
熵编码,则比特开销会更小。根据上面的分析,对于本发明提出的压缩方法,总的比特开销非常小,甚至可以忽略不计。
[0090] 二叉树编码:
[0091] 对图像压缩来说,目前采用嵌入式编码方法的居多,因为这种编码方法支持图像的渐进式传输,并能在码流的任意位置解码。
[0092] 文献[25]提出了一种最新的基于二叉树的嵌入式编码方法,即自适应二叉树编码方法(binary tree coding adaptively,BTCA)。该方法不需要复杂的步骤,如基于上下文的模型,率失真最优化等,大大降低了
算法复杂度。其基本过程如下:首先,根据扫描后的一维序列建立二叉树。然后,对该二叉树进行编码,编码是按照从下至上,从左至右的顺序进行。在编码过程中利用了重要系数的相邻系数通常也是重要的这一思想,在一定程度上提高了编码性能。下面详细给出了二叉树编码的实现过程。
[0093] Function code=BTCA(Tk)
[0094] 输入:用Γ表示二叉树,用i表示树上
节点的位置,Tk表示阈值,初始阈值且Tk=T0/2k;
[0095] 初始化:设整个二叉树的树高为D,令d=D;
[0096] While(d>1)
[0097] {
[0098] (1)
[0099] (2)Let ct={}.IfΓ(i)≥Tk-1
[0100] 若Γ(i)的相邻节点为Γ(i+1),且Γ(i+1)不重要,则ct=Bin_Tree_Enc(Γ,i+1,Tk);
[0101] 否则
[0102] 若Γ(i)的相邻节点为Γ(i-1),且Γ(i-1)不重要,则ct=Bin_Tree_Enc(Γ,i-1,Tk);
[0103] (3)code={code,ct},
[0104] (4)d=d-1;
[0105] 输出:在阈值为Tk时,对应位平面输出的码流。
[0106] }
[0107] 在上述BTCA算法中,对给定节点编码,采用了Bin_Tree_Enc算法。该算法过程如下:
[0108] Function code=Bin_Tree_Enc(Γ,i,Tk)
[0109] 输入:用Γ表示二叉树,用i表示树上节点的位置,Tk表示阈值,初始阈值且Tk=T0/2k;
[0110] (1)若Γ(i)在更大的阈值被编码,即Γ(i)≥Tk-1,则
[0111] 若Γ(i)不在树的最底层,编码Γ(i)的两个
子节点;否则编码Γ(i)的符号位。
[0112] (2)若Γ(i)有重要
父节点,且Γ(i)的相邻节点是不重要的,则:
[0113] 若Γ(i)不在树的最底层,编码Γ(i)的两个子节点;否则编码Γ(i)的符号位。
[0114] (3)若Γ(i)≥Tk
[0115] 若Γ(i)不在树的最底层,编码Γ(i)的两个子节点,并且在码流前加“1”;否则编码Γ(i)的符号位,并在码流前加“1”。
[0116] (4)否则
[0117] 输出‘0’。
[0118] 输出:以Γ(i)为树根的子树的码流。
[0119] 由于二叉树编码方法相对简单,且效率较高,故本发明对变换图像进行基于内容的自适应扫描后,采用二叉树编码方法对生成的序列进行编码。
[0120] 质量评价指标:
[0121] 本发明提出的压缩方法是为了满足日益增长的遥感图像在线浏览的需求。因此,应采用和人眼视觉相关的指标来衡量提出的压缩方法。在本发明中,采用FWQI[26],VSNR[37],和MS-SSIM[38]做为评价指标。
[0122] A、FWQI
[0123] 在文献[29],Zhou Wang等提出了一种图像质量评价指标,该方法将图像失真看作是三种因素的函数,即相关度失真、
亮度失真,对比度失真。然后,将该失真延伸至小波域,定义小波域的对应失真FWQI为
[0124]
[0125] 这里,M表示小波系数个数,c(xn)表示位置在xn的小波系数,Q(xn)表示在质量评价图中位置xn的质量值。由于S(v,xn)是随v变化的,因此,对于一幅测试图像,其FWQI是v的函数。
[0126] B、VSNR
[0127] 文献[37]中,Chandler等提出了一种有效的矩阵,即视觉峰值
信噪比矩阵(VSNR),根据人眼的近阈值和过阈值性质,来定量化图像的视觉失真。相对于其它的视觉失真矩阵,VSNR更能有效的反映人眼的真实感觉。VSNR(单位:dB)可以定义如下
[0128]
[0129] 这里,C(f)表示原始图像f的对比度,dpc表示人眼感知到的对比度失真,dgp表示整体的失真程度,α设定为0.04。
[0130] C、MS-SSIM
[0131] MS-SSIM是多尺度结构相似性测度,该测度考虑了多种观测条件,比结构相似性测度(SSIM)更为灵活。因此,本发明采用MS-SSIM作为一种质量衡量方法。
[0132]
[0133] 这里,l(x,y)、c(x,y)和s(x,y)分别表示亮度,对比度和结构性的比较。
[0134] 实验及结果:
[0135] 为了证明本发明提出的压缩方法的性能,做了一些实验,并在不同的比特率下,与其它基于扫描的方法相比较。
[0136] D、预处理:
[0137] 为了证明本发明方法的有效性,实验中选取了几幅不同位深的遥感图像,大多数遥感图像都具有较高的分辨率。
[0138] 一些测试遥感图像是从CCSDS测试库中得到的,参见文献[39],包括“lunar”,“coastal-b1”,“ocean-2kb1”,“pleiades_portdebouc_pan”。对这些图像,我们截取左上角的大小为512×512的图像进行实验,目的是在相同条件下进行比较。此外,还选取了其他两幅遥感图像进行测试。其中一幅“pavia”是通过QuickBird传感器在意大利北部的帕维亚地区获取的,分辨率是0.6m。另一幅图像“houston”是通过传感器WorldView-2于2013年在美国的休斯敦地区获取的,分辨率为0.5m。图像“pavia”和“houston”的大小均为512×512。在整个测试图像集中,“lunar”和“coastal-b1”的位深为8位,“ocean_2kb1”的位深为10位,“pavia”和“houston”的位深为11bit,“pleiades_portdebouc_pan”的位深为12位。图像“lunar”如图6中(a)所示,图像“coastal-b1”见图7中(a)所示。其余测试图像见图9。
[0139] 主观质量比较:
[0140] 为了比较本发明提出的压缩方法以及其它基于扫描的方法得到的重建图像的视觉质量,先采用图像“coastal-b1”进行测试。假设黄斑中心凹点观察的是图像的中心,且观测距离v是5,小波分解层数是5层。分别采用SPIHT,JPEG2000,BTCA,以及本发明方法进行压缩。不同比特率下重建图像的视觉质量比较结果如图7所示。
[0141] 从图7中,可以看到,在给定比特率下,采用本发明提出的压缩方法,其得到的重建图像的整体质量要优于其它的基于扫描的方法。其中一个原因是,提出的方法采用了视觉加权掩模对小波图像进行加权,这能保证对重建图像视觉质量贡献大的比特先被扫描并编码。此外,本发明提出的自适应扫描过程能够保留更多的纹理信息。因此,重建图像的整体视觉质量必然得到改善。
[0142] 为了进一步证明本发明方法的有效性,对于图7中的测试图像(a),做了更多地实验进行证明。在比特率范围为0.0313bpp到1bpp时,所有方法得到的FWQI,VSNR以及MS-SSIM的结果,分别如图8中(a),(b)和(c)所示。可以看出,从客观评价的角度,在整个给定的比特率范围内,本发明提出的方法得到的重建图像的视觉质量,依然优于其它基于扫描的方法。
[0143] 本发明与其他基于扫描方法的性能比较:
[0144] 一般地,不同的图像具有不同的内容,包括复杂度,纹理等。从评价算法的角度,不应该只采用一幅图像对其评价,而应取多幅图像进行测试,并取结果的均值。本发明做了更多地实验来验证所提方法的有效性。实验中,选取多幅测试图像进行实验,包括图6中的(a),图7中的(a),图9中(a)~(f)作为测试图像,每幅图像均进行五级9/7双
正交小波分解。根据图3中给出的观测距离的概率分布,可以看出,最大可能的观测距离v是3。因此,在这些实验中,v的值被设定为3。在不同比特率下,所有方法的FWQI,VSNR,以及MS-SSIM的结果分别见表2、表3、表4、表5、表6和表7。
[0145] 表2~表7中,用“J2K”表示“JPEG2000”,可以看到,对于所有给定的比特率,本发明得到的FWQI,VSNR,和MS-SSIM的均值都是最高的。这说明,相比于其它基于扫描的方法,本发明能够提供更好的重建图像质量。
[0146] 表2本发明方法和其它基于扫描的压缩方法的FWQI比较
[0147]
[0148] 表3本发明方法和其它基于扫描的压缩方法的FWQI比较
[0149]
[0150] 表4本发明方法和其它基于扫描的压缩方法的VSNR(dB)比较
[0151]
[0152] 表5本发明方法和其它基于扫描的压缩方法的VSNR(dB)比较
[0153]
[0154] 表6本发明方法和其它基于扫描的压缩方法的MS-SSIM比较
[0155]
[0156] 表7本发明方法和其它基于扫描的压缩方法的MS-SSIM比较
[0157]
[0158] 结果和结论:
[0159] 本发明首先根据人眼的视觉特性,生成视觉加权掩模。其次,对加权后的变换图像,根据视觉加权子带的重要性,设计子带间的扫描顺序。对于子带内的扫描,设计目的是尽可能保留更多的细节信息,这有助于在不增加额外数据的基础上,改善重建图像的视觉质量。最后,采用二叉树编码器来编码生成的一维系数序列。提出的压缩方法开销极小,甚至可以忽略不计。实验结果证明,和其它基于扫描的方法相比,本发明能够提供更好的重建图像的视觉质量。本发明的整个扫描过程可以看作是由两个阶段实现。第一个阶段的目的是根据人眼的视觉特性,生成重要性加权掩模,这有助于保证那些对视觉质量贡献更大的比特被先扫描。第二阶段对视觉加权后的变换图像,针对子带间扫描和子带内扫描,分别设计不同的扫描顺序。最后,采用二叉树编码器对生成的一维系数序列进行编码。
[0160] 本发明有效提高重建遥感图像的视觉质量,满足了目前日益增长的遥感图像在线浏览的需求。本发明适用于遥感图像的在线浏览。
[0161] 本发明涉及的参考文献如下:
[0162] [1]J.M.Shapiro,“Embedded image coding using zerotrees of wavelet coefficients,”IEEE Trans.Signal Process.,vol.41,no.12,pp.3445–3462,Dec.1993.[0163] [2]A.Said and W.A.Pearlman,“A new,fast,and efficient image codec based on set partitioning in hierarchical trees,”IEEE Trans.Circuits Syst.Video Technol.,vol.6,no.3,pp.243–250,Jun.1996.
[0164] [3]W.A.Pearlman,A.Islam,N.Nagaraj,and A.Said,“Efficient low complexity image coding with a set-partitioning embedded block coder,”IEEE Trans.Circuits Syst.Video Technol.,vol.14,no.11,pp.1219–1235,Nov.2004.[0165] [4]JPEG2000Image Coding System,ISO/IEC Std.15 444-1,2000.
[0166] [5]A.Beghdadi,M.C.Larabi,A.Bouzerdoum,and K.M.Lftekharuddin“,A survey of perceptual image processing methods,”Signal Processing:Image Communication,vol.28,no.8,pp.811-831,Sep.2013.
[0167] [6]B.Macq,and H.Q.Shi,“Perceptually weighted vector quantization in the DCT domain,”Electronics Letters,vol.29,no.15,pp.1382–1384,Jul.1993.[0168] [7]I.Hontsch and L.J.Karam,“Locally adaptive perceptual image coding,”IEEE Trans.Image Process.,vol.9,no.9,pp.1472–1483,Sep.2000.
[0169] [8]I.Hontsch and L.J.Karam“, Adaptive image coding with perceptual distortion control,”IEEE Trans.Image Process.,vol.11,no.9,pp.213–222,Mar.2002.
[0170] [9]M.G.Albanesi and F.Guerrini,“An HVS-based adaptive coder for perceptually lossy image compression,”Pattern Recognition,vol.36,no.4,pp.997–1007,Apr.2003.
[0171] [10]M.J.Nadenau,J.Reichel,and M.Kunt,“Wavelet-based color image compression:exploring the contrast sensitivity function,”IEEE Trans.Image Process.,vol.12,no.1,pp.58–70,Jan.2003.
[0172] [11]Z.Liu,L.J.Karam,and A.B.Watson,“JPEG2000 encoding with perceptual distortion control,”IEEE Trans.Image Process.,vol.15,no.7,pp.1763–1778,Jul.2006.
[0173] [12]G.Sreelekha,P.S.Sathidevi,“An HVS based adaptive quantization scheme for the compression of color images,”Digital Signal Processing,vol.20.no.4.pp.1129–1149,Jul.2010.
[0174] [13]D.Wu,D.M.Tan,M.Baird,and J.DeCampo,etc“, Perceptually lossless medical image coding,”IEEE Trans.Medical Image,vol.25,no.3,pp.335–344,Mar.2006.
[0175] [14]X.H.Zhang,W.S.Lin,P.Xue,“Just-noticeable difference estimation with pixels in images,”J.Vis.Commun.Image R,vol.19,no.1,pp.30-41,Jan.2008.[0176] [15]Y.Niu,X.L.Wu,G.M.Shi,and X.T.Wang“, Edge-based perceptual image coding,”IEEE Trans.Image Process.,vol.21,no.4,pp.1899–1910,Apr.2012.
[0177] [16]D.M.Tan,C.S.Tan,and H.R.Wu,“Perceptual Color Image Coding With JPEG2000,”IEEE Trans.Image Process.,vol.19,no.2,pp.374–383,Feb.2010.
[0178] [17]H.Oh,A.Bilgin,and M.W.Marcellin“, Visually Lossless Encoding for JPEG2000,”IEEE Trans.Image Process.,vol.22,no.1,pp.189–201,Jan.2013.
[0179] [18]A.L.N,T.D.Costa,M.N.Do,“A Retina-Based Perceptually Lossless Limit and a Gaussian Foveation Scheme With Loss Control,”IEEE J.Sel.Topics.Signal Process,vol.8,no.3,pp.438–453,Jun.2014.
[0180] [19]B.Li,R.Yang,and H.X.Jiang“. Remote-sensing image compression using two-dimensional oriented wavelet transform,”IEEE Trans.Geosci.Remote Sens.,vol.49,no.1,pp.236–250,Jan.2011.
[0181] [20]A.Karami,M.Yazdi,and G.Mercier“. Compression of hyperspectral images using discerete wavelet transform and tucker decomposition,”IEEE J.Sel.Topics Appl.Earth Observ.,vol.5,no.2,pp.444–450,Apr.2012.
[0182] [21]X.Zhan,R.Zhang,D.Yin,and A.Z.Hu.“Remote sensing image compression based on double-sparsity dictionary learning and universal trellis coded quantization,”in Proc.IEEE Int.Conf.Image Process.,2013,pp.1665-1669.
[0183] [22]C.Jiang,H.Y.zhang,H.F.Shen,and L.P.Zhang“. Two-Step Sparse Coding for the Pan-Sharpening of Remote Sensing Images,”IEEE J.Sel.Topics Appl.Earth Observ.,vol.7,no.5,pp.1792–1805,May.2014.
[0184] [23]P.Kulkarni,A.Bilgin,M.W.Marcellin,and J.C.Dagher“. Compression of earth science data with JPEG2000,”in Hyperspectral Data Compression.pp.347–378,2006.
[0185] [24]F.García-Vílchez and J.Serra-Sagristà,“Extending the CCSDS recommendation for image data compression for remote sensing scenarios,”IEEE Trans.Geosci.Remote Sens.,vol.47,no.10,pp.3431–3445,Oct.2009.
[0186] [25]K.K.Huang and D.Q.Dai“,A new on-board image codec based on binary tree with adaptive scanning order in scan-based mode,”IEEE Trans.Geosci.Remote Sens.,vol.50,no.10,pp.3737-3750,Oct.2012.
[0187] [26]Z.Wang and A.C.Bovik,“embedded foveation image coding,”IEEE Trans.Image Process.,vol.10,no.10,pp.1397-1410,Oct.2001.
[0188] [27]A.B.Watson,G.Y.Yang,J.A.Solomon,and J.Villasenor“. Visibility of wavelet quantization noise,”IEEE Trans.Image Process.,vol.6,no.8,pp.1164-1175,Aug.1997.
[0189] [28]N.Memon,D.L.Neuhoff,and S.Shende,“An analysis of some common scanning techniques for lossless image coding,”IEEE Trans.Image Process.,vol.9,no.11,pp.1837-1848,Nov.2000.
[0190] [29]Z.Wang and A.C.Bovik,“A universal image quality index,”IEEE Signal Process.Lett.,vol.9,no.3,pp.81–84,Mar.2002.
[0191] [30]S.Patel,and S.Srinivasan,“Modified embedded zerotree wavelet algorithm for fast implementation of wavelet image codec,”Electronics Letters,vol.36,no.20,pp.1713-1714,Sep.2000.
[0192] [31]V.N.Ramaswamy,K.R.Namuduri,and N.Ranganathan,“Context-based lossless image coding using EZW framework,”IEEE Trans.Circuits Syst.Video Technol.,vol.11,no.4,pp.554–559,Apr.2001.
[0193] [32]S.R.Chang and L.Carin,“A modified SPIHT algorithm for image coding with a joint MSE and classification distortion measure,”IEEE Trans.Image Process.,vol.15,no.3,pp.713-725,Mar.2006.
[0194] [33]Z.J.Fang,N.X.Xiong,L.T.Yang,X.M.Sun,and Y.Yang,“Interpolation-Based Direction-Adaptive Lifting DWT and Modified SPIHT for Image Compression in Multimedia Communications,”IEEE Systems Journal,vol.5,no.4,pp.584-593,Dec.2011.
[0195] [34]Y.Jin and H.J.Lee“,A block-based pass-parallel SPIHT algorithm,”IEEE Trans.Circuits Syst.Video Technol.,vol.22,no.7,pp.1064-1075,Jul.2012[0196] [35]Z.Y.Wu,A.Bilgin,and M.W.Marcellin“, Joint source/channel coding for image transmission with JPEG2000 over memoryless channels,”IEEE Trans.Image Process.,vol.14,no.8,pp.1020-1032,Aug.2005.
[0197] [36]J.Y.Yang,Y.Wang,W.L.Xu,and Q.H.Dai“, Image coding using dual-tree discrete wavelet transform,”IEEE Trans.Image Process.,vol.17,no.9,pp.1555-1569,Sep.2008.
[0198] [37]D.M.Chandler and S.S.Hemami“. VSNR:A wavelet-based visual signal-to-noise ratio for natural images,”IEEE Trans.Image Process.,vol.16,no.9,pp.2284-2298,Sep.2007.
[0199] [38]Z.Wang,E.P.Simoncelli and A.C.Bovik,″Multiscale structural similarity for image quality assessment,″in Proc.IEEE Asilomar Conf.Signals,Syst.,Comput.,Pacific Grove,CA,Nov.2003,pp.1398–1402.
[0200] [39]CCSDS reference test image set,Apr.2007.[Online].Available:http://cwe.ccsds.org/sls/docs/sls-dc/.