通过具有
权利要求1所提出的特定的特征的方法来实现上述方面。用于本发明的优选实施例的特定的特征在
从属权利要求中被提出。
在本发明的上下文中,特定的术语定义如下:
多尺度分解机制:
图像的多尺度(或者多分辨率)分解是以多个尺度计算所述图像的细节图像的过程。多尺度分解机制一般涉及用于计算所述细节图像的
滤波器组。众所周知的技术举例来说有:拉普拉斯金字塔(laplacianpyramid)、伯特金字塔(Burt Pyramid)、拉普拉斯堆(Laplacian stack)、小波分解、QMF滤波器组...。
近似图像:
近似图像是以相同或者更大的尺度,或者以相同或者更低的分辨率表示原始灰度值图像的灰度值图像。特定尺度的近似图像与其中该尺度的所有细节已被省略的原始灰度值图像等同(Mallat S.G.,″多分辨率信号分解理论:小波表示″,IEEE
模式识别及机器智能学报,1989年7月,卷11,编号7(″A Theory for Multisolution Signal Decomposition:The Wavelet Representation″,IEEE Trans.On Pattern Analysis andMachine Intelligence,Vol.11,no.7,July 1989))。
细节图像:
细节图像被定义为表示某一尺度的近似图像与更小尺度的近似图像之间的差的像素图。
转换算子:
转换算子是生成所述细节像素值的按像素的修正的算子,作为创建所述灰度值图像的对比度增强的形式的中间步骤。举例来说,这样的算子已经在欧洲专利EP 527 525中被描述。由转换函数定义所述修正并且可以例如将所述修正实现为查找表或者实现为乘法放大。
转换差图像:
尺度s的转换差图像是尺度s的近似图像的每个像素中的基本对比度(elementary contrast)的测量。可以通过求该尺度s的近似图像与经转换的形式之间的差来计算它们。对基本对比度的其他计算是可能的,例如像素与相邻像素的比可以被用于在处理步骤之前是指数变换并且在所述处理步骤之后是对数变换的情况中。
中心差图像:
通过将合并算子(例如求和)应用于所述转换差图像来计算中心差图像。所述合并算子可以是所述转换差图像中对应的像素值的线性或者非线性函数。
方向图:
特定尺度的方向图是对典型地与显著的图像结构相关联的突出的或者局部主导的方位的图像内的每个像素的表示。
方向图的可能的表示是向量图、极坐标表示(每个像素中的优选方位的
角度和幅度)、笛卡尔坐标表示(每个像素中的优选方位的
水平和垂直分量)。(在更简单的表示中,只有角度被定义并且方位向量的幅度被除去)。
计算方向图的许多实现已经被描述,从诸如第n阶计量坐标(then-th order gauge coordinate)、等照度线(在图像中连接相等强度的点的线)的方位的复杂机制到诸如水平和垂直梯度图像的合并的更直接的实现变化。
所述方向图也可以从细节图像而被计算出。例子是通过边缘小波生成的细节信息,其中所述细节信息以不同尺度表示边缘的局部化。
基于被增强并且被合并到中心差中的转换差图像的多尺度图像处理产生如下的可能性:调节对存在于所述数字图像中的方位的增强。
各向异性的多尺度图像处理基于如上定义的方向图,其在特定尺度上为每个像素定义所关心的优选的局部方位。
可以从所述近似图像以及从所述细节图像来计算出所述方向。
进一步,实现所述各向异性的多尺度图像增强的两个方法被描述:转换差图像的可控制的增强以及增强的转换差图像的各向异性的加权。两种实现可以独立于彼此而被应用或者一起被应用以从所述转换差图像来产生增强的中心差。
本发明一般地被实现为
计算机程序产品,当其在计算机上被运行时,所述计算机程序产品适用于执行权利要求中的任意一项权利要求所述的方法并且被存储在计算机可读介质上。
本发明的方法可以被应用于增强医学图像(诸如乳房摄像图像、通过计算
层析成像得到的图像等)的图像质量。
本发明的另外的优点和实施例从以下的描述及
附图将变得显而易见。
本发明的对比度增强算法适用于所有多尺度细节表示方法,通过应用逆变换可以根据其来计算原始图像。
其对于可以被计算为转换差图像的加权和的可反转多尺度细节表示是适用的。
所述转换差图像的加权因子和转换偏置可以以如下方式从所述多尺度分解中被减除:使所述转换差图像的最终的加权和与所述细节像素值一致。
对于这些多尺度细节表示,可以通过在所述加权和被计算之前将转换算子应用于所述转换差来增强对比度。
为计算转换差图像的加权和,相同尺度(或者分辨率水平)的近似图像或者更小尺度(或者更精细的分辨率水平)的近似图像可以被使用。
现有技术状况的多尺度对比度增强算法将图像分解为多尺度表示,所述多尺度表示包括以多个尺度表示细节的细节图像以及残留图像。
一些重要的多尺度分解是小波分解、拉普拉斯-高斯(或者LoG分解)、高斯差分(或者DoG)分解以及伯特金字塔。
通过应用随后是子
采样步骤的高通及
低通滤波器级联来计算所述小波分解。
高通滤波器从特定尺度的近似图像中提取细节信息。
在所述伯特金字塔分解中,通过减去尺度k+1的近似图像的
过采样(upsampled)形式从尺度k的近似图像提取出细节信息。
在如EP 527 525中所公开的一个现有技术状况的方法中,通过随后是多尺度重构的细节图像中的像素值的转换来创建图像的对比度增强的形式。
多尺度分解的所有上述实现具有共同的特性。通过合并滑动邻域中的像素值可以从近似图像计算出细节图像中的每个像素值。
在上述情况中,合并函数是加权求和。
对于小波分解,尺度k的细节图像中的像素值被计算为:
dk+1=↓(hd*gk)
gk+1=↓(ld*gk)
其中hd是高通滤波器,ld是低通滤波器,*是卷积算子并且↓是亚采样(subsampling)算子(即省去每第二行和列(every second row andcolumn))。
对于小波重构,尺度k的增强的近似图像被计算为:
hk=lr*(↑hk+1)+hr*(↑f(dk+1))
其中hr是高通滤波器,lr是低通滤波器并且↑是过采样算子(即在任两行和列(any two rows and columns)之间插入具有0值的像素)。
对于伯特分解,尺度k的细节图像中的像素值被计算为:
dk=gk-4g*(↑gk+1)
或者
dk=gk-4g*(↑(↓(g*gk)))
或者
dk=(1-4g*(↑(↓g)))*gk
其中g是高斯低通滤波器并且l是恒等算子。
对于伯特重构,尺度k的增强的近似图像被计算为:
hk=4g*(↑hk+1)+f(dk)
其中f(x)是转换算子。
作为加权和的多尺度细节像素值
假如在伯特多尺度分解中具有系数wk,l的5×5高斯滤波器被使用,其中k=-2,...2并且l=-2,...2,所述亚采样算子去除每第二行和列并且所述过采样算子在任两行和列之间插入具有值0的像素。
在近似图像gk+l中处于位置i,j的像素被计算为:
在过采样的图像uk中处于位置i,j的像素被计算为:
在过采样的、经平滑的图像guk中处于位置i,j的像素被计算为:
最后,在细节图像dk中处于位置i,j的像素被计算为:
一般而言,在细节图像dk中处于位置i,j的像素可以被计算为相同或者更小尺度k,k-1,k-2,...的近似图像中的像素的加权和:
其中l∈{0,...,k}并且r=亚采样因子(1-k)
因为
所以在细节图像dk中处于位置i,j的像素可以被计算为:
项gl(ri,rj)-gl(ri+m,rj+n)被称为转换差。
其表示了近似图像中的中心像素和相邻像素之间的像素值的差。它是局部对比度的测量。
所述转换差的加权和被称为中心差ck(i,j)。
同样地,对于小波分解,细节图像中的像素值可以被计算为近似图像中的像素的加权和。通过将具有滤波器系数hm,n的高通滤波器h应用于近似图像gk来计算细节图像dk+1中的像素值。该滤波操作之后是去除每第二行和列的亚采样算子。
dk+1=↓(h*gk)
在细节图像dk+1中处于位置i,j的像素被计算为:
因为对于高通滤波器,滤波器系数的和等于0:
或者
所以在细节图像dk+1中处于位置i,j的像素可以被计算为:
项gk(2i,2j)-gk(2i+m,2j+n)表示转换差。
以相似的方式,可以被证明的是:其他多尺度分解方法中的细节图像也可以被表示为转换差图像的合并。
转换操作
在像EP 527 525中所公开的一个现有技术状况的方法中,通过将转换算子f(x)应用于细节图像dk来获得对比度增强,或者,等同地为:
这样的转换算子的例子是S形函数(sigmoid function)。这样的转换算子的另一个例子是像在EP 525 527中所公开的一个对比度增强函数。所述转换算子的形状取决于对增强的特定需求,其意图是与高值细节像素相比更多地放大低值细节像素。
转换步骤可能在被重构的、对比度增强的图像中引起边缘转变的形状的
变形(deformation)。原因是所述转换函数的非线性。
一般而言,下列各项适用于非线性函数:
f(x+y)≠f(x)+f(y)
现有技术状况的算法首先将细节图像dk中的像素值计算为加权和并且此后应用所述转换步骤。
通过将细节图像dk中的像素值重写为转换差的加权和,有可能在求和之前而不是之后应用所述转换步骤。
现在通过将所述转换步骤应用于所述转换差来得到对比度增强:
以此方式,所述边缘转变的形状在对比度被增强的、重构的图像中更好地被保持。
如果对于每个尺度k,从满分辨率图像g0计算出该尺度的细节图像,并且增强被应用于所述中心差,则所述边缘转变的形状在重构之后最佳地被保持。
本发明的不同实现在图1、3和5中被示出,其中对应的增强步骤在图2、4和6中被示出。
图1示出多尺度图像处理方案,其中从相同尺度的近似图像计算出所述中心差图像。该图示出配备有控制路径的用于多分辨率图像处理的扩展方案。从不同尺度的近似图像,所述中心差图像被计算出并且在受控的增强块E中被增强。块E的输出经受重构过程。
图2示出利用从近似图像获得的方向图的受控的增强块E。
功能块Ak
这些滤波块可以被用于增强近似图像或者从所述近似图像计算出某些特性,典型地为水平和垂直梯度图像。这些特性可以被用于计算所述方向图。
在特定的实施例中,所述近似图像在方向图从其被计算出之前被增强。举例来说,这可以通过对所述近似图像进行额外的平滑以减少噪声及不相关的小的图像结构对方向图计算的影响来执行。
同样地,其他特性可以从所述近似图像计算出,例如水平和垂直梯度图像。在下一个步骤中,即在方向图生成器中(将在下文中被描述),两个图像可以被合并以计算所述方向图。
方向图生成器
特定尺度的方向图对于图像内的每个像素是显著的图像结构的突出的或者局部主导的方位的表示。
方向图的可能表示已经在上文中被描述。
各向异性增强
各向异性增强通过(1)所述转换差图像的受控的增强,由此所述控制取决于所述方向图的内容,或者(2)通过增强的转换差图像的各向异性的加权(系数wj)来执行。两种实现可以独立于彼此被应用或者可以一起被应用于从所述转换差图像来创建出增强的中心差。
转换差图像的可控制的增强
每个增强的中心差被计算为增强的转换差图像的合并。
转换差是近似图像中中心像素与在其局部邻域中的像素的像素值的差。
通过使用这两个像素相对于彼此的空间方向,可以将所述增强用于根据所关心的预先定义的方向更多或者更少地修正转换差。
例子(参见图8--3D图像中的不同的层表示不同的值):
假定噪声边缘存在于所述图像内的所关心的区域中。
为了合并边缘的增强而同时减小噪声的影响,可以增强具有与边缘方向垂直的方向的转换差并且衰减平行于所述边缘的转换差。
后一种差图像表示不想要的噪声图像结构,而第一种表示在所述边缘上的局部对比度。具有在这两者之间的方向的转换差图像将经历中间的增强。
从近似图像gk-m开始,通过合并图像gk-m的水平和垂直梯度来计算方向图M。为了减小噪声对梯度计算的影响,使
用例如中值滤波器对所述近似图像gk-m进行滤波,产生被滤波的图像Ak(gk-m)。使用水平和垂直方位上的核(kernel){1,-1}来计算所述图像内的垂直和(en)水平一阶梯度。
如果所述方向图M表示例如显著的图像结构的局部方位(或者垂直于其),所述图被计算为垂直和水平梯度的比的反正切函数:
该方向图M被用作所述LUT算子的控制输入。
LUT算子具有两个输入,转换差以及方向图,并且生成增强的转换差作为输出。这种可控制的LUT算子LUT(dk,M(i,j))的例子是转换算子f(dk)与附加的依赖于方向的放大函数Amp(θ)的合并,其中θ是方向图M(i,j)的函数。
所述转换算子f(dk)的例子是S形函数以及像在EP 525 527中所公开的一个对比度增强函数。所述转换算子的形状取决于所述增强的特定的要求,其意图是与高值转换差相比更多地放大低值转换差。
取决于方向的放大函数典型地返回沿优选方位的最大放大因子、用于垂直于优选方位的最小放大因子以及用于中间的方向的逐渐变化的放大因子。
这种依赖于方向的放大函数的例子是与常数放大因子b相乘的余弦函数。作为该函数的输入,可以求由所述方向图M(i,j)规定的所关心的局部方位和处于位置(m,n)的转换差相对于所关心的中心像素的方向之间的差:
Amp(θ)=bcos(θ)
其中
θ=M(i,j)-angle(dk(i+m,j+n)并且angle(dk(i+m,j+n)=tan-1(n/m)
可控制的LUT算子的更高阶的实现是多维度的查找表。
所述LUT算子的结果是增强的转换差以及所述转换差沿由M(i,j)所规定的方位的附加的增强(在图8中由增强的转换差em,n的灰色背景的暗度来指示)。
接着使用各向同性的权重wm,n合并增强的转换差来计算处于位置i,j的增强的中心差。
权重wm,n被计算使得未增强的转换差的加权和刚好匹配将通过伯特分解的直接应用所生成的细节像素值。
增强的转换差图像的各向异性加权
为从处于每个位置(x,y)的转换差图像计算出中心差,求所述转换差的加权和。在2006年12月11日提交的欧洲专利申请06 125 766.3中,权重是各向同性的并且没有定义优先的方位。
通过根据它们相对于中心权重的空间方向来改变权重,可以在总的和中改变沿预先定义的方向的转换差的重要性。
例子(参见图9-3D图像中的不同的层表示不同的值):
假定噪声边缘存在于所述图像内的所关心的区域中。
如果在减小噪声的同时希望得到该边缘的增强,则可以将相对较高的权重应用于具有与所述边缘方向垂直的方向的增强的转换差并且将相对较低的权重应用于平行于所述边缘的增强的转换差。后一种转换差表示不想要的噪声图像结构,而第一种表示在所述边缘上的局部对比度。具有在这两者之间的方向的增强的转换差将以中间的权重被考虑在内。
根据近似图像gk-m对方向图M的计算在第一实施例中详细地被解释。
代替将所述方向图M用作所述LUT算子的控制输入,所述方向图M也可以被用作控制参数来产生各向异性的权重wm,n。
在该实施例中,LUT算子仅取决于未增强的转换差,例如像上文所规定的转换算子f(dk)。
对于图像内的每个位置i,j各向同性的权重wm,n相对于它们到如所述方向图M(i,j)规定的所关心的局部方位的方向而被修正。
作为修正算子,放大函数的机制如在第一实施例中所解释的那样被使用。
所述各向同性的权重wm,n被乘以依赖于方向的放大函数,其典型地返回沿优选方位的最大乘法因子、用于垂直于所述优选方位的方向的最小乘法因子以及用于所述中间的方向的逐渐变化的乘法因子(在图9中用权重wm,n的灰色背景的暗度来指示)。
这种依赖于方向的放大函数的例子是余弦函数。作为该函数的输入,可以求由所述方向图M(i,j)规定的所关心的局部方位和处于位置(m,n)的权重相对于所述中心位置(0,0)的方向之间的差:
Amp(θ)=cos(θ)
其中
θ=M(i,j)-angle(wk(m,n)并且angle(wk(m,n)=tan-1(n/m)
此外,所述各向异性的权重被归一化使得所述权重的和等于1。
在最后一个步骤中,通过使用所述各向异性的权重合并增强的转换差来计算中心差。这为沿由所述方向图M(i,j)规定的所关心的局部方位被定向的增强的转换差产生相对较高的权重。
图8和9所示的增强方法的合并也是可能的。