近十年来各种新的医学成像设备得到了迅速的发展,并广泛应用于临床 诊断和
治疗中,为了使多次成像或多种成像设备的信息可以得到综合利用, 弥补信息不完整等因素引起的
缺陷,使临床的诊断和治疗更全面准确。多 模(multimodality)医学
图像配准是将来源于不同医学成像设备的图像进行 配准。由于不同模式的设备对人体内大到组织,小到分子、
原子有不同的 灵敏度和
分辨率,因而有它们各自的适用范围和局限性。多种模式图像的 结合能充分利用图像自身的特点并做到信息互补。目前的医学成像模式可 分为两类:功能成像(SPECT、PET等)和解剖成像(CT、MRI、B超等)。 功能图像分辨率较差,但它提供的脏器功能代谢信息是解剖图像所不能替 代的;解剖图像以较高的分辨率提供了脏器的解剖形态信息,但无法反映 脏器的功能情况。将功能图像和解剖图像进行配准,可以使功能成像和解 剖成像技术相互取长补短,在一幅图像上同时表达来自人体的多方面信息。
医学图像配准是医学
图像处理领域中的一个重要的和基本的研究课题, 它是医学图像融合、医学图像重建、图像与标准图谱的匹配等研究的
基础。 图像匹配是图像处理的一项关键技术,在运动目标
跟踪、识别、医学图像 处理等领域已得到广泛的应用。
本发明的目的是要解决上述单次成像或单种成像设备得到的图像信息 不完整的问题,而提供一种可以使功能成像和解剖成像相互取长补短,在一 幅图像上同时表达来自人体多方面信息的基于微机的医学图像模板匹配方 法。
本发明之方法包括以下步骤:
①、图像预处理
任何一幅未经处理的原始图像,都存在一定的程度的噪声干扰。噪声 恶化了图像
质量,使图像模糊,甚至淹没特征,给分析图像带来困难。在 基于小波和
支持向量机的医学图像匹配
算法中,由于此种方法本质上依赖 于图像灰度在空间分布上的相关性,此种方法对于图像之间的差异的描述 是很有效,但它对由于噪声引起的差异无法区分,这是该匹配方法的理论 缺陷。因此必须在该方法前期进行预处理,去除输入图像间的图像差别, 尽量突出图像间的本质差别,将模板图像与待匹配图像进行图像预处理; 平滑的目的在于消除混杂在图像中冗余信息的干扰,改善图像质量,强化 图像表现特征。
②、运用支持向量机训练样本
首先对模板图像进行旋转、缩放、平移及
对比度的变换,这些变换的 比例系数是通过随机数发生器产生,该随机数是在预先设定的变化范围内, 此过程相当于对模板图像进行若干次仿射变换,其模板变换后的样本集的 类别标志y=+1;再将其他图像作为非模板图像样本集,其类别标志为 y=-1;最后将这两类样本集作为支持向量机的训练样本。
③、复数小波实现特征的提取
对训练样本图像进行复数
小波变换,利用复数小波的方向选择性、多 尺度特性及近似平移不变性来
抽取图像
能量的均值、均方差及偏度等统计 特征,采用的复数小波变换的低通与高通
滤波器系数分别为:
h0=[1-j,4-j,4+j,1+j]/10
h1=[-3-8j,15+8j,-15+8j,3-8j]/48
对图像进行复数小波(CDWT)变换,每个尺度都可以分别分解出由
实部 系数构成的六个方向不同的子图像和由
虚部系数构成的六个方向不同的子 图像,将这些小波系数进行归一化即可消除图像噪声对匹配的影响,根据 同一滤波器生成的与复数实虚部对应的子图像,就可求得各方向子频带的 能量子图像,其产生的六个能量子图像可表示成Dm,k,其中k=1,…,6对应六个 方向子频带,m=1,2…对应复数小波(CDWT)变换的级数,定义 E(m,k),μ(m,k),σ(m,k),S(m,k)分别对应Dm,k的能量(式1)、能量均值(式2)、 能量均方差(式3)、能量偏度(式4):
M,N分别为图像的行数和列数,通过式(2)、式(3)、式(4)提取能量均 值、能量均方差和能量偏度作为匹配的
特征向量,并将这些特征作为支持 向量机的输入参数,采用序贯最小
优化算法(SMO)产生支持向量机。
将模板图像能量均值、能量均方差和能量偏度作为匹配的特征,设模 板T叠放在搜索图即待匹配图像S上平移,模板图像盖下的那
块搜索图叫 子图Si,j,i,j为这块子图的左上
角像素点在S图像中的坐标,从搜索图中可 以得出i和j的取值范围为
1<i,j<N-M+1
将子图Si,j作为支持向量机的测试集合进行复数小波变换,通过式 (2)、式(3)、式(4)提取能量均值、能量均方差和能量偏度,并且根据
进行分类,从而产生与模板图像相似的候选图像集合S,如果集合S为空集 则说明若S中没有与模板相匹配的子图像算法结束,否则执行步骤④。
④、寻找最优匹配
对S中的子图像寻找最优匹配的子图像,经过支持向量机分类后,产 生的与模板图像相似的侯选子图像集合用S表示,由于最优分类
超平面存 在线性可分和线性不可分两种情况,所以经过支持向量机分类得到的匹配 结果S是一个粗匹配结果,如果S非空,则需要对匹配结果进行后处理;
在线性可分情况下,可以通过式
s.t.yi(w·xi+b)≥1,i=1,2,…,l
来获得到最优分类超平面从而达到将两类样本正确分开的目的,由式
可知,由于S
中子图像到最优超平面的距离都大于等于1,这时S中的 各个子图像都是正确匹配的目标,所以后处理只是在这S中寻找最优匹配;
在线性不可分情况下,则需要通过优化式
来得到最优分类超平面,由于引入了松弛变量和惩罚因子,所以存在错分 的可能,即存在候选子图像到超平面距离小于1的可能,所以要分情况考 虑S,需要首先考虑S中到超平面的距离都大于等于1的子图像.由于这些 子图像都是正确匹配的目标,所以可以从这些子图像集合中寻找最优匹配, 如果S中没有距离大于等于1的子图像,则需要寻找到超平面距离最大的 子图像;如果其距离大于预先设定的
阈值,则把其看作最优匹配的结果, 否则认为当前搜索图像中无匹配目标。
在粗匹配过程中,不但极大缩小了侯选子图像的范围,而且解决了传 统图像匹配方法存在的
置信度问题。此时,如果检测结果S为空,则说明 在这个搜索的目标图像中无匹配子图像;如果S非空,根据上述分析,则 需要利用一个判定准则来确定S中与模板图像最相似的目标子图像。木发 明提出了一个新的判优准则函数,这是算法的精匹配过程,该策略不仅增 强了算法的鲁棒性,而且提高了匹配的
精度。在二维情况下,点(x0,y0)到 直线Ax+By+C=0距离为:
同理,根据式
候选子图像的特征向量xi到最优分类超平面的距离可以定义如下:
xj为模板类的支持向量,n为该类支持向量的数目,一般式(5)可以作为 最优准则函数,但是在S非空的条件下,应分为两种情况来考虑最优准则 判定函数;若S中存在xj,其d(xi)大于等于1,则采用K-近邻法计算S的聚 类中心,并找S中离聚类中心最近的特征向量xk;否则计算
xk=argmax{d(xi>T),i=1,…,L,且0<d(xi)<1} (6)
其中,xi为候选图像特征向量,L为S大小,T为预先设定的阈值,xk为 最优匹配目标子图像的特征向量。
本发明之方法是将配准过程分为两个阶段即粗配准阶段和精细配准阶 段,在粗配准阶段运用较少的控制点对及简单的变换模型,达到初步的配 准,速度较快;在精细配准阶段,运用所提取出的精确的特征点对,进一 步提高配准的精度;不同于以往的人工干预与自动配准结合的方法,从粗 配准、特征点提取及对应性的确定到精确配准整个过程不需要人工干预, 具有较强的鲁棒性。实验结果表明,该方法的配准精度可以达到手动提取 特征点所达到的配准精度。
附图说明
图1为本发明的搜索图的示意图。
图2为本发明的模板示意图。
配合图1、图2所示,本发明之方法包括以下步骤:
①、图像预处理
任何一幅未经处理的原始图像,都存在一定的程度的噪声干扰。噪声 恶化了图像质量,使图像模糊,甚至淹没特征,给分析图像带来困难。在 基于小波和支持向量机的医学图像匹配算法中,由于此种方法本质上依赖 于图像灰度在空间分布上的相关性,此种方法对于图像之间的差异的描述 是很有效,但它对由于噪声引起的差异无法区分,这是该匹配方法的理论 缺陷,因此必须在该方法前期进行预处理,去除输入图像间的图像差别, 尽量突出图像间的本质差别,将模板图像与待匹配图像进行图像预处理; 平滑的目的在于消除混杂在图像中冗余信息的干扰,改善图像质量,强化 图像表现特征。
②、运用支持向量机训练样本
首先对模板图像进行旋转、缩放、平移及对比度的变换,这些变换的 比例系数是通过随机数发生器产生,该随机数是在预先设定的变化范围内, 此过程相当于对模板图像进行若干次仿射变换,其模板变换后的样本集的 类别标志y=+1;再将其他图像作为非模板图像样本集,其类别标志为 y=-1;最后将这两类样本集作为支持向量机的训练样本。
③、复数小波实现特征的提取 对训练样本图像进行复数小波变换,利用复数小波的方向选择性、多尺度 特性及近似平移不变性来抽取图像能量的均值、均方差及偏度等统计特征, 采用的复数小波变换的低通与
高通滤波器系数分别为:
h0=[1-j,4-j,4+j,1+j]/10
h1=[-3-8j,15+8j,-15+8j,3-8j]/48
对图像进行复数小波(CDWT)变换,每个尺度都可以分别分解出由实部 系数构成的六个方向不同的子图像和由虚部系数构成的六个方向不同的子 图像,将这些小波系数进行归一化即可消除图像噪声对匹配的影响,根据 同一滤波器生成的与复数实虚部对应的子图像,就可求得各方向子频带的 能量子图像,其产生的六个能量子图像可表示成Dm,k,其中k=1,…,6对应六个 方向子频带,m=1,2…对应复数小波(CDWT)变换的级数,定义 E(m,k),μ(m,k),σ(m,k),S(m,k)分别对应Dm,k的能量(式1)、能量均值(式2)、 能量均方差(式3)、能量偏度(式4):
M,N分别为图像的行数和列数,通过式(2)、式(3)、式(4)提取能量 均值、能量均方差和能量偏度作为匹配的特征向量,并将这些特征作为支 持向量机的输入参数,采用序贯最小优化算法(SMO)产生支持向量机。
如图1、图2所示,将模板图像能量均值、能量均方差和能量偏度作 为匹配的特征,设模板T叠放在搜索图即待匹配图像S上平移,模板图像 盖下的那块搜索图叫子图Si,j,i,j为这块子图的左上角像素点在S图像中的 坐标,从搜索图中可以得出i和j的取值范围为
1<i,j<N-M+1
将子图Si,j作为支持向量机的测试集合进行复数小波变换,通过式 (2)、式(3)、式(4)提取能量均值、能量均方差和能量偏度,并且根据
进行分类,从而产生与模板图像相似的候选图像集合S,如果集合S为空集 则说明若S中没有与模板相匹配的子图像算法结束,否则执行步骤④。
④、寻找最优匹配
对S中的子图像寻找最优匹配的子图像,经过支持向量机分类后,产 生的与模板图像相似的侯选子图像集合用S表示,由于最优分类超平面存 在线性可分和线性不可分两种情况,所以经过支持向量机分类得到的匹配 结果S是一个粗匹配结果,如果S非空,则需要对匹配结果进行后处理;
在线性可分情况下,可以通过式
s.t.yi(w·xi+b)≥1,i=1,2,…,l
来获得到最优分类超平面从而达到将两类样本正确分开的目的,由式
可知,由于S中子图像到最优超平面的距离都大于等于1,这时S中的 各个子图像都是正确匹配的目标,所以后处理只是在这S中寻找最优匹配;
在线性不可分情况下,则需要通过优化式
来得到最优分类超平面,由于引入了松弛变量和惩罚因子,所以存在错分 的可能,即存在候选子图像到超平面距离小于1的可能,所以要分情况考 虑S,需要首先考虑S中到超平面的距离都大于等于1的子图像.由于这些 子图像都是正确匹配的目标,所以可以从这些子图像集合中寻找最优匹配, 如果S中没有距离大于等于1的子图像,则需要寻找到超平面距离最大的 子图像;如果其距离大于预先设定的阈值,则把其看作最优匹配的结果, 否则认为当前搜索图像中无匹配目标。
在粗匹配过程中,不但极大缩小了侯选子图像的范围,而且解决了传 统图像匹配方法存在的置信度问题。此时,如果检测结果S为空,则说明 在这个搜索的目标图像中无匹配子图像;如果S非空,根据上述分析,则 需要利用一个判定准则来确定S中与模板图像最相似的目标子图像。木发 明提出了一个新的判优准则函数.这是算法的精匹配过程,该策略不仅增强 了算法的鲁棒性,而且提高了匹配的精度。在二维情况下,点(x0,y0)到直 线Ax+By+C=0距离为:
同理,根据式
候选子图像的特征向量xi到最优分类超平面的距离可以定义如下:
xj为模板类的支持向量,n为该类支持向量的数目,一般式(5)可以作为 最优准则函数,但是在S非空的条件下,应分为两种情况来考虑最优准则 判定函数;若S中存在xj,其d(xi)大于等于1,则采用K-近邻法计算S的 聚类中心,并找S中离聚类中心最近的特征向量xk;否则计算
xk=argmax{d(xi>T),i=1,…,L,且0<d(xi)<1} (6)
其中,xi为候选图像特征向量,L为S大小,T为预先设定的阈值,xk为 最优匹配目标子图像的特征向量。
本发明运行速度相对径向基神经网络快及匹配正确率高,不仅解决了 在传统图像匹配方法中搜索目标图像所存在的置信度问题,而且对目标图 像在背景中平移,旋转,伸缩等变化的适应能
力强,而且特征提取阶段容 易并行实现。