一种基于SIFT特征的眼底图像配准方法专利检索-眼底图像眼底照相机医疗设备专利检索查询-专利查询网

一种基于SIFT特征的 眼底图像配准方法

阅读：950发布：2020-05-17

专利汇可以提供一种基于SIFT特征的眼底图像配准方法专利检索，专利查询，专利分析的服务。并且本发明公开了一种基于SIFT特征的眼底图像配准方法，通过对输入的批量眼底图像进行角度分类，然后计算图像之间的变换关系，将图像变换到同一背景，通过快速切换图片，可以发现眼底哪些部分发生了变化。本发明主要利用了模糊收敛视盘定位算法，根据视盘位置对批量输入的眼底图像进行角度分类，角度分为两类：左侧和右侧；然后在每一类图片中选择上传的第一张图片作为基准，其它图片与该基准图片进行配准，提取所有图片的SIFT特征点并计算特征点两两之间的匹配关系；最后使用RANSAC算法计算两两图片之间的变换模型参数，根据变换模型将图像变换到相同的背景，设置图像切换间隔，通过图像的切换可以快速准确地发现图像之间的变化。，下面是一种基于SIFT特征的眼底图像配准方法专利的具体信息内容。

权利要求

1.一种基于SIFT特征的眼底图像配准方法，包括如下步骤：
(1)将所有待配准的眼底图像按照左右眼球对应分成两类，具体地：
对于任一眼底图像，采用模糊收敛算法对其进行视盘定位：首先对眼底图像进行二值化以区分目标和背景，对于图像中任一血管像素点，统计以该血管像素点为中心N×N大小的图像区块内属于目标的像素点数，并作为该血管像素点的得票结果，依此遍历图像中所有血管像素点；然后，筛选出得票最高的前η％的血管像素点，进而对筛选出的这些血管像素点的坐标求平均即得到视盘的中心位置；最后，比较视盘中心位置与图像中心坐标的左右关系，将眼底图像对应归为左眼球图像或右眼球图像；N和η均为预设的数值；
(2)对所有待配准的眼底图像进行SIFT特征检测，以提取出眼底图像中的SIFT特征点，所述的SIFT特征点具有多维特征描述，这些特征描述组成了对应的SIFT 特征向量；
(3)从同类眼底图像中选取一张作为基准图像，基于所述的SIFT特征向量使同类中的其他眼底图像分别与基准图像进行SIFT特征点匹配；
(4)对于同类中除基准图像外的任一眼底图像，计算该眼底图像与基准图像的仿射变换矩阵，进而根据仿射变换矩阵将该眼底图像中各像素点仿射变换至基准图像中以实现配准；依此遍历同类中除基准图像外的所有眼底图像。
2.根据权利要求1所述的眼底图像配准方法，其特征在于：所述的步骤(3)中从同类的眼底图像中选取拍摄时间最早的一张眼底图像作为基准图像。
3.根据权利要求1所述的眼底图像配准方法，其特征在于：所述的步骤(3)中使同类中的其他眼底图像分别与基准图像进行SIFT特征点匹配，具体过程为：对于同类中除基准图像外的任一眼底图像，计算该眼底图像中任一SIFT特征点与基准图像中各SIFT特征点关于SIFT特征向量的欧式距离，取欧式距离的最小值min和次小值secmin，若min4.根据权利要求1所述的眼底图像配准方法，其特征在于：所述的步骤(4)中对于同类中除基准图像外的任一眼底图像，采用RANSAC算法计算该眼底图像与基准图像的仿射变换矩阵，具体过程为：
4.1从该眼底图像与基准图像的所有SIFT特征点匹配对中随机选取四对，进而根据这四对SIFT特征点的坐标通过以下公式确定该眼底图像与基准图像的仿射变换矩阵M：
[x′，y′，1]T＝M*[x，y，1]T
其中：m0、m1、m3和m4均为缩放旋转因子，Δx和Δy分别为该眼底图像相对基准图像在X方向和Y方向上的偏移量，[x′，y′，1]T和[x，y，1]T分别为任一对SIFT特征点在各自图像中的齐次坐标；
4.2根据仿射变换矩阵M对该眼底图像中所有已匹配的SIFT特征点进行仿射变换，得到这些SIFT特征点在基准图像中的映射点；
4.3计算各映射点与基准图像中对应匹配的SIFT特征点关于SIFT特征向量的欧式距离，对求得的所有欧式距离进行归一化后组成估计误差向量，进而使估计误差向量中小于一定阈值的欧式距离所对应的SIFT特征点匹配对作为内点，统计内点数量并保存对应的仿射变换矩阵M；
4.4根据步骤4.1～4.3反复执行若干次，取对应内点数量最多的仿射变换矩阵M作为该眼底图像与基准图像最终的仿射变换矩阵。

说明书全文

一种基于SIFT特征的眼底图像配准方法

技术领域

[0001] 本发明属于医学图像处理技术领域，具体涉及一种基于SIFT特征的眼底图像配准方法。

背景技术

[0002] 眼底图像诊断在眼科是一个客观、标准的诊断方法。眼底图像对糖尿病、高血压等眼底病变以及黄斑病变、眼底动脉硬化和视网膜病变等眼底疾病的早期发现、诊断及指导治疗有重要意义。一般情况下，每个就诊者会有多次就诊记录，产生多张眼底图像。通过对比不同时间的图像，可以快速准确地追踪并发现就诊者的眼底病变情况。

[0003] 眼底图像丰富的血管和纹理结构，对于眼底小疣、黄斑等眼部疾病，以及糖尿病、白血病、动脉硬化等全身的疾病都有很大的诊断价值。医生往往会通过对比不同时间的眼底图像，找出眼底发生的变化，以便进行后续诊断治疗。但是由于眼底图像包含丰富的血管和纹理结构，而且眼底图像的数量比较多，医生很难通过肉眼观察完成这一过程。由此就需要对多张眼底图像进行配准，图像配准技术的目的在于比较同一对象在不同条件下获取的图像，例如图像会来自不同的采集设备、不同的时间、不同的拍摄视角等等。具体地说，对于一组图像数据集中的两幅图像，通过寻找一种空间变换把一幅图像映射到另一幅图像，使得两图中对应于空间同一位置的点一一对应起来，从而达到信息融合的目的。

[0004] 眼底图像配准一直是研究的热点，可以将不同时间的眼底图像配准，通过快速变换图片可以发现眼底图像之间的变化，从而帮助医生进行眼底病变诊断。然而由于眼底图像包含丰富的血管和纹理结构，通过肉眼对比图像之间的变化不仅费时费力，而且很难发现细微的变化。传统手工配准存在着准确度低、工作量大、不可重复的缺陷，而眼底扫描图像的数据量之大更是手动配准者的噩梦，因而眼底图像的自动配准具有很大应用价值。

发明内容

[0005] 针对现有技术所存在的上述技术缺陷，本发明提供了一种基于SIFT特征的眼底图像配准方法，使用了眼底图像的SIFT特征点，将眼底图像变换到了相同的背景，通过动态切换图片的方式，可以快速地发现图像之间的差异。

[0006] 一种基于SIFT特征的眼底图像配准方法，包括如下步骤：

[0007] (1)将所有待配准的眼底图像按照左右眼球对应分成两类；

[0008] (2)对所有待配准的眼底图像进行SIFT(Scale-invariant feature transform)特征检测，以提取出眼底图像中的SIFT特征点，所述的SIFT特征点具有多维特征描述，这些特征描述组成了对应的SIFT 特征向量；

[0009] (3)从同类眼底图像中选取一张作为基准图像，基于所述的SIFT特征向量使同类中的其他眼底图像分别与基准图像进行SIFT特征点匹配；

[0010] (4)对于同类中除基准图像外的任一眼底图像，计算该眼底图像与基准图像的仿射变换矩阵，进而根据仿射变换矩阵将该眼底图像中各像素点仿射变换至基准图像中以实现配准；依此遍历同类中除基准图像外的所有眼底图像。

[0011] 所述的步骤(1)中对于任一眼底图像，采用模糊收敛算法对其进行视盘定位：首先对眼底图像进行二值化以区分目标和背景，对于图像中任一血管像素点，统计以该血管像素点为中心N×N大小的图像区块内属于目标的像素点数，并作为该血管像素点的得票结果，依此遍历图像中所有血管像素点；然后，筛选出得票最高的前η％的血管像素点，进而对筛选出的这些血管像素点的坐标求平均即得到视盘的中心位置；最后，比较视盘中心位置与图像中心坐标的左右关系，将眼底图像对应归为左眼球图像或右眼球图像；N和η均为预设的数值。

[0012] 所述的步骤(3)中从同类的眼底图像中选取拍摄时间最早的一张眼底图像作为基准图像。

[0013] 所述的步骤(3)中使同类中的其他眼底图像分别与基准图像进行SIFT特征点匹配，具体过程为：对于同类中除基准图像外的任一眼底图像，计算该眼底图像中任一SIFT特征点与基准图像中各SIFT特征点关于SIFT特征向量的欧式距离，取欧式距离的最小值min和次小值secmin，若min

[0014] 所述的步骤(4)中对于同类中除基准图像外的任一眼底图像，采用RANSAC(Random sample consensus)算法计算该眼底图像与基准图像的仿射变换矩阵，具体过程为：

[0015] 4.1从该眼底图像与基准图像的所有SIFT特征点匹配对中随机选取四对，进而根据这四对SIFT特征点的坐标通过以下公式确定该眼底图像与基准图像的仿射变换矩阵M：

[0016]

[0017] [x′，y′，1]T＝M*[x，y，1]T

[0018] 其中：m0、m1、m3和m4均为缩放旋转因子，Δx和Δy分别为该眼底图像相对基准图像在X方向和Y方向上的偏移量，[x′，y′，1]T和[x，y，1]T分别为任一对SIFT特征点在各自图像中的齐次坐标；

[0019] 4.2根据仿射变换矩阵M对该眼底图像中所有已匹配的SIFT特征点进行仿射变换，得到这些SIFT特征点在基准图像中的映射点；

[0020] 4.3计算各映射点与基准图像中对应匹配的SIFT特征点关于SIFT特征向量的欧式距离，对求得的所有欧式距离进行归一化后组成估计误差向量，进而使估计误差向量中小于一定阈值的欧式距离所对应的SIFT特征点匹配对作为内点，统计内点数量并保存对应的仿射变换矩阵M；

[0021] 4.4根据步骤4.1～4.3反复执行若干次，取对应内点数量最多的仿射变换矩阵M作为该眼底图像与基准图像最终的仿射变换矩阵。

[0022] 本发明通过对输入的批量眼底图像进行角度分类，然后计算图像之间的变换关系，将图像变换到同一背景，通过快速切换图片，可以发现眼底哪些部分发生了变化。本发明主要利用了模糊收敛视盘定位算法，根据视盘位置对批量输入的眼底图像进行角度分类，角度分为两类：左侧和右侧；然后在每一类图片中选择上传的第一张图片作为基准，其它图片与该基准图片进行配准，提取所有图片的SIFT特征点并计算特征点两两之间的匹配关系；最后使用RANSAC算法计算两两图片之间的变换模型参数，根据变换模型将图像变换到相同的背景，设置图像切换间隔，通过图像的切换可以快速准确地发现图像之间的变化。由此，本发明具有以下有益技术效果：

[0023] (1)根据视盘位置自动对眼底图像进行分类，使用者可以批量上传不同眼球的眼底图像。

[0024] (2)配准过程使用了眼底图像的SIFT特征点，该特征点比传统的特征具有更好的鲁棒性。

[0025] (3)变换模型参数估计过程使用了鲁棒的RANSAC即随机抽样一致性算法，该算法可以排除错误的匹配点带来的误差。

[0026] (4)本发明没有将配准的图像进行拼接，而是将它们变换到了相同的背景，通过动态切换图片的方式，可以快速地发现图像之间的差异。附图说明

[0027] 图1为本发明眼底图像配准方法的流程示意图。

[0028] 图2为眼底图像角度的流程示意图。

[0029] 图3为特征点检测及匹配的流程示意图。

[0030] 图4为变换模型参数估计的流程示意图。

具体实施方式

[0031] 为了更为具体地描述本发明，下面结合附图及具体实施方式对本发明的技术方案进行详细说明。

[0032] 如图1所示，本发明基于SIFT特征的眼底图像配准方法主要包括眼底图像角度分类、特征点检测及匹配和变换模型参数估计三个部分，该三部分有严格的先后顺序，用户批量输入眼底图像以后，系统会首先对每一幅眼底图像进行视盘定位，得到视盘的位置坐标，该坐标是指视盘的中心位置坐标，然后根据坐标位置与眼底图像中心位置坐标进行比较，判断该眼底图像的角度，对其进行分类，然后在每一个类中选择第一张图片作为基准图片，这张图片往往也是时间最早的眼底图片，其它图片都与基准图片进行配准。第二部分是检测所有图片的特征点，并且计算该图片与基准图片特征点之间的相似度，进行特征点的匹配。根据眼底图像的特点，该步骤使用的是眼底图像的SIFT特征点，并使用SIFT即尺度不变特征变换算法来检测特征点，它是一种基于尺度空间，具有图像缩放、旋转和仿变换不变性的特征点目标识别和图像配准算法。检测到SIFT特征点以后通过计算点对之间的相似度，比如欧氏距离，找到点对之间的匹配关系。当找到两幅图像的匹配特征后，一般情况下两幅切片会存在平移、旋转、尺度的变化，那么就需要计算一个变换矩阵，但是因为得到的匹配点有可能存在外点，即错误的匹配点，所以首先要排除外点，因此采用鲁棒的变换估计算法——RANSAC算法，即随机抽样一致性算法，该算法可以利用特征点集的内在约束关系进一步去除错误的匹配，最后得到一个变换矩阵M。根据该变换矩阵可以将两张图片变换到相同的背景，便于后续动态展示使用。

[0033] 图2所示了眼底图像角度分类的流程。部分病人在进行眼底检查时会拍摄两只眼睛的眼底图像，据此本发明将眼底图像根据角度分成两类，分类的主要依据和最明显的标志是视盘的位置，因此首先利用模糊收敛算法进行视盘定位。模糊收敛算法是一种基于投票的算法，鲁棒性强，对于有病变出现的视网膜，该方法仍然可以取得良好的效果。该过程主要分为两个步骤：首先是根据每条血管中心线的像素点向周围N×N的滑动窗口进行投票；然后根据投票结果，自适应选取阈值，筛选出得票最高的10％的像素点，得到视盘候选集，对候选集中所有的坐标，通过求均值的方法，得到视盘的中心位置坐标。比较该坐标与眼底图像中心坐标的关系，将其分类。

[0034] 图3所示了特征点检测及配准的过程。由于眼底图像没有明显的角点或边界信息，且有丰富的SIFT关键点，与传统的特征方法相比，该特征具有更好地鲁棒性。SIFT特征检测算法是一种基于尺度空间的、对图像缩放、旋转甚至仿射变换保持不变性的图像局部特征描述算子，该算法首先在尺度空间进行特征检测，并确定关键点的位置和关键点所处的尺度，然后使用关键点邻域梯度的主方向作为该点的方向特征，以实现算子对尺度和方向的无关性。其对旋转、尺度缩放、亮度变化保持不变性，对视角变换、放射变换、噪声也保持一定程度的稳定性，并对每一个关键点产生一个128维的特征描述符以作为匹配依据。首先建立尺度空间内核函数，二维高斯函数定义如下：

[0035]

[0036] 其中，σ为高斯正态分布的方差。二维图像I(x，y)在不同尺度下的尺度空间表示可以由图像与高斯核卷积得到：

[0037] L(x，y，σ)＝G(x，y，σ)*I(x，y)

[0038] 其中，σ在L(x，y，σ)中表示尺度空间因子，其值越小则表征该图像被平滑的越少，相应的尺度也就越小。大尺度对应于图像的概貌特征，小尺度对应于图像的细节特征。L代表了图像的尺度空间。对高斯差分金字塔中的中间层图像进行特征点检测，中间的被检测像素要与同一尺度的8个像素以及相邻尺度对应的9×2个像素进行比较，若被检测像素为尺度空间的2维图像空间的局部极值点，则选为候选特征点。用直方图统计特征点对应的尺度空间图像L邻域像素梯度方向的方法，确定特征点的方向，然后建立各个特征点的描述符，用128维的特征向量来描述每个特征点。在确定特征点及其特征描述符后，就可以根据两幅图像中各自特征点邻域信息之间的相似度来进行特征点匹配，即利用两幅图像中特征向量间的欧氏距离的相似性来判断特征点是否匹配。两幅切片L1和L2关键点的数量分别是N1和N2，用L1中的一个关键点的特征向量，依次和L2中的所有关键点的特征向量计算欧氏距离，得到N2个欧氏距离，选择其中的最小值和次小值，分别为min和secmin，如果min

[0039] 图4所示了变换模型参数估计的流程。当找到两幅图像的匹配特征后，一般情况下两幅切片会存在平移、旋转、尺度的变化，那么就需要计算一个进行仿射变换矩阵：

[0040]

[0041] 其中，M为仿射变换矩阵，m0、m1、m3、m4为缩放、旋转因子，Δx和Δy分别为两切片在x，y方向的偏移量。两切片之间的变化关系可以表示为：

[0042] [x′，y′，1]T＝M*[x，y，1]T

[0043] 其中，[x，y，1]T和[x′，y′，1]T分别为一组匹配点在两幅切片中的齐次坐标。

[0044] 本发明采用鲁棒的变换估计算法——RANSAC算法，它可以利用特征点集的内在约束关系进一步去除错误的匹配。

[0045] RANSAC估计仿射变换矩阵M算法的具体流程如下：

[0046] (1)数据准备：找到两幅图像(L1和L2)之间的匹配点对和坐标信息。

[0047] (2)模型估计：假设有n＞4对的匹配点对，随机选取4对，根据公式解求仿射变换模型参数m0、m1、m3、m4、Δx、Δy。

[0048] (3)模型评估：对图像L1中所有的已匹配的点(x，y)做上述仿射变换，得到一系列变换后的坐标(x′，y′)。将这些得到的坐标和L2中对应的匹配点(u，v)求欧氏距离，即仿射变换的估计误差E。并用L2中相应特征点的尺度信息做归一化，这样每一个特征匹配可以求出一个归一化的估计误差，最终得到一个估计误差向量。

[0049] (4)比较估计误差向量与误差阈值T，估计误差向量中低于T的对应的特征匹配为内点。

[0050] (5)如果内点数目大于目前最大的内点数目，则当作找到了当前最好的仿射变换，保存此变换矩阵。

[0051] (6)若迭代未结束，重复步骤(2)～(5)，最终得到的仿射变换认为是L1和L2之间最好的仿射变换模型。

[0052] 得到变换模型以后，每个类中所有的眼底图像变换到相同的背景，并不是将所有图片进行拼接，而是生成相同数量变换后的图像，设置一定的时间间隔动态切换图像，可以快速清晰地发现眼底图像之间的变化。

[0053] 上述对实施例的描述是为便于本技术领域的普通技术人员能理解和应用本发明。熟悉本领域技术的人员显然可以容易地对上述实施例做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于上述实施例，本领域技术人员根据本发明的揭示，对于本发明做出的改进和修改都应该在本发明的保护范围之内。

标题	发布/更新时间	阅读量
一种眼底图像的结构标注方法及设备	2020-05-16	211
一种基于SIFT特征的眼底图像配准方法	2020-05-17	950
眼底观察装置、眼底图像显示装置和眼底图像显示方法	2020-05-12	362
眼底观察装置以及眼底图像处理装置	2020-05-11	399
眼底图像识别模型训练方法、眼底图像识别方法和设备	2020-05-14	73
眼底图像的配准方法、眼底图像中视盘神经、血管的测量方法及眼底图像的拼接方法	2020-05-14	962
眼底观察装置及眼底图像显示装置	2020-05-12	581
眼底图像绘制装置	2020-05-13	408
基于眼底图像的硬性渗出分割方法	2020-05-16	180
使用机器学习模型处理眼底图像	2020-05-16	748

一种基于SIFT特征的眼底图像配准方法

一种基于SIFT特征的眼底图像配准方法

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：