技术领域
[0001] 本
发明属于视觉跟踪技术领域，更为具体地讲，涉及一种通过在线分类跟踪内窥镜图像序列特征点的方法。
背景技术
[0002] 近年来，
机器人技术越来越多的用于
微创手术领域，用于减轻患者痛苦，降低手术医生的工作强度，提高手术
精度和降低手术难度。很多先进的机器人辅助手术技术，都需要建立在对手术器官软组织表面特征点的精确跟踪上。此外，对内窥镜图像序列软组织表面特征点的跟踪，在术后手术效果分析、手术培训和教学、
虚拟现实软组织3D建模等领域也有重要应用。
[0003] 传统上，医学工程领域实现软组织表面的三维重构和跟踪，是通过构建各种模型实现跟踪软组织表面的运动。例如R.R i c ha等在文献《Three-dimensional motion tracking for beating heart surgery using a thin-plate spline deformable model》中使用薄板样条模型跟踪跳动心脏表面的运动。W.Lau等在文献《Stereo-based endoscopic tracking of cardiac surface deformation》中利用B样条模型基于
立体内窥镜影像对心脏表面形变进行三维跟踪，D.Stoyanov等在文献《A practical approach towards accurate dense 3-D depth recovery for robotic laparoscopic surgery》中则使用分片双线性映射模型在机器人辅助
内窥镜手术中对心脏表面进行三维重构和跟踪。
[0004] 然而，这些传统的方法所采用的形变模型通常较为复杂，在对每一
帧模型参数求解时，往往无法获得最优的参数解，甚至导致
迭代求优
算法无法收敛，容易导致跟踪失败。而现有的简单形变模型，如线性仿射变换模型，在用于跟踪时通常可以满足实时性要求，但由于无法准确描述软组织表面的非线性形变，因而无法获得精确的三维跟踪结果。
[0005] 近期，有学者将
深度学习技术应用到目标跟踪领域，但是对于软组织图像序列，很难建立深度学习技术所需的
训练数据集，在目标跟踪中的正样本只有初始帧中的目标，没有大量的标记样本难以训练出性能优良的分类器；并且随着卷积层数量的提高以及训练网络的复杂，算法的实效性很低。
发明内容
[0006] 本发明的目的在于克服
现有技术的不足，提供一种通过在线分类跟踪内窥镜图像序列特征点的方法，能够准确的分类图像特征点，实现在线跟踪。
[0007] 为实现上述发明目的，本发明一种通过在线分类跟踪内窥镜图像序列特征点的方法，其特征在于，包括以下步骤：
[0009] 在线采集内窥镜图像并将内窥镜图像进行灰度转换；
[0010] (2)、构建特征点向量集合；
[0011] 利用特征提取算子SIFT提取前T帧灰度内窥镜图像的特征点 每个特征点用128维向量表示，再将前T帧提取的特征点存入到特征点向量集合 其中，k＝1,2,…,T；
[0012] (3)、利用动态
聚类算法对特征点向量集合进行在线聚类，得到初始分类模型；
[0013] (3.1)、利用模糊C均值算法对V进行计算，将V划分为c类；
[0014] (3.2)、定义第j类的核Kj， K(·)表示核函数，λj表示Kj的参数集，参数集λj＝{mj,Uj}，mj是特征点均值，Uj为特征点协方差矩阵；定义特征点 到核Kj的距离为：
[0015] (3.3)、计算特征点向量集合V中某一个特征点 到每类核的距离，如果某个特征点 到核Kj的的距离最小，则将特征点 划分到第j类，并记录下对应的核Kj；
[0016] (3.4)、同理，计算特征点向量集合V中剩余特征点到每类核的距离，从而实现剩余特征点的类别划分，并记录下剩余特征点对应的核；
[0017] (3.5)、将步骤(3.3)-(3.4)中记录的所有类的核Kj组成初始分类模型A；
[0018] (4)、修正初始分类模型A；
[0019] (4.1)、按照步骤(2)所述方法，提取第T+1帧灰度内窥镜图像的特征点 并将每个特征点用128维向量表示，再将第T+1帧提取的特征点存入到特征点向量集合[0020] (4.2)、利用初始分类模型A对特征点向量集合V(T+1)中的特征点进行分类；
[0021] (4.3)、设置“看
门狗”，用符号g表示，初始时刻g＝0；
[0022] (4.4)、通过人工检视的方式检视步骤(4.2)的分类结果是否全部正确，如果分类结果全部正确，则利用第T+1帧中的特征点 修正初始分类模型A，且g增加1，然后返回步骤(4.1)，进行下一帧内窥镜图像的处理；否则，将g重新置为0，然后返回步骤(4.1)，进行下一帧内窥镜图像的处理；
[0023] (4.5)、当g的数值达到预设
阈值ρ时，则初始分类模型A修正结束，即得到最终的分类模型；
[0024] (5)、利用最终的分类模型对下一帧即将到来的内窥镜图像的特征点进行在线分类，实现内窥镜图像序列软组织特点的实时跟踪。
[0025] 本发明的发明目的是这样实现的：
[0026] 本发明一种通过在线分类跟踪内窥镜图像序列特征点的方法，在基于常规特征提取算法与基于样本与核的相似性度量的动态聚类算法相结合的
基础上，引入适度的人工检视，构造了一种无标记少样本的在线软组织表面特征点的分类模型，来实现在线跟踪，这样解决了以往各种特征跟踪中或者目标跟踪中需要大量的标记样本的问题，符合当前临床医疗发展的需要。
[0027] 同时，本发明一种通过在线分类跟踪内窥镜图像序列特征点的方法还具有以下有益效果：
[0028] (1)、运算量小：由于所构造的跟踪算法是特征提取算法与聚类算法的结合，而后者的成熟度很高；再加上所需要的样本量少，因此可以迅速求出聚类参数，具有简单、灵活等特点，符合当前临床医疗发展的需要。
[0029] (2)、不需要标记样本：在分类器初始训练阶段，聚类算法本身属于无监督算法，所有的
视频帧均不需要标记；在分类器再训练阶段，由于我们加入了人工干预，所以不需要标记样本，进而整个模型的所有样本都不要标记。
[0030] (3)、跟踪准确性好且在线跟踪：由于在分类器再训练阶段，为了提高跟踪准确性，我们使用较少的人工干预，以此提高聚类模型的分类准确性(即跟踪准确性)，内窥镜图像是随着采集一帧一帧的进入我们的系统，并且在线聚类，最终实现在线跟踪。
附图说明
[0031] 图1是本发明一种通过在线分类跟踪内窥镜图像序列特征点的方法
流程图；
[0032] 图2是获取初始分类模型的流程图；
[0033] 图3是修正初始分类模型的流程图。
具体实施方式
[0034] 下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会
淡化本发明的主要内容时，这些描述在这里将被忽略。
[0036] 图1是本发明一种通过在线分类跟踪内窥镜图像序列特征点的方法流程图。
[0037] 在本实施例中，如图1所示，本发明一种通过在线分类跟踪内窥镜图像序列特征点的方法，包括以下步骤：
[0038] S1、图像采集；
[0039] 在线采集内窥镜图像并将内窥镜图像进行灰度转换；
[0040] S2、构建特征点向量集合；
[0041] 利用特征提取算子SIFT提取前T＝200帧灰度内窥镜图像的特征点 每个特征点用128维向量表示，再将前T帧提取的特征点存入到特征点向量集合 其中，k＝1,2,…,T；
[0042] S3、如图2所示，利用动态聚类算法对特征点向量集合进行在线聚类，得到初始分类模型；
[0043] S3.1、利用模糊C均值算法对V进行计算，将V划分为c类；
[0044] S3.2、定义第j类的核Kj， K(·)表示核函数，核函数满足：
[0045]
[0046] 其中，d表示特征点向量的维度，λj表示Kj的参数集，参数集λj＝{mj,Uj}，mj是特征点均值，Uj为特征点协方差矩阵；定义特征点 到核Kj的距离为：采用正态核函数的目的在于，我们的软
组织中某一部位的特征点的分布呈正态分布。
[0047] S3.3、计算特征点向量集合V中某一个特征点 到每类核的距离，如果某个特征点到核Kj的的距离最小，则将特征点 划分到第j类，并记录下对应的核Kj；
[0048] S3.4、同理，计算特征点向量集合V中剩余特征点到每类核的距离，从而实现剩余特征点的类别划分，并记录下剩余特征点对应的核；
[0049] S3.5、将步骤S3.3-S3.4中记录的所有类的核Kj组成初始分类模型A；
[0050] S4、如图3所示，修正初始分类模型A；
[0051] S4.1、按照步骤S2所述方法，提取第T+1帧灰度内窥镜图像的特征点 并将每个特征点用128维向量表示，再将第T+1帧提取的特征点存入到特征点向量集合[0052] S4.2、利用初始分类模型A对特征点向量集合V(T+1)中的特征点进行分类；
[0053] S4.3、设置“看门狗”，用符号g表示，初始时刻g＝0；
[0054] S4.4、通过人工检视的方式检视步骤S4.2的分类结果是否全部正确，如果分类结果全部正确，则利用第T+1帧中的特征点 修正初始分类模型A，且g增加1，然后返回步骤S4.1，进行下一帧内窥镜图像的处理；否则，将g重新置为0，然后返回步骤S4.1，进行下一帧内窥镜图像的处理；
[0055] S4.5、当g的数值达到预设阈值ρ＝20时，则初始分类模型A修正结束，即得到最终的分类模型；将预设阈值设置到20的目的在于，可以将更多的正样本帧的特征点加入到修正分类模型A的过程中，并且最终正样本数远远超过阈值20，这样有利于
修改模型达到我们的标准。
[0056] S5、利用最终的分类模型对下一帧即将到来的内窥镜图像的特征点进行在线分类，实现内窥镜图像序列软组织特点的实时跟踪。
[0057] 尽管上面对本发明说明性的具体实施方式进行了描述，以便于
本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的
权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
