技术领域
[0001] 本
发明涉及
图像处理技术领域，具体涉及一种医疗器械图像检测方法及装置。
背景技术
[0002] 微创介入
手术导航系统是一种新兴的心
血管疾病治疗系统，集计算机科学、
人工智能、自动控制、影像处理、多模态融合、目标分割、三维图像学、
虚拟现实培训和临床治疗等多方面技术为一体的新系统。该系统使用多种模态的医学影像协助医生将介入手术器械从桡动脉或股动脉穿刺，送到血管狭窄的部位进行治疗，该方法可以提高手术
质量、减少手术创伤、降低患者痛苦。
[0003] 虽然该系统取得了较好的临床进步，但是微创介入手术质量冠脉堵塞在实际应用过程中还面临着多方面的困难。例如，目前在进行某些介入相关治疗时，并没有一种完善的手术规划方法；医生很难按照预定的手术方案准确地将介入治疗器械送到病变部位，实施手术，血管介入手术中的器械检测是实现血管
导航系统的重要一环，但是有着以下难点：(1)X造影图像
信噪比低，使得介入器械较难被识别出来；(2)X造影图像中存在一些与
导管/
导丝等类似的结构(如器官、骨骼等)，增加了检测的难度；(3)手术过程中心跳的变化，导致介入手术器械
位置和形状时刻发生着巨大的变化，使器械运动呈非线性特性。
[0004] 因此，如何提出一种解决
现有技术问题的方案是本领域技术人员需要解决的技术问题。
发明内容
[0005] 为了解决现有技术中的上述问题，即为了解决现有技术难以准确识别医疗图像中医疗器械的问题，本发明的第一方面提供了一种医疗器械图像检测方法，所述方法包括：
[0006] 基于预先获取的原始医疗图像，通过预设的图像增强模型获取与所述原始医疗图像对应的增强医疗图像；其中，所述图像增强模型基于神经网络构建，通过第一预设训练集训练并用于增强图像特征；
[0007] 基于所述增强医疗图像，通过预设的目标检测模型中的特征提取网络提取所述增强医疗图像的图像特征；
[0008] 基于所述增强医疗图像的图像特征，通过所述目标检测模型中的标记
定位网络获取多个目标标记框；其中，所述目标标记框为所述增强医疗图像中医疗器械对应的标记框；
[0009] 基于多个所述目标标记框，通过所述目标检测模型的目标检测网络获取所述增强医疗图像中医疗器械的位置和类别；
[0010] 其中，所述目标检测模型基于神经网络构建，通过第二预设训练集训练并用于确定图像中医疗器械的位置和类别。
[0011] 在一种可能的实现方式中，在“通过预设的目标检测模型中的特征提取网络提取所述增强医疗图像的图像特征”的步骤之后，在“通过所述目标检测模型中的标记定位网络获取多个目标标记框”的步骤之前，所述方法还包括：
[0012] 基于预设获取的训练医疗图像，通过所述目标检测模型中待训练的标记定位网络分别标记所述训练医疗图像中医疗器械的第一标记框、第二标记框和第三标记框；其中，所述第一标记框对应于所述医疗器械的端部位置，所述第二标记框对应于所述医疗器械的躯干位置，所述第三标记框对应于所述医疗器械的整体位置；
[0013] 根据所述第一标记框、所述第二标记框以及所述第三标记框，通过聚类
算法对所述第一标记框、所述第二标记框以及所述第三标记框的大小和尺度进行聚类，用以训练所述标记定位网络。
[0014] 在一种可能的实现方式中，所述原始医疗图像包括三个图像通道，“基于预先获取的原始医疗图像，通过预设的图像增强模型获取与所述原始医疗图像对应的增强医疗图像”，其方法包括：
[0015] 基于预先获取的原始医疗图像，通过所述图像增强模型对所述原始医疗图像中的任一图像通道进行直方图均衡化；
[0016] 从所述图像增强模型中随机选取图像通道
滤波器，通过所选取的图像通道滤波器对所述原始医疗图像中的剩余图像通道进行图像滤波，用以获取与所述原始医疗图像对应的增强医疗图像。
[0017] 在一种可能的实现方式中，“基于多个所述目标标记框，通过所述目标检测模型的目标检测网络获取所述增强医疗图像中医疗器械的位置和类别”，其方法包括：
[0018] 基于多个所述目标标记框，通过所述目标检测网络的分类器，获取每个所述目标标记框属于所述医疗器械所在区域的概率；
[0019] 将属于所述医疗器械所在区域的概率大于第一预设
阈值的目标标记框进行坐标回归，通过非极大值抑制算法获取坐标回归后目标标记框所对应的分数；
[0020] 基于得分最高的目标标记框所对应的位置，通过所述目标检测网络中预设的位置预测模
块，获取所述增强医疗图像中医疗器械的位置，其中，所述位置预测模块在所述目标检测网络中预先设置并且用于预测目标对象的位置。
[0021] 在一种可能的实现方式中，在“通过所述目标检测模型中的标记定位网络获取多个目标标记框”的步骤之后，在“通过所述目标检测模型的目标检测网络获取所述增强医疗图像中医疗器械的位置和类别”的步骤之前，所述方法还包括：
[0022] 基于预先获取的标注图像和背景图像，通过所述目标检测模型的特征提取网络分别获取所述标注图像的图像特征和背景图像的图像特征；
[0023] 基于所获取的标注图像的图像特征和背景图像的图像特征，以及预设的图像感兴趣区域，获取所述目标检测网络对应的多个目标损失；
[0024] 基于所获取的多个目标损失中大于第二预设阈值的目标损失，通过反向传播算法训练所述目标检测网络的权重参数。
[0025] 本发明的另一方面还提供了一种医疗器械图像检测装置，所述装置包括：
[0026] 第一模块，用于基于预先获取的原始医疗图像，通过预设的图像增强模型获取与所述原始医疗图像对应的增强医疗图像；其中，所述图像增强模型基于神经网络构建，通过第一预设训练集训练并用于增强图像特征；
[0027] 第二模块，用于基于所述增强医疗图像，通过预设的目标检测模型中的特征提取网络提取所述增强医疗图像的图像特征；
[0028] 第三模块，用于基于所述增强医疗图像的图像特征，通过所述目标检测模型中的标记定位网络获取多个目标标记框，其中，所述目标标记框为所述增强医疗图像中医疗器械对应的标记框；
[0029] 第四模块，用于基于多个所述目标标记框，通过所述目标检测模型的目标检测网络获取所述增强医疗图像中医疗器械的位置和类别；
[0030] 其中，所述目标检测模型基于神经网络构建，通过第二预设训练集训练并用于确定图像中医疗器械的位置和类别。
[0031] 在一种可能的实现方式中，所述装置还包括第一训练模块，所述第一训练模块用于：
[0032] 基于预设获取的训练医疗图像，通过所述目标检测模型中待训练的标记定位网络分别标记所述训练医疗图像中医疗器械的第一标记框、第二标记框和第三标记框；其中，所述第一标记框对应于所述医疗器械的端部位置，所述第二标记框对应于所述医疗器械的躯干位置，所述第三标记框对应于所述医疗器械的整体位置；
[0033] 根据所述第一标记框、所述第二标记框以及所述第三标记框，通过
聚类算法对所述第一标记框、所述第二标记框以及所述第三标记框的大小和尺度进行聚类，用以训练所述标记定位网络。
[0034] 在一种可能的实现方式中，所述原始医疗图像包括三个图像通道，所述第一模块还用于：
[0035] 基于预先获取的原始医疗图像，通过所述图像增强模型对所述原始医疗图像中的任一图像通道进行直方图均衡化；
[0036] 从所述图像增强模型中随机选取图像通道滤波器，通过所选取的图像通道滤波器对所述原始医疗图像中的剩余图像通道进行图像滤波，用以获取与所述原始医疗图像对应的增强医疗图像。
[0037] 在一种可能的实现方式中，所述第四模块还用于：
[0038] 基于多个所述目标标记框，通过所述目标检测网络的分类器，获取每个所述目标标记框属于所述医疗器械所在区域的概率；
[0039] 将属于所述医疗器械所在区域的概率大于第一预设阈值的目标标记框进行坐标回归，通过非极大值抑制算法获取坐标回归后目标标记框所对应的分数；
[0040] 基于得分最高的目标标记框所对应的位置，通过所述目标检测网络中预设的位置预测模块，获取所述增强医疗图像中医疗器械的位置，其中，所述位置预测模块在所述目标检测网络中预先设置并且用于预测目标对象的位置。
[0041] 在一种可能的实现方式中，所述装置还包括第二训练模块，所述第二训练模块用于：
[0042] 基于预先获取的标注图像和背景图像，通过所述目标检测模型的特征提取网络分别获取所述标注图像的图像特征和背景图像的图像特征；
[0043] 基于所获取的标注图像的图像特征和背景图像的图像特征，以及预设的图像感兴趣区域，获取所述目标检测网络对应的多个目标损失；
[0044] 基于所获取的多个目标损失中大于第二预设阈值的目标损失，通过反向传播算法训练所述目标检测网络的权重参数。
[0045] 本发明提供的医疗器械图像检测方法，基于预先获取的原始医疗图像，通过预设的图像增强模型获取与原始医疗图像对应的增强医疗图像；基于增强医疗图像，通过预设的目标检测模型中的特征提取网络提取增强医疗图像的图像特征；基于增强医疗图像的图像特征，通过目标检测模型中的标记定位网络获取多个目标标记框；基于多个目标标记框，通过目标检测模型的目标检测网络获取增强医疗图像中医疗器械的位置和类别。
[0046] 本发明提供的医疗器械图像检测方法通过将原始医疗图像转换为增强医疗图像，在保留了原始医疗图像信息的
基础上，提高了原始医疗图像的
分辨率，有利于提高目标检测网络的准确率和鲁棒性；在获取增强医疗图像的图像特征的基础上，通过标记定位网络获取多个目标标记框，不仅能够准确获取医疗器械的图像信息，还能够合理地减少背景信息，提高识别准确率的同时，降低了运算速度；通过预先训练好的目标检测网络获取增强医疗图像中医疗器械的位置和类别，能够准确地获取医疗器械的位置，并且分辨出医疗器械的种类，有利于解决人体组织和医疗器械分离的问题。
附图说明
[0047] 图1是本发明的医疗器械图像检测方法的流程示意图；
[0048] 图2是本发明的医疗器械图像检测装置的结构示意图。
具体实施方式
[0049] 为使本发明的
实施例、技术方案和优点更加明显，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所述的实施例是本发明的一部分实施例，而不是全部实施例。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
[0050] 基于
深度学习的导航技术，随着技术的发展，深度学习在图像检测和识别方面具有巨大的优势，在检测
精度和检测速度方面是具有巨大的优势的。由于卷积在图像方面具有巨大的优势，包括在运算速度，学习能
力方面具有巨大优势。
[0051] 在导管的检测
跟踪方面，Yatziv等提出了改进的快速行进法，该方法结合临床知识，限制搜索空间，先通过级联检测器检测导管尖端，然后利用改进的测地线
框架(针对加权的测地线距离，利用快速行进的算法)来跟踪导管尖端。该算法主要针对手术中其他一些医疗器械的和导管的相互影响，但是需要手动初始化，不适用于导管尖端闭塞的情况。
[0052] Ma等提出了快速斑点检测法，该算法检测框架主要包括：快速斑点检测算法、基于形状的搜索和基于模型的检测。根据检测方法提取导管模型，以该模型作为跟踪方法的输入，能实时同时检测多种导管。但是导管尖端被定位为面向使用者，同时该算法假设导管的形状是固定的，考虑导管发生形变以及C形臂处于一个极端的
角度的情况。
[0053] Wu等提出了导管分割算法，该方法利用快速斑点检测算法结合
补丁分析法提取导管的初始位置，然后在约束搜索空间中，基于快速鲁棒特征(Speed-Up Robust Features,SURF)检测器和Fast-FD算法进行导管
片段检测跟踪，最后利用基于Kalman滤波器的增长方法和分层图模型来集成和平滑导管片段成为一个完整的导管。该方法能够自动检测跟踪，但是该算法只适合导管
曲率较小的情况。
[0054] Ambrosini等提出了基于隐
马尔科夫模型(Hidden Markov Model,HMM)的导管检测算法，该算法利用3-D旋转造影图像获得3-D血管树，根据HMM模型中的状态转移概率分布，利用2-D图像中的定位，在3-D血管树中跟踪导管尖端获得其3-D位置。该算法主要通过造影图像获得导管的3-D位置，但是算法中存在一些待定的参数。
[0055] Fazlali等利用多尺度Top-Hat变换增强每一
帧图像并且计算出每一帧中的血管分布图，利用引导滤波器，将导管结构视为山谷状结构，在第一帧中利用山脊检测算法和Hough变换检测导管，然后在剩余图像中利用二阶多项式拟合导管，该算法属于自动的检测跟踪算法，检测准确率高。
[0056] Hoffmann等利用双视角实现导丝的3-D跟踪，在不同视角的图像中采用图搜索算法分别检测出导管，然后利用两个视角下的检测结果对导管进行3-D重建。该方法可以获得导管的3-D结构，但是需要两个视角下的图像，且只针对EP导管，每一帧中需要手动标记一个
种子点，同时，若两个导管发生重叠，需要手动纠正检测结果。在针对导丝的检测跟踪方面，基于B样条曲线，Baert提出了
能量最小化导丝跟踪算法。但是该算法需要强制曲线的光滑性以及额外的惩罚项来约束曲线长度的变化。
[0057] Slabaugh等人提出了
相位一致性算法，该方法先利用B样条曲线模型拟合导丝，根据样条函数的控制点相位一致性对控制点运动进行演化得到控制点的新位置，利用新位置的控制点拟合导丝，达到跟踪导丝的目的，但是导丝跟踪失败后需要重新初始化控制点。
[0058] Pauly等利用
机器学习法，根据导丝的运动形变学习得到导丝的运动分布模型，该方法对图像的
对比度变化以及复杂的背景和介入器械的部分遮挡有鲁棒性，但是算法中没有限制相邻帧导丝的运动区域。
[0059] Heibel等提出了基于马尔科夫随机场模型(Markov Random Field,MRF)的算法，该方法利用离散的点作为导丝控制点，然后采用最大化后验概率法将导丝跟踪问题转变为优化离散点组成的曲线的标签问题。但由于X影像信噪比低，该方法容易出现导丝缺失的情况，而且根据起始点获取导丝时复杂度高。
[0060] Chang等采用B样条模型和基于区域的概率算法拟合导丝，传统的B样条曲线主要依赖于控制点进行拟合，而该方法主要依赖于曲线的
节点。
[0061] Wang等人将导丝分割为三个部分，分别利用检测器对各部分进行检测，然后利用
贝叶斯网络将三部分结合组成完整的导丝。该方法可以处理导丝任意的非线性运动问题，但是需要用手动标记的
训练数据进行跟踪，不适合应用于各种参数不同的C形臂。
[0062] Wang等提出使用LBP提取特征并改进级联分类器的方法来解决导丝检测问题，但是速度和精度都有待提高。Wang等使用深度学习的方法将Zeiler和Fergus模型(ZF)与区域提议网络R
PN结合起来，以检测导丝的位置。该方法主要分为三个步骤：(a)采用B样条模型和Hessian滤波等方法来突出感兴趣的部分；(b)正确标记数据；(c)将标记数据放入网络进行训练.但是这种方法还面临许多问题，例如由于医学图像质量低，会使检测网络准确率较低，网络结构简单容易产生过拟合现象，且无法实时检测露出导管外的全部导丝。
[0063] Vandini等提出了目前效果最好的导丝分割方法，采用SEGlet鲁棒特征改进曲线拟合的方法进行导丝分割，但是会出现跟踪丢失和速度较慢等问题。
[0064] 参阅附图1，图1示例性地示出了本
申请的医疗器械图像检测方法的流程示意图。
[0065] 本发明提供的医疗器械图像检测方法包括如下步骤：
[0066] 步骤S101：基于预先获取的原始医疗图像，通过预设的图像增强模型获取与所述原始医疗图像对应的增强医疗图像。
[0067] 在一种可能的实现方式中，所述图像增强模型基于神经网络构建，通过第一预设训练集训练并用于增强图像特征。
[0068] 需要说明的是，为了说明的方便，本申请中医疗器械以介入手术器械为例进行说明，其中，介入手术器械包括导丝，本申请对手术器械的种类不作限定。
[0069] 在实际应用中，可以从微创介入手术过程中的X光视频序列中，提取整个手术过程中的实时视频序列，从而获得具有介入手术器械的视频序列来进行数据标定。其中，可以将视频序列中的每一帧图像作为原始医疗图像。
[0070] 可以理解的是，医疗图像不同于自然图像，医疗图像是由具有相同值的三通道构成的灰度图。为了解决低分辨率的医疗图像导致网络过拟合，无法发挥网络性能的问题，可以将原始医疗图像转换为增强医疗图像，以此提高对医疗图像中医疗器械的检测准确率。
[0071] 在一种可能的实现方式中，“基于预先获取的原始医疗图像，通过预设的图像增强模型获取与所述原始医疗图像对应的增强医疗图像”，其方法可以包括：
[0072] 基于预先获取的原始医疗图像，通过所述图像增强模型对所述原始医疗图像中的任一图像通道进行直方图均衡化；
[0073] 从所述图像增强模型中随机选取图像通道滤波器，通过所选取的图像通道滤波器对所述原始医疗图像中的剩余图像通道进行图像滤波，用以获取与所述原始医疗图像对应的增强医疗图像。
[0074] 具体地，可以对原始医疗图像中的任意一个图像通道进行直方图均衡化，以便该通道能够极大地保留原始医疗图像的信息，并且让目标信息变得更加清晰；然后对原始医疗图像的另外两个通道随机从高斯滤波器、均值滤波器中值滤波器以及拉普拉斯滤波器中选择一个，通过相应的滤波器对剩余的两个图像通道进行图像滤波，这样剩余两个图像通道的分布更加复杂。
[0075] 步骤S102：基于所述增强医疗图像，通过预设的目标检测模型中的特征提取网络提取所述增强医疗图像的图像特征。
[0076] 在一种可能的实现方式中，为了从增强医疗图像中提取丰富的图像特征，可以通过预设的目标检测模型中的特征提取网络提取增强医疗图像的图像特征。具体地，特征提取网络是基于Faster-rcnn结构改进来的，并且将Faster-rcnn结构中的VGG16网络替换成了Resnet-101网络，Resnet-101网络中引入了一种新的连接方式“shortcut connection”，能够解决提取图像特征时梯度消失、图像过拟合的问题。随着网络的深入，图像分类的准确率也会大幅提升，ResNet-101作为特征提取网络可以提取到良好的深度特征，从而提高后续的分类和回归的准确率。
[0077] 步骤S103：基于所述增强医疗图像的图像特征，通过所述目标检测模型中的标记定位网络获取多个目标标记框。
[0078] 在一种可能的实现方式中，所述目标标记框为所述增强医疗图像中医疗器械对应的标记框。
[0079] 值得说明的是，现有的标记定位网络获取目标标记框的方式都是检测介入手术器械的导丝的尖端，这是因为当标记露出介入手术器械的导管的全部导丝时，标定框内会包含过多的背景信息，血管和骨骼轮廓本身都和导丝具有一定的相似性，不精确的标记会导致检测性能降低。然后在手术过程中，出导管的导丝会对导丝的尖端运动产生一定的影响，所以检测导丝是有必要的。
[0080] 为了解决无法准确标记目标的问题，在一种可能的实现方式中，在“通过预设的目标检测模型中的特征提取网络提取所述增强医疗图像的图像特征”的步骤之后，在“通过所述目标检测模型中的标记定位网络获取多个目标标记框”的步骤之前，所述方法还包括：
[0081] 基于预设获取的训练医疗图像，通过所述目标检测模型中待训练的标记定位网络分别标记所述训练医疗图像中医疗器械的第一标记框、第二标记框和第三标记框；其中，所述第一标记框对应于所述医疗器械的端部位置，所述第二标记框对应于所述医疗器械的躯干位置，所述第三标记框对应于所述医疗器械的整体位置；
[0082] 根据所述第一标记框、所述第二标记框以及所述第三标记框，通过聚类算法对所述第一标记框、所述第二标记框以及所述第三标记框的大小和尺度进行聚类，用以训练所述标记定位网络。
[0083] 具体地，可以通过目标检测模型中待训练的标记定位网络分别标记训练医疗图像中医疗器械的第一标记框、第二标记框以及第三标记框；其中，第一标记框对应于医疗器械的端部位置，由于该标记框很小，基本不包含图像的背景信息；第二标记框对应于医疗器械的躯干位置，主要涵盖了导丝的躯干部分，包含少量的背景信息，但是可以让标记定位网络学习到更多导丝的特征；第三标记框对应于医疗器械的整体位置，但是该标记框会包含大量的背景信息。通过提高第一标记框和第二标记框的比例，降低会引入过多背景信息的标记方式，有利于提高检测网络的准确率。在实际应用中，为了既能够保证标记定位网络学习到足够多的图像特征，又能够降低背景信息的引入，可以合理地分配第一标记框、第二标记框以及第三标记框的比例。在一种可能的实现方式中，第一标记框、第二标记框以及第三标记框的比例为6：3：1时，对标记定位网络的训练效果最佳。
[0084] 对网络参数可以采用K-means方法对标记框尺寸进行聚类，用来选择更优的实验参数，实验过程中标定框采用2个尺度[2,4]和3种比例h:w＝[5:1,3:1,2:1]，实验中发现本
专利方法学到良好的特征，同时具有很好的鲁棒性，当每幅图像的建议框的数量减少到30时，检测网络的准确率几乎不会受到影响，故将每幅图片建议框数设置为30，以此来提高检测网络的速度。
[0085] 步骤S104：基于多个所述目标标记框，通过所述目标检测模型的目标检测网络获取所述增强医疗图像中医疗器械的位置和类别。
[0086] 其中，所述目标检测模型基于神经网络构建，通过第二预设训练集训练并用于确定图像中医疗器械的位置和类别。
[0087] 在一种可能的实现方式中，在“通过所述目标检测模型中的标记定位网络获取多个目标标记框”的步骤之后，在“通过所述目标检测模型的目标检测网络获取所述增强医疗图像中医疗器械的位置和类别”的步骤之前，所述方法还包括：
[0088] 基于预先获取的标注图像和背景图像，通过所述目标检测模型的特征提取网络分别获取所述标注图像的图像特征和背景图像的图像特征；
[0089] 基于所获取的标注图像的图像特征和背景图像的图像特征，以及预设的图像感兴趣区域，获取所述目标检测网络对应的多个目标损失；
[0090] 基于所获取的多个目标损失中大于第二预设阈值的目标损失，通过反向传播算法训练所述目标检测网络的权重参数。
[0091] 可以理解的是，由于训练集中的标注数据和背景数据之间存在严重的样本不均衡的问题，背景样本(负样本)的数量远远大于正样本的数量，很容易导致目标检测网络盲目的将所有样本都认为成占数量巨大的负样本，这样损失函数也可以得到一个不错的结果，但是检测结果会很差。为了解决这一问题，本专利采用OHEM来克服样本
不平衡问题，来提升目标检测的mAP的值。OHEM主要思想是从所有样本loss中只选择较大的loss进行反向传播来训练网络的权重，因为前向传播时大多数卷积运算都是共享的，因此计算所有ROI(region of interest，感兴趣区域)并不会带来较多的额外计算量，反向传播时只选择少量ROI用于更新模型，因此耗时不会有很大变化。
[0092] 具体地，可以基于所获取的标注图像特征和背景图像的图像特征，以及预设的图像感情区域，获取目标检测网络对应的多个目标损失。其中，目标检测网络的目标损失包括分类和回归两部分，分类损失函数的定义如下公式(1)所示：
[0093] 公式(1)：
[0094]
[0095] 其中，Lcls(p,u)表示分类损失，p表示得分， 表示分类网络中第i类的得分，u表示类别标签。
[0096] 回归损失函数的定义如下公式(2)所示：
[0097]
[0098]
[0099] 其中，Lreg(t,t*)表示回归损失， 表示回归器预测的位置， 表示真实的位置，{x,y,w,h}x表示横坐标,y表示纵坐标,w表示宽,h表示高，N表示类别的数量。
[0100]
[0101] 其中，Loss表示联合损失，Nreg表示类别数量，α表示平衡权重。
[0102] 联合损失是回归损失和分类损失的线性加权，第一项是分类损失，第二项是回归损失。α用于平衡两个损失函数的效果，其值默认设置为10，这样可以使得等式中的两个项在归一化之后大致同等加权。实际应用中，当权重值更偏向于回归函数时，会得到更好的结果。
[0103] 通过所述目标检测模型的目标检测网络获取所述增强医疗图像中医疗器械的位置和类别之后，为了获得更快的分割速度，可以使用高斯滤波器平滑图像，滤除噪声；再计算图像中每个
像素点的梯度强度和方向，应用非极大值抑制，以消除
边缘检测带来的杂散响应。应用双阈值检测方法来确定真实和潜在的边缘，抑制孤立的弱边缘，并完成最后的边缘检测。其中，边缘检测方法可以包括canny边缘检测。
[0104] 本发明的方法至少具有如下四方面的技术效果：
[0105] (1)在参数部分，减少建议框数量和选择合理的建议框尺寸来提升运算速度和精度，同时在运算中采取结构合并和省内存的方法,使运算速度保持足够的竞争力。本申请的方法实现了介入手术
机器人中的导丝定位跟踪。
[0106] (2)在标定方面，通过混合标记方法得到了效果最好标记方法。
[0107] (3)在检测准确率方面，通过合成彩色图像，设计更深的特征提取主干网络，设计卷积结构的预测结构和加入(OHEM)结构，解决了检测准确率低，过拟合严重和样本不平衡问题。同时发现图像增强的方法可以大大减少训练集的数据量。
[0108] (4)在运算速度方面，通过合并结构优化计算，减少建议框使用等提升运算速度。在分割方面，通过实验分析，获得了更好的分割参数。本申请的方法与目前在导丝跟踪方面方法相比，都取得了更优秀的结果。
[0109] 本专利与其他的分割方法进行比较，本专利在分割精度、错误跟踪率、丢失率、F1分数和分割速度等方面都取得了更优秀的结果，并且相比于其它方法种都出现了序列跟踪丢失问题。如表1所示，本专利提出的方法在22组序列中都可以准确跟踪导丝，没有产生跟踪丢失问题，具有更好的鲁棒性。本专利提出了根据实验选择合理参数的Canny边缘检测方法，提高了分割的精度，同时由于Canny算法运算简单，获得了更快的分割速度。
[0110] 表1
[0111] 本申请的另一方面还提供了一种医疗器械图像检测装置，所述装置包括：
[0112] 第一模块1，用于基于预先获取的原始医疗图像，通过预设的图像增强模型获取与所述原始医疗图像对应的增强医疗图像；其中，所述图像增强模型基于神经网络构建，通过第一预设训练集训练并用于增强图像特征；
[0113] 第二模块2，用于基于所述增强医疗图像，通过预设的目标检测模型中的特征提取网络提取所述增强医疗图像的图像特征；
[0114] 第三模块3，用于基于所述增强医疗图像的图像特征，通过所述目标检测模型中的标记定位网络获取多个目标标记框；其中，所述目标标记框为所述增强医疗图像中医疗器械对应的标记框；
[0115] 第四模块4，用于基于多个所述目标标记框，通过所述目标检测模型的目标检测网络获取所述增强医疗图像中医疗器械的位置和类别；
[0116] 其中，所述目标检测模型基于神经网络构建，通过第二预设训练集训练并用于确定图像中医疗器械的位置和类别。
[0117] 在一种可能的实现方式中，所述装置还包括第一训练模块，所述第一训练模块用于：
[0118] 基于预设获取的训练医疗图像，通过所述目标检测模型中待训练的标记定位网络分别标记所述训练医疗图像中医疗器械的第一标记框、第二标记框和第三标记框；其中，所述第一标记框对应于所述医疗器械的端部位置，所述第二标记框对应于所述医疗器械的躯干位置，所述第三标记框对应于所述医疗器械的整体位置；
[0119] 根据所述第一标记框、所述第二标记框以及所述第三标记框，通过聚类算法对所述第一标记框、所述第二标记框以及所述第三标记框的大小和尺度进行聚类，用以训练所述标记定位网络。
[0120] 在一种可能的实现方式中，所述原始医疗图像包括三个图像通道，所述第一模块1还用于：
[0121] 基于预先获取的原始医疗图像，通过所述图像增强模型对所述原始医疗图像中的任一图像通道进行直方图均衡化；
[0122] 从所述图像增强模型中随机选取图像通道滤波器，通过所选取的图像通道滤波器对所述原始医疗图像中的剩余图像通道进行图像滤波，用以获取与所述原始医疗图像对应的增强医疗图像。
[0123] 在一种可能的实现方式中，所述第四模块4还用于：
[0124] 基于多个所述目标标记框，通过所述目标检测网络的分类器，获取每个所述目标标记框属于所述医疗器械所在区域的概率；
[0125] 将属于所述医疗器械所在区域的概率大于第一预设阈值的目标标记框进行坐标回归，通过非极大值抑制算法获取坐标回归后目标标记框所对应的分数；
[0126] 基于得分最高的目标标记框所对应的位置，通过所述目标检测网络中预设的位置预测模块，获取所述增强医疗图像中医疗器械的位置，其中，所述位置预测模块在所述目标检测网络中预先设置并且用于预测目标对象的位置。
[0127] 在一种可能的实现方式中，所述装置还包括第二训练模块，所述第二训练模块用于：
[0128] 基于预先获取的标注图像和背景图像，通过所述目标检测模型的特征提取网络分别获取所述标注图像的图像特征和背景图像的图像特征；
[0129] 基于所获取的标注图像的图像特征和背景图像的图像特征，以及预设的图像感兴趣区域，获取所述目标检测网络对应的多个目标损失；
[0130] 基于所获取的多个目标损失中大于第二预设阈值的目标损失，通过反向传播算法训练所述目标检测网络的权重参数。
[0131] 在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些
接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0132] 所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0133] 另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用
硬件的形式实现，也可以采用
软件功能单元的形式实现。
[0134] 所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，
服务器，或者网络设备等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动
硬盘、只读
存储器(ROM，Read-Only Memory)、
随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0135] 综上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行
修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
