技术领域
[0001] 本
发明涉及
图像处理技术领域，更具体地，涉及一种造影图像中血管分割的方法和系统。
背景技术
[0002] 如今，
冠状动脉疾病已经成为了威胁人类健康的主要威胁。在冠心病的诊疗当中，心
血管造影图像已成为诊断的金标准，基于造影图像的计算机辅助诊疗系统能够很好的帮助医生诊断病情和制定
治疗方案，具有十分重要的研究意义。在造影图像
计算机辅助诊断系统中，血管分割技术是尤为关键的技术，是中心线提取、半径测量、
三维重建等技术的
基础。
[0003] 造影图像存在
对比度低、
造影剂分布不均匀、噪声严重等缺点，自动的提取从造影图像中提取血管结构非常具有挑战性。目前血管分割方法可以分为：
[0004] 基于
阈值的分割方法，该方法通常首先对血管结构进行增强，然后采用不同的阈值策略进行分割，最常见的做法是人工设计特定的
滤波器，使得在对血管图像进行滤波后管状结构得到增强，而非管状结构得到抑制。该方法对于一些简单的问题，例如
眼底血管图像的分割，有着比较不错的效果。但是由于冠脉图像血管对比度比较低，基于阈值的方法无法很好的区分造影图像的冠脉结构和背景区域。
[0005] 基于
机器学习的血管分割技术，该方法主要将血管分割看作一个二分类问题，通过手工选取特征或者
深度学习获取特征，结合相应的分类器进行前景和背景的分类实现分割效果。但是，血管背景区域有许多和冠脉结构相似的伪血管结构，基于机器学习的方法往往很难将这些结构和冠脉结构进行有效的区分。该方法往往结合一些形状先验知识进行分割，并采用半自动的分割方式，例如
水平集和活动轮廓方法采用人工标注
种子点的方式获取初始轮廓，血管
跟踪模型则需要人为给予其初始点和方向信息以进行血管段跟踪。
[0006] 基于模型的分割方法，该方法的优点是
精度比较高，并可以通过初始选择种子点的方式规避背景噪声，但缺点是需要交互。由于造影图像背景区域存在大量的伪影结构，因此，最为广泛采用的分割
算法几乎都是半自动的分割算法，因为这些算法可以很好的规避复杂的背景噪声，但这些算法的缺点是需要比繁琐的交互操作，加重了医生的工作量，限制了计算机辅助诊疗在造影图像中的应用。
发明内容
[0007] 本发明提供一种克服上述问题或者至少部分地解决上述问题的造影图像中血管分割的方法和系统。
[0008] 根据本发明的一个方面，提供一种造影图像中血管分割的方法，包括：
[0009] 获取待分割的盈片图像与蒙片图像，将所述盈片图像中的每个
像素坐标作为基准坐标，从所述蒙片图像中选取一个与该基准坐标匹配的像素坐标，作为对比坐标；
[0010] 以每个基准坐标和匹配的对比坐标为中心，分别在所述盈片图像和蒙片图像中提取相同大小的子图像，构成一个图像对；将所有图像对输入至双通道
卷积神经网络，输出第一血管分割图像；
[0011] 从经过图像膨胀处理后的第一血管分割图像中选择目标区域，逐个提取以所述目标区域中的每个像素坐标为中心的子图像，作为参考图像，根据预设规则对每个参考图像提取多个不同尺度的图像，将所有不同尺度的图像输入至多尺度卷积神经网络，输出第二血管分割图像，对所述第二血管分割图像进行显示。
[0012] 优选地，所述双通道卷积神经网络包括两个卷积通道；
[0013] 相应地，所述将所有图像对输入至双通道卷积神经网络的步骤，具体包括：
[0014] 对任意一个图像对，将该图像对中盈片图像的子图像输入至其中一个卷积通道，将蒙片图像的子图像输入至另一个卷积通道。
[0015] 优选地，所述多尺度卷积神经网络中卷积通道的个数与所述尺度的个数匹配；
[0016] 相应地，所述将所有不同尺度的图像输入至多尺度卷积神经网络的步骤，具体包括：将每个参考图像提取出的不同尺度的图像分别输入至相应的卷积通道中。
[0017] 优选地，所述双通道卷积神经网络的训练方法包括：
[0018] 获取用于训练的所有图像对，构成训练图像对集合，对所述训练图像对集合中的任意一个图像对，若该图像对中盈片图像的子图像中心位于血管区域，则将该图像对作为双通道卷积神经网络的正样本；若该图像对中盈片图像的子图像中心位于背景区域，则将该图像对作为双通道卷积神经网络的负样本；
[0019] 采用Xaiver方法初始化所述双通道卷积神经网络，以手动分割的血管图像作为标准，结合所有双通道卷积神经网络的正样本和负样本构成训练集，采用所述训练集训练双通道卷积神经网络。
[0020] 优选地，所述多尺度卷积神经网络的训练方法包括：
[0021] 获取用于训练的第一血管分割图像，对所述用于训练的第一血管分割图像进行图像膨胀操作，将图像膨胀前的区域作为原始区域，将图像膨胀产生的新区域作为判断区域；
[0022] 若用于训练的盈片图像的子图像中心位于所述原始区域，则将该子图像作为多尺度卷积神经网络的正样本，若用于训练的盈片图像的子图像中心位于所述判断区域，则将该子图像作为多尺度卷积神经网络的负样本；
[0023] 采用Xaiver方法初始化所述多尺度卷积神经网络，以手动分割的血管图像作为标准，结合所有多尺度卷积神经网络的正样本和负样本构成训练集，采用所述训练集训练多尺度卷积神经网络。
[0024] 优选地，所述双通道卷积神经网络中的每个卷积通道包含6个卷积层和3个最大
池化层，所有卷积层的卷积核大小均为3×3；
[0025] 所述双通道卷积神经网络还包括1个全连接通道，所述全连接通道包含2个全连接层，第1个全连接层包含1024个神经元，第2个全连接层包含2个神经元；
[0026] 其中，所述第1个全连接层和所有卷积层采用ReLU作为激活函数，所述第2个全连接层采用Softmax作为激活函数。
[0027] 优选地，所述多尺度卷积神经网络中的每个卷积通道包含5个卷积层和1个最大池化层，所有卷积层卷积核大小均为3×3；
[0028] 所述多尺度卷积神经网络还包括1个全连接通道，所述全连接通道包含2个全连接层，第1个全连接层包含1024个神经元，第2个全连接层包含2个神经元；
[0029] 其中，所述第1个全连接层和所有卷积层采用ReLU作为激活函数，所述第2个全连接层采用Softmax作为激活函数。
[0030] 优选地，所述从所述蒙片图像中选取一个与该基准坐标匹配的像素坐标的步骤，具体包括：
[0031] 在所述蒙片图像上等间距均匀地选取一定数量的像素坐标，作为控制点；
[0032] 根据各控制点的
位置，初始化薄板样条模型参数；
[0033] 根据powell算法更新所述薄板样条模型；
[0034] 采用更新后的薄板样条模型对所述蒙片图像进行形变；
[0035] 判断形变后的蒙片图像与盈片图像之间的互信息值达到最大值，根据所述更新后的薄板样条模型，从所述蒙片图像中选取与每个基准坐标匹配的像素坐标。
[0036] 优选地，所述将所述盈片图像中的每个像素坐标作为基准坐标的步骤，之前还包括：
[0037] 对所述待分割的盈片图像和蒙片图像进行顶帽变换处理。
[0038] 根据本发明的另一个方面，还提供一种造影图像中血管分割的系统，包括；
[0039] 匹配模
块，用于获取待分割的盈片图像与蒙片图像，将所述盈片图像中的每个像素坐标作为基准坐标，从所述蒙片图像中选取一个与该基准坐标匹配的像素坐标，作为对比坐标；
[0040] 粗分割模块，用于以每个基准坐标和匹配的对比坐标为中心，分别在所述盈片图像和蒙片图像中提取相同大小的子图像，构成一个图像对；将所有图像对输入至双通道卷积神经网络，输出第一血管分割图像；
[0041] 细分割模块，用于从经过图像膨胀处理后的第一血管分割图像中选择目标区域，逐个提取以所述目标区域中的每个像素坐标为中心的子图像，作为参考图像，根据预设规则对每个参考图像提取多个不同尺度的图像，将所有不同尺度的图像输入至多尺度卷积神经网络，输出第二血管分割图像，对所述第二血管分割图像进行显示。
[0042] 本发明提出的造影图像中血管分割的方法和系统，通过双通道卷积神经网络进行去噪和血管结构的粗分割，对粗分割后的图像采用多尺度卷积神经网络进行血管结构的精细分割，使得最终的显示图像中血管边界清楚、细节明显，同时整个过程实现了全自动交互，效率极高。
附图说明
[0043] 图1为根据本发明
实施例的造影图像中血管分割的方法的流程示意图；
[0044] 图2为根据本发明实施例的对一个参考图像提取多个不同尺度的图像的流程示意图；
[0045] 图3为根据本发明实施例的双通道卷积神经网络的结构示意图；
[0046] 图4为根据本发明实施例的多尺度卷积神经网络的结构示意图；
[0047] 图5为本发明实施例的从蒙片图像中选取一个与该基准坐标匹配的像素坐标的步骤的流程示意图；
[0048] 图6为本发明实施例的造影图像中血管分割的系统的功能
框图。
具体实施方式
[0049] 下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
[0050] 结合图1，是本发明实施例提供一种造影图像中血管分割的方法的流程示意图，该实施例描述了基于本发明的一种对造影图像中的血管进行多尺度显示的方法，需要注意的是，本发明各实施例所述的多尺度，可以是血管的口径，也可以是其他能够区分不同类型血管的参数。
[0051] 该方法包括：
[0052] S101、获取待分割的盈片图像与蒙片图像，将盈片图像中的每个像素坐标作为基准坐标，从蒙片图像中选取一个与该基准坐标匹配的像素坐标，作为对比坐标。
[0053] 作为本领域技术人员可以理解的是，蒙片图像是指造影尚未注入时拍摄的图像，盈片图像是指造影剂充溢完成后拍摄的图像。换句话说，蒙片图像中并没有显示血管，而盈片图像中显示有血管，但是盈片图像中并不仅仅显示有血管，还显示有伪血管机结构，例如
导管、伪影等，通过将盈片图像和蒙片图像的相同区域进行对比，若相同区域的显示不一致，说明盈片中不一致的部分为血管。因此，本发明实施例的血管分割方法首先获取盈片图像与蒙片图像之间具有匹配关系的像素坐标，为后续获取相同区域打下基础。
[0054] S102、以每个基准坐标和匹配的对比坐标为中心，分别在盈片图像和蒙片图像中提取相同大小的子图像，构成一个图像对；将所有图像对输入至双通道卷积神经网络，输出第一血管分割图像。
[0055] 需要说明的是，以具有匹配关系的一对像素坐标分别提取图像，即可获得具有对应关系的区域，本发明实施例将具有对应关系的区域看作是相同的区域，通过双通道卷积神经网络的运算，即可获得出第一血管分割图像，显然，由于双通道卷积神经网络是以背景图像和在背景图像上具有额外内容的图像作为输入项，该卷积神经网络最终输出结果实现了去除背景区域，将血管分割出来的目的，但该卷积神经网络对血管分割的细节缺乏优化，存在分割结果不平滑，血管细节粗糙的问题。
[0056] S103、从经过图像膨胀处理后的第一血管分割图像中选择目标区域，逐个提取以目标区域中的每个像素坐标为中心的子图像，作为参考图像，根据预设规则对每个参考图像提取多个不同尺度的图像，将所有不同尺度的图像输入至多尺度卷积神经网络，输出第二血管分割图像，对第二血管分割图像进行显示。
[0057] 需要说明的是，在已经去除了背景区域的第一血管分割图像中选择一个目标区域，以对该区域的血管的细节进行完善，在实际应用时，目标区域的选择可以基于联通域的大小进行选择，比如将最大连通域作为目标区域。在目标区域中逐个以每个像素坐标作为中心坐标获取子图像，作为参考图像，参考图像为正方形，例如可以为65*65像素点大小，需要说明的是，步骤S103中参考图像的大小与步骤S102中图像对中每个图像的大小一致。
[0058] 图2示出了对一个参考图像提取多个不同尺度的图像的流程示意图，图2左侧上排的图像为一个参考图像，参考图像中的深色阴影表示血管，方框表示不同的尺度提取策略，显然，方框越小，方框中的血管占整个方框的面积越多，通过将不同尺度的图像进行归一化处理，即获得图2中下排的三个图像，不同口径的血管在同一种尺度的图像中所占的面积显然是不同的，因此将不同尺度的图像输入至多尺度卷积神经网络，即可对参考图像中不同口径的血管分割清楚，实现不同口径的血管直接平滑过渡，血管边界更清楚、细节更明显。
[0059] 需要说明的是，本发明实施例通过双通道卷积神经网络进行去噪和血管结构的粗分割，对粗分割后的图像采用多尺度卷积神经网络进行血管结构的精细分割，使得最终的显示图像中血管边界清楚、细节明显，同时整个过程实现了全自动交互，效率极高。
[0060] 在上述各实施例的基础上，双通道卷积神经网络包括两个卷积通道；相应地，将所有图像对输入至双通道卷积神经网络的步骤，具体包括：对任意一个图像对，将该图像对中盈片图像的子图像输入至其中一个卷积通道，将蒙片图像的子图像输入至另一个卷积通道。
[0061] 需要说明的是，由于粗分割图像的目的在于消除图像的背景，分割出基本的血管结构，因此输入双通道卷积神经网络中的输入项为蒙片和盈片两类，本发明实施例通过设计两个卷积通道，两个卷积通道分别用于分类背景和血管结构，实现了粗分割图像的目的。
[0062] 在上述各实施例的基础上，多尺度卷积神经网络中卷积通道的个数与尺度的个数匹配；相应地，将所有不同尺度的图像输入至多尺度卷积神经网络的步骤，具体包括：将每个参考图像提取出的不同尺度的图像分别输入至相应的卷积通道中。
[0063] 需要说明的是，由于精细分割图像的目的在于使血管之间的连接更加平滑、消除血管结构断断续续的情况，本发明实施例中的多尺度卷积神经网络中卷积通道的个数与尺度的个数匹配，每种尺度的图像与一个卷积通道相对应，能够获取不同尺度的血管。
[0064] 在上述各实施例的基础上，双通道卷积神经网络的训练方法包括：
[0065] 获取用于训练的所有图像对，构成训练图像对集合，对训练图像对集合中的任意一个图像对进行判断，若该图像对中盈片图像的子图像中心位于血管区域，则将该图像对作为双通道卷积神经网络的正样本；若该图像对中盈片图像的子图像中心位于背景区域，则将该图像对作为双通道卷积神经网络的负样本。
[0066] 需要说明的是，获得用于训练的所有图像对的方法与上述的获取待分割的蒙片图像和盈片图像的图像对的方法大体一致，包括：
[0067] 将用于训练的盈片图像和蒙片图像进行匹配，获得蒙片图像和盈片图像的每个像素坐标的匹配关系；对于蒙片图像和盈片图像上的每个像素坐标，截取以像素坐标为中心的子图像，形成一个图像对。
[0068] 采用Xaiver方法初始化双通道卷积神经网络，以手动分割的血管图像作为标准，结合所有双通道卷积神经网络的正样本和负样本构成训练集，采用训练集训练双通道卷积神经网络。
[0069] 在上述各实施例的基础上，多尺度卷积神经网络的训练方法包括：
[0070] 获取用于训练的第一血管分割图像，对用于训练的第一血管分割图像进行图像膨胀操作，将图像膨胀前的区域作为原始区域，将图像膨胀产生的新区域作为判断区域。
[0071] 若用于训练的盈片图像的子图像中心位于原始区域，则将该子图像作为多尺度卷积神经网络的正样本，若用于训练的盈片图像的子图像中心位于判断区域，则将该子图像作为多尺度卷积神经网络的负样本；
[0072] 采用Xaiver方法初始化多尺度卷积神经网络，以手动分割的血管图像作为标准，结合所有多尺度卷积神经网络的正样本和负样本构成训练集，采用训练集训练多尺度卷积神经网络。
[0073] 图3示出了本发明实施例的双通道卷积神经网络的结构示意图，如图所示，双通道卷积神经网络具有两个卷积通道，中的每个卷积通道包含6个卷积层和3个最大池化层，所有卷积层的卷积核大小均为3×3；双通道卷积神经网络还包括1个全连接通道，全连接通道包含2个全连接层，第1个全连接层包含1024个神经元，第2个全连接层包含2个神经元；第1个全连接层和所有卷积层采用ReLU作为激活函数，第2个全连接层采用Softmax作为激活函数。
[0074] 图4示出了本发明实施例的多尺度卷积神经网络的结构示意图，如图所示，多尺度卷积神经网络具有三个卷积通道，多尺度卷积神经网络中的每个卷积通道包含5个卷积层和1个最大池化层，所有卷积层卷积核大小均为3×3；多尺度卷积神经网络还包括1个全连接通道，全连接通道包含2个全连接层，第1个全连接层包含1024个神经元，第2个全连接层包含2个神经元；第1个全连接层和所有卷积层采用ReLU作为激活函数，第2个全连接层采用Softmax作为激活函数。
[0075] 图5示出了本发明实施例的从蒙片图像中选取一个与该基准坐标匹配的像素坐标的步骤的流程示意图，具体包括：
[0076] S501、在蒙片图像上等间距均匀地选取一定数量的像素坐标，作为控制点；
[0077] S502、根据各控制点的位置，初始化薄板样条模型参数；
[0078] S503、采用优化的薄板样条模型对蒙片图像进行形变；
[0079] S504、判断形变后的蒙片图像与盈片图像之间的互信息值达到最大值，转向步骤S506，否则，转向步骤S505；
[0080] S505、采用Powell算法优化薄板样条模型参数，转向步骤S503；
[0081] S506、根据更新后的薄板样条模型，从蒙片图像中选取与每个基准坐标匹配的像素坐标。
[0082] 在上述各实施例的基础上，步骤S101中的将盈片图像中的每个像素坐标作为基准坐标的步骤，之前还包括：
[0083] 对待分割的盈片图像和蒙片图像进行顶帽变换(英文名称：TopHat变换)处理，顶帽变换能够提高图像中血管的对比度。
[0084] 根据本发明的另一个方面，还提供一种造影图像中血管分割的系统，参见图6，包括；
[0085] 匹配模块601，用于获取待分割的盈片图像与蒙片图像，将盈片图像中的每个像素坐标作为基准坐标，从蒙片图像中选取一个与该基准坐标匹配的像素坐标，作为对比坐标。
[0086] 作为本领域技术人员可以理解的是，蒙片图像是指造影尚未注入时拍摄的图像，盈片图像是指造影剂充溢完成后拍摄的图像。换句话说，蒙片图像中并没有显示血管，而盈片图像中显示有血管，但是盈片图像中不仅显示有血管，还显示有伪血管机结构，例如导管、伪影等，通过将盈片图像和蒙片图像的相同区域进行对比，若相同区域的显示不一致，说明盈片中不一致的部分为血管。因此，本发明实施例的血管分割系统首先通过匹配模块获取盈片图像与蒙片图像之间具有匹配关系的像素坐标，为后续获取相同区域打下基础。
[0087] 粗分割模块602，用于以每个基准坐标和匹配的对比坐标为中心，分别在盈片图像和蒙片图像中提取相同大小的子图像，构成一个图像对；将所有图像对输入至双通道卷积神经网络，输出第一血管分割图像。
[0088] 需要说明的是，以具有匹配关系的一对像素坐标分别提取图像，即可获得具有对应关系的区域，本发明实施例将具有对应关系的区域看作是相同的区域，通过双通道卷积神经网络的运算，即可获得出第一血管分割图像，显然，由于双通道卷积神经网络是以背景图像和在背景图像上具有额外内容的图像作为输入项，该卷积神经网络最终输出结果实现了去除背景区域，将血管分割出来的目的，但该卷积神经网络对血管分割的细节缺乏优化，存在分割结果不平滑，血管细节粗糙的问题。
[0089] 细分割模块603，用于从经过图像膨胀处理后的第一血管分割图像中选择目标区域，逐个提取以目标区域中的每个像素坐标为中心的子图像，作为参考图像，根据预设规则对每个参考图像提取多个不同尺度的图像，将所有不同尺度的图像输入至多尺度卷积神经网络，输出第二血管分割图像，对第二血管分割图像进行显示。
[0090] 需要说明的是，在已经去除了背景区域的第一血管分割图像中选择一个目标区域，以对该区域的血管的细节进行完善，在实际应用时，目标区域的选择可以基于联通域的大小进行选择，比如将最大连通域作为目标区域。在目标区域中逐个以每个像素坐标作为中心坐标获取子图像，作为参考图像，参考图像为正方形，例如可以为65*65像素点大小，需要说明的是，步骤103中参考图像的大小与步骤102中图像对中每个图像的大小一致。
[0091] 本发明实施例的血管分割系统通过双通道卷积神经网络进行去噪和血管结构的粗分割，对粗分割后的图像采用多尺度卷积神经网络进行血管结构的精细分割，使得最终的显示图像中血管边界清楚、细节明显，同时整个过程实现了全自动交互，效率极高。
[0092] 以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0093] 通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助
软件加必需的通用
硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对
现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，
服务器，或者网络设备等)执行各个实施例或者实施例的某些部分的方法。
[0094] 最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行
修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
