肺结节多尺度检测方法、装置、设备及介质
阅读：604发布：2020-05-11
专利汇可以提供肺结节多尺度检测方法、装置、设备及介质专利检索，专利查询，专利分析的服务。并且本 申请 提供了一种 肺 结节多尺度检测方法、装置、设备及介质，所述方法包括：利用设有特征增强层的 人工神经网络 的 自学习 能 力 ，建立肺部的CT图像特征与肺结节 位置 之间的对应关系；获取患者的当前肺部的当前CT图像特征；通过所述对应关系，确定与所述当前CT图像特征对应的当前肺结节位置；具体地，确定与所述CT图像特征对应的当前肺结节位置，包括：将所述对应关系中与所述当前CT图像特征相同的CT图像特征所对应的肺结节位置。确定为所述当前肺结节位置，提升了模型提取有效特征的能力，加强对有用特征的关注，减少对无用特征的关注程度，以提升检测模型的检测 精度 。，下面是肺结节多尺度检测方法、装置、设备及介质专利的具体信息内容。
1.一种肺结节多尺度检测方法，其特征在于，包括：
利用设有空间信息和通道信息卷积的人工神经网络的自学习能力，建立肺部的CT图像特征与肺结节位置之间的对应关系；
获取患者的当前肺部的当前CT图像特征；
通过所述对应关系，确定与所述当前CT图像特征对应的当前肺结节位置；具体地，确定与所述CT图像特征对应的当前肺结节位置，包括：将所述对应关系中与所述当前CT图像特征相同的CT图像特征所对应的肺结节位置，确定为所述当前肺结节位置。
2.根据权利要求1所述的方法，其特征在于，
所述CT图像特征，包括：空间特征和/或通道特征，和/或由按设定规律自所述空间特征、所述通道特征中提取的特征组成的一维或两维以上的数组；其中，
所述空间特征，包括：肺部CT图像中每一个二维切片对应的像素值，肺部CT图像中的HU值；
所述通道信息特征，包括：肺部CT图像中每一个二维切片；
和/或，
所述对应关系，包括：函数关系；所述CT图像特征为所述函数关系的输入参数，所述肺结节位置为所述函数关系的输出参数；
确定与所述当前CT图像特征对应的当前肺结节位置，还包括：
当所述对应关系包括函数关系时，将所述当前CT图像特征输入所述函数关系中，确定所述函数关系的输出参数为当前肺结节位置。
3.根据权利要求1所述的方法，其特征在于，所述建立肺部的CT图像特征与肺结节位置之间的对应关系的步骤，包括：
获取用于建立所述CT图像特征与所述肺结节位置之间的对应关系的样本数据；
分析所述CT图像特征的特性及其规律，根据所述特性及其规律，确定所述人工神经网络的网络结构及其网络参数；
使用所述样本数据，对所述网络结构和所述网络参数进行训练和测试，确定所述CT图像特征与所述肺结节位置的所述对应关系。
4.根据权利要求3所述的方法，其特征在于，所述获取用于建立所述CT图像特征与所述肺结节位置之间的对应关系的样本数据的步骤，包括：
收集不同肺结节状况的患者的所述CT图像特征和所述肺结节位置；
对所述CT图像特征进行分析、并结合预存的专家经验信息，选取与所述肺结节位置相关的数据作为所述CT图像特征；
将所述肺结节位置、以及选取的所述CT图像特征构成的数据对，作为样本数据。
5.根据权利要求4所述的方法，其特征在于，
所述网络结构，包括Faster R-CNN网络，FPN网络，SqeezeNet网络，VGG模型，GoogLeNet网络，ResNet网络，以及，Network-In-Network模型中的至少之一；
和/或，
所述网络参数，包括：密集块数，输出层数，卷积层数，反卷积层数，过度层数，初始权值，以及，偏置值中的至少之一。
6.根据权利要求3-5任一项所述的方法，其特征在于，
对所述网络结构和所述网络参数进行训练，包括：
选取所述样本数据中的一部分数据作为训练样本，将所述训练样本中的所述CT图像特征输入到所述网络结构，通过所述网络结构的激活函数和所述网络参数进行训练，得到实际训练结果；
确定所述实际训练结果与所述训练样本中的相应肺结节位置之间的实际训练误差是否满足预设训练误差；
当所述实际训练误差满足所述预设训练误差时，确定对所述网络结构和所述网络参数的所述训练完成；
和/或，
对所述网络结构和所述网络参数进行测试，包括：
选取所述样本数据中的另一部分数据作为测试样本，将所述测试样本中的所述CT图像特征输入到所述训练完成的所述网络结构中，以所述激活函数和所述训练完成的所述网络参数进行测试，得到实际测试结果；
确定所述实际测试结果与所述测试样本中的相应肺结节位置之间的实际测试误差是否满足设定测试误差；
当所述实际测试误差满足所述设定测试误差时，确定对所述网络结构和所述网络参数的所述测试完成。
7.根据权利要求6所述的方法，其特征在于，
对所述网络结构和所述网络参数进行训练，还包括：
当所述实际训练误差不满足所述设定训练误差时，通过所述网络结构的误差能量函数更新所述网络参数；
通过所述网络结构的所述激活函数和更新后的所述网络参数进行重新训练，直至所述重新训练后的实际训练误差满足所述设定训练误差；
和/或，
对所述网络结构和所述网络参数进行测试，还包括：
当所述实际测试误差不满足所述设定测试误差时，对所述网络结构和所述网络参数进行重新训练，直至所述重新训练后的实际测试误差慢速所述设定测试误差。
8.一种肺结节位置的检测装置，其特征在于，包括：
建立模块，用于利用设有特征增强层的人工神经网络的自学习能力，建立肺部的CT图像特征与肺结节位置之间的对应关系；
获取模块，用于获取患者的当前肺部的当前CT图像特征；
确定模块，用于通过所述对应关系，确定与所述当前CT图像特征对应的当前肺结节位置；具体地，确定与所述CT图像特征对应的当前肺结节位置，包括：将所述对应关系中与所述当前CT图像特征相同的CT图像特征所对应的肺结节位置，确定为所述当前肺结节位置。
9.一种设备，其特征在于，包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法。
肺结节多尺度检测方法、装置、设备及介质
技术领域
[0001] 本申请涉及医学检测领域，特别是肺结节多尺度检测方法、装置、设备及介质。
背景技术
[0002] 随着老龄人口增加，环境污染加剧，肺癌的新发病例和死亡病例数越来越多，近20年的肺癌标化死亡率平均每年增长高达7.7％，肺癌已成为全球发病率和死亡率最高的癌症之一。早期肺癌多无明显症状，导致肺癌临床确诊时往往已达中晚期，治疗费用高但效果不佳。因此肺癌的预防和早期筛查成为癌症控制的重点之一。
[0003] 临床中影像科医师通过反复逐层浏览三维CT图像，寻找肺结节区域，并分析肺结节的恶性程度。目前我国医学影像数据的年增长率约为30％，而放射科医生数量的年增长率为4％。放射科医师一一检查影像数据，不仅耗时耗力，诊断效率也会有所下降。为了减轻医生负担，提高诊断效率以及降低误检率，涌现出大量计算机辅助诊断技术。其中深度学习凭借检测精度高，速度快，无需手动设计特征等优势成为医学图像自动分析领域的主要技术。
[0004] 虽然基于深度学习的肺结节检测方法已经达到了很好的性能，但检测模型对于肺结节的检测精度以及小结节的检测精度，以及漏诊率还需进一步优化。发明内容
[0005] 鉴于所述问题，提出了本申请以便提供克服所述问题或者至少部分地解决所述问题的肺结节多尺度检测方法、装置、设备及介质，包括：
[0006] 一种肺结节多尺度检测方法，包括：
[0008] 获取患者的当前肺部的当前CT图像特征；
[0009] 通过所述对应关系，确定与所述当前CT图像特征对应的当前肺结节位置；具体地，确定与所述CT图像特征对应的当前肺结节位置，包括：将所述对应关系中与所述当前CT图像特征相同的CT图像特征所对应的肺结节位置，确定为所述当前肺结节位置。
[0010] 进一步地，
[0011] 所述CT图像特征，包括：空间特征和/或通道特征，和/或由按设定规律自所述空间特征、所述通道特征中提取的特征组成的一维或两维以上的数组；其中，
[0013] 和/或，
[0014] 所述通道信息特征，包括：肺部CT图像中每一个二维切片；
[0015] 和/或，
[0016] 所述对应关系，包括：函数关系；所述CT图像特征为所述函数关系的输入参数，所述肺结节位置为所述函数关系的输出参数；
[0017] 确定与所述当前CT图像特征对应的当前肺结节位置，还包括：
[0018] 当所述对应关系包括函数关系时，将所述当前CT图像特征输入所述函数关系中，确定所述函数关系的输出参数为当前肺结节位置。
[0019] 进一步地，所述建立肺部的CT图像特征与肺结节位置之间的对应关系的步骤，包括：
[0020] 获取用于建立所述CT图像特征与所述肺结节位置之间的对应关系的样本数据；
[0021] 分析所述CT图像特征的特性及其规律，根据所述特性及其规律，确定所述人工神经网络的网络结构及其网络参数；
[0022] 使用所述样本数据，对所述网络结构和所述网络参数进行训练和测试，确定所述CT图像特征与所述肺结节位置的所述对应关系。
[0023] 进一步地，所述获取用于建立所述CT图像特征与所述肺结节位置之间的对应关系的样本数据的步骤，包括：
[0024] 收集不同肺结节状况的患者的所述CT图像特征和所述肺结节位置；
[0025] 对所述CT图像特征进行分析、并结合预存的专家经验信息，选取与所述肺结节位置相关的数据作为所述CT图像特征；
[0026] 将所述肺结节位置、以及选取的所述CT图像特征构成的数据对，作为样本数据。
[0027] 进一步地，
[0028] 所述网络结构，包括Faster R-CNN网络，FPN网络，AlexNet网络，SqeezeNet网络，VGG模型，GoogLeNet网络，ResNet网络，以及，深度特征增强网络中的至少之一；
[0029] 和/或，
[0031] 进一步地，
[0032] 对所述网络结构和所述网络参数进行训练，包括：
[0033] 选取所述样本数据中的一部分数据作为训练样本，将所述训练样本中的所述CT图像特征输入到所述网络结构，通过所述网络结构的激活函数和所述网络参数进行训练，得到实际训练结果；
[0034] 确定所述实际训练结果与所述训练样本中的相应肺结节位置之间的实际训练误差是否满足预设训练误差；
[0035] 当所述实际训练误差满足所述预设训练误差时，确定对所述网络结构和所述网络参数的所述训练完成；
[0036] 和/或，
[0037] 对所述网络结构和所述网络参数进行测试，包括：
[0038] 选取所述样本数据中的另一部分数据作为测试样本，将所述测试样本中的所述CT图像特征输入到所述训练完成的所述网络结构中，以所述激活函数和所述训练完成的所述网络参数进行测试，得到实际测试结果；
[0039] 确定所述实际测试结果与所述测试样本中的相应肺结节位置之间的实际测试误差是否满足设定测试误差；
[0040] 当所述实际测试误差满足所述设定测试误差时，确定对所述网络结构和所述网络参数的所述测试完成。
[0041] 进一步地，
[0042] 对所述网络结构和所述网络参数进行训练，还包括：
[0043] 当所述实际训练误差不满足所述设定训练误差时，通过所述网络结构的误差能量函数更新所述网络参数；
[0044] 通过所述网络结构的所述激活函数和更新后的所述网络参数进行重新训练，直至所述重新训练后的实际训练误差满足所述设定训练误差；
[0045] 和/或，
[0046] 对所述网络结构和所述网络参数进行测试，还包括：
[0047] 当所述实际测试误差不满足所述设定测试误差时，对所述网络结构和所述网络参数进行重新训练，直至所述重新训练后的实际测试误差慢速所述设定测试误差。
[0048] 一种肺结节位置的检测装置，包括：
[0049] 建立模块，用于利用设有特征增强层的人工神经网络的自学习能力，建立肺部的CT图像特征与肺结节位置之间的对应关系；
[0050] 获取模块，用于获取患者的当前肺部的当前CT图像特征；
[0051] 确定模块，用于通过所述对应关系，确定与所述当前CT图像特征对应的当前肺结节位置；具体地，确定与所述CT图像特征对应的当前肺结节位置，包括：将所述对应关系中与所述当前CT图像特征相同的CT图像特征所对应的肺结节位置，确定为所述当前肺结节位置。
[0053] 一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如上所述的肺结节多尺度检测方法的步骤。
[0054] 本申请具有以下优点：
[0055] 在本申请的实施例中，通过利用设有特征增强层的人工神经网络的自学习能力，建立肺部的CT图像特征与肺结节位置之间的对应关系；获取患者的当前肺部的当前CT图像特征；通过所述对应关系，确定与所述当前CT图像特征对应的当前肺结节位置；具体地，确定与所述CT图像特征对应的当前肺结节位置，包括：将所述对应关系中与所述当前CT图像特征相同的CT图像特征所对应的肺结节位置，确定为所述当前肺结节位置，提升了模型提取有效特征的能力，加强对有用特征的关注，减少对无用特征的关注程度，以提升检测模型的检测精度。附图说明
[0056] 为了更清楚地说明本申请的技术方案，下面将对本申请的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0057] 图1是本申请一实施例提供的一种肺结节多尺度检测方法的步骤流程图；
[0058] 图2是本申请一实施例提供的一种肺结节多尺度检测方法的CT图像特征提取流程图；
[0059] 图3是本申请一实施例提供的一种肺结节多尺度检测方法的人工神经网络结构示意图；
[0060] 图4-a是本申请一具体实现提供的一种肺结节多尺度检测方法的真实肺结节和预测肺结节对比示意图；
[0061] 图4-b是本申请一具体实现提供的一种肺结节多尺度检测方法的实验结果对比示意图；
[0062] 图5是本申请一实施例提供的一种肺结节多尺度检测装置的结构框图；
[0063] 图6是本发明一实施例的一种计算机设备的结构示意图。
具体实施方式
[0064] 为使本申请的所述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0065] 需要说明的是，在本发明任一实施例中，所述人工神经网络为深度学习目标检测网络，其中，所述人工神经网络中的骨干网络(backbone)用于提取图像特征，由于肺部CT图像包含病灶区域非常小，所以将backbone中传统的卷积改进为包含空间信息和通道信息的卷积。通过前述方法可以让网络模型更加关注有关特征，降低对无关特征的关注程度。对于肺部小结节的检测，引入反卷积和横向连接层，在反卷积之后三个不同分辨率的特征图上分别预测结节的位置，以降低小结节的漏诊率。
[0066] 参照图1，示出了本申请一实施例提供的一种肺结节多尺度检测方法，包括：
[0067] S110、利用设有特征增强层的人工神经网络的自学习能力，建立肺部的CT图像特征与肺结节位置之间的对应关系；
[0068] S120、获取患者的当前肺部的当前CT图像特征；
[0069] S130、通通过所述对应关系，确定与所述当前CT图像特征对应的当前肺结节位置；具体地，确定与所述CT图像特征对应的当前肺结节位置，包括：将所述对应关系中与所述当前CT图像特征相同的CT图像特征所对应的肺结节位置，确定为所述当前肺结节位置。
[0070] 在本申请的实施例中，通过利用设有特征增强层的人工神经网络的自学习能力，建立肺部的CT图像特征与肺结节位置之间的对应关系；获取患者的当前肺部的当前CT图像特征；通过所述对应关系，确定与所述当前CT图像特征对应的当前肺结节位置；具体地，确定与所述CT图像特征对应的当前肺结节位置，包括：将所述对应关系中与所述当前CT图像特征相同的CT图像特征所对应的肺结节位置，确定为所述当前肺结节位置，提升了模型提取有效特征的能力，加强对有用特征的关注，减少对无用特征的关注程度，以提升检测模型的检测精度。
[0071] 下面，将对本示例性实施例中肺结节多尺度检测方法作进一步地说明。
[0072] 如上述步骤S110所述，利用设有特征增强层的人工神经网络的自学习能力，建立肺部的CT图像特征与肺结节位置之间的对应关系。
[0074] 例如：可以利用人工神经网络算法，通过对大量不同志愿者(包括但不限于如下的一种或多种：年龄，是否有病情，性别，病况等)的肺部的CT图像特征汇总收集，选取若干志愿者的肺部的CT图像特征及肺结节位置作为样本数据，对神经网络进行学习和训练，通过调整网络结构及网络节点间的权值，使神经网络拟合肺部的CT图像特征及肺结节位置之间的关系，最终使神经网络能准确拟合出不同患者的肺部的CT图像特征及肺结节位置的对应关系。
[0075] 在一实施例中，所述CT图像特征，包括：空间特征和/或通道特征，和/或由按设定规律自所述空间特征、所述通道特征中提取的特征组成的一维或两维以上的数组；
[0076] 可选地，所述空间特征，包括：肺部CT图像中每一个二维切片对应的像素值，肺部CT图像中的HU值；
[0077] 可选地，所述通道特征，包括：肺部CT图像中每一个二维切片；
[0078] 参照图2，需要说明的是，在获取所述CT图像特征前，为了降低检测模型检测到假阳性结节的个数，需要去除肺实质之外的无关组织，对CT图像进行预处理，具体处理过程依次为：用SimpleITK层读取mhd格式的肺部CT图像；将肺部CT图像进行图像二值化；选择肺对应的连通区域；计算每个肺的凸包；通过腐蚀、膨胀和合成操作生成掩膜图像；将原始图像与掩膜图像结合，将肺部实质区域外部分用骨组织亮度填充；将HU值转换成UINT8格式。经过上述处理，可得到只包含两片肺实质的CT图像，用于人工神经网络的进一步检测任务。
[0079] 在一实施例中，所述对应关系，包括：函数关系。
[0080] 优选地，所述CT图像特征为所述函数关系的输入参数，所述肺结节位置为所述函数关系的输出参数；
[0081] 由此，通过多种形式的对应关系，可以提升对当前肺结节位置确定的灵活性和便捷性。
[0082] 如：将传统卷积提取到的特征经过两路处理：第一路通过对特征图压缩和激发两步操作，使得网络以学习的方式自动获取每个特征通道的重要程度，依照特征通道的重要程度去提升有用的特征，并抑制对当前任务影响较小的特征。其中，压缩操作采用全局平均池化得以实现；激发操作采用两层全连接层实现，第一层全连接层后接一个Relu激活函数层，第二层全连接层后接一个Sigmoid激活函数层，将权重归一化为0～1之间。第二路采用1*1*1卷积和3*3*3卷积对特征通道进行压缩，再经过Sigmoid激活函数层将空间信息所对应的权重归一化为0～1之间并融合。通过上述网络结构使得网络模型在空间信息这一维度上，有用的空间信息得到加强，无用的空间信息被削弱。采用1*1*1和3*3*3卷积通过不同感受野获取不同权重的空间信息。在提取CT图像空间信息过程中，利用不同大小的卷积核以不同的感受野获取特征信息，并将其融合，提升了空间信息的利用率，并减少了假阳性结节的预测；通过多个尺度预测肺结节的位置，从小、中、大三个不同分辨率尺度的特征图中进行预测，充分地利用了特征信息，避免了小结节的漏检，提升了网络模型的性能；在正样本和背景样本分类的损失函数中加入权重因子和平衡因子，使正负样本的数量达到平衡，并且使模型更关注难分、易分错的样本，有效防止过拟合，提升了分类模型的性能。
[0083] 在一实施例中，可以结合下列描述进一步说明步骤S110中“建立肺部的CT图像特征与肺结节位置之间的对应关系”的具体过程。
[0084] 如下列步骤所述：获取用于建立所述CT图像特征与所述肺结节位置之间的对应关系的样本数据；
[0085] 在一进阶实施例中，可以结合下列描述进一步说明“获取用于建立所述CT图像特征与所述肺结节位置之间的对应关系的样本数据”的具体过程。
[0086] 如下列步骤所述：收集不同肺结节状况的患者的所述CT图像特征和所述肺结节位置；
[0087] 例如：数据搜集：搜集不同健康状况的患者的CT图像特征及对应的肺结节位置；以及，搜集不同年龄的患者的CT图像特征及对应的肺结节位置；以及，搜集不同性别的患者的CT图像特征及对应的肺结节位置。
[0088] 由此，通过多种途径收集运行数据，有利于增加运行数据的量，提升人工神经网络的学习能力，进而提升确定的对应关系的精准性和可靠性。
[0089] 如下列步骤所述：对所述CT图像特征进行分析、并结合预存的专家经验信息，选取与所述肺结节位置相关的数据作为所述CT图像特征(例如：选取对肺结节位置有影响的CT图像特征作为输入参数，将指定参数作为输出参数)；
[0090] 例如：通过将已确诊的志愿者的相关数据中的CT图像特征作为输入参数，将其相关数据中的肺结节位置作为输出参数。
[0091] 如下列步骤所述：将所述肺结节位置、以及选取的所述CT图像特征构成的数据对，作为样本数据。
[0092] 例如：将得到的输入、输出参数对，一部分用作训练本样数据，一部分用作测试样本数据。
[0093] 由此，通过对收集到的CT图像特征进行分析及处理，进而得到样本数据，操作过程简单，操作结果可靠性高。
[0094] 如下列步骤所述：分析所述CT图像特征的特性及其规律，根据所述特性及其规律，确定所述人工神经网络的网络结构及其网络参数；
[0095] 例如：根据不同的年龄、病情、性别等对肺结节情况具有影响的数据特性及其所蕴含的规律，可初步确定网络的基本结构、网络的输入、输出节点数、网络隐层数、隐节点数、网络初始权值等。
[0096] 优选地，所述网络结构，包括：Faster R-CNN网络，FPN网络，AlexNet网络，SqeezeNet网络，VGG模型，GoogLeNet网络，ResNet网络，以及，深度特征增强网络中的至少之一。
[0097] 优选地，所述网络参数，包括：密集块数，输出层数，卷积层数，反卷积层数，过度层数，特征增强层，初始权值，以及，偏置值中的至少之一。
[0098] 参照图3，作为一种示例，人工神经网络的具体结构包括：首先包含2层3*3的卷积层，然后是4个三维的残差块，每一个残差块之后都连接一个池化层进行下采样，每个残差块由3个残差单元组成。由于数据集中3～10毫米的小结节众多，为了提升网络模型对于小结节的检测精度，对第四层下采样之后的特征图进行两次上采样，并且上采样所得的特征图与对应大小的下采样特征图进行横向连接，以充分利用特征信息；
[0099] 从上采样得到的三个分辨率大小不同的特征图上进行提框，框回归，预测每一个样例中结节所有可能的位置。每一层上采样层采用步长为2的2*2*2的反卷积。此外，提框的过程是在反卷积中三个不同的分辨率大小的特征图上进行边长分别为5,10,20不同尺度框的提取，使生成的框实现整个CT图像的全覆盖。最后，将所有检测结果计算重叠度(IOU)，把IOU大于阈值的预测位置保留。
[0100] 需要说明的是，神经网络深度不宜太深，因为肺结节的直径一般只有3～30毫米，在三维肺部CT图像中只占极小区域，如果层数太多，肺结节的信息就会被大大削弱，导致检测精度降低。
[0101] 可选地，可以结合下列描述进一步说明步骤“使用所述样本数据，对所述网络结构和所述网络参数进行训练和测试，确定所述CT图像特征与所述肺结节位置的所述对应关系”中对所述网络结构和所述网络参数进行训练的具体过程。
[0102] 如下列步骤所述，选取所述样本数据中的一部分数据作为训练样本，将所述训练样本中的所述CT图像特征输入到所述网络结构，通过所述网络结构和所述网络参数进行训练，得到实际训练结果；确定所述实际训练结果与所述训练样本中的相应肺结节位置之间的实际训练误差是否满足预设训练误差；当所述实际训练误差满足所述预设训练误差时，确定对所述网络结构和所述网络参数的所述训练完成；
[0103] 更可选地，对所述网络结构和所述网络参数进行训练，还包括：
[0104] 当所述实际训练误差不满足所述设定训练误差时，通过所述网络结构的误差能量函数更新所述网络参数；通过所述网络结构的所述激活函数和更新后的所述网络参数进行重新训练，直至所述重新训练后的实际训练误差满足所述设定训练误差；
[0105] 例如：若测试误差满足要求，则网络训练测试完成。
[0106] 由此，通过将测试样本用于训练得到的网络结构和网络参数进行测试，以进一步验证网络结构及网络参数的可靠性。
[0107] 可选地，可以结合下列描述进一步说明步骤“使用所述样本数据，对所述网络结构和所述网络参数进行训练和测试，确定所述CT图像特征与所述肺结节位置的所述对应关系”中对所述网络结构和所述网络参数进行测试的具体过程。
[0108] 如下列步骤所述，选取所述样本数据中的另一部分数据作为测试样本，将所述测试样本中的所述CT图像特征输入到所述训练完成的所述网络结构中，以所述激活函数和所述训练完成的所述网络参数进行测试，得到实际测试结果；确定所述实际测试结果与所述测试样本中的相应肺结节位置之间的实际测试误差是否满足设定测试误差；当所述实际测试误差满足所述设定测试误差时，确定对所述网络结构和所述网络参数的所述测试完成。
[0109] 如上述步骤S120所述，获取患者的当前肺部的当前CT图像特征；
[0110] 如上述步骤S130所述，通通过所述对应关系，确定与所述当前CT图像特征对应的当前肺结节位置。
[0111] 例如：实时识别出患者的肺部的CT图像特征。
[0112] 由此，通过基于对应关系，根据当前CT图像特征有效地识别出肺部的当前肺结节位置，从而为医生的诊断提供准确的判断依据，且判断结果精准性好。
[0113] 在一个可选例子中，步骤S130中确定与所述CT图像特征对应的当前肺结节位置，可以包括：将所述对应关系中与所述当前CT图像特征相同的CT图像特征所对应的肺结节位置，确定为所述当前肺结节位置。
[0114] 在一个可选例子中，步骤S130中确定与所述CT图像特征对应的当前肺结节位置，还可以包括：当所述对应关系可以包括函数关系时，将所述当前CT图像特征输入所述函数关系中，确定所述函数关系的输出参数为当前肺结节位置。
[0115] 由此，通过基于对应关系或函数关系，根据当前CT图像特征确定当前肺结节位置，确定方式简便，确定结果可靠性高。
[0116] 例如，用训练所得到的人工神经网络模型去检测测试集中每一个样例的肺结节位置。令每一个测试样例的所有检测坐标计算IOU，将IOU大于阈值的坐标保留。其中，IOU的阈值优选设定为0.7，如果设置太大，那么会加剧肺结节的漏检率；如果设置太小，假阳性结节大大增加，影响检测模型的精度。
[0117] 将所有的测试结果保存为csv文件，文件中每一列依次表示为：测试样例名称、横坐标(X)、纵坐标(Y)、Z、肺结节的直径。
[0118] 其中，csv文件中所有检测结果，通过FROC评估指标对此模型测试结果进行评估，FROC反映了每个样本中假阳性个数和召回率之间的关系，可以综合评估肺结节检测网络的性能。根据评估结果进一步调整人工神经网络模型的参数，对网络进行优化、提升。
[0119] 在一个可选实施方式中，还可以包括：验证所述当前肺结节位置与实际肺结节位置是否相符的过程。
[0120] 可选地，可以接收到所述当前肺结节位置与实际肺结节位置不符的验证结果、和/或确定所述对应关系中没有与所述当前CT图像特征相同的CT图像特征时，对所述对应关系进行更新、修正、再学习中的至少一种维护操作。
[0121] 例如：设备本身无法获知到实际肺结节位置，需要有医生的反馈操作才行，即如果设备智能判断出肺结节位置，医生通过操作反馈其与实际的状态不符，设备才能获知。
[0122] 验证所述当前肺结节位置与实际肺结节位置是否相符(例如：可以通过AR显示模块对实际肺结节位置进行显示，以验证确定的所述当前肺结节位置与实际肺结节位置是否相符)。
[0123] 当所述当前肺结节位置与实际肺结节位置不符、和/或所述对应关系中没有与所述当前CT图像特征相同的CT图像特征时，对所述对应关系进行更新、修正、再学习中的至少一种维护操作。
[0124] 例如：可以根据维护后的对应关系，根据所述当前CT图像特征确定当前肺结节位置。例如：将维护后的所述对应关系中与所述当前CT图像特征相同的CT图像特征对应的肺结节位置，确定为当前肺结节位置。
[0125] 由此，通过对确定的CT图像特征与肺结节位置之间的对应关系的维护，有利于提升对肺结节位置确定的精准性和可靠性。
[0126] 参照图4-a～4-b，在一具体实现中，通过将专家确诊的CT图像中的真实肺结节位置和通过本发明方法从该CT图像中得出的预测肺结节位置，进行对比可以得出，通过本发明方法预测的肺结节位置与通过专家进行人工确诊的真实情况接近完全相同。
[0127] 并且，通过对比了现有的目标检测网络模型的中backbone的FROC指标，其中，现有的目标检测网络模型的中backbone分别采用ResNet 18和Dual Path Network 92时两种模型，评测结果如图4-b所展，本发明所得到的结果在每个测试样例的误报率为0.125、0.25、0.5、1、2、4、8时，所对应的召回率都是最高的。
[0128] 肺结节检测网络模型的backbone中的传统卷积与反卷积中融合了空间信息和通道信息，加入了压缩-激发这一结构，保证网络模型在提取特征时更加关注有关的特征信息，减少无关信息的关注程度，提升了目标检测网络提取有效特征的能力；利用不同大小的卷积核以不同的感受野提取特征，并将两者融合，以提升空间信息的利用率，并减少了假阳性结节的预测；在预测肺结节的位置时，从小、中、大三个不同大小的分辨率特征图上进行综合预测，以提升小目标的检测精度；在正样本和背景样本分类的损失函数中加入权重因子和平衡因子，使正负样本数量达到平衡，并且使模型更关注难分、易分错的样本。本发明大大提升了肺结节检测模型的性能，能够协助医生进行辅助诊断。
[0129] 对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0130] 参照图5，示出了本申请一实施例提供的一种肺结节位置的检测装置，包括：
[0131] 建立模块510，用于利用设有特征增强层的人工神经网络的自学习能力，建立肺部的CT图像特征与肺结节位置之间的对应关系；
[0132] 获取模块520，用于获取患者的当前肺部的当前CT图像特征；
[0133] 确定模块530，用于通过所述对应关系，确定与所述当前CT图像特征对应的当前肺结节位置；具体地，确定与所述CT图像特征对应的当前肺结节位置，包括：将所述对应关系中与所述当前CT图像特征相同的CT图像特征所对应的肺结节位置，确定为所述当前肺结节位置。
[0134] 在一实施例中，所述CT图像特征，包括：兴趣区图像序列中按设定规律提取的用于表示每个像素的运动模式；其中，
[0135] 所述CT图像特征，包括：空间特征和/或通道特征，和/或由按设定规律自所述空间特征、所述通道特征中提取的特征组成的一维或两维以上的数组；其中，
[0136] 所述空间特征，包括：CT图像中的肺部实质边缘；
[0137] 和/或，
[0138] 所述通道特征，包括：CT图像中肺部区域的像素值，CT图像中肺部区域的HU值；
[0139] 和/或，
[0140] 所述对应关系，包括：函数关系；所述CT图像特征为所述函数关系的输入参数，所述肺结节位置为所述函数关系的输出参数；
[0141] 确定与所述当前CT图像特征对应的当前肺结节位置，还包括：
[0142] 当所述对应关系包括函数关系时，将所述当前CT图像特征输入所述函数关系中，确定所述函数关系的输出参数为当前肺结节位置。
[0143] 在一实施例中，所述建立模块510，包括：
[0144] 获取子模块，用于获取用于建立所述CT图像特征与所述肺结节位置之间的对应关系的样本数据；
[0145] 分析子模块，用于分析所述CT图像特征的特性及其规律，根据所述特性及其规律，确定所述人工神经网络的网络结构及其网络参数；
[0146] 训练子模块，用于使用所述样本数据，对所述网络结构和所述网络参数进行训练和测试，确定所述CT图像特征与所述肺结节位置的所述对应关系。
[0147] 在一实施例中，所述获取子模块，包括：
[0148] 收集子模块，用于收集不同肺结节状况的患者的所述CT图像特征和所述肺结节位置；
[0149] 分析子模块，用于对所述CT图像特征进行分析、并结合预存的专家经验信息，选取与所述肺结节位置相关的数据作为所述CT图像特征；
[0150] 样本数据生成子模块，用于将所述肺结节位置、以及选取的所述CT图像特征构成的数据对，作为样本数据。
[0151] 在一实施例中，
[0152] 所述网络结构，包括：Faster R-CNN网络,FPN网络，DenseNet网络，SVM训练器，VGG16模型，VGG19模型，以及，InceptionV3模型中的至少之一；
[0153] 和/或，
[0154] 所述网络参数，包括：密集块数，输出层数，卷积层数，反卷积层，过度层数，初始权值，以及，偏置值中的至少之一。
[0155] 在一实施例中，
[0156] 所述训练子模块，包括：
[0157] 训练结果生成子模块，用于选取所述样本数据中的一部分数据作为训练样本，将所述训练样本中的所述CT图像特征输入到所述网络结构，通过所述网络结构的激活函数和所述网络参数进行训练，得到实际训练结果；
[0158] 训练结果误差判断子模块，用于确定所述实际训练结果与所述训练样本中的相应肺结节位置之间的实际训练误差是否满足预设训练误差；
[0159] 训练完成判定子模块，用于当所述实际训练误差满足所述预设训练误差时，确定对所述网络结构和所述网络参数的所述训练完成；
[0160] 和/或，
[0161] 测试子模块，用于对所述网络结构和所述网络参数进行测试，所述测试子模块，包括：
[0162] 测试结果生成子模块，用于选取所述样本数据中的另一部分数据作为测试样本，将所述测试样本中的所述CT图像特征输入到所述训练完成的所述网络结构中，以所述激活函数和所述训练完成的所述网络参数进行测试，得到实际测试结果；
[0163] 测试结果误差判断子模块，用于确定所述实际测试结果与所述测试样本中的相应肺结节位置之间的实际测试误差是否满足设定测试误差；
[0164] 测试完成判定子模块，用于当所述实际测试误差满足所述设定测试误差时，确定对所述网络结构和所述网络参数的所述测试完成。
[0165] 在一实施例中，
[0166] 所述训练子模块，还包括：
[0167] 网络参数更新子模块，用于当所述实际训练误差不满足所述设定训练误差时，通过所述网络结构的误差能量函数更新所述网络参数；
[0168] 第一重训练子模块，用于通过所述网络结构和更新后的所述网络参数进行重新训练，直至所述重新训练后的实际训练误差满足所述设定训练误差；
[0169] 和/或，
[0170] 所述测试子模块，还包括：
[0171] 第二重训练子模块，用于当所述实际测试误差不满足所述设定测试误差时，对所述网络结构和所述网络参数进行重新训练，直至所述重新训练后的实际测试误差慢速所述设定测试误差。
[0172] 参照图6，示出了本发明的一种肺结节多尺度检测方法的计算机设备，具体可以包括如下：
[0173] 上述计算机设备12以通用计算设备的形式表现，计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
[0174] 总线18表示几类总线18结构中的一种或多种，包括存储器总线18或者存储器控制器，外围总线18，图形加速端口，处理器或者使用多种总线18结构中的任意总线18结构的局域总线18。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线18，微通道体系结构(MAC)总线18，增强型ISA总线18、音视频电子标准协会(VESA)局域总线18以及外围组件互连(PCI)总线18。
[0176] 系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其他移动/不可移动的、易失性/非易失性计算机体统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(通常称为“硬盘驱动器”)。尽管图6中未示出，可以提供用于对可移动非易失性磁盘(如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM，DVD-ROM或者其他光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质界面与总线18相连。存储器可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块42，这些程序模块42被配置以执行本发明各实施例的功能。
[0177] 具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器中，这样的程序模块42包括——但不限于——操作系统、一个或者多个应用程序、其他程序模块42以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
[0178] 计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24、摄像头等)通信，还可与一个或者多个使得用户能与该计算机设备12交互的设备通信，和/或与使得该计算机设备12能与一个或多个其他计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)界面22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN))，广域网(WAN)和/或公共网络(例如因特网)通信。如图所示，网络适配器20通过总线18与计算机设备12的其他模块通信。应当明白，尽管图6中未示出，可以结合计算机设备12使用其他硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元16、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统34等。
[0180] 也即，上述处理单元16执行上述程序时实现：利用设有特征增强层的人工神经网络的自学习能力，建立肺部的CT图像特征与肺结节位置之间的对应关系；获取患者的当前肺部的当前CT图像特征；通过所述对应关系，确定与所述当前CT图像特征对应的当前肺结节位置；具体地，确定与所述CT图像特征对应的当前肺结节位置，包括：将所述对应关系中与所述当前CT图像特征相同的CT图像特征所对应的肺结节位置，确定为所述当前肺结节位置。
[0181] 在本发明实施例中，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请所有实施例提供的肺结节多尺度检测方法：
[0182] 也即，给程序被处理器执行时实现：利用设有特征增强层的人工神经网络的自学习能力，建立肺部的CT图像特征与肺结节位置之间的对应关系；获取患者的当前肺部的当前CT图像特征；通过所述对应关系，确定与所述当前CT图像特征对应的当前肺结节位置；具体地，确定与所述CT图像特征对应的当前肺结节位置，包括：将所述对应关系中与所述当前CT图像特征相同的CT图像特征所对应的肺结节位置，确定为所述当前肺结节位置。
[0183] 可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机克顿信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦可编程只读存储器(EPOM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
[0184] 计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
[0185] 可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言——诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言——诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行或者完全在远程计算机或者服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
[0186] 尽管已描述了本申请实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。
[0187] 最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
[0188] 以上对本申请所提供的肺结节多尺度检测方法、装置、设备及介质，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 用于求取车辆的车灯的状态的方法和设备 | 2020-05-08 | 170 |
| 基于通信受限的神经网络系统远程状态估计方法及装置 | 2020-05-12 | 196 |
| 一种基于人脸关键点识别的身高检测方法 | 2020-05-13 | 78 |
| 基于双神经网络的睡眠呼吸声检测方法及系统 | 2020-05-13 | 353 |
| 一种人工神经网络运算的装置及方法 | 2020-05-13 | 770 |
| 一种复合材料异形壳的纤维路径与几何形状一体化设计方法 | 2020-05-12 | 399 |
| 一种基于虚拟现实技术的自闭症训练系统、方法及装置 | 2020-05-14 | 350 |
| 基于人工神经网络的视觉测试系统 | 2020-05-14 | 734 |
| 一种东阿阿胶、福胶、鹿角胶定量研究的方法 | 2020-05-13 | 683 |
| 线路可移动监控方法及装置及计算机可读介质 | 2020-05-08 | 308 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈