一种基于深度学习的电子染色内镜下胃早癌的辅助诊断系统
阅读：974发布：2020-05-12
专利汇可以提供一种基于深度学习的电子染色内镜下胃早癌的辅助诊断系统专利检索，专利查询，专利分析的服务。并且本 发明 公开了一种基于 深度学习 的 电子 染色 内镜下胃早癌的辅助诊断系统，包括：图像获取模 块 ，获取电子染色 内镜检查 过程中实时采集的胃部图像；胃早癌识别模块，基于预先构建的胃早癌识别模型，识别病灶区域并进行标注；逻辑判断模块，当识别出的病灶区域存在交叠时，判断是否属于同一病灶区域。本发明借助常用的电子染色手段，提供了一种基于电子染色内镜图像进行胃早癌识别的方法，检测的实时性、准确性和实用性都有很大的提高。，下面是一种基于深度学习的电子染色内镜下胃早癌的辅助诊断系统专利的具体信息内容。
1.一种基于深度学习的电子染色内镜下胃早癌的辅助诊断系统，其特征在于，包括：
图像获取模块，获取电子染色内镜检查过程中实时采集的胃部图像；
胃早癌识别模块，基于预先构建的胃早癌识别模型，识别病灶区域并进行标注；
逻辑判断模块，当识别出的病灶区域存在交叠时，判断是否属于同一病灶区域。
2.如权利要求1所述的基于深度学习的电子染色内镜下胃早癌的辅助诊断系统，其特征在于，还包括胃早癌识别模型构建模块，该模块具体包括：
训练图像获取子模块，获取多幅包含早癌病灶的胃镜图像；
图像标注子模块，将包含早癌病灶的胃镜图像进行显示，并接受用户针对胃早癌病灶区域的标注；
模型架构确定子模块，指定已有的网络模型架构，或搭建自定义网络模块架构；
模型训练子模块，接收模型训练参数，根据标注后的训练图像训练胃早癌识别模型。
3.如权利要求2所述的基于深度学习的电子染色内镜下胃早癌的辅助诊断系统，其特征在于，所述已有的网络模型架构采用YOLO v3神经网络。
4.如权利要求2所述的基于深度学习的电子染色内镜下胃早癌的辅助诊断系统，其特征在于，所述自定义网络模块架构为：在YOLO v3神经网络基础上，将darknet中的残差块替换为Fire模块。
5.如权利要求4所述的基于深度学习的电子染色内镜下胃早癌的辅助诊断系统，其特征在于，采用目标定位损失函数作为病灶检测的损失函数。
6.如权利要求2所述的基于深度学习的电子染色内镜下胃早癌的辅助诊断系统，其特征在于，还包括图像预处理子模块，采用双三次插值缩放方法对训练图像进行缩放处理。
7.如权利要求2所述的基于深度学习的电子染色内镜下胃早癌的辅助诊断系统，其特征在于，还包括模型优化子模块，在模型中增加负样本类别，并接收负样本数据，重新训练模型。
8.一种电子染色内镜，应用如权利要求1-7任一项所述的基于深度学习的电子染色内镜下胃早癌的辅助诊断系统。
一种基于深度学习的电子染色内镜下胃早癌的辅助诊断系统
技术领域
背景技术
[0002] 本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。
[0003] 胃癌是常见的恶性肿瘤，目前已经存在了将人工智能方法引入胃早癌的筛查，但是，胃早癌的早期筛查由于胃部炎症背景的存在镜下黏膜表现多种多样，在准确识别方面仍存在不少困难。例如，胃早癌通常表现出轻微的隆起或凹陷，并伴有轻微的红肿；又如，胃癌的浸润深度难以预测，分化型、粘膜内胃癌或侵入浅粘膜下层的胃癌，以及侵入粘膜下层的胃癌难以区分，而这两类情形应对方式上存在很大差异。
[0004] 传统的白光内镜检查得到的胃镜图像，尽管目前已有相关研究证实计算机辅助诊断可以提高普通白光内镜的诊断率，但仍有不少的误诊率，因为普通白光内镜仅能从整体评估病变，无法观察病变局部。也有研究借助早期胃癌的特殊成像检测，例如放大内镜结合窄谱成像，在临床上可用于鉴别癌性区域与非癌性区域，然而，这种光学诊断需要大量的专业知识和经验，这阻碍了它在胃镜检查中的普遍使用，且难以满足检查的实时性要求。
发明内容
[0005] 为克服上述现有技术的不足，本发明提供了一种基于深度学习的电子染色内镜下胃早癌的辅助诊断系统。借助常用的电子染色手段，提供了一种基于电子染色内镜图像进行胃早癌识别的方法，检测的实时性、准确性和实用性都有很大的提高。
[0006] 为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：
[0007] 一种基于深度学习的电子染色内镜下胃早癌的辅助诊断系统，其特征在于，包括：
[0008] 图像获取模块，获取电子染色内镜检查过程中实时采集的胃部图像；
[0009] 胃早癌识别模块，基于预先构建的胃早癌识别模型，识别病灶区域并进行标注；
[0010] 逻辑判断模块，当识别出的病灶区域存在交叠时，判断是否属于同一病灶区域。
[0011] 进一步地，还包括胃早癌识别模型构建模块，该模块具体包括：
[0012] 训练图像获取子模块，获取多幅包含早癌病灶的胃镜图像；
[0013] 图像标注子模块，将包含早癌病灶的胃镜图像进行显示，并接受用户针对胃早癌病灶区域的标注；
[0015] 模型训练子模块，接收模型训练参数，根据标注后的训练图像训练胃早癌识别模型。
[0016] 进一步地，所述已有的网络模型架构采用YOLO v3神经网络。
[0017] 进一步地，所述自定义网络模块架构为：在YOLO v3神经网络基础上，将darknet中的残差块替换为Fire模块。
[0018] 进一步地，采用目标定位损失函数作为病灶检测的损失函数。
[0019] 进一步地，还包括图像预处理子模块，采用双三次插值缩放方法对训练图像进行缩放处理。
[0020] 进一步地，还包括模型优化子模块，在模型中增加负样本类别，并接收负样本数据，重新训练模型。
[0021] 一个或多个实施例提供了一种电子染色内镜，应用所述的基于深度学习的电子染色内镜下胃早癌的辅助诊断系统。
[0022] 以上一个或多个技术方案存在以下有益效果：
[0023] 本发明通过电子染色内镜图像进行胃早癌的识别，电子染色内镜通过改变光谱突显了黏膜微结构，结合放大内镜可以凸显病变微结构及微血管，弥补了普通白光内镜观察局部特征的不足，提高了胃早癌筛查的准确性，研究表明，普通白光内镜诊断胃早癌的敏感度仅为40％，如果结合电子染色放大，敏感度可提高至95％；并且，电子染色为胃镜检查中常用的手段，更具实用性。
[0024] 本发明基于YOLO v3神经网络，引入SqueezeNet的思想对网络架构进行了改进，创建了darknet-squeeze网络模型，通过引入SqueezeNet中的Fire模型，简化了网络结构，减小了运算量，提高了模型的实时性；通过在目标检测中引入GIoU，保证了目标的检测精度，可以显著提高消化道早癌的检出率。
[0025] 并且，由于胃部电子染色较其它部位更难被初学者掌握，本发明的胃早癌识别系统，对于胃镜检查医师的专业知识和经验要求较低，有助于提高基层内镜医师诊断水平，且易于实现，能有效缓解区域内优质医疗资源总量不足、结构不合理、分布不均衡的问题，以提升各医院胃早癌筛查水平。附图说明
[0027] 图1为本发明实施例中一种基于深度学习的电子染色内镜下胃早癌的辅助诊断系统的架构图；
[0028] 图2为本发明实施例中包含早癌病灶的胃镜图像示例图；
[0029] 图3为本发明实施例中早癌病灶标注示意图；
[0030] 图4为本发明实施例中损失函数变化趋势示意图；
[0031] 图5为本发明实施例中胃早癌病灶识别定位示意图；
[0032] 图6为本发明实施例中逻辑判断示意图。
具体实施方式
[0033] 应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
[0034] 需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
[0035] 在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
[0036] 实施例一
[0037] 如图1所示，本实施例公开了一种基于深度学习的电子染色内镜下胃早癌的辅助诊断系统，包括：胃早癌识别模型构建模块、图像获取模块、胃早癌识别模块和逻辑判断模块。其中，
[0038] 胃早癌识别模型构建模块，具体包括：
[0039] 训练图像获取子模块，获取多幅包含早癌病灶的胃镜图像。
[0041] 图像标注子模块，针对上述多幅胃早癌病灶图像进行标注，得到训练样本数据。
[0042] 该系统采用基于回归的卷积神经网络识别目标，在用神经网络训练图像之前，需要对图像里待识别的目标进行标注，标注框能正好框住物体，尽可能减少噪声的渗入，不存在胃早癌目标物体的图像无需标注，如图3所示。
[0043] 图像预处理子模块，为提高模型的识别精度，更改图像大小，这里采用4x4像素邻域的双三次插值缩放算法将图像分辨率调整为544x544。通过双三次插值缩放算法能更平滑的缩小图像，相对少的损失图像的细节，保证图像特征的丰富性。由于原始图像一般在1000～800像素左右，目前还没有计算卡的内存可以做这么大分辨率的AI计算，因此需要缩小，而染色图片的纹理特征是早癌判断的主要依据，该方法能够在缩小图像的同时尽可能多的保留图像纹理特征。
[0044] 模型架构确定子模块，指定已有的网络模型架构，或搭建自定义网络模块架构；
[0045] 模型训练子模块，根据训练样本数据，训练消化道内胃早癌检测模型，得到训练好的神经网络模型。
[0046] 作为一种实施方式，训练模型采用YOLO v3神经网络模型，利用其具有较高的检测准确度且检测速度快的特点，可以满足电子胃镜实时检查的需求。
[0047] 在这里设置学习率为0.9，权值衰减系数为0.0005，训练最大批次为50000步，避免训练出现过拟合现象。训练过程中的损失变化曲线如图4所示，在训练开始阶段损失值下降幅度很大，说明学习率合适且进行梯度下降过程，在学习到一定阶段后，损失曲线趋于平稳，损失变化没有一开始那么明显。
[0048] 作为另一种实施方式，训练模型提出一种自定义的darknet-squeeze神经网络模型，构建了one-stage的目标检测框架YOLO-Squeeze。该模型在YOLO v3神经网络模型的darknet-53的backbone基础上，引入SqueezeNet的想法，构建了权衡推断速度和推断精度的backbone，称为darknet-squeeze。
[0049] 在YOLO v3中，大部分计算资源都花在了darknet-53上，darknet-53由残差块构成，其由1个1x1和1个3×3卷积层和跳连接(skip connection)组成同时使用类似于SSD的算法在不同的卷积层做推断。尽管darknet-53实现了很强的性能，但在参数数量和推理时间方面却很耗时,在大图上依然满足不了实时推断的要求。而YOLO-Squeeze探索了一种减少每像素处理量的替代方法。具体地，YOLO-Squeeze将残差块替换为SqueezeNet中的Fire module，Fire module由两层构成，分别是squeeze层和expand层，squeeze层是一个1X1卷积核的卷积层，expand层是1X1和3X3卷积核的卷积层，expand层中，把1X1和3X3得到的feature map进行concat。
[0050] 除此之外还借鉴了目标定位损失函数GIoU作为胃早癌病灶检测的检测框的损失函数，GIoU(generalized IoU)与传统的IoU不同，其定义如下：
[0051]
[0052] 其中C是包含A和B的最小凸形状。
[0053] 目标检测中目前大部分的算法仍然采用L1或L2范数作为检测边界框的损失，但这种损失不能很好的度量真实边界框与预测边界框的重叠程度，而IoU作为损失函数在目标检测中也时常出现，但是IoU有个致命的缺点，当真实标注框与预测标注框不重叠时其损失函数为0，此时模型在训练过程中不能更新参数，而GIoU很好的解决了这些问题，本实施例在训练过程中采用了GIoU作为标注框预测的损失函数。
[0054] 上述darknet-squeeze网络模型，通过引入SqueezeNet中的Fire模型，简化了网络结构，减小了运算量，提高了模型的实时性；通过在目标检测中引入GIoU，保证了目标的检测精度。
[0055] 训练过程同YOLO v3的训练过程相同。
[0056] 模型优化子模块，制作负样本数据以降低胃早癌的错误识别率。
[0057] 负样本数据是指识别错误的图像，即不是胃早癌的图像却错误认成胃早癌。训练负样本的目的是为了降低误识别率，提高神经网络模型的泛化能力。负样本的采集是使用正样本训练好的胃早癌识别模型进行测试，得到被错误识别的图像，把这些图像收集起来作为负样本，增加一个特殊类别加入到训练集中进行训练，组成新的训练集，重新训练出新的模型。
[0058] 步骤4：实时获取胃镜操作过程中采集的图像，调用训练好的胃早癌目标检测模型，识别疑似早癌的目标。
[0059] 采集卡实时采集单帧图像，每秒钟采集10帧图像调用模型识别疑似早癌的目标，勾画出病灶区域，识别效果如图5所示。
[0060] 步骤5：对识别结果进行判别，去除重叠的识别区域矩形框。
[0061] 如图6所示，调用胃早癌目标检测模型会出现识别区域重叠的问题，实际上识别出的是同一个病灶区域，这里加入逻辑判断，如果两个矩形框的面积重叠率超过40％，去除重叠的那个矩形框。
[0062] 实施例二
[0063] 本实施例的目的是提供一种电子染色内镜。
[0064] 一种电子染色内镜，应用实施例一所述的基于深度学习的电子染色内镜下胃早癌的辅助诊断系统。
[0065] 以上一个或多个实施例具有以下技术效果：
[0066] 本实施例通过电子染色内镜图像进行胃早癌的识别，电子染色内镜通过改变光谱突显了黏膜微结构，结合放大内镜可以凸显病变微结构及微血管，弥补了普通白光内镜观察局部特征的不足，提高了胃早癌筛查的准确性，研究表明，普通白光内镜诊断胃早癌的敏感度仅为40％，如果结合电子染色放大，敏感度可提高至95％；并且，电子染色为胃镜检查中常用的手段，更具实用性。
[0067] 本实施例基于YOLO v3神经网络，引入SqueezeNet的思想对网络架构进行了改进，创建了darknet-squeeze网络模型，通过引入SqueezeNet中的Fire模型，简化了网络结构，减小了运算量，提高了模型的实时性；通过在目标检测中引入GIoU，保证了目标的检测精度，可以显著提高消化道早癌的检出率。
[0068] 并且，由于胃部电子染色较其它部位更难被初学者掌握，本发明的胃早癌识别系统，对于胃镜检查医师的专业知识和经验要求较低，有助于提高基层内镜医师诊断水平，且易于实现，能有效缓解区域内优质医疗资源总量不足、结构不合理、分布不均衡的问题，以提升各医院胃早癌筛查水平。
[0069] 本领域技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。
[0070] 以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
[0071] 上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种高依从性的复方聚乙二醇电解质散剂及其制备方法与应用 | 2020-05-17 | 254 |
| 一种新的胃癌标志物circ-EIF4G3的应用 | 2020-05-17 | 676 |
| 内镜检查中智能化识别和记录消化道组织和异物的方法 | 2020-05-19 | 956 |
| 一种超声内镜下识别和定位胰腺神经内分泌肿瘤的系统 | 2020-05-12 | 785 |
| 一种内镜检查解痉消泡剂及其制备方法 | 2020-05-18 | 369 |
| 一种用于消化道肿瘤临床早期检测的辅助方法 | 2020-05-20 | 335 |
| 一种基于人工智能的实时肠道清洁度评分系统和方法 | 2020-05-13 | 988 |
| 内镜检查用牙垫 | 2020-05-12 | 296 |
| 一种幽门堵塞装置 | 2020-05-19 | 15 |
| 一种消化科内镜检查护理装置 | 2020-05-22 | 910 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈