基于深度学习的消化道早癌辅助诊断系统和检查装置
阅读：213发布：2020-05-16
专利汇可以提供基于深度学习的消化道早癌辅助诊断系统和检查装置专利检索，专利查询，专利分析的服务。并且本 发明 提供了一种基于 深度学习 的消化道早癌辅助检查诊断系统和装置，该系统包括特征提取网络、图像分类模型、内镜分类器和早癌识别模型；特征提取网络用于根据神经网络模型对 内窥镜 图像进行初步特征提取；图像分类模型用于对初步特征进行提取，获取图像分类特征；内镜分类器用于对初步特征进行特征提取，得到内镜分类特征并且对 胃镜 或 结肠镜 图像进行分类；早癌识别模型用于对初步特征、内镜分类特征和图像分类特征进行拼接，获取对应部位的白光图像、 电子 染色 图像或化学染色图像的早癌病灶的概率，或者获取对应部位的冲洗提示或者 位置 识别提示。本发明提高了AI辅助诊断 质量 与消化 内镜检查 诊断效率。，下面是基于深度学习的消化道早癌辅助诊断系统和检查装置专利的具体信息内容。
1.一种基于深度学习的消化道早癌辅助检查诊断系统，其特征在于，包括特征提取网络、图像分类模型、内镜分类器和早癌识别模型；
其中，所述特征提取网络用于根据神经网络模型对内窥镜图像进行初步特征提取；所述图像分类模型用于对所述初步特征进行提取，获取图像模态特征，并且获取对应胃镜或结肠镜图像的图像分类特征；所述内镜分类器用于对所述初步特征进行特征提取，获取内镜分类特征；所述早癌识别模型用于对所述初步特征、内镜分类特征、图像模态特征和图像分类特征进行拼接，获取对应部位的白光图像、电子染色图像或化学染色图像的早癌病灶的概率，或者获取对应部位的冲洗提示或者位置识别提示。
2.根据权利要求1所述的系统，其特征在于，还包括内镜控制器，所述内镜控制器根据初步特征和内镜分类特征选择启用胃镜或结肠镜早癌识别模型。
3.根据权利要求1所述的系统，其特征在于，还包括图像预处理模块，所述图像预处理模块用于对内窥镜图像进行标注及相应的标准化处理；其中，所述内窥镜图像是上消化道或结肠镜的白光、电子染色和化学染色图像中的一种。
4.根据权利要求1所述的系统，其特征在于，所述早癌识别模型包括胃镜早癌识别模型和结肠镜早癌识别模型；其中，胃镜早癌识别模型包括胃镜白光早癌识别模型、胃镜电子染色早癌识别模型、胃镜化学染色早癌识别模型；结肠镜早癌识别模型包括结肠镜白光早癌识别模型、结肠镜电子染色早癌识别模型、结肠镜化学染色早癌识别模型。
5.根据权利要求4所述的系统，其特征在于，还包括权值模块，所述权值模块用于对激活的早癌识别模型中的对应部位的白光图像、电子染色图像或化学染色图像的早癌病灶的概率进行加权处理，更新对应部位的白光图像、电子染色图像或化学染色图像对应的早癌病灶的概率。
6.根据权利要求5所述的系统，其特征在于，所述图像分类模型用于对输入图像模态进行分类，获取白光图像、电子染色图像或者化学染色图像三种模态的图像模态特征；其中，所述图像分类模型还用于为图像控制器提供控制信号、为权值模块提供控制信号、为胃镜早癌识别模型和结肠镜早癌识别模型提供图像分类特征。
7.根据权利要求1所述的系统，其特征在于，所述内镜分类器用于判别输入图像是胃镜图像或者结肠镜图像，并且所述内镜分类器用于为内镜控制器提供控制信号并且为胃镜早癌识别模型和结肠镜早癌识别模型提供内镜分类特征。
8.根据权利要求7所述的系统，其特征在于，所述内镜控制器用于接收内镜分类器提供的控制信号，启用一个输出口来激活结肠镜早癌识别模型和胃镜早癌识别模型。
9.根据权利要求7所述的系统，其特征在于，所述胃镜早癌识别模型用于根据初步特征、图像分类特征、内镜分类特征和位置特征的拼接，基于图像控制器和胃镜染色控制器的控制，把拼接后的特征输入对应的识别模型中，获取对应部位的白光图像、电子染色图像或化学染色图像的早癌病灶的概率。
10.一种基于深度学习的消化道早癌辅助检查诊断装置，其特征在于，包括AI视频显示器、AI处理器、功能性模块和控制开关；所述功能性模块为冲洗和染色操作模块；其中，所述AI处理器与功能性模块通过电信号线相连，用于根据AI处理器的判断结果基于控制开关的信号来操控功能性模块；所述功能性模块和胃肠镜之间通过冲洗管路和染色管路相连；所述功能性模块与控制开关之间通过脚踏开关的线路相连。
11.根据权利要求10的装置，其特征在于，所述AI处理器包括特征提取网络、图像分类模型、冲洗位置识别模型和早癌识别模型；
其中，所述特征提取网络用于根据神经网络模型对胃肠镜主机发送来的内窥镜图像进行初步特征提取；图像分类模型用于对所述初步特征进行提取，获取图像分类特征，并对输入图像模态进行分类；冲洗位置识别模型用于接收特征提取网络的初步特征，基于神经网络，获取上下消化道各个部位位置信息判别，确认冲洗信息；所述早癌识别模型用于对输入的初步特征和图像分类特征进行拼接，获取对应部位的白光图像、电子染色图像或化学染色图像的早癌病灶的概率。
12.根据权利要求10的装置，其特征在于，所述冲洗位置识别模型包括胃镜冲洗位置识别模型和结肠镜冲洗位置识别模型，所述冲洗位置识别模型用于根据特征提取网络的初步特征，判别上下消化道各个部位的位置信息并且确认对应位置的冲洗信息。
13.根据权利要求11的装置，其特征在于，所述AI视频显示器根据AI处理器的结果，提示进行冲洗和染色操作；所述控制开关用于启动功能性模块对目标区域进行冲洗或者染色；其中，所述AI处理器还用于记录冲洗或者染色提示以及冲洗响应和染色响应的相关信息。
14.根据权利要求11所述的装置，其特征在于，所述AI处理器还包括图像预处理模块，所述图像预处理模块用于对内窥镜图像进行标注及相应的标准化处理；其中，所述内窥镜图像是上消化道或结肠镜的白光、电子染色和化学染色图像中的一种。
15.根据权利要求11所述的装置，其特征在于，所述早癌识别模型包括胃镜早癌识别模型和结肠镜早癌识别模型；其中，胃镜早癌识别模型包括胃镜白光早癌识别模型、胃镜电子染色早癌识别模型、胃镜化学染色早癌识别模型；结肠镜早癌识别模型包括结肠镜白光早癌识别模型、结肠镜电子染色早癌识别模型、结肠镜化学染色早癌识别模型。
16.根据权利要求11所述的装置，其特征在于，所述内镜分类器用于判别输入图像是胃镜图像或者结肠镜图像，并且所述内镜分类器用于为内镜控制器提供控制信号并且为胃镜早癌识别模型和结肠镜早癌识别模型提供内镜分类特征。
17.根据权利要求11所述的装置，其特征在于，所述冲洗位置识别模型用于根据特征提取网络的初步特征、图像分类特征、内镜分类特征的拼接，基于内镜控制器，把拼接后的特征输入对应的识别模型中，获取上下消化道各个部位位置信息判别，确认冲洗信息。
18.据权利要求11所述的装置，其特征在于，所述冲洗位置识别模型还用于根据特征提取网络的初步特征、图像分类特征，把拼接后的特征输入识别模型中，获取上下消化道各个部位位置信息判别，确认冲洗信息。
基于深度学习的消化道早癌辅助诊断系统和检查装置
技术领域
[0001] 本发明涉及医疗检查设备，具体涉及一种消化道早癌辅助诊断系统和检查装置。
背景技术
[0002] 随着基于深度学习的人工智能技术的发展，人工智能在医学影像诊断领域的应用也越来越得到关注。通过人工智能技术，能够根据医学影像自动判断可能出现的病变，完成对医学影像的自动筛查。目前人工智能技术已经在乳腺癌病理检查、肺癌检测、心血管成像等各个领域得到了广泛的研究。
[0003] 消化道疾病是多发病、常见病，严重威胁人的生命健康。消化内镜及色素内镜是诊断消化道疾病的首选，但消化道黏膜表面往往覆盖大量泡沫和黏液，导致内镜视野模糊，严重影响内镜医生观察，甚至造成各种假象，是漏诊误诊的主要原因之一。因此，消化内镜检查过程中的黏膜清洁是减少漏诊、误诊的主要措施之一，同时是绝大多数黏膜染色的必要基础。
[0004] 常规的白光内镜筛查消化道病变的漏诊率高达25％，尤其是结肠里的微小病变和扁平型病变。色素内镜检查是在常规白光内镜的基础上，对黏膜进行染色，从而使病灶与正常黏膜颜色对比更加明显，有助于病变的辨认、活检和镜下诊疗。色素内镜和其他先进的旨在促进肿瘤病变的可视化和检测的成像技术已被应用于整个胃肠道，色素内窥镜检查，特别是结合放大内镜检查，可显著改善检测胃肠粘膜肿瘤病变的手段。
[0005] 在我国，消化系统肿瘤发生率最高，食管癌、胃癌和结直肠癌等消化道肿瘤均排在中国癌症发病率的前六位；特别是胃癌，每年新发病和死亡病例数占全球数接近一半。经研究发现，消化道肿瘤如果早期发现，可以大大提高治愈率。
[0006] 消化道肿瘤的早发现、早诊断、早治疗效果最好，中国癌症预防与控制纲要明确指出，癌症的早期发现、早期诊断和早期治疗是降低死亡率并提高生存率的主要策略。在提高早期病变检出率和诊断率的基础上进行内镜下早期治疗，是改善消化道肿瘤患者预后、节约国家医疗资源、减轻家庭和社会负担的有效途径。
[0007] 消化内镜检查及病理活检是我国目前发现和诊断消化道早癌的标准。北京协和医院牵头实施的四种增强放大内镜在早期胃癌及癌前病变筛查中诊断价值的前瞻性多中心研究结论显示：色素放大内镜是一种准确、简便、安全和实惠的早期胃癌诊断方法，NBI放大内镜的诊断效率并不优于色素放大内镜。
[0008] 当前，在我国要实现用消化内镜检查诊断完成对消化道早癌的筛查，还面临着以下主要难题：大医院检查人数多，医生工作累；小医院检查人数少，医生工作极不饱和；医生培训周期长，其诊断水平提高慢；检查过程中常遇到视野模糊不清，清洁手段乏力，费时效果又不佳；色素内镜所用染色液不齐全，医生自制方法千差万别，所用浓度不统一，使用方法差别大，无法形成标准化的诊断图谱。
发明内容
[0009] (一)要解决的技术问题
[0010] 为解决现有技术中的上述问题，本发明提供一种消化道早癌辅助诊断系统和检查装置。
[0011] (二)技术方案
[0012] 根据本发明的一个方面，提供了一种基于深度学习的消化道早癌辅助检查诊断系统，包括：特征提取网络、图像分类模型、内镜分类器和早癌识别模型；其中，所述特征提取网络用于根据神经网络模型对内窥镜图像进行初步特征提取；所述图像分类模型用于对所述初步特征进行二次提取，获取图像分类特征；所述内镜分类器用于对特征提取网络获取的初步特征进行特征提取，得到内镜分类特征并且对胃镜或结肠镜图像进行分类；所述早癌识别模型用于对输入的初步特征、内镜分类特征和图像分类特征进行拼接，获取对应部位的白光图像、电子染色图像或化学染色图像的早癌病灶的概率，或者获取对应部位的冲洗提示或者位置识别提示。
[0013] 根据本发明的一个方面，提供一种基于深度学习的消化道早癌辅助检查诊断装置，包括AI视频显示器、AI处理器、功能性模块和控制开关；所述功能性模块为冲洗、染色操作模块；其中，所述AI处理器与功能性模块通过电信号线相连，用于根据AI处理器的判断结果基于控制开关的信号来操控功能性模块；所述功能性模块和胃肠镜之间通过冲洗管路和染色管路相连；所述功能性模块与控制开关之间通过脚踏开关的线路相连。
[0014] (三)有益效果
[0015] 与现有技术相比，本发明在遵循消化道早癌筛查临床指南或专家共识的基础上，提供了一种能适合基层医疗机构、适合现有绝大部分胃肠镜的、既能指导和督促医生并且又能提高其检查诊断水平和效率的检查装置和系统。本发明的装置包括AI辅助消化内镜检查、消化内镜质控与消化内镜诊断功能，既能指导和督促基层医生做好消化内镜的检查，又能提高其检查诊断水平，本系统和装置可与医疗机构的绝大部分胃肠镜配套使用。
[0016] 本发明的系统将AI技术与AI主机的特殊黏膜冲洗清洁技术及特殊黏膜染色技术有机结合于一体后，在提高AI辅助诊断质量与消化内镜检查诊断效率方面，达到了意想不到的效果。
[0017] 其中，本发明的系统的黏膜清洁技术通过提供更加干净清晰的图片，提高在白光内镜条件下的图像识别的敏感度与特异度。
[0018] 其中，本发明的系统的黏膜染色技术通过利用统一的标准化生产的高质量染色让其黏膜染色的可比性更强，有利于标准化的诊断图谱的形成，通过提供染色效果更好、可比性更强的图片，来提高在色素内镜条件下的图像识别的敏感度与特异度。
[0019] 其中，本发明的系统的黏膜清洁技术通过提供更加干净且无黏液的黏膜，让黏膜染色效果更好；通过本发明的系统的AI图像识别技术、黏膜清洁技术和黏膜染色技术三者协同，共同提高内镜检查效率。附图说明
[0021] 图2为根据本发明实施例的特征提取网络的结构示意图；
[0022] 图3为根据本发明实施例的特征提取网络的DWSE模块结构示意图；
[0023] 图4为根据本发明实施例的消化道早癌辅助检查装置的结构示意图；
[0024] 图5为根据本发明实施例的消化道早癌辅助检查装置显示界面示意图；
[0025] 图6为根据本发明实施例的消化道早癌辅助检查系统的操作方法示意图；
[0026] 图7为根据本发明实施例的消化道早癌辅助检查装置的操作流程图。
具体实施方式
[0027] 下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实例用于说明本发明，但不用来限制本发明的范围。
[0028] 在本发明的一个实施例中，提供一种消化道早癌辅助检查系统，该系统的总体框图如图1所示。其中，该检查系统包括：特征提取网络、图像分类模型、内镜分类器和早癌识别模型；其中，特征提取网络用于根据神经网络模型对内窥镜图像进行初步特征提取；图像分类模型用于对所述初步特征进行二次提取，获取图像分类特征，并对输入图像模态进行分类；内镜分类器用于对特征提取网络获取的初步特征进一步进行特征提取，得到内镜分类特征；早癌识别模型用于对输入的初步特征、内镜分类特征、图像模态特征和图像分类特征进行拼接，获取对应部位的白光图像、电子染色图像或化学染色图像的早癌病灶的概率，或者获取对应的冲洗提示或者位置识别提示。
[0029] 进一步，该系统还包括内镜控制器，其中，内镜控制器根据初步特征和内镜分类特征选择启用胃镜或结肠镜早癌识别模型。
[0030] 其中，在一个实施例中，特征提取网络可以连接到图像分类模型、内镜分类器和图像控制器，分别为图像分类模型、内镜分类器和图像控制器提供初步特征。
[0031] 在一个实施例中，该系统还包括图像预处理模块，所述图像预处理模块用于对内窥镜图像进行标注及相应的标准化处理。其中，该内窥镜图像可以是上消化道或结肠镜的白光、电子染色、化学染色图像中的一种。
[0032] 在一个实施例中，所述早癌识别模型包括胃镜早癌识别模型和结肠镜早癌识别模型。其中，胃镜早癌识别模型包括胃镜白光早癌识别模型、胃镜电子染色早癌识别模型、胃镜化学染色早癌识别模型；结肠镜早癌识别模型包括结肠镜白光早癌识别模型、结肠镜电子染色早癌识别模型、结肠镜化学染色早癌识别模型。
[0033] 其中，该系统还包括权值模块，所述权值模块用于对激活的早癌识别模型中的对应图像识别模型的结果进行加权处理，更新对应部位的白光图像、电子染色图像或化学染色图像对应的早癌病灶的概率。
[0034] 其中，在进一步的实施例中，图像分类模型用于对输入图像模态进行分类，获取白光图像、电子染色图像或者化学染色图像三种模态的图像数据。其中，所述图像分类模型进一步用于为图像控制器提供控制信号、为权值模块提供控制信号、为胃镜早癌识别模型和结肠镜早癌识别模型提供图像分类特征。
[0035] 其中，在进一步的实施例中，所述内镜分类器用于判别输入图像是胃镜图像还是结肠镜图像，并且所述内镜分类器用于为内镜控制器提供控制信号并且为胃镜早癌识别模型和结肠镜早癌识别模型提供内镜分类特征。
[0036] 其中，图像控制器用于接收特征提取网络的初步特征，对应三个输出口a、b和c，分别对应白光特征输出、电子染色特征输出、化学染色特征输出。进一步，图像分类模型的分类结果与图像控制器的三个输出口对应，图像控制器每次仅有一个输出口被激活输出。
[0037] 其中，内镜控制器用于接收对应图像控制器的三个输出，获取对应结肠镜图像特征和上消化道图像特征，将该肠镜图像特征和上消化道图像特征分别发送给结肠镜早癌识别模型和胃镜早癌识别模型。其中，结肠镜早癌识别模型同时也连接结肠位置分类器，胃镜早癌识别模型同时也连接胃镜位置分类器。
[0038] 其中，内镜控制器还用于接收内镜分类器提供的控制信号，启用一个输出口来激活输出到结肠镜早癌识别模型和胃镜早癌识别模型。
[0039] 其中，胃镜早癌识别模型用于对输入的胃镜特征进行拼接，输入到对应的识别模型。其中，输入的胃镜图像特征包括特征提取网络的初步特征、图像分类特征、内镜分类特征以及胃镜位置特征。
[0040] 其中，所述胃镜早癌识别模型包括胃镜白光早癌识别模型、胃镜电子染色早癌识别模型和胃镜化学染色早癌识别模型。
[0041] 进一步，胃镜早癌识别模型的工作机制为：根据临床医师内镜筛查，图像分类模型最先输出的结果为白光图像，那么白光特征通道a首先被激活，那么拼接后的胃镜特征首先输入胃镜白光早癌识别模型。当白光下判断该图像存在癌症病灶概率>P(P值可以设置为1％～10％之间)值时，提示医师进行染色操作，同时胃镜染色控制器的输出被激活。染色后的图像特征输入胃镜早癌识别模型，在胃镜染色控制的作用下，该特征会进入对应的染色识别模型中。
[0042] 其中，结肠镜早癌识别模型用于对输入的结肠镜图像特征进行拼接，输入到对应的识别模型。输入的结肠镜图像特征包括特征提取网络的初步特征、图像分类特征、内镜分类特征和结肠镜位置特征。
[0043] 其中，结肠镜早癌识别模型包括结肠白光识别模型、结肠电子染色识别模型和结肠化学染色识别模型。
[0044] 其中，结肠镜早癌识别模型的工作机制和胃镜早癌识别模型的工作机制一样，拼接后的结肠镜图像特征首先输入结肠白光识别模型。当白光下判断该图像存在癌症病灶概率>P值时，提示医师进行染色操作进一步确认，并且结肠镜染色控制器的输出被激活；然后再激活其它两个染色识别模型。
[0045] 其中，胃镜早癌识别模型和结肠镜早癌识别模型总共有三个输出：P1，P2，P3，分别对应当前部位下白光图像、电子染色图像、化学染色图像中存在早癌病灶的概率。
[0046] 其中，在进一步的实施例中，权值模块用于对三个连接的识别模型结果进行加权输出，得到精度更高的预测结果。权值模块中的P1，P2，P3值一直保持更新，新的识别模型的输入会替换原来的值，并且一直保存直到有新的输入概率值更新。图像分类模型有一个输出作为权值模块的控制信号输入，当图像分类模型检测到白光图像输入时，P1，P2，P3值会被同时清零。权值模块的输出是白光、电子染色、化学染色识别模型共同作用的结果。
[0047] 其中，在进一步的实施例中，所有内镜图像分为白光、电子染色、化学染色图像三类。从对象上，所有图像分为胃镜、结肠镜图像两类。从结果态上，所有图像分为存在和不存在癌症病灶区域两个类别。
[0048] 其中，图像预处理模块用于进行图像裁剪、图像缩放、图像标准化和图像归一化。其中，原始胃肠镜图像分辨是1920x1080，有用图像区域仅仅是中间有组织区域，周围边框需要手动裁剪。裁剪后的图像缩放为输入网络中的尺寸528x528。
[0049] 图像标准化包括计算整个胃肠镜图像数据库的平均图和标准差图，计算方式为：
[0050]
[0051]
[0052] 其中，Xi是一个(528,528,3)图像矩阵，N为数据库中图像数量。对于每一张输入网路的图像Xj都要经过标准化处理：
[0053] Xj＝(Xj-mean)/std。
[0055] 预测部分预处理同样包括图像裁剪、图像缩放、图像标准化和图像归一化。
[0056] 其中，特征提取网络主要是对输入的图像初步提取特征，为后面的分类器、识别模型做准备。具体地，特征提取网络同样可以采用如VGG-Net、Res-Net、SE-Net、NAS-Net的网络等。
[0057] 在一个实施例中，特征提取网络包括1层普通卷积层和7个DWSE模块，如图2所示，在某些DWSE模块首尾加短连接。特征网络图像输入为(Batch,3,528,528),输出特征向量为(Batch,512,132,132),其中Batch为网络批大小。
[0058] 其中，DWSE模块结构如图3所示，由两层核为1x1的卷积层Conv1和Conv2、一层深度可分离卷积层DwConv和SE-Net中的SE模块组成。特征提取网络中每一层卷积后面都有接BN层和ELU激活层。
[0059] 进一步，在一个实施例中，图像分类模型完成对特征提取网络中的初步特征进一步提取后，得到图像分类特征以及完成输入图像模态(白光、电子染色、化学染色图像)的分类任务。使用模态分类的结果去控制图像控制器的输出和权值模块概率值的存储。
[0060] 进一步，内镜分类器同样对特征提取网络特征的初步特征进一步进行特征提取，得到内镜分类特征以及完成输入图像属于胃镜或结肠镜图像的分类任务。进而，使用内镜分类器的分类结果控制内镜控制器的输出。
[0061] 其中，胃镜早癌识别模型用于根据特征提取网络的初步特征、图像分类模型特征、内镜分类器特征和胃镜位置分类器特征的拼接，基于图像控制器和胃镜染色控制器的控制，把拼接后的特征输入对应的识别模型中。
[0062] 其中，胃镜早癌识别模型是否激活工作由内镜控制器控制。当输入图像为胃镜图像时，内镜分类器控制内镜控制器激活胃镜早癌识别模型工作。
[0063] 其中，根据图1，按照临床内窥镜医师操作流程，胃镜图像首先应该是白光图像，拼接后的白光图像特征应当输入胃镜白光早癌识别模型。当该识别模型预测图像中存在癌症病灶的概率>P值时，激活其他两个胃镜早癌识别模型工作，并提示内窥镜医师进行染色操作，同时提示图像中存在癌变区域的概率，该概率仅仅为胃镜白光图像识别模型的预测结果。
[0064] 当医师进行染色(电子染色或化学染色)操作后，相应的胃镜染色识别模型工作，该识别模型也会输出一个预测概率值。此时提示信息中预测癌变区域概率为胃镜白光、染色识别模型(电子染色识别模型或化学染色识别模型或两者同时存在)输出概率加权后的结果。
[0065] 其中，结肠镜早癌识别模型和胃镜早癌识别模型原理是一样的，胃镜、结肠镜早癌识别模型是否激活由内镜控制器控制。当输入图像为结肠镜图像时，内镜分类器控制内镜控制器把特征提取网络特征输入结肠识别模型，此时结肠识别模型开始工作，胃镜早癌识别模型处于等待状态。
[0066] 其中，权值模块用于对激活的识别模型(胃镜早癌识别模型或结肠镜早癌识别模型)中3个图像识别模型(白光、电子染色、化学染色)的结果进行加权输出，得到精度更高的预测结果，计算方法为：
[0067] Pout＝W1P1+W2P2+W3P3
[0068] 其中，Pout是最终判别图像是否存在癌变区域的概率，P1，P2，P3为三个激活识别模型识别图像中存在癌症病变的概率，W1，W2，W3为权值模块的权重参数。
[0069] 当白光识别模型被激活后，识别模型输出P1值在权值模块中保留，连续激活白光识别模型时,会不断更新存储的P1，其他两个识别模型同理。当染色识别模型激活时，白光识别模型的预测概率由权值模块中存储的P1决定，其他两个识别模型激活过后的概率值也是存储在权值模块中。当一个部位癌变区域诊断完毕后，探头视野进入另一个位置，输入图像也是再次变成白光图像，此时权值模块会在图像分类器的帮助下(也就是网络检测到输入图像由染色图像变为白光图像时)，将P1，P2，P3值清零，P1值会更新当前白光图像存在癌症病变区域的概率。
[0070] 在本发明的另一个实施例中，提供一种消化道早癌辅助检查装置。其中，如图4所示，该消化道早癌辅助检查装置包括AI视频显示器、AI处理器、功能性模块和控制开关。所述功能性模块为冲洗、染色操作模块。所连接的常规的消化内镜包括胃肠镜视频显示器、胃肠镜和胃肠镜主机。
[0071] 其中，AI视频显示器和AI处理器之间及AI处理器和胃肠镜主机之间通过视频线相连。AI处理器与功能性模块之间通过电信号线相连。功能性模块和胃肠镜之间通过冲洗管路和染色管路相连。功能性模块与控制开关之间通过气压开关的气压管相连。
[0072] 其中，内镜医生操作胃镜或结肠镜，查看AI视频显示器，如果通过AI处理器的分析，在显示器提示需要冲洗，医生踩下控制开关，功能性模块启动37度恒温并具有祛泡、祛黏液功效的冲洗液，对目标区域进行冲洗清洁，松开控制开关即可结束。同时，AI处理器会自动记录下冲洗提示与冲洗响应的相关信息，以备质控检查。
[0073] 如果通过AI处理器分析，在显示器提示黏膜染色，医生按下AI处理器上的冲洗/染色转换按钮及染色液选定键，然后踩下控制开关，功能性模块启用黏膜染色液对目标区域黏膜进行恒速均匀的喷洒染色，松开控制开关即可结束。与此同时，AI处理器会自动记录下染色提示与染色响应的相关信息，以备质控检查。
[0074] 如果进行食道复方碘液染色，医生只需要按下AI处理器的染色液选定键，选定复方碘染色液中和剂(5％硫代硫酸钠溶液)。踩下控制开关，功能性模块对目标区域黏膜进行恒速均匀的喷洒中和，以防止多余的复方碘液对胃肠道的进一步刺激，松开控制开关即可结束。
[0075] 同理，如果上述进行的其它染色，医生只需要按下冲洗/染色转换按钮，然后踩下控制开关，功能性模块就会对目标黏膜染色区域的多余染色液进行冲洗清洁，松开控制开关即可结束。
[0076] 如果通过AI技术在显示器是对未对黏膜进行染色(白光内镜)的情况下的早癌提示，医生只需要将装置中AI主机调节至染色模式下对应的所需染色液后，然后踩下控制开关，功能性模块就会对目标区域黏膜进行恒速均匀的喷洒染色(目的：活检定位)，松开控制开关即可结束，最后医生取出染色喷洒管，再插入活检钳根据情况活检。
[0077] 如果是在色素内镜下的早癌提示，医生取出染色喷洒管，再插入活检钳根据情况活检。以上除开活检需要护士协助外，其它内镜医生可独自完成。
[0078] 以上一般情况下，冲洗管与胃肠镜的钳管口或副送水口连接。如进行结肠镜检查，遇到被检查者的肠道准备不充分(此时，通过AI技术在显示器提示需要冲洗)，可以将普通冲洗管路换成冲吸一体管路，并将其接至吸引口，同时将结肠镜的吸引按钮换成该装置特有的无线按钮。同时，将AI处理器上的冲洗清洁模式按钮转换到冲吸一体模式，即可对肠道准备不充分的肠道黏膜进行冲洗清洁。因为肠道准备不充分，普通冲洗清洁易造成胃肠镜吸引通道的堵塞。
[0079] 该装置的AI视频显示器中布局见图5，如图5，胃肠镜实时操作画面同胃肠镜一样，除非由AI标注了指示框图；左侧设置了位置提示、冲洗提示、染色提示、早癌提示和采图统计信息。
[0080] 进一步，在一个实施例中，如图7所示的AI处理器的处理功能的流程图，该图中示出了用于分析处理的左示方案和右示方案。
[0081] 其中，左示方案主要是把胃镜和结肠镜采用两个不同的模型完成，通过一个内镜分类模型控制两个不同冲洗位置模型的工作。该方案主要包括图像预处理、特征提取网络、内镜分类器、内镜控制器、胃镜冲洗&位置识别模型、结肠镜冲洗&位置识别模型。其中，图像预处理模块用于提高模型训练精度和泛化能力，该部分主要分为模型训练时的预处理和预测时的预处理。训练部分预处理，对大量内窥镜数据进行模型训练，所有的内窥镜数据需要进行人工标注，标注的内容包括位置标注和冲洗标注。
[0082] 其中，位置标注适用于上下消化道，其中上消化道的位置分为：口咽部、食道、贲门、胃底、胃体、胃角、胃窦、幽门、十二指肠球部、十二指肠降部；下消化道的位置包括回盲部(包括：回盲瓣、阑尾隐窝)、升结肠、肝曲、横结肠、脾曲、降结肠、乙状结肠、直肠。
[0083] 其中，内镜下的上消化道视野清晰度分级判定标准如下：A级：无泡沫、无粘液、视野清晰；B级：少量黏液性泡沫，视野尚清晰；C级：散见粘液性泡沫，视野受影响；D级：大量黏液性泡沫，或反流性胆汁或血液，视野不清晰。视野清晰度为A级和B级分为不需要冲洗的图片，C级和D级别分为需要冲洗的图片。
[0084] 其中，下消化道视野清晰度分级别判定标准如下：1级：肠腔内无残留粪便及液体；2级：肠腔内有少量粪水全肠道黏膜清晰可见；3级：肠腔内有少量粪便，大多数肠道黏膜清晰可见；4级：肠腔内有较多粪便，明显影响对肠黏膜的观察；视野清晰度为1级和2级分为不需要冲洗的图片，3级和4级别分为需要冲洗的图片。
[0085] 其中，如图6所示，该AI处理器包括特征提取网络、图像分类模型、冲洗位置识别模型和早癌识别模型；其中，特征提取网络用于根据神经网络模型对胃肠镜主机发送来的内窥镜图像进行初步特征提取；图像分类模型用于对所述初步特征进行二次提取，获取图像分类特征，并对输入图像模态进行分类；冲洗位置识别模型用于接收特征提取网络的初步特征，基于神经网络，获取上下消化道各个部位位置信息判别，确认冲洗信息；早癌识别模型用于对输入的初步特征和图像分类特征进行拼接，获取对应部位的白光图像、电子染色图像或化学染色图像的早癌病灶的概率。
[0086] 其中，冲洗位置识别模型包括胃镜冲洗位置识别模型和结肠镜冲洗位置识别模型，所述冲洗位置识别模型的输入为特征提取网络的初步特征，输出为位置信息(上下消化道各个部位)判别，冲洗信息(需要冲洗、不需要冲洗)判别。其中，通过神经网络框架(如VGG-16、VGG-19、ResNEt等)提取图像中的特征，将模型分为两个分支，每个分支都由不同的卷积层层、全连接层和softmax层构成，从而实现冲洗信息和位置信息的分类。
[0087] 进一步，该系统还包括内镜分类器和内镜控制器，其中，所述内镜分类器用于对特征提取网络获取的初步特征进一步进行特征提取，得到内镜分类特征并且对胃镜或结肠镜图像进行分类。其中，内镜控制器根据初步特征和内镜分类特征选择启用胃镜或结肠镜早癌识别模型，以及冲洗位置识别模型。
[0088] 其中，在一个实施例中，特征提取网络可以连接到图像分类模型、内镜分类器和图像控制器，分别为图像分类模型、内镜分类器和图像控制器提供初步特征。
[0089] 在一个实施例中，该系统还包括图像预处理模块，所述图像预处理模块用于对内窥镜图像进行标注及相应的标准化处理。其中，该内窥镜图像可以是上消化道或结肠镜的白光、电子染色、化学染色中的一种。
[0090] 在一个实施例中，所述早癌识别模型包括胃镜早癌识别模型和结肠镜早癌识别模型。其中，胃镜早癌识别模型包括胃镜白光早癌识别模型、胃镜电子染色早癌识别模型、胃镜化学染色早癌识别模型；结肠镜早癌识别模型包括结肠镜白光早癌识别模型、结肠镜电子染色早癌识别模型、结肠镜化学染色早癌识别模型。
[0091] 其中，该系统还包括权值模块，所述权值模块用于对激活的早癌识别模型中的对应图像识别模型的结果进行加权处理，更新对应部位的白光图像、电子染色图像或化学染色图像的早癌病灶的概率。
[0092] 其中，在进一步的实施例中，图像分类模型用于对输入图像模态进行分类，获取白光图像、电子染色图像或者化学染色图像三种模态的图像数据。其中，所述图像分类模型进一步用于为图像控制器提供控制信号、为权值模块提供控制信号、为胃镜早癌识别模型和结肠镜早癌识别模型提供图像分类特征。
[0093] 其中，在进一步的实施例中，所述内镜分类器用于判别输入图像是胃镜图像还是结肠镜图像，并且所述内镜分类器用于为内镜控制器提供控制信号并且为胃镜早癌识别模型和结肠镜早癌识别模型提供内镜分类特征。
[0094] 其中，图像控制器用于接收特征提取网络的初步特征，对应三个输出口a、b和c，分别对应白光特征输出、电子染色特征输出、化学染色特征输出。进一步，图像分类模型的分类结果与图像控制器的三个输出口对应，图像控制器每次仅有一个输出口被激活输出。
[0095] 其中，内镜控制器用于接收对应图像控制器的三个输出，获取对应结肠镜图像特征和上消化道图像特征，将该肠镜图像特征和上消化道图像特征分别发送给结肠镜早癌识别模型和胃镜早癌识别模型。其中，结肠镜早癌识别模型同时也连接结肠位置分类器，胃镜早癌识别模型同时也连接胃镜位置分类器。
[0096] 其中，胃镜早癌识别模型用于对输入的胃镜特征进行拼接，输入到对应的识别模型。其中，输入的胃镜图像特征包括特征提取网络的初步特征、图像分类特征、内镜分类特征以及胃镜位置特征。
[0097] 其中，所述胃镜早癌识别模型包括胃镜白光早癌识别模型、胃镜电子染色早癌识别模型和胃镜化学染色早癌识别模型。
[0098] 进一步，胃镜早癌识别模型的工作机制为：根据临床医师内镜筛查，图像分类模型最先输出的结果为白光图像，那么白光特征通道a首先被激活，那么拼接后的胃镜特征首先输入胃镜白光早癌识别模型。当白光下判断该图像存在癌症病灶概率>P(P值可以设置为1％～10％之间)值时，提示医师进行染色操作，同时胃镜染色控制器的输出被激活。染色后的图像特征输入胃镜早癌识别模型，在胃镜染色控制的作用下，该特征会进入对应的染色识别模型中。
[0099] 其中，结肠镜早癌识别模型用于对输入的结肠镜图像特征进行拼接，输入到对应的识别模型。输入的结肠镜图像特征包括特征提取网络的初步特征、图像分类特征、内镜分类特征和结肠镜位置特征。
[0100] 其中，结肠镜早癌识别模型包括结肠白光识别模型、结肠电子染色识别模型和结肠化学染色识别模型。
[0101] 其中，结肠镜早癌识别模型的工作机制和胃镜早癌识别模型的工作机制一样，拼接后的结肠镜图像特征首先输入结肠白光识别模型。当白光下判断该图像存在癌症病灶概率>P值时，提示医师进行染色操作进一步确认，并且胃镜染色控制器的输出被激活；然后再激活其它两个染色识别模型。
[0102] 其中，胃镜早癌识别模型和结肠镜早癌识别模型总共有三个输出：P1，P2，P3，分别对应当前部位下白光图像、电子染色图像、化学染色图像中存在早癌病灶的概率。
[0103] 其中，根据图1，按照临床内窥镜医师操作流程，胃镜图像首先应该是白光图像，拼接后的白光图像特征应当输入胃镜白光早癌识别模型。当该识别模型预测图像中存在癌症病灶的概率>P值时，激活其他两个胃镜早癌识别模型工作，并提示内窥镜医师进行染色操作，同时提示图像中存在癌变区域的概率，该概率仅仅为胃镜白光图像识别模型的预测结果。
[0104] 当医师进行染色(电子染色或化学染色)操作后，相应的胃镜染色识别模型工作，该识别模型也会输出一个预测概率值。此时提示信息中预测癌变区域概率为胃镜白光、染色识别模型(电子染色识别模型或化学染色识别模型或两者同时存在)输出概率加权后的结果。
[0105] 其中，结肠镜早癌识别模型和胃镜早癌识别模型原理是一样的，胃镜、结肠镜早癌识别模型是否激活由内镜控制器控制。当输入图像为结肠镜图像时，内镜分类器控制内镜控制器把特征提取网络特征输入结肠识别模型，此时结肠识别模型开始工作，胃镜早癌识别模型处于等待状态。
[0106] 其中，权值模块用于对激活的识别模型(胃镜早癌识别模型或结肠识别模型)中3个图像识别模型(白光、电子染色、化学染色)的结果进行加权输出，得到精度更高的预测结果。
[0107] 当白光识别模型被激活后，识别模型输出P1值在权值模块中保留，连续激活白光识别模型时,会不断更新存储的P1，其他两个识别模型同理。当染色识别模型激活时，白光识别模型的预测概率由权值模块中存储的P1决定，其他两个识别模型激活过后的概率值也是存储在权值模块中。当一个部位癌变区域诊断完毕后，探头视野进入另一个位置，输入图像也是再次变成白光图像，此时权值模块会在图像分类器的帮助下(也就是网络检测到输入图像由染色图像变为白光图像时)，将P1，P2，P3值清零，P1值会更新当前白光图像存在癌症病变区域的概率。其中，右示方案加强冲洗位置识别模型的泛化能力，使用更加深的通用网络提取特征，把胃镜和结肠镜放到一起进行冲洗位置识别。
[0108] 其中，本发明系统的提示信息主要有冲洗提示、位置提示、早癌提示、染色提示。提示信息间的逻辑关系为，正常人群检查时，白光条件下某个部位的提示信息同时存在冲洗和染色提示，AI显示器只输出冲洗提示，医师进行冲洗操作后，此时如果仍然同时存在冲洗和染色提示，两条提示信息同时在AI显示器输出。
[0109] 染色提示显示由早癌识别模型和内镜医师的高位人群判别共同决定。如果该病例被医师定义为癌症高位人群，食管部和结肠镜每一个部位检查时系统都会自动提示一次黏膜染色(此次提示不受早癌识别模型影响)；胃部、十二指肠部检查时同普通人群一样根据早癌识别模型输出提示。
[0110] 其中，实时操作画面中的采图统计主要是根据国家要求采图数量和实际治疗时医师采图数量的记录显示。
[0111] 本发明主要是辅助内镜医师在内镜检查(包括食道、胃、十二指肠、结肠等部位)过程中发现容易被忽略的早期癌症病变区域，降低早期癌症的漏检率。
[0112] 本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
[0113] 以上所描述的电子设备实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 内窥镜头部和内窥镜 | 2020-05-17 | 159 |
| 一种盐酸利多卡因腔道润滑祛泡剂 | 2020-05-19 | 680 |
| 一种上消化道内镜图像的诊断方法及装置 | 2020-05-23 | 791 |
| 基于深度学习的消化道早癌辅助诊断系统和检查装置 | 2020-05-16 | 213 |
| 一种基于深度学习的电子染色内镜下胃早癌的辅助诊断系统 | 2020-05-12 | 991 |
| 一种基于人工智能的消化内镜检查质量自动评估系统 | 2020-05-13 | 863 |
| 一种基于细胞共振的研究检测方法 | 2020-05-21 | 216 |
| 便携式内镜检查装置 | 2020-05-17 | 565 |
| 一种可转向弯曲活检钳 | 2020-05-13 | 86 |
| 呼吸内镜检查辅助装置 | 2020-05-16 | 127 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
内镜检查热门专利
QQ群二维码
意见反馈
意见反馈