技术领域
[0001] 本
发明属于溃疡性结肠炎
图像处理领域，尤其涉及一种基于深度学习的溃疡性结肠炎严重程度评估方法及系统。
背景技术
[0002] 本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
[0003] 溃疡性结肠炎(ulcerative colitis,UC)是以反复发作的腹痛腹泻、黏液脓血便为主要临床表现的慢性非特异性
炎症，病变常呈连续性分布，可累及直肠、乙状结肠以至全结肠多个肠段，重症患者可有全身感染中毒症状，甚至危及生命。典型的UC内镜下表现为连续性、弥漫分布的糜烂溃疡，黏膜充血质脆，常伴有自发性出血及脓性分泌物附着。其内镜下严重程度分级与患者的临床症状、
治疗预后及缓解期的维持紧密相关，是判断患者对治疗药物的应答、指导下一步诊疗的主要手段。由于UC病程多迁延反复，复发与缓解相交替，其严重程度的准确评估对实现UC的个体化、规范化诊疗有重要意义。
[0004] 现有临床指南中，已有多种UC内镜下严重程度评分被建立并用于指导诊疗决策，其中以Mayo内镜下评分(Mayo endoscopic sub-score,Mayo ES)、溃疡性结肠炎内镜下活动指数评分(Ulcerative colitis endoscopic index of severity,UCEIS)应用最为广泛。
发明人发现，上述内镜下评分均为人工评分，需内镜医师结合主观经验对UC病变处结肠粘膜的相关特征的轻重程度进行判断，进而取病变累及肠段炎症最严重处做出评估。目前尚无任何客观的内镜下评分指标定量判断UC病变严重程度。由于缺乏统一客观的评分标准，现有人工UC内镜下严重程度评分存在如下固有
缺陷：首先，有经验医师与无经验医师评分准确性存在显著差异。现有评分主要基于操作医师对病变特征严重程度的主观判断，缺少经验的低年资医师往往难以做出准确判断，特别是对轻中度病变分界不清，造成评分失准。其次，同一评分者前后一致性难以保证。整个
结肠镜退镜观察过程长达6-7分钟，UC病变多累及多个肠段，呈弥漫性分布，操作医师往往难以清晰回忆炎症最严重处特征做出准确评价；并且，评分
细则条目较多，人工计分费时费
力，也极大拖累了临床
结肠镜检查的工作效率。此外，不同评分者间异质性较大，可重复性差。多位评价医师间往往难以取得一致的评分结果，且既往评分常难以追溯，不利于UC的长期管理。
发明内容
[0005] 为了解决上述问题，本发明提供一种基于深度学习的溃疡性结肠炎严重程度评估方法及系统，可自动对溃疡性结肠炎的白光结肠镜图像进行炎症严重程度评分计算，同时满足MayoES、UCEIS两种临床最常用评分需要，所得结果更为准确且可重复性好，可适用于不同内镜中心系统平台，便于存取记录，更优效地指导临床诊疗。
[0006] 为了实现上述目的，本发明采用如下技术方案：
[0007] 本发明的第一个方面提供一种基于深度学习的溃疡性结肠炎严重程度评估方法，其包括：
[0008] 对白光结肠镜图像标注Mayo内镜下评分和溃疡性结肠炎内镜下活动指数评分，形成样本集；其中，溃疡性结肠炎内镜下活动指数评分按照血管分型、自发出血和糜烂溃疡这三个特征分别对应标注分值；
[0009] 构建溃疡性结肠炎严重程度评估模型，利用样本集内已标注的白光结肠镜图像样本进行训练；溃疡性结肠炎严重程度评估模型为具有特征金字塔
池化的SPPNet网络，输出包含4个softmax函数，分别对应单
帧图像的Mayo内镜下评分、UCEIS血管分型、UCEIS自发出血和UCEIS糜烂溃疡特征的评分预测结果；
[0010] 实时接收白光结肠镜图像，利用溃疡性结肠炎严重程度评估模型提取Mayo内镜下评分相关特征及溃疡性结肠炎内镜下活动指数的血管分型、自发出血和糜烂溃疡相关特征并输出Mayo内镜下评分、血管分型、自发出血和糜烂溃疡特征的评分预测结果，再将血管分型、自发出血和糜烂溃疡特征的评分预测结果累加，得到溃疡性结肠炎内镜下活动指数评分。
[0011] 本发明的第二个方面提供一种基于深度学习的溃疡性结肠炎严重程度评估系统，其包括：
[0012] 样本集形成模
块，其用于对白光结肠镜图像进行标注Mayo内镜下评分和溃疡性结肠炎内镜下活动指数评分，形成样本集；其中，溃疡性结肠炎内镜下活动指数评分按照血管分型、自发出血和糜烂溃疡这三个特征分别对应标注分值；
[0013] 评估模型构建及训练模块，其用于构建溃疡性结肠炎严重程度评估模型，利用样本集内已标注的白光结肠镜图像样本进行训练；溃疡性结肠炎严重程度评估模型为具有特征金字塔池化的SPPNet网络，输出包含4个softmax函数，分别对应单帧图像的Mayo内镜下评分、UCEIS血管分型、UCEIS自发出血和UCEIS糜烂溃疡特征的评分预测结果；
[0014] 严重程度评估输出模块，其用于实时接收白光结肠镜图像，利用溃疡性结肠炎严重程度评估模型提取Mayo内镜下评分相关特征及溃疡性结肠炎内镜下活动指数的血管分型、自发出血和糜烂溃疡相关特征并输出Mayo内镜下评分、血管分型、自发出血和糜烂溃疡特征的评分预测结果，再将血管分型、自发出血和糜烂溃疡特征的评分预测结果累加，得到溃疡性结肠炎内镜下活动指数评分。
[0015] 本发明的第三个方面提供一种计算机可读存储介质，其上存储有
计算机程序，该程序被处理器执行时实现如上述所述的基于深度学习的溃疡性结肠炎严重程度评估方法中的步骤。
[0016] 本发明的第四个方面提供一种计算机设备，包括
存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的基于深度学习的溃疡性结肠炎严重程度评估方法中的步骤。
[0017] 本发明的有益效果是：
[0018] (1)本发明利用具有特征金字塔池化的SPPNet网络，可同时输出单帧图像的Mayo内镜下评分及溃疡性结肠炎内镜下活动指数两种临床最常用评分预测结果，对溃疡性结肠炎严重程度进行自动化评分推断和概率预测，与传统人工评分相比，该方法更智能高效，可大大节省人力成本，提高了评估准确率。
[0019] (2)本发明基于单帧图像评分结果，自动比对识别病变累及最严重处，可对累及多肠段、弥漫性的UC病变进行无差别、同标准的连续评价，使内镜下UC严重程度评估更为准确可靠。
[0020] (3)本发明可较好适应不同内镜中心电脑系统环境，方便存储记录，指导UC患者的长期规范化诊疗。
附图说明
[0021] 构成本发明的一部分的
说明书附图用来提供对本发明的进一步理解，本发明的示意性
实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
[0022] 图1是本发明实施例提供的一种基于深度学习的溃疡性结肠炎严重程度评估方法
流程图；
[0023] 图2是本发明实施例提供的Mayo内镜下评分不同分值对应的白光结肠镜图像；
[0024] 图3是本发明实施例提供的溃疡性结肠炎内镜下活动指数评分不同分值对应的白光结肠镜图像；
[0025] 图4是本发明实施例提供的对单帧结肠镜图像进行Mayo内镜下评分及溃疡性结肠炎内镜下活动指数评分标注示意图；
[0026] 图5是本发明实施例提供的溃疡性结肠炎严重程度评估模型结构示意图；
[0027] 图6是本发明实施例提供的一种基于深度学习的溃疡性结肠炎严重程度评估系统结构示意图。
具体实施方式
[0028] 下面结合附图与实施例对本发明作进一步说明。
[0029] 应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
[0030] 需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
[0031] 实施例1
[0032] 图1给出了本实施例的一种基于深度学习的溃疡性结肠炎严重程度评估方法流程图。
[0033] 下面结合图1来详细说明本实施例的基于深度学习的溃疡性结肠炎严重程度评估方法的具体实施过程。
[0034] 如图1所示，本实施例提供一种基于深度学习的溃疡性结肠炎严重程度评估方法，其包括：
[0035] 步骤S101：对白光结肠镜图像进行标注Mayo内镜下评分和溃疡性结肠炎内镜下活动指数评分，形成样本集；其中，溃疡性结肠炎内镜下活动指数评分按照UCEIS血管分型、UCEIS自发出血和UCEIS糜烂溃疡这三个特征分别对应标注分值。
[0036] 在具体实施过程中，在标注白光结肠镜图像之前还包括：
[0037] 对每一张白光结肠镜图像利用去黑边
算法保留感兴趣区域，然后对白光结肠镜图像进行数据增强、随机翻转和预设大小的缩放处理。
[0038] 如图2所示，Mayo内镜下评分在0-3分之间选择对应分值标注，0表示正常或非活动期病变；1表示轻度活动有
水肿、减少的血管像和轻度的脆性；2表示中度活动有明显水肿、消失的血管像、黏膜脆性和糜烂；3表示重度活动有持续的出血和溃疡。
[0039] 如图3所示，溃疡性结肠炎内镜下活动指数评分按照血管分型、自发出血和糜烂溃疡这三个特征分别对应标注分值为：
[0040] 血管分型：0表示清晰可见的血管像，或模糊和有少量缺失的边缘血管；1表示片状消失的血管像；2表示血管像完全消失；
[0041] 自发出血：0表示没有可见的出血；1表示黏膜可见出血点或带状
凝固的出血，可被冲洗；2表示腔内轻度活动性出血；3表示腔内中重度活动性出血或持续性黏膜渗血；
[0042] 糜烂溃疡：0表示正常黏膜，没有明显的糜烂和溃疡；1表示糜烂小于5mm的黏膜缺损，呈白色或淡黄色带有扁平的边缘；2表示黏膜缺损小于5mm的浅表溃疡，可伴白苔；3表示黏膜缺损大于5mm的深的溃疡，可伴有隆起的边缘。
[0043] 图4给出了Mayo内镜下评分＝1，血管分型＝2，自发出血＝1，糜烂溃疡＝1对应的白光结肠镜图像，即单帧结肠镜图像标注示例。
[0044] 其中，MayoES评分相关特征包括但不限于病变区结肠黏膜水肿、糜烂程度及易脆性特征。
[0045] 可以理解的是，在其他实施例中，Mayo内镜下评分以及溃疡性结肠炎内镜下活动指数的血管分型、自发出血和糜烂溃疡特征的评分，本领域技术人员可根据实际情况来具体设置。
[0046] 步骤S102：构建溃疡性结肠炎严重程度评估模型，利用样本集内已标注的白光结肠镜图像样本进行训练；溃疡性结肠炎严重程度评估模型为具有特征金字塔池化的SPPNet网络，输出包含4个softmax函数，分别对应单帧图像的Mayo内镜下评分、血管分型、自发出血和糜烂溃疡特征的评分预测结果。
[0047] 为了同时准确推断UC图像MayoES(Mayo内镜下评分)和UCEIS(溃疡性结肠炎内镜下活动指数评分)，本发明实施例创新性的使用了空间金字塔网络(SPPNet)并
修改网络的预测层让其支持多标签的预测。
[0048] SPPNet可以应用于任意尺寸，为了解决不同图像尺寸的训练问题，采用两个预设尺寸：180×180,224×224(其在步骤1和2已经对图像做相应处理)。使用缩放而不是裁剪，将前述的224的区域图像变成180大小。这样，不同尺度的区域仅仅是
分辨率上的不同，而不是内容和布局上的不同,并且180网络和224网络拥有一样的参数。训练过程中，通过使用共享参数的两个固定尺寸的网络实现不同输入尺寸的SPPNet。为了降低从一个网络(比如224)向另一个网络(比如180)切换的开销，在每个网络上训练一个完整的epoch，然后在下一个完成的epoch再切换到另一个网络(权重保留)，依此往复。多尺寸训练的主要目的是在保证已经充分利用现在被较好优化的固定尺寸网络实现的同时，模拟不同的输入尺寸，以更好地适应多种内镜图像要求。除了上述两个尺度的实现，也在每个epoch中测试了不同的SXS输入，S从180到224之间均匀选取。
[0049] SPPNet的Backbone采用ZFNet,为实现UC单帧图像的Mayo ES和UCEIS评分相关特征识别，融入了特征金字塔池化和多标签预测，对模型进行了如下改进：
[0050] 特征金字塔池化：将原SPPNet在全连接层之前的池化替换为特征金字塔池化，特征金字塔的结构如图5所示。特征金字塔的使用可保证图像任意尺度输入，最终都转化为统一的维度input到全连接层。此外，特征金字塔可以在不同维度上提取UC黏膜水肿、血管清晰度、自发出血、糜烂溃疡等多种特征，发现图像间的微小差异，促进UC病变图像特征的学习。
[0051] 多标签分类：本发明创新性修改SPPNet网络使其支持多标签分类预测。定义Mayo ES、血管分型、自发出血、糜烂溃疡4个标签。其中Mayo ES包含0-3分共4个分类，血管分型包含0-2分共3个分类，自发出血及糜烂溃疡各包含0-3分共4个分类。将ZFNet最后的全连接层输出的
节点个数调整为4个，分别对应上述4个标签评分。4个全连接节点分别在最后连接4个softmax函数，每个softmax函数对应各标签下分类，输出4个分类{0,1,2,3}及其对应的概率，因血管分型仅包含3个分类，将血管分型对应的softmax的输出值{0,1}映射到{0}，{2}映射到{1},{3}映射到{2}。
[0052] SPPNet最后输出包含4个softmax函数，4个函数分别对应单帧图像的Mayo ES、血管分型、自发出血、糜烂溃疡特征的评分预测结果。分别对每一个softmax输出结果做交叉熵损失，最终损失函数是4个交叉熵损失函数的平均值。用损失函数评估预测分值与实际分值误差，指导模型参数调整。在本实施例中，训练网络采用SGD做优化器进行训练。
[0053] 步骤S103：实时接收白光结肠镜图像，利用溃疡性结肠炎严重程度评估模型提取Mayo内镜下评分相关特征及血管分型、自发出血和糜烂溃疡相关特征并输出Mayo内镜下评分、血管分型、自发出血和糜烂溃疡特征的评分预测结果，再将血管分型、自发出血和糜烂溃疡特征的评分预测结果累加，得到溃疡性结肠炎内镜下活动指数评分。
[0054] 具体地，对实时接收的白光结肠镜图像做去黑边处理，不需要对图像做额外的数据增强和缩放处理，并将处理后的图像输入至训练完成的溃疡性结肠炎严重程度评估模型中，最终可以得到4个softmax输出的评分类别和对应的概率值，按照训练的顺序，第一个softmax的输出类别既是单帧图像的Mayo ES的评分结果，第2-4个softmax输出的类别即血管分型评分，自发出血评分，糜烂溃疡评分，以上三个特征累加，即单帧图像的UCEIS评分。
[0055] 可以理解的是，在其他实施例中，血管分型、自发出血和糜烂溃疡特征的权重值，本领域技术人员可根据实际情况来具体设置。
[0056] 在另一实施例中，所述的基于深度学习的溃疡性结肠炎严重程度评估方法，还包括：
[0057] 接收连续若干帧白光结肠镜图像，若Mayo内镜下评分和溃疡性结肠炎内镜下活动指数评分对应的概率均大于0.5，且Mayo内镜下评分和溃疡性结肠炎内镜下活动指数评分均大于或等于相应预设分值(例如：Mayo内镜下评分预设
阈值分值为2，溃疡性结肠炎内镜下活动指数评分预设阈值分值为6)且连续出现的次数不低于预设次数(例如：5次)，则这些白光结肠镜图像对应的
位置判定为溃疡性结肠炎最严重位置；其中，softmax函数输出相应评分对应的概率，溃疡性结肠炎内镜下活动指数评分对应的概率为血管分型、自发出血和糜烂溃疡相关特征对应概率的均值。
[0058] 其中，分值越大，说明溃疡性结肠炎越严重。
[0059] 本实施例利用具有特征金字塔池化的SPPNet网络，输出单帧图像的Mayo内镜下评分、及溃疡性结肠炎内镜下活动指数的血管分型、自发出血和糜烂溃疡特征的评分预测结果，对溃疡性结肠炎严重程度进行自动化评分推断和概率预测，与传统人工评分相比，该方法更智能高效，可大大节省人力成本，提高了评估准确率。
[0060] 本实施例基于单帧图像评分结果，自动比对识别病变累及最严重处，可对累及多肠段、弥漫性的UC病变进行无差别、同标准的连续评价，使内镜下UC严重程度评估更为准确可靠。
[0061] 本实施例可较好适应不同内镜中心电脑系统环境，方便存储记录，指导UC患者的长期规范化诊疗。
[0062] 实施例2
[0063] 图6给出了本实施例的一种基于深度学习的溃疡性结肠炎严重程度评估系统结构示意图。
[0064] 下面结合图6来详细说明本实施例的基于深度学习的溃疡性结肠炎严重程度评估系统的结构组成：
[0065] 如图6所示，本实施例提供一种基于深度学习的溃疡性结肠炎严重程度评估系统，其包括：
[0066] (1)样本集形成模块，其用于对白光结肠镜图像进行标注Mayo内镜下评分和溃疡性结肠炎内镜下活动指数评分，形成样本集；其中，溃疡性结肠炎内镜下活动指数评分按照UCEIS血管分型、UCEIS自发出血和UCEIS糜烂溃疡这三个特征分别对应标注分值。
[0067] 在具体实施过程中，在标注白光结肠镜图像之前还包括：
[0068] 对每一张白光结肠镜图像利用去黑边算法保留感兴趣区域，然后对白光结肠镜图像进行数据增强、随机翻转和预设大小的缩放处理。
[0069] 如图2所示，Mayo内镜下评分在0-3分之间选择对应分值标注，0表示正常或非活动期病变；1表示轻度活动有水肿、减少的血管像和轻度的脆性；2表示中度活动有明显水肿、消失的血管像、黏膜脆性和糜烂；3表示重度活动有持续的出血和溃疡。
[0070] 如图3所示，溃疡性结肠炎内镜下活动指数评分按照血管分型、自发出血和糜烂溃疡这三个特征分别对应标注分值为：
[0071] 血管分型：0表示清晰可见的血管像，或模糊和有少量缺失的边缘血管；1表示片状消失的血管像；2表示血管像完全消失；
[0072] 自发出血：0表示没有可见的出血；1表示黏膜可见出血点或带状凝固的出血，可被冲洗；2表示腔内轻度活动性出血；3表示腔内中重度活动性出血或持续性黏膜渗血；
[0073] 糜烂溃疡：0表示正常黏膜，没有明显的糜烂和溃疡；1表示糜烂小于5mm的黏膜缺损，呈白色或淡黄色带有扁平的边缘；2表示黏膜缺损小于5mm的浅表溃疡，可伴白苔；3表示黏膜缺损大于5mm的深的溃疡，可伴有隆起的边缘。
[0074] 图4给出了Mayo内镜下评分＝1，血管分型＝2，自发出血＝1，糜烂溃疡＝1对应的白光结肠镜图像。
[0075] 其中，Mayo ES评分相关特征包括但不限于病变区结肠黏膜水肿、糜烂程度及易脆性特征。
[0076] 可以理解的是，在其他实施例中，Mayo内镜下评分以及血管分型、自发出血和糜烂溃疡特征的评分，本领域技术人员可根据实际情况来具体设置。
[0077] (2)评估模型构建及训练模块，其用于构建溃疡性结肠炎严重程度评估模型，利用样本集内已标注的白光结肠镜图像样本进行训练；溃疡性结肠炎严重程度评估模型为具有特征金字塔池化的SPPNet网络，输出包含4个softmax函数，分别对应单帧图像的Mayo内镜下评分、血管分型、自发出血和糜烂溃疡特征的评分预测结果。
[0078] 为了同时准确推断UC图像Mayo ES(Mayo内镜下评分)和UCEIS(溃疡性结肠炎内镜下活动指数评分)，本发明实施例创新性的使用了空间金字塔网络(SPPNet)并修改网络的预测层让其支持多标签的预测。
[0079] SPPNet可以应用于任意尺寸，为了解决不同图像尺寸的训练问题，采用两个预设尺寸：180×180,224×224(其在步骤1和2已经对图像做相应处理)。使用缩放而不是裁剪，将前述的224的区域图像变成180大小。这样，不同尺度的区域仅仅是分辨率上的不同，而不是内容和布局上的不同,并且180网络和224网络拥有一样的参数。训练过程中，通过使用共享参数的两个固定尺寸的网络实现不同输入尺寸的SPPNet。为了降低从一个网络(比如224)向另一个网络(比如180)切换的开销，在每个网络上训练一个完整的epoch，然后在下一个完成的epoch再切换到另一个网络(权重保留)，依此往复。多尺寸训练的主要目的是在保证已经充分利用现在被较好优化的固定尺寸网络实现的同时，模拟不同的输入尺寸，以更好地适应多种内镜图像要求。除了上述两个尺度的实现，也在每个epoch中测试了不同的SXS输入，S从180到224之间均匀选取。
[0080] SPPNet的Backbone采用ZFNet,为实现UC单帧图像的Mayo ES和UCEIS评分相关特征识别，融入了特征金字塔池化和多标签预测，对模型进行了如下改进：
[0081] 特征金字塔池化：将原SPPNet在全连接层之前的池化替换为特征金字塔池化，特征金字塔的结构如图5所示。特征金字塔的使用可保证图像任意尺度输入，最终都转化为统一的维度input到全连接层。此外，特征金字塔可以在不同维度上提取UC黏膜水肿、血管清晰度、自发出血、糜烂溃疡等多种特征，发现图像间的微小差异，促进UC病变图像特征的学习。
[0082] 多标签分类：本发明创新性修改SPPNet网络使其支持多标签分类预测。定义Mayo ES、血管分型、自发出血、糜烂溃疡4个标签。其中Mayo ES包含0-3分共4个分类，血管分型包含0-2分共3个分类，自发出血及糜烂溃疡各包含0-3分共4个分类。将ZFNet最后的全连接层输出的节点个数调整为4个，分别对应上述4个标签评分。4个全连接节点分别在最后连接4个softmax函数，每个softmax函数对应各标签下分类，输出4个分类{0,1,2,3}及其对应的概率，因血管分型仅包含3个分类，将血管分型对应的softmax的输出值{0,1}映射到{0}，{2}映射到{1},{3}映射到{2}。
[0083] SPPNet最后输出包含4个softmax函数，4个函数分别对应单帧图像的MayoES、血管分型、自发出血、糜烂溃疡特征的评分预测结果。分别对每一个softmax输出结果做交叉熵损失，最终损失函数是4个交叉熵损失函数的平均值。用损失函数评估预测分值与实际分值误差，指导模型参数调整。在本实施例中，训练网络采用SGD做优化器进行训练。
[0084] (3)严重程度评估输出模块，其用于实时接收白光结肠镜图像，利用溃疡性结肠炎严重程度评估模型提取Mayo内镜下评分相关特征及血管分型、自发出血和糜烂溃疡相关特征并输出Mayo内镜下评分、血管分型、自发出血和糜烂溃疡特征的评分预测结果，再将血管分型、自发出血和糜烂溃疡特征的评分预测结果累加，得到溃疡性结肠炎内镜下活动指数评分。
[0085] 具体地，对实时接收的白光结肠镜图像做去黑边处理，不需要对图像做额外的数据增强和缩放处理，并将处理后的图像输入至训练完成的溃疡性结肠炎严重程度评估模型中，最终可以得到4个softmax输出的评分类别和对应的概率值，按照训练的顺序，第一个softmax的输出类别既是单帧图像的Mayo ES的评分结果，第2-4个softmax输出的类别即血管分型评分，自发出血评分，糜烂溃疡评分，以上三个特征累加，即单帧图像的UCEIS评分。
[0086] 可以理解的是，在其他实施例中，血管分型、自发出血和糜烂溃疡特征的权重值，本领域技术人员可根据实际情况来具体设置。
[0087] 在另一实施例中，所述的基于深度学习的溃疡性结肠炎严重程度评估系统，还包括：
[0088] 最严重位置判定模块，其用于：接收连续若干帧白光结肠镜图像，若Mayo内镜下评分和溃疡性结肠炎内镜下活动指数评分对应的概率均大于0.5，且Mayo内镜下评分和溃疡性结肠炎内镜下活动指数评分均大于或等于相应预设分值且连续出现的次数不低于预设次数，则这些白光结肠镜图像对应的位置判定为溃疡性结肠炎最严重位置；其中，softmax函数输出相应评分对应的概率，溃疡性结肠炎内镜下活动指数评分对应的概率为血管分型、自发出血和糜烂溃疡相关特征对应概率的均值。
[0089] 本实施例利用具有特征金字塔池化的SPPNet网络，输出单帧图像的Mayo内镜下评分、血管分型、自发出血和糜烂溃疡特征的评分预测结果，对溃疡性结肠炎严重程度进行自动化评分推断和概率预测，与传统人工评分相比，该方法更智能高效，可大大节省人力成本，提高了评估准确率。
[0090] 本实施例基于单帧图像评分结果，自动比对识别病变累及最严重处，可对累及多肠段、弥漫性的UC病变进行无差别、同标准的连续评价，使内镜下UC严重程度评估更为准确可靠。
[0091] 本实施例可较好适应不同内镜中心电脑系统环境，方便存储记录，指导UC患者的长期规范化诊疗。
[0092] 实施例3
[0093] 本实施例提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如图1所示的基于深度学习的溃疡性结肠炎严重程度评估方法中的步骤。
[0094] 本实施例利用具有特征金字塔池化的SPPNet网络，输出单帧图像的Mayo内镜下评分、血管分型、自发出血和糜烂溃疡特征的评分预测结果，对溃疡性结肠炎严重程度进行自动化评分推断和概率预测，与传统人工评分相比，该方法更智能高效，可大大节省人力成本，提高了评估准确率。
[0095] 本实施例基于单帧图像评分结果，自动比对识别病变累及最严重处，可对累及多肠段、弥漫性的UC病变进行无差别、同标准的连续评价，使内镜下UC严重程度评估更为准确可靠。
[0096] 本实施例可较好适应不同内镜中心电脑系统环境，方便存储记录，指导UC患者的长期规范化诊疗。
[0097] 实施例4
[0098] 本实施例提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如图1所示的基于深度学习的溃疡性结肠炎严重程度评估方法中的步骤。
[0099] 本实施例利用具有特征金字塔池化的SPPNet网络，输出单帧图像的Mayo内镜下评分、血管分型、自发出血和糜烂溃疡特征的评分预测结果，对溃疡性结肠炎严重程度进行自动化评分推断和概率预测，与传统人工评分相比，该方法更智能高效，可大大节省人力成本，提高了评估准确率。
[0100] 本实施例基于单帧图像评分结果，自动比对识别病变累及最严重处，可对累及多肠段、弥漫性的UC病变进行无差别、同标准的连续评价，使内镜下UC严重程度评估更为准确可靠。
[0101] 本实施例可较好适应不同内镜中心电脑系统环境，方便存储记录，指导UC患者的长期规范化诊疗。
[0102] 本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用
硬件实施例、
软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
[0103] 本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方
框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程
数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中
指定的功能的装置。
[0104] 这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0105] 这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0106] 本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
[0107] 以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
