技术领域
[0001] 本
发明涉及一种自动化在线学习智能辅助标注医学影像的方法和系统，属于医学影像技术领域。
背景技术
[0002] 2002年中国65岁以上老龄人口占比超过了7％，标志着中国进入老龄化社会，2010年进入深度老龄化阶段。在此以后老年人口抚养比不断增加，而医疗资源供给方面，我国每万人拥有医生数量相比与发达国家还存在巨大的差距，这直接意味着医疗健康需求的增加，所以，供需失衡的矛盾需要依靠技术手段提高医生诊断效率，也正如此AI(
人工智能)医疗得以大
力发展。
[0003] 人工智能(AI)的概念由来已久，但是曾经碍于数据资源的缺乏，算力的不足，
算法的不成熟导致其技术难以大规模应用。然而如今随着GPU算力的大幅提升，
大数据资源的有效整合，算法的大幅提升，人工智能开始在各行各业落地。
[0004] 在医疗领域中，近十年，医疗数据总量呈现出爆发式的增长。围绕数据存储，数据安全，数据标注等展开的医疗大数据平台建设也在有序开展。目前超过90％的医疗数据来自于医学影像，包括CT，PET，MR，DR等，由于图片数据结构简单、
图像识别技术较为成熟，促进了AI医学影像的快速发展。
[0005] 人工智能算法在图像识别领域中通常为监督式学习，算法需要训练海量的带有人工标记的数据，然而，医学图像数据相比自然图像，往往存在于医疗机构中，获取困难，数据标注需要专业医生，不同的医生对同一个医学图像可能存在不同的看法。种种原因导致AI医疗领域虽然前景广阔，但发展现状却不容乐观，仅仅在数据这一关，整个行业都面临医疗数据稀缺与标注艰难的巨大挑战。
[0006] 目前，对于图像标注，检索到以下相关
专利，《图像半自动标注的交互方法及系统》，《一种人工智能数据标注方法和装置》，《一种基于YOLOv3
深度学习网络的图像智能标注方法》等，其都使用了人工智能的方法辅助进行数据的标注，但是却都没有在
数据采集和数据集的制作上实现智能化，且不涉及到数据集规模的问题。
发明内容
[0008] 为了解决
现有技术中存在的上述
缺陷，本发明提供了一种自动化在线学习智能辅助标注医学影像的方法和系统，从医学数据采集开始，到数据集建立完成，包括模型的训练，数据集规模的确定，实现全流程自动化标注。
[0009] 为了实现上述目的，本发明采取的技术方案如下：
[0010] 一种自动化在线学习智能辅助标注医学影像的方法，包括如下步骤：
[0011] (1)将智能标注系统接入医院PACS系统中；
[0012] (2)根据数据和标注需求选择筛选条件；
[0013] (3)根据筛选条件自动扫描dicom文件、诊断报告与病理报告，将满足筛选条件的dicom序列进行脱敏后和诊断报告、病理报告自动导出到智能标注系统中；
[0014] (4)医生根据诊断报告与病理报告开始进行标注；
[0015] (5)当数据标注数量达到某一
指定阈值时，将数据划入为深度学习模型测试集中，并将之后标注的数据划入到训练集；
[0016] (6)当数据集规模达到另一指定阈值时，启动深度学习模型训练程序；
[0017] (7)提取其中一部分数据作为模型调优集，当模型训练损失函数不再持续下降时，保存模型参数，并且智能生成辅助推荐标注程序，生成辅助推荐标注；
[0018] (8)医生将能根据诊断报告、病理报告在辅助推荐标注上进行增删改查；
[0019] (9)启动模型测试程序，在测试集中测试保存下来的模型参数，并且计算所关注的测试集指标；
[0020] (10)若测试集指标不稳定，医生继续标注数据，将医生接下来的标注数据划分到训练集，调优集，测试集继续进行迁移训练，直到测试集指标稳定，则标注结束，数据集建立完成。
[0021] 所述步骤(7)中，调优集的数据量占数据集的四分之一。
[0022] 所述步骤(10)中，训练集，调优集和测试集的数据比例为3：1：1。
[0023] 本发明一种自动化在线学习智能辅助标注医学影像的系统，包括
[0024] 数据筛选模
块：用于根据数据和标注需求选择筛选条件；
[0025] 数据清洗和导出模块：用于根据筛选条件自动扫描dicom文件、诊断报告与病理报告，将满足筛选条件的dicom序列进行脱敏后和诊断报告、病理报告自动导出到智能标注系统中；
[0026] 数据划分模块：用于将数据划入为深度学习模型测试集中，并将之后标注的数据划入到训练集；
[0027] 模型训练模块：用于启动深度学习模型训练程序；
[0028] 生成辅助推荐标注模块：用于提取其中一部分数据作为模型调优集，当模型训练损失函数不再持续下降时，保存模型参数，并且启动智能辅助推荐标注程序，生成辅助推荐标注；
[0029] 测试模型并计算指标模块：用于启动模型测试程序，在测试集中测试保存下来的模型参数，并且计算所关注的测试集指标；
[0030] 数据集完善模块：用于将医生接下来的标注数据划分到训练集、调优集、测试集继续进行迁移训练，直到测试集指标稳定，则标注结束，数据集建立完成。
[0031] 其中测试模型并计算指标模块具体为
深度神经网络模型测试模块：用于对标注数据进行测试；以及测试集评价指标模块，用于对标注数据进行计算和评价。
[0032] 本发明的工作原理：医生通过诊断报告和病理报告与自己的临床经验往往无法满足标注需求，使用人工智能算法生成推荐标注的方法可以弥补上述缺陷。智能化标注需要使用深度神经网络模型对图像进行预测，将预测结果提供给医生，医生就能通过模型预测结果，扫描报告结果与自己多年的临床经验三者结合进行标注。然而深度神经网络模型需要数据进行训练学习才能让模型预测结果，而且也不知道具体需要训练多少数据。该系统能够将模型训练，智能化标注，生成数据集，确定数据集规模结合在一起。
[0033] 本发明能实现如下技术效果：
[0034] (1)本发明系统直接接入医院系统中，能够根据条件自动筛选需要标注的病人病例。
[0035] (2)本发明能根据筛选条件自动扫描dicom文件和诊断报告与病理报告，将满足筛选条件的dicom序列进行脱敏后和诊断报告与病理报告自动导出到智能标注系统中，因此可以实现自动清洗病例图像，弥补现有技术中需要手动采集需要的数据，清洗数据的缺陷。
[0036] (3)本发明能自动扫描检查报告和病理报告，生成辅助标注信息，弥补现有技术中需要手动标注，无法提供标注提示的缺陷。
[0037] (4)本发明能在医生标注过程中智能提示推荐性标注，并且在医生标注的过程中不断的优化训练模型，实现模型在线训练，不同于现有技术中采用数据集标注完成之后进行模型的训练。
[0038] (5)本发明能根据模型训练结果确定数据集规模，克服现有技术中无法知道需要标注的数据集规模的困难。
附图说明
[0039] 图1为本
实施例自动化在线学习智能辅助标注医学影像系统执行步骤图；
[0040] 图2为本实施例自动化在线学习智能辅助标注医学影像系统中只能标注模块的执行步骤图；
[0041] 图3为本实施例自动化在线学习智能辅助标注医学影像系统中模型训练模块的执行步骤图。
具体实施方式
[0042] 为了使本发明的技术手段及其所能达到的技术效果，能够更清楚更完善的披露，兹提供了以下实施例，并结合附图作如下详细说明：
[0043] 如图1所示，本实施例的一种自动化在线学习智能辅助标注医学影像的方法，包括以下步骤：
[0044] (1)智能标注系统接入医院PACS系统中：
[0045] (2)根据数据和标注需求选择筛选条件(例如，
肺部结节，索条，动脉硬化，
钙化等)；
[0046] (3)系统根据筛选条件自动扫描dicom文件和诊断报告与病理报告，将满足筛选条件的dicom序列进行脱敏后和诊断报告与病理报告自动导出到智能标注系统中。
[0047] 为了制作数据集，需要获取病例数据，将标注系统接入医院PACS系统中，能够查阅到医院近十年的数据，然而医院中医学影像数据种类繁多，琳琅满目，单个病人数据往往还包含
定位片，信息片等与模型训练无关的数据，深度学习模型
训练数据往往需要筛选符合某些条件的数据，例如，某些病种数据，某些器官数据，数据层厚要求等。该系统包含许多数据筛选条件，包括图像类型(CT， MR，PET等)，图像扫描部位(头部，胸部，腹部等)，图像扫描协议(肺窗，纵隔窗等)，病灶类型(脑中
风，结节，肺炎等)，系统会根据筛选条件，扫描dicom头文件与诊断报告和病理报告，将符合条件的dicom数据进行脱敏后导出到系统中，并将诊断报告和病理报告扫描结果作为辅助标注导出到系统中。
[0048] (4)标注医生根据诊断报告与病理报告开始进行标注。
[0049] (5)当数据标注数量达到某指定的阈值N时，将该N个数据划入为深度学习模型测试集中，将之后标注的4N个数据划入到训练集
[0050] (6)当数据集规模达到指定阈值5N时，启动深度学习模型训练程序。
[0051] (7)模型训练将4N个数据划分3：1，其中N个数据作为模型调优集，当模型训练损失函数不再持续下降时，保存模型参数，并且启动模型测试程序和智能标注推荐程序。
[0052] (8)启动智能标注推荐程序后，医生标注时将会被提供深度学习推荐标注，医生将能根据诊断报告，病理报告和自己的临床经验在推荐标注上进行增删改查。
[0053] (9)启动模型测试程序，在测试集中测试刚保存下来的参数，并且计算所关注的指标(如：敏感性，特异性等)
[0054] (10)在医生不断标注数据的过程中，将数据随机划分到训练集，调优集和测试集中，保持数据量比例为3：1：1。
[0055] (11)数据量不断增加的情况下，不断的迁移学习模型，直到所关注的测试集指标达到平衡不再变化，则数据集标注结束。数据集建立完成。
[0056] 医生通过诊断报告和病理报告与自己的临床经验往往无法满足标注需求，使用人工智能算法生成推荐标注的方法可以弥补上述缺陷。智能化标注需要使用深度神经网络模型对图像进行预测，将预测结果提供给医生，医生就能通过模型预测结果，扫描报告结果与自己多年的临床经验三者结合进行标注。然而深度神经网络模型需要数据进行训练学习才能让模型预测结果，而且也不知道具体需要训练多少数据。该系统能够将模型训练，智能化标注，生成数据集，确定数据集规模结合在一起。
[0057] 医生需要先标注一定数量N的数据，该N个数据将被划分到模型测试集，当测试集数量大于N时，开始将标注数据集划分到训练集，当训练集数量大于 4时，开始启动模型训练程序如图3所示，切分N个训练集数据作为调优集，设模型在调优集中的损失函数为floss，训练过程中不断记录更新最小损失值 minloss)，当继续训练k轮调优集中计算得到的floss均大于minloss)，说明模型不再优化，保存该模型的参数，并且启动智能生成辅助推荐标注程序和测试集评价指标程序。智能生成辅助推荐标注程序将会给医生标注提供预测结果以供参考，医生能够直接在该预测结果上进行增删改查。而在模型测试程序中，设模型测试评价指标为T，随着数据集的增加与模型的持续迁移训练，T会随之数据集大小的变化并最终趋于稳定，设稳定系数S＝Tmax-Tmin表示数据集某变化区间内最大值与最小值的差值，设定阈值Sthreshold，假设S＞Sthreshold则表示测试集指标不稳定，则将医生接下来的标注数据划分到数据集中继续进行迁移训练，并保持训练集，调优集，测试集比例3：1：1，当S≤Sthreshold时，医生标注结束，数据集建立完成。
[0058] 其中步骤(7)中，智能标注模块，即智能标注推荐程序(包括2D图像的标注与3D图像的标注)，如图2所示，其包括了常见的标注功能模块，包括目标边框、目标形状描画、目标属性的添加，
修改，删除等。若有诊断报告或病理报告，将报告提示给标注医生，若深度神经网络已经学习到参数，则将神经网络预测结果提示给标注医生，给予医生智能辅助标注提示。
[0059] 以上内容是结合本发明的优选实施方式对所提供技术方案所作的进一步详细说明，不能认定本发明具体实施只局限于上述这些说明，对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。
