一种多模态图像辅助诊断系统
阅读：1018发布：2020-07-24
专利汇可以提供一种多模态图像辅助诊断系统专利检索，专利查询，专利分析的服务。并且本实用新型公开了一种多模态图像辅助诊断系统，包括：医院 服务器 、嵌入式开发平台和神经计算棒；所述神经计算棒与所述嵌入式开发平台相连；所述嵌入式开发平台与所述医院服务器相连；且所述医院服务器、所述嵌入式开发平台和所述神经计算棒均处于同一局域网环境中；其中，所述医院服务器中存储有患者信息及对应的多模态图像数据；所述神经计算棒中部署有预先训练好的 深度学习 模型，不仅可以同时减轻患者和医生的负担，且能够提高工作效率。(ESM)同样的 发明 创造已同日 申请 发明 专利，下面是一种多模态图像辅助诊断系统专利的具体信息内容。
1.一种多模态图像辅助诊断系统，其特征在于，包括：医院服务器、嵌入式开发平台和神经计算棒；
所述神经计算棒与所述嵌入式开发平台相连；所述嵌入式开发平台与所述医院服务器相连；且所述医院服务器、所述嵌入式开发平台和所述神经计算棒均处于同一局域网环境中；
其中，所述医院服务器中存储有患者信息及对应的多模态图像数据；所述神经计算棒中部署有预先训练好的深度学习网络模型。
2.根据权利要求1所述的多模态图像辅助诊断系统，其特征在于，所述嵌入式开发平台包括：Raspberry Pi微型电脑。
3.根据权利要求2所述的多模态图像辅助诊断系统，其特征在于，所述神经计算棒包括：英特尔神经计算棒。
4.根据权利要求1所述的多模态图像辅助诊断系统，其特征在于，所述神经计算棒通过USB接口与所述嵌入式开发平台相连。
一种多模态图像辅助诊断系统
技术领域
[0001] 本实用新型涉及医学诊断技术领域，更具体的说是涉及一种多模态图像辅助诊断系统。
背景技术
[0002] 在临床医学诊断过程中，病人的图像数据往往需要通过专家来手动选取目标区域、分割ROI区域，这是一个非常耗时耗力的任务。且当前医院的检查工具和手段多样，能够获取病人的多种图像数据，如CT、MR、PET、SPECT等，但是，这些多模态图像往往并不是由同一个科室能够完成采集并汇集在同一台诊断设备中，患者经常需要打印多种图像的诊断结果拿给诊断医生来做最终决策，同时加重了患者和医生的负担，且工作效率低。
[0003] 因此，如何减轻患者和医生的负担，并提高工作效率是本领域技术人员亟需解决的问题。实用新型内容
[0004] 有鉴于此，本实用新型提供了一种多模态图像辅助诊断系统，不仅可以同时减轻患者和医生的负担，且能够提高工作效率。
[0005] 为了实现上述目的，本实用新型采用如下技术方案：
[0006] 一种多模态图像辅助诊断系统，包括：医院服务器、嵌入式开发平台和神经计算棒；
[0007] 所述神经计算棒与所述嵌入式开发平台相连；所述嵌入式开发平台与所述医院服务器相连；且所述医院服务器、所述嵌入式开发平台和所述神经计算棒均处于同一局域网环境中；
[0008] 其中，所述医院服务器中存储有患者信息及对应的多模态图像数据；所述神经计算棒中部署有预先训练好的深度学习网络模型。
[0009] 优选的，所述嵌入式开发平台包括：Raspberry Pi微型电脑。
[0010] 优选的，所述神经计算棒包括：英特尔神经计算棒。
[0012] 经由上述的技术方案可知，与现有技术相比，本实用新型公开提供了多模态图像辅助诊断系统，利用神经计算棒构建适用于多模态医学图像临床诊断的低成本辅助诊断平台，能够降低医院对高性能GPU服务器的依赖，同时可以汇集患者分布在不同科室、不同时间、不同模态的图像数据，且应用神经计算棒进行辅助诊断能够实现图像的自动校准、分割及融合，其成本低且效果优于现有的计算机，极大地减小了医生的工作量，提高了工作效率，同时降低了患者的负荷。附图说明
[0013] 为了更清楚地说明本实用新型实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本实用新型的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0014] 图1为本实用新型提供的多模态图像辅助诊断系统的结构示意图；
[0015] 图2为本实用新型提供的SPECT二维动态图像的示意图；
[0016] 图3为本实用新型提供的断层CT图像的示意图；
[0017] 图4为本实用新型提供的增强CT图像的示意图；
[0018] 图5为本实用新型提供的增强CT图像分割的示意图；
[0019] 图6为本实用新型提供的多模态图像融合的示意图；
[0020] 图7为本发明提供的多模态图像目标区域分割的示意图；
[0021] 图8为本发明提供的肾脏的ROI勾画区域的示意图；
[0022] 图9为本发明提供的分割效果示意图一；
[0023] 图10为本发明提供的分割效果示意图二。
具体实施方式
[0024] 下面将结合本实用新型实施例中的附图，对本实用新型实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本实用新型一部分实施例，而不是全部的实施例。基于本实用新型中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本实用新型保护的范围。
[0025] 参见附图1，本实用新型实施例公开了一种多模态图像辅助诊断系统，包括：医院服务器、嵌入式开发平台和神经计算棒；
[0026] 神经计算棒与嵌入式开发平台相连；嵌入式开发平台与医院服务器相连；且医院服务器、嵌入式开发平台和神经计算棒均处于同一局域网环境中；
[0027] 其中，医院服务器中存储有患者信息及对应的多模态图像数据；神经计算棒中部署有预先训练好的深度学习模型。
[0028] 2017年推出的视觉处理单元(VPU-Visual Processing Unit)——神经计算棒，其最大的特性是可以在1瓦的功率下提供超过每秒1000亿次浮点运算的性能。根据这一特性，发明人将其与嵌入式开发平台相连，构建了适用于多模态医学图像临床诊断的低成本辅助诊断平台，使得普通低功耗设备也具有运行实时深度神经网络(DNN-Deep NeuralNetwork)的能力，从而使得各种人工智能应用都能够离线部署。
[0029] 通过本实用新型提供的多模态图像辅助诊断系统可以快速的获取病人的多模态图像，并在神经计算棒中进行融合、分割、识别，相对于传统计算机，提高了临床诊断的效率，减轻了医生的工作强度和患者的负担。
[0030] 为了进一步优化上述技术方案，嵌入式开发平台包括：RaspberryPi微型电脑。具体的，可以是RaspberryPi 3B+微型电脑。
[0031] 为了进一步优化上述技术方案，神经计算棒包括：英特尔神经计算棒。
[0032] 为了进一步优化上述技术方案，神经计算棒通过USB与嵌入式开发平台相连，具体的，可以是USB3.0。
[0033] RaspberryPi微型电脑结合神经计算棒，能够降低医院对高性能GPU服务器的依赖，极大地减小了医院应用人工智能进行辅助诊断的成本。而且，本方案能够针对不同科室的不同诊断需求，灵活应用深度学习网络实现批量、高效辅助诊断。且神经计算棒的浮点性能可达100GFLOPs，优于现有主流PC设备，并且能够保持较低功耗。
[0034] 基于嵌入式开发平台搭建网络服务器，实现与医院服务器的数据交互，汇集多模态数据到具体诊室中的嵌入式开发平台中(具体为嵌入式开发平台汇中的MySQL数据库)，其具有如下优势：基于嵌入式开发平台搭建网络服务器实现与医院服务器的数据交互，可以汇集患者分布在不同科室、不同时间、不同模态的图像数据，极大减小了医生的工作量；多模态图像数据应用Blob方式存储及路径存储相结合的方式，提高数据检索效率。
[0035] 利用医院服务器的数据库中的大量数据，结合高性能GPU服务器预先训练好深度学习网络模型，并部署在低功耗的神经计算棒中，能够减小每天诊断大量病人造成的时间及能源耗费；减少医生的重复性工作，并为医生提供可信的诊断建议。
[0036] 应用神经计算棒进行辅助诊断能够实现图像的自动配准、分割及融合，其效果优于现有的计算机。
[0037] 本实用新型采用以上技术方案，可以快速从医院局域网中获取病人的多种模态图像，并在神经计算棒中进行融合、分割、识别，提高了临床诊断的效率及准确率，减轻了专业医师的工作强度。
[0038] 此外，本实用新型实施例还公开了一种多模态图像辅助诊断系统的搭建方法，其特征在于，上述的多模态图像辅助诊断系统，搭建方法具体包括：
[0040] 安装SDK和Caffe到神经计算棒；
[0042] S3：搭建连接医院服务器的网络环境；
[0043] S4：安全访问设置，设置IP地址校验，只有医院内部的IP地址才允许注册访问；
[0044] S5：利用GPU服务器对深度学习网络模型进行训练；对深度学习网络模型进行编译和调优，并将深度学习网络模型编译成神经计算棒能够运行的专用模型文件；在神经计算棒上调用SDL API运行深度学习网络模型。
[0046] 为了进一步优化上述技术方案，当嵌入式开发平台为Raspberry Pi微型电脑时，在步骤S1中，在RaspberryPi微型电脑中装备Ubuntu操作系统，将神经计算棒通过USB3.0与RaspberryPi微型电脑进行连接；安装SDK和Caffe到神经计算棒。
[0047] 为了进一步优化上述技术方案，在步骤S2具体包括：
[0048] 安装并配置Apache，设置默认网页目录，安装并配置MySQL数据库；安装并配置PHP；安装并配置phpMyAdmin；
[0049] 设置MySQL存储多模态图像数据的方式，其中，以医院对病人的编号和病人姓名作为多模态图像数据的主键，以避免同名数据的混淆。
[0050] 为了进一步优化上述技术方案，存储图像数据的方式包括：
[0051] 方式一：针对诊断报告图像按照二进制类型(Blob)方式存储；一般为较小数据类型，不超过64K。
[0052] 方式二：针对序列医学图像，将图片保存的路径存储到数据库，一般为较大的DICOM格式。
[0053] 神经计算棒作为多模态医学图像的辅助诊断单元，其实现方法包括以下步骤：(以腹部多模态图像的分割及辅助诊断为例，多模态图像分别为SPECT二维动态图像如附图2所示、断层CT图像如附图3所示、增强CT图像如附图4所示)
[0054] 步骤1，依据运算能力强大的GPU服务器进行深度网络训练，针对临床辅助诊断的需求训练出的网络能够实现快速的多模态图像配准、融合及目标区域分割，如附图5至附图7所示。具体的，其步骤可以通过步骤1.1至步骤1.6实现：
[0055] 步骤1.1，利用标注后的CT增强图像，训练用于腹部增强CT图像分割的深度学习网络；
[0056] 步骤1.2，采用训练好的深度学习网络对增强CT图像中的目标组织进行自动分割，得到增强CT肾脏及肿瘤的分割效果，具体如附图5所示；
[0057] 步骤1.3，提取断层CT图像与增强CT图像的特征点，并进行配准，得到特征映射关系，配准结果如附图6所示；
[0058] 步骤1.4，根据配准得到的特征映射关系，把步骤1.2中的增强CT肾脏及肿瘤的分割结果映射到断层CT图像中，如附图7所示。重复此步骤完成全部增强CT肾脏及肿瘤的分割结果到断层CT图像的映射，最终通过三维重建得到肾脏的3维模型(正常组织及肿瘤组织)；
[0059] 步骤1.5，利用步骤1.4得到的肾脏的3维模型(正常组织及肿瘤组织)，投影到二维的SPECT图像上，作为肾脏的ROI勾画，能够减少医生勾画ROI的误差，并且能够省略医生的本底区域勾画，如附图8所示；
[0061] 进一步优化上述技术方案，实现优化步骤1.2中的分割效果。具体的，其步骤可以通过2.1至2.8实现：
[0062] 步骤2.1，从医院服务器中筛选出已标记的临床图像作为训练集，按照病人的编号和/或CT序列编号保存为JPG格式；
[0063] 步骤2.2，采用Tensorflow自带的图像库解析步骤2.1中的jpg图片，解析后图片格式为uint8，可直接传送入网络中进行运算，均为512×512×1的灰度图像；
[0064] 步骤2.3，训练时随机选取，不做图像增强和平移。采用医学影像网络U-net作为基准线，再此基础上进行残差学习；
[0065] 步骤2.4，U-net通过对称的网络结构，在6-10层中，将相同大小的特征映射与前1-5层做连接，从而保证了特征重用，防止了梯度弥散，但是每个块还是简单的卷积+激活+dropout的设计，如Vgg结构，故网络参数量很大，学习很慢，实现效果如附图5所示。
[0066] 步骤2.5，将U-net中卷积模块换成稠密模块，得改进后的全卷积网络，其中，稠密模块能够有效解决梯度消失问题，强化特征传播并支持特征重用，进而能够大幅度减少参数数量；
[0067] 步骤2.6，U-net中对特征映射进行上采样时采用Up-sampling，而全卷积网络中对特征映射进行上采样是采用转置采样，相当于重新学习特征而非简单缩放；
[0068] 步骤2.7，采用256×256的CT图像和256×256的手动标注区域(mask)进行训练，原图片尺寸为512×512，在缩放到256×256后有部分的信息损失，改进后的全卷积网络前面引入新的缩放模块(7×7卷积+最大池化+3×3卷积+最大池化)，即将原始图片调整至128×128的特征映射，再连接原全卷积网络。该模块所学习的特征比根据差值所取得的原始图像上表现更好；
[0069] 步骤2.8，通过引入缩放模块，网络输入为512×512的CT图像，输出128×128的mask，再通过插值(4倍放大)到512×512。最终效果如附图9及附图10所示。
[0070] 步骤2，对深度学习网络模型进行编译和调优，
[0071] 步骤3，将模型编译成神经计算棒可以运行的专用模型文件，即graph文件；
[0072] 步骤4，在神经计算棒上调用SDKAPI运行深度学习网络模型。
[0073] 步骤4.1，枚举设备并打开神经计算棒；
[0074] 步骤4.2，读取并加载graph文件，加载完成后用graph.LoadTensor输入待诊断图像数据，训练后应用graph.GetResult获取诊断结果。
[0075] 本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0076] 对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本实用新型。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本实用新型的精神或范围的情况下，在其它实施例中实现。因此，本实用新型将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种肢体康复训练方法、系统及嵌入式设备 | 2020-05-08 | 345 |
| 用于提供带有标记的容器的系统及方法 | 2020-05-11 | 39 |
| 基于FPGA-ARM嵌入式系统的R-LATs系统移动端信号处理方法 | 2020-05-08 | 102 |
| 传感器网络节点的数据处理方法及传感器网络节点 | 2020-05-08 | 27 |
| 一种针对嵌入式轨道钢槽式道床路基不均匀沉降的维修方法 | 2020-05-08 | 822 |
| 一种基于机器视觉的玉米苗期机械除草识别方法及装置 | 2020-05-11 | 753 |
| 深度可分离卷积的加速方法、存储介质及应用 | 2020-05-08 | 421 |
| 多芯片集成功率管理解决方案 | 2020-05-08 | 427 |
| 通用型无人机机载计算机测试台 | 2020-05-08 | 308 |
| 一种用于车辆的载重与定位信息综合监控系统 | 2020-05-08 | 1019 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈