基于患者的医学图像生成诊断报告的系统和方法及介质
阅读：872发布：2023-03-01
专利汇可以提供基于患者的医学图像生成诊断报告的系统和方法及介质专利检索，专利查询，专利分析的服务。并且本公开的 实施例 提供了用于基于患者的医学图像生成诊断报告的系统和方法及介质。所述系统包括配置成接收由 图像采集 设备采集的医学图像的通信 接口 。所述系统进一步包括至少一个处理器。所述至少一个处理器配置成基于所述医学图像检测所述患者的医学状况和与所述医学状况相关的参数。所述至少一个处理器进一步配置成基于所述医学图像构建所述诊断报告，其中所述诊断报告包括所述医学图像的至少一个视图和使用所述参数的所述医学状况的描述。所述系统还包括配置成显示所述诊断报告的显示器。，下面是基于患者的医学图像生成诊断报告的系统和方法及介质专利的具体信息内容。
1.一种用于基于患者的医学图像生成诊断报告的系统，其特征在于，所述系统包括：
通信接口，其配置成接收由图像采集设备采集的所述医学图像；
至少一个处理器，其配置成：
基于所述医学图像检测所述患者的医学状况和与所述医学状况相关的参数；并且基于所述医学图像构建所述诊断报告，其中所述诊断报告包括所述医学图像的至少一个视图和使用所述参数的所述医学状况的描述；以及
显示器，其配置成显示所述诊断报告。
2.根据权利要求1所述的系统，其特征在于，所述医学状况使用利用与已知的医学状况相关的样本图像训练好的神经网络来检测。
3.根据权利要求1所述的系统，其特征在于，所述图像采集系统使用从计算机断层摄影(CT)、磁共振成像(MRI)、功能性MRI、锥形束计算机断层摄影(CBCT)、螺旋CT、正电子发射断层摄影(PET)、单光子发射计算机断层摄影(SPECT)、X射线成像、光学断层成像、荧光成像、超声成像和放疗射野成像组成的组中选择的成像模态。
4.根据权利要求1所述的系统，其特征在于，所述系统进一步包括配置成接收与所述医学图像的用户交互的输入接口，其中所述至少一个处理器进一步配置成基于所述用户交互来自动更新所述诊断报告。
5.根据权利要求4所述的系统，其特征在于，所述用户交互选择所述医学图像中的图像切片，并且所述至少一个处理器进一步配置成：
通过分析所选择的图像切片更新与所述医学状况相关的所述参数；并且
以更新后的参数和所选择的图像切片来更新所述诊断报告。
6.根据权利要求4所述的系统，其特征在于，所述用户交互将所述医学图像的一部分拖曳到所述诊断报告中，并且所述至少一个处理器进一步配置成：
更新所述诊断报告以包括所述医学图像的拖曳部分；并且
基于所述拖曳部分更新与所述医学状况相关的所述参数。
7.根据权利要求4所述的系统，其特征在于，所述诊断报告具有可编辑区域，其中所述用户交互是在所述可编辑区域中进行的对所述诊断报告的编辑。
8.根据权利要求1所述的系统，其特征在于，所述通信接口进一步配置成接收与所述患者相关的元数据，其中所述诊断报告进一步包括基于所述元数据自动生成的患者信息。
9.根据权利要求8所述的系统，其特征在于，所述医学状况进一步基于所述元数据检测。
10.根据权利要求1所述的系统，其特征在于，所述医学状况的描述包括由所述至少一个处理器检测到的对象的类型和所检测到的对象的位置。
11.一种用于基于患者的医学图像生成诊断报告的方法，其特征在于，所述方法包括：
通过通信接口接收由图像采集设备采集的所述医学图像；
通过至少一个处理器基于所述医学图像检测所述患者的医学状况和与所述医学状况相关的参数；
通过所述至少一个处理器基于所述医学图像构建所述诊断报告，其中所述诊断报告包括所述医学图像的至少一个视图和使用所述参数的所述医学状况的描述；以及在显示器上显示所述诊断报告。
12.根据权利要求11所述的方法，其特征在于，所述医学状况使用利用与已知的医学状况相关的样本图像训练好的神经网络来检测。
13.根据权利要求11所述的方法，其特征在于，所述方法进一步包括：
接收与所述医学图像的用户交互；以及
基于所述用户交互自动更新所述诊断报告。
14.根据权利要求13所述的方法，其特征在于，所述用户交互选择所述医学图像中的图像切片，并且自动更新所述诊断报告进一步包括：
通过分析所选择的图像切片更新与所述医学状况相关的参数；以及
以更新后的参数和所选择的图像切片来更新所述诊断报告。
15.根据权利要求13所述的方法，其特征在于，所述用户交互将所述医学图像的一部分拖曳到所述诊断报告中，并且自动更新所述诊断报告进一步包括：
更新所述诊断报告以包括所述医学图像的拖曳部分；以及
基于所述拖曳部分更新与所述医学状况相关的所述参数。
16.根据权利要求11所述的方法，其特征在于，所述方法进一步包括接收与所述患者相关的元数据，其中所述诊断报告进一步包括基于所述元数据自动生成的患者信息。
17.根据权利要求16所述的方法，其特征在于，所述医学状况进一步基于所述元数据来检测。
18.根据权利要求11所述的方法，其特征在于，所述医学状况的所述描述包括由所述至少一个处理器检测到的对象的类型和所检测到的对象的位置。
19.一种其上储存有计算机程序的非暂时性计算机可读的介质，其特征在于，所述计算机程序由至少一个处理器执行时，执行用于基于患者的医学图像生成诊断报告的方法，所述方法包括：
接收由图像采集设备采集的所述医学图像；
基于所述医学图像检测所述患者的医学状况和与所述医学状况相关的参数；
基于所述医学图像构建所述诊断报告，其中所述诊断报告包括所述医学图像的至少一个视图和使用所述参数的所述医学状况的描述；以及
显示所述诊断报告。
20.根据权利要求19所述的非暂时性计算机可读的介质，其特征在于，所述方法进一步包括：
接收与所述医学图像的用户交互；以及
基于所述用户交互来自动更新所述诊断报告。
基于患者的医学图像生成诊断报告的系统和方法及介质
[0001] 相关申请的交叉引用
[0002] 本申请基于并要求于2017年10月13日提交且申请号为62/572,114的美国临时申请的优先权，其通过引用整体上并入本文。
技术领域
[0003] 本公开涉及一种诊断报告系统，并且更具体地，涉及如下一种交互式诊断报告系统，其基于患者的医学图像自动生成诊断报告，允许用户编辑或以其他方式与医学图像交互，并根据所述用户交互来更新诊断报告。
背景技术
[0004] 放射科医生解读医学图像以检测异常并对疾病进行诊断。撰写诊断报告也是放射科医生/临床医生日常工作的一部分。诊断报告通常符合报告模板和临床标准。诊断报告通常由放射科医生准备以记录他的诊断。放射科医生还可以执行某些测量(例如肿瘤的大小)，并将其记录在报告中。如果放射科医生想要在他的报告中包含图像以提供图示，他通常得在不同平台之间传输图像，然后手动将其复制并粘贴到报告中。因此，生成诊断报告是繁琐且低效的。一些改进的报告系统可以将语音转录为文本，以节省放射科医生打字录入报告的时间。然而，转录为该过程引入了额外的步骤，因此与额外的成本和错误相关联。
[0005] 计算机辅助诊断(CAD)工具可以显著简化放射科医生的诊断进程并增加其工作承担量。例如，CAD系统可以自动检测图像中的可疑区域，并对那些区域进行分类/分割用于定量分析以了解隐含信息。此进程加速了病变检测和整体诊断过程，还提高了准确性。CAD系统还可以向用户(例如，放射科医生)呈现分析结果的可视化(例如，边框、对象边界轮廓、表面渲染、体积渲染等)。这些可视化结果与定量分析可以成为诊断报告的一部分。然后放射科医生/临床医生将他们的观察和诊断结果添加到报告中。然而，由CAD系统自动生成的报告容易误诊，并缺乏放射科医生的输入和判定。
[0007] 本公开的实施例提供了一种用于基于患者的医学图像生成诊断报告的系统。所述系统包括通信接口，其配置成接收由图像采集设备采集的所述医学图像。所述系统进一步包括至少一个处理器。所述至少一个处理器配置成基于所述医学图像检测所述患者的医学状况和与所述医学状况相关的参数。所述至少一个处理器进一步配置成基于所述医学图像构建所述诊断报告，其中所述诊断报告包括所述医学图像的至少一个视图和使用所述参数的所述医学状况的描述。所述系统还包括配置成显示所述诊断报告的显示器。
[0008] 本公开的实施例还提供了一种用于基于患者的医学图像生成诊断报告的方法。所述方法包括通过通信接口接收由图像采集设备采集的所述医学图像。所述方法进一步包括通过所述至少一个处理器基于所述医学图像检测所述患者的医学状况和与所述医学状况相关的参数。所述方法还包括通过所述至少一个处理器基于所述医学图像构建所述诊断报告。所述诊断报告包括所述医学图像的至少一个视图和使用所述参数的所述医学状况的描述。所述方法另外地包括在显示器上显示所述诊断报告。
[0009] 本公开的实施例进一步提供了一种其上储存有指令的非暂时性计算机可读的介质，所述指令由一个以上处理器执行时，引起所述一个以上处理器执行用于基于患者的医学图像生成诊断报告的方法。所述方法包括接收由图像采集设备采集的所述医学图像。所述方法进一步包括基于所述医学图像检测所述患者的医学状况和与所述医学状况相关的参数。所述方法还包括基于所述医学图像构建所述诊断报告。所述诊断报告包括所述医学图像的至少一个视图和使用所述参数的所述医学状况的描述。所述方法另外地包括显示所述诊断报告。
[0011] 图1图示出了根据本公开的实施例的示例性诊断报告生成系统的框图。
[0013] 图3图示出了根据本公开的实施例的图1的诊断报告生成系统的另一示例性用户界面。
[0014] 图4示出了根据本公开的实施例的用于生成诊断报告的示例性方法的流程图。
具体实施方式
[0015] 现在将详细参考示例性实施例，其示例在附图中图示出。在可能的各处，在整个附图中将使用相同的附图标记来表示相同或相似的部分。
[0016] 图1图示出了根据本公开的实施例的示例性诊断报告生成系统100的框图。根据本公开，诊断报告生成系统100被配置成基于由图像采集设备101采集的医学图像102生成诊断报告。根据本公开，诊断报告生成系统100可以从图像采集设备101接收医学图像102。或者，医学图像102可以首先存储在图像数据库中，并且诊断报告生成系统100可以从图像数据库接收医学图像102。在一些实施例中，医学图像102可以是二维(2D)或三维(3D)图像。3D图像可包含多个2D图像切片。
[0017] 在一些实施例中，图像采集设备101可使用任何合适的成像模态来采集医学图像102，包括例如功能性MRI(例如，fMRI、DCE-MRI和扩散MRI)、锥形束CT(CBCT)、螺旋CT、正电子发射断层摄影(PET)、单光子发射计算机断层摄影(SPECT)、X射线成像、光学断层摄影、荧光成像、超声成像和放疗射野成像等。
[0018] 例如，图像采集设备101可以是MRI扫描仪。所述MRI扫描仪包括围绕具有磁场的患者管道的磁体。患者被安置在可以移动到患者管道中的衬垫台上。MRI扫描仪进一步包括在数个方向(例如，x、y和z方向)上的梯度线圈，以在由所述磁体生成的均匀磁场之上创建空间变化的磁场。由MRI扫描仪使用的均匀磁场通常在0.2T-7T之间，例如约1.5T或3T。MRI扫描仪还包括：RF线圈，以激发患者体内的组织；以及收发器，以接收由所述组织在返回到平衡状态的同时所生成的电磁信号。
[0019] 作为另一示例，图像采集设备101可以是CT扫描仪。CT扫描仪包括：X射线源，其对身体组织发射X射线；以及接收器，其接收被身体组织衰减后的残余X射线。CT扫描仪还包括旋转机构以在不同视角拍摄X射线图像。这种旋转机构可以是旋转患者的旋转台，或者是围绕患者旋转X射线源和接收器的旋转结构。然后由计算机系统处理不同角度的X射线图像以构建二维(2D)横截面图像或三维(3D)图像。
[0020] 根据一些实施例，诊断报告生成系统100可以进一步从患者数据库103接收患者信息104。患者信息104可以是通过患者登记记录或者利用医学图像102生成的元数据。例如，元数据可以包括患者的年龄和性别、患者病史和家族病史等。患者数据库103可以包括易失性或非易失性的、磁性的、半导体、磁带、光学的、可移动的、不可移动的或其他类型的存储设备或有形(即，非暂时性)计算机可读介质，包括但不限于ROM、闪存、动态RAM和静态RAM。在一些实施例中，患者数据库103可以位于诊断报告生成系统100的现场或非现场(即，远程)。
[0021] 在一些实施例中，如图1中所示，诊断报告生成系统100可以包括通信接口110、处理器120、显示器130、输入/输出接口140、存储器150和储存器160。在一些实施例中，诊断报告生成系统100可以在单个设备中具有不同的模块，诸如集成电路(IC)芯片(实现为专用集成电路(ASIC)或现场可编程门阵列(FPGA))，或者具有带专用功能的分离设备。在一些实施例中，诊断报告生成系统100的一个或数个部件可以位于云端，或者可以可选地在单个位置(诸如放射科医生办公室内的计算机中)或分布式的位置中。诊断报告生成系统100的部件可以在集成设备中，或者分布在不同位置但通过网络(未示出)彼此通信。
[0022] 通信接口110可以经由通信电缆、无线局域网(WLAN)、广域网(WAN)、无线网络(诸如无线电波、蜂窝网络和/或本地或短程无线网络(例如，蓝牙TM))或其他通信方法向外部系统或设备(诸如图像采集设备101和患者数据库103)发送数据和从其接收数据。在一些实施例中，通信接口110可以是综合业务数字网(ISDN)卡、电缆调制解调器、卫星调制解调器或提供数据通信连接的调制解调器。作为另一示例，通信接口110可以是局域网(LAN)卡，以提供与兼容LAN的数据通信连接。无线链路也可以由通信接口110实现。在这样的实现中，通信接口310可以经由网络发送和接收携带表示各种类型信息的数字数据流的电信号、电磁信号或光学信号。
[0023] 根据一些实施例，通信接口110可以接收由图像采集系统101采集的医学图像102。根据一些实施例，通信接口110还可以从患者数据库103接收患者信息104。通信接口110可以进一步将所接收的医学图像102和患者信息104提供到存储器160用于存储或到处理器
120用于进行处理。
120用于进行处理。
[0024] 处理器120可包括任何适当类型的通用或专用微处理器、数字信号处理器或微控制器。处理器120可以被配置为专用于诊断报告生成的单机处理器模块。或者，处理器120可以被配置为共享处理器模块，用于执行与诊断报告生成无关的其他功能。
[0025] 如图1中所示，处理器120可以包括多个模块，诸如计算机辅助诊断单元122(在下文称中，“CAD单元122”)，以及报告生成单元124等。这些模块(以及任何相应的子模块或子单元)可以是被设计用于与其他部件一起使用的处理器120的硬件单元(例如，集成电路的部分)或者是通过执行程序的至少一部分而由处理器120实现的软件单元。该程序可以存储在计算机可读介质上，并且当由处理器120执行时，其可以执行一个或数个功能或操作。尽管图1示出了都在一个处理器120内的单元122-124，但是可以预期这些单元可以分布在彼此靠近或远离的数个处理器之中。
[0026] CAD单元122被配置为协助医生解读医学图像。在一些实施例中，CAD单元122可以针对典型外观处理数字图像并突出显著的部分(诸如可能的疾病)，以便提供输入以支持专业人员做出的决定。例如，CAD单元122执行交互/自动算法以检测医学图像102中的指示医学状况的显著结构。
[0027] 在一些实施例中，医学图像102可以以DICOM格式被复制到CAD单元122。可以对医学图像102执行预处理，诸如滤波以减少图像伪影或噪声，以及例如通过调整图像的不同曝光参数以增加对比度来平衡图像质量。CAD单元122可以进一步分割图像以识别图像中的不同关注区域(例如，解剖结构)，例如心脏、肺、胸腔、血管、可能的圆形病变。可以使用各种分割方法，包括例如与解剖数据库匹配，或使用通过使用样本图像训练好的神经网络。可以针对特殊特征来独立地分析所识别的结构。
[0028] 在一些实施例中，CAD单元122可以执行全自动初始解读并且研究分诊成一些有意义的类别(例如，阴性和阳性)。可以使用各种分类算法，包括例如最近邻规则(例如，k-最近邻)、最小距离分类器、级联分类器、朴素贝叶斯分类器、人工神经网络、径向基函数网络(RBF)、支持向量机(SVM)和主分量分析(PCA)等。如果检测到的结构满足某个标准，则CAD单元122可以为放射科医生在图像中突出显示它们，例如，使用边界轮廓或边框。这允许放射科医生得出关于病理状况的结论。在一些实施例中，CAD单元122可以进一步确定量化医学状况的一个或数个参数。例如，该参数可以包括肿瘤的尺寸(诸如直径、长度、宽度、深度等)、体积、像素强度或对比度特征。
[0029] 因此，CAD单元122的输出可以包括对象检测结果(例如，边界轮廓或边框)、分割、分类结果等以及从那些结果导出的定量分析结果(例如尺寸、体积、灰度值分布等)。报告生成单元124被配置成基于CAD单元122的输出执行报告生成算法。在一些实施例中，诊断报告可以包括各种患者、检查和诊断信息。在一些实施例中，诊断报告可以由报告生成单元124自动或半自动生成。在一些实施例中，报告生成单元124可以与用户105(例如，放射科医生)交互地生成诊断报告。
[0030] 在一些实施例中，报告生成单元124可以由包含在患者信息104中的元数据生成自动报告内容。例如，报告的一部分可以由患者历史信息(诸如患者的姓名、性别、年龄)和从患者的元数据导出的扫描信息(诸如用以采集医学图像102的成像模态、扫描的区域，以及是否使用任何造影剂)组成。
[0031] 报告生成单元124可进一步基于CAD系统结果生成报告的诊断内容。报告生成单元124由CAD结果推断报告的文本信息，诸如对象检测/分割/分类结果。在一些实施例中，除了其他方面，文本信息可以指示检测到的对象(即，出血型脑出血)的类型和检测到的对象(即，左额叶)的位置等。在一些实施例中，文本信息可进一步指示定量分析的结果，诸如直径、体积和密度分布等。
[0032] 在一些实施例中，可以建立用以基于检测结果生成文本的文本字典。例如，该文本字典可以使用现有的临床报告来进行训练。该训练可以由处理器120或分离的处理器来执行。在训练阶段，可以挖掘现有的临床报告来识别描述图像观察的关键词，包括对象属性、类型、对象位置等。根据一些实施例，基于挖掘的信息，一个或数个查找表可以为文本查询目的而创建。例如，表1示出了对象类型查找表的示例，并且表2示出了对象位置查找表的示例。
[0033]
[0034]
[0035] 表1.对象类型查找表的示例
[0036]位置ID 文本
0 左额叶
1 右额叶
2 左后叶
… …
0 左额叶
1 右额叶
2 左后叶
… …
[0037] 表2.对象位置查找表的示例
[0038] 基于查找表和由CAD单元122提供的检测结果，报告生成单元124从查找表中检索文本并填充报告中的相应部分。可以想到，查找方法仅是一种基于CAD检测结果自动生成文本的示例性方法。可以使用其他方法，诸如机器学习方法(例如，由CAD结果的句子预测)。
[0039] 在一些实施例中，报告还可以包括包含检测到的对象的2D/3D可视化的屏幕截图。在一些实施例中，报告可以显示和讨论前N个检测到的对象，其中N是预定数量，例如3、5、10等。如果检测到的对象的数量小于或等于N，则所有检测到的对象都被包括在报告中。如果检测到的对象的数量超过N，则前N个检测到的对象被包括在报告中。对于每个检测到的对象，可以计算定量数字并显示在报告中。
[0040] 在一些实施例中，报告生成单元124可以利用元信息来改善由CAD单元122提供的诊断结果。例如，CAD单元122可以基于医学图像102检测肺结节并预测结节恶性。诸如年龄、吸烟史、职业等的元数据可被用以改善结节的恶性预测。
[0041] 处理器120可以渲染用户界面的可视化以在显示器130上显示数据。显示器130可以包括液晶显示器(LCD)、发光二极管显示器(LED)、等离子显示器或任何其他类型的显示器，并提供显示器上呈现的图形用户界面(GUI)用于用户输入和数据显示。所述显示器可以包括许多不同类型的材料(诸如塑料或玻璃)，并且可以是触敏的以从用户接收命令。例如，显示器可以包括基本上刚性的触敏材料(诸如Gorilla玻璃TM)或基本上柔韧的(诸如Willow玻璃TM)的触敏材料。
[0042] 可视化可以包括由CAD单元122生成的医学图像和分析结果以及由报告生成单元124生成的诊断报告。在一些实施例中，CAD结果和诊断报告可以并排显示。例如，图2至图3图示出了根据本公开的实施例的图1的诊断报告生成系统100的示例性用户界面200/300。
用户界面200/300可以包括显示由报告生成单元124生成的诊断报告的报告视图210/310，以及显示由CAD单元122生成的图像和检测结果的CAD视图220/320。可以想到，该视图的相对位置和配置仅仅是示例性的，并且可以在其他实施例中重新布置。
用户界面200/300可以包括显示由报告生成单元124生成的诊断报告的报告视图210/310，以及显示由CAD单元122生成的图像和检测结果的CAD视图220/320。可以想到，该视图的相对位置和配置仅仅是示例性的，并且可以在其他实施例中重新布置。
[0043] 如图2至图3中所示，CAD视图220/320示出了在视图中渲染的医学图像以示出检测到的对象。例如，图2中的CAD视图220在底部示出了包含多个图像切片的3D脑图像，并且在顶部示出了所选择的图像切片。脑病变使用不同颜色来突出显示并且由边界轮廓来标记。作为另一示例，图3中的CAD视图320在底部中示出了3D肺部图像，并且示出了在选定点的图像的3个横截面视图(即，矢状、冠状、横断面)。CAD视图320中示出的示例性图像包括数个肺结节。所述肺结节在CAD视图320中的相应的3个横截面视图中突出显示，例如均由边框突出显示。在一些实施例中，CAD视图220中的3D查看器呈现体积渲染、表面渲染和多平面重建(MPR)和弯曲MPR(用于血管可视化)。
[0044] 报告视图210/310包括患者信息部分212/312，其显示从元数据导出的患者信息，诸如患者的姓名、性别和年龄。根据一些实施例，报告视图210/310进一步包括描述扫描信息的检查部分214/314，该扫描信息诸如是用以采集医学图像102的图像模态、扫描的患者身体的部分以及扫描中使用的任何造影剂。在一些实施例中，报告视图210/310还包括显示基于CAD分析的诊断结果(例如，指示患者的医学状况)的印象部分216/316。报告视图210/310可以进一步包括发现部分218。在一些实施例中，如CAD视图220/320中所示的，发现部分
218/318可以显示医学图像的屏幕截图，其中检测到的对象例如由边界轮廓或边框突出显示。在一些实施例中，发现部分218/318可以进一步包括描述检测到的对象的类型(例如，脑出血、肺结节)及其位置(例如，左额叶等)的文本。
218/318可以显示医学图像的屏幕截图，其中检测到的对象例如由边界轮廓或边框突出显示。在一些实施例中，发现部分218/318可以进一步包括描述检测到的对象的类型(例如，脑出血、肺结节)及其位置(例如，左额叶等)的文本。
[0045] 在一些实施例中，发现部分218/318还可以示出量化医学状况的参数，诸如检测到的对象的尺寸、体积和强度分布以及其他观察。例如，如发现部分218中所示，左额叶中检测到的病变的直径被测量为2.5cm。另外的观察包括例如病变具有均匀的密度，以及该病变周围的水肿具有低密度。例如，如发现部分318中所示，检测到的肺结节的最长半径可以是30mm，并且其体积可以是1000mm3。其他观察结果包括结节有钙质、毛刺和分叶，因此是可疑的恶性结节。
[0046] 在一些实施例中，自动生成的报告可能并不总是足以用于临床使用，因为它缺乏放射科医生/临床医生的判定。在一些实施例中，诊断报告生成系统100可以在由显示器130显示的用户界面中提供交互式工具，以允许放射科医生/临床医生编辑CAD结果和/或诊断报告。返回图1，在一些实施例中，用户105可以经由输入/输出接口140提供用户交互106。输入/输出接口140可以是输入/输出设备，其被配置为接收用户输入或向用户提供系统输出。例如，输入/输出接口140可以是键盘、鼠标、点击按钮、触控笔、触摸屏、麦克风或其任意组合。
[0047] 在一些实施例中，可以在CAD视图220/320中执行用户交互106以编辑CAD结果。例如，用户交互106可以是用户105从(例如，在CAD视图220中示出的)3D图像中选择图像切片或从对象列表中选择检测到的对象(例如，从CAD视图320中所示的结节列表328中选择肺结节)。作为另一示例，用户交互106可进一步包括用户105通过使用图像编辑工具224/324来在视图中手动地绘制标尺/曲线/区域/点/边框/文本。
[0048] 如果用户105对编辑满意，则他可以将CAD视图220/320中所示的(至少一幅)视图拖曳到报告中，或者点击“发送”按钮226/326以发送CAD视图220/320中所示的图像到报告视图210/310，以被包括在例如发现部分218/318中。在一些实施例中，支持2D和3D图像编辑。另外，用户105可以点击“A.I.”按钮222/322来使CAD单元122基于用户对图像的编辑再次执行定量分析，并将更新的参数发送到报告视图210/310以更新例如发现部分218/318。在一些实施例中，与CAD视图220/320的用户交互可以基于用户交互106自动更新报告的内容，而用户105不必拖曳或点击任何按钮。
[0049] 在一些实施例中，用户交互106还可以包括与报告视图210/310的交互。例如，部分212-218和312-318中的每一个均可以由用户105编辑。诊断报告中的可编辑区域允许用户
105(例如，放射科医生/临床医生)添加、修改或删除报告内容。在一些实施例中，用户105可以诸如通过点击取消按钮219/319来移除自动生成的文本和屏幕截图。另外，用户105可以编辑诊断报告中的任何文本部分以基于医学图像102提供他的独立诊断。在一个实施例中，文本输入通过键盘(输入/输出接口140的一个实施例)。在另一实施例中，文本输入通过麦克风(输入/输出接口140的一个实施例)，并且处理器120可以执行语音到文本翻译以将音频输入转录成文本。
105(例如，放射科医生/临床医生)添加、修改或删除报告内容。在一些实施例中，用户105可以诸如通过点击取消按钮219/319来移除自动生成的文本和屏幕截图。另外，用户105可以编辑诊断报告中的任何文本部分以基于医学图像102提供他的独立诊断。在一个实施例中，文本输入通过键盘(输入/输出接口140的一个实施例)。在另一实施例中，文本输入通过麦克风(输入/输出接口140的一个实施例)，并且处理器120可以执行语音到文本翻译以将音频输入转录成文本。
[0050] 在一些实施例中，用户界面200/300可以提供附加功能，诸如预览、打印、电子邮件或存档。例如，用户105可以双击诊断报告以完成它的定稿，将其保存到存储器150/储存器160，并通过电子邮件将其发送到另一个部门。
[0051] 存储器150和储存器160可以包括提供用于存储处理器120可能需要操作的任何类型的信息的任何适当类型的大容量存储器。存储器150和/或储存器160可以是易失性或非易失性的、磁性的、半导体、磁带、光学的、可移动的、不可移动的或其他类型的储存设备或有形(即，非暂时性)计算机可读介质，包括但不限于ROM、闪存、动态RAM和静态RAM。存储器150和/或储存器160可以被配置为存储可以由处理器120执行以执行本文公开的功能的一个或数个计算机程序。例如，存储器150和/或储存器160可以被配置为储存可以由处理器
120执行用于CAD分析和诊断报告生成的(至少一个)程序。
120执行用于CAD分析和诊断报告生成的(至少一个)程序。
[0052] 存储器150和/或储存器160可以进一步被配置为储存由处理器120使用的信息和数据。例如，存储器150和/或储存器160可以被配置为储存由图像采集系统101采集的医学图像102，以及由患者数据库103提供的患者信息104。存储器150和/或储存器160还可以储存由CAD单元122生成的CAD分析结果，以及在CAD处理期间创建的中间数据。存储器150和/或储存器160还可以储存由报告生成单元124生成的诊断报告的各种部分，诸如图像、表格和文本等。各种类型的数据可以被长期地储存、周期性地移除或者在处理每帧数据之后立即丢弃。
[0053] 图4示出了根据本公开的实施例的用于生成诊断报告的示例性方法400的流程图。例如，方法400可以由图1中的诊断报告生成设备100实现。然而，方法400不限于该示例性实施例。方法400可以包括如下所述的步骤S402-S418。可以想到，一些步骤可以是可选的以执行本文提供的公开内容。此外，一些步骤可以同时执行，或者以与图4所示不同的顺序执行。
[0054] 在步骤S402中，诊断报告生成系统100例如从图像采集设备101或医学图像数据库接收与患者相关联的一个或数个医学图像102。医学图像102可以是2D或3D图像。医学图像102可以是功能性MRI(例如，fMRI、DCE-MRI和扩散MRI)、锥形束CT(CBCT)、螺旋CT、正电子发射断层摄影(PET)、单光子发射计算机断层摄影(SPECT)、X射线成像、光学断层摄影、荧光成像、超声成像和放疗射野成像等中的任何成像模态或其组合。在一些实施例中，医学图像
102可以利用造影剂来拍摄以增强图像对比度。在步骤S404中，诊断报告生成系统100从患者数据库103接收患者信息104。例如，患者信息104可以包括患者的年龄和性别、患者病史和家族病史等。尽管S404被图示出在图4中的S402之后，但可以想到，S402和S404可以相对于彼此以任何顺序执行，或者彼此同时执行。
102可以利用造影剂来拍摄以增强图像对比度。在步骤S404中，诊断报告生成系统100从患者数据库103接收患者信息104。例如，患者信息104可以包括患者的年龄和性别、患者病史和家族病史等。尽管S404被图示出在图4中的S402之后，但可以想到，S402和S404可以相对于彼此以任何顺序执行，或者彼此同时执行。
[0055] 在步骤S406中，诊断报告生成系统100从医学图像102中检测可疑对象。在一些实施例中，CAD单元122可被用以执行CAD分析以检测显著对象。该显著对象可以是病变、肿瘤或可能指示需要治疗的患者的医学状况的另一解剖结构。例如，该显著对象可以是如图2中所示的脑损伤或如图3中所示的一个或数个肺结节。为了检测所述显著的对象，CAD单元122可以如以上结合图1详细描述地执行预处理、图像分割和分类等。在一些实施例中，可以例如使用边界轮廓或边框来为放射科医生在医学图像102中突出显示检测到的对象。
[0056] 在步骤S408中，诊断报告生成系统100基于检测到的对象诊断患者的医学状况。医学状况可以例如是检测到的对象区域正在出血，或者检测到的对象是指示癌症的肿瘤。在一些实施例中，诊断报告生成系统100可以例如使用分类方法自动诊断医学状况。例如，检测到的对象可以被在阴性(例如，肿瘤)或阳性(例如，良性)之间分类。可以使用各种分类算法，包括例如最近邻规则(例如，k-最近邻)、最小距离分类器、级联分类器、朴素贝叶斯分类器、人工神经网络、径向基函数网络(RBF)、支持向量机(SVM)和主分量分析(PCA)等。在一些实施例中，可以使用机器学习方法，诸如基于使用样本图像和已知条件训练好的神经网络，来执行自动诊断。将神经网络应用于检测到的对象，CAD单元122可以判定医学状况和患者体内存在医学状况的概率。例如，CAD单元122可以判定患者患有肺癌的概率为90％。在一些实施例中，诊断可以例如与来自放射科医生的输入结合而半自动执行。
[0057] 在步骤S410中，诊断报告生成系统100计算与医学状况相关联的定量参数。参数量化并描述了医学状况。在一些实施例中，所述参数可包括肿瘤的尺寸(例如直径、长度、宽度、深度等)、体积、像素强度或对比特征。例如，图2中的脑损伤的直径是2.5cm，这指示左额叶中的出血状况的严重性。在一些实施例中，所述参数可以部分地基于用户(例如，来自放射科医生)输入来确定。例如，放射科医生可以使用由用户界面200/300提供的标尺来手动地测量所述参数。
[0058] 在步骤S412中，诊断报告生成系统100自动构建诊断报告。在一些实施例中，诊断报告的构建可以由报告生成单元124来执行。在一些实施例中，报告生成单元124可以使用患者信息104生成自动报告内容。例如，报告可以包括：患者信息部分212/312，其显示患者姓名、性别和年龄；以及包含从患者的元数据导出的扫描信息的检查部分214。报告生成单元124可进一步基于步骤S408生成报告的诊断内容。例如，诊断报告可以包括印象部分216/316和发现部分218/318。报告中的诊断部分可以包括从CAD分析导入的图像的屏幕截图以及文本信息，所述文本信息指示例如检测到的对象的类型(即，出血型脑出血)、检测到的对象的位置(即，左额叶)以及在步骤S410中计算的参数。在一些实施例中，文本信息可以基于诸如表1和表2中所示的查找表来确定。在一些实施例中，报告生成单元124可以利用元信息来改进由CAD单元122提供的诊断结果。例如，CAD单元122可以仅基于医学图像102检测肺结节并预测结节恶性。作为步骤S416的一部分，报告生成单元124可以使用诸如年龄、吸烟史、职业等的元数据来改善结节的恶性预测。
[0059] 在步骤S414中，诊断报告生成系统100例如在显示器130上显示分析的医学图像和自动构建的诊断报告。在一些实施例中，医学图像和诊断报告可以并排显示。在一些实施例中，显示医学图像，其中检测到的对象例如使用边界轮廓或边框或增强的颜色而被突出显示。在一些实施例中，当检测到超过N个显著对象时，可以显示前N个对象。
[0060] 在步骤S416中，诊断报告生成系统100接收用户交互106。在一些实施例中，用户105可以经由输入/输出接口140提供用户交互106。在一些实施例中，用户105可以编辑CAD结果。例如，用户交互106可以是用户105从3D图像中选择图像切片或从对象列表中选择检测到的对象(例如，从结节列表中选择肺结节)。作为另一示例，用户交互106可进一步包括用户105通过使用图像编辑工具在视图中手动绘制标尺/曲线/区域/点/边框/文本。作为又一示例，用户交互106还可以包括发送或拖曳CAD视图中示出的图像和/或基于CAD分析计算的参数以被包括在诊断报告中。在一些实施例中，用户交互106还可以包括与报告自身的交互。例如，诊断报告可以包括一个或数个可编辑区域。诊断报告中的可编辑区域允许用户
105(例如，放射科医生/临床医生)添加、修改或删除报告内容。
105(例如，放射科医生/临床医生)添加、修改或删除报告内容。
[0061] 在步骤S418中，诊断报告生成系统100基于用户动作自动更新诊断报告。在一些实施例中，当用户105选择不同的图像切片(例如，从3D图像)或不同的检测到的对象(例如，图像中的另一肺结节)时，报告生成单元124相应地更新诊断报告中包括的屏幕截图。在一些实施例中，报告生成单元124基于对图像进行的编辑自动重新计算定量参数。用户对报告本身的编辑可以与现有报告结合或以其他方式与其协调。
[0062] 本公开的另一方面旨在提供一种储存指令的非暂时性计算机可读介质，所述指令在被执行时引起一个或数个处理器执行如上所述的方法。计算机可读介质可以包括易失性或非易失性的、磁性的、半导体、磁带、光学的、可移动的、不可移动或其他类型的计算机可读介质或计算机可读储存设备。例如，如所公开的，计算机可读介质可以是其上储存有计算机指令的储存设备或存储模块。在一些实施例中，计算机可读介质可以是其上储存有计算机指令的盘或闪存驱动器。
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
磁共振成像热门专利
QQ群二维码
意见反馈
意见反馈