首页 / 专利库 / 诊断设备和程序 / 医学影像学 / 核医学 / 医学成像中的成像和报告的结合

医学成像中的成像和报告的结合

阅读:549发布:2021-01-07

专利汇可以提供医学成像中的成像和报告的结合专利检索,专利查询,专利分析的服务。并且本 发明 涉及医学成像中的成像和报告的结合。由于医学成像的最终输出是放射学报告,其 质量 在很大程度上取决于放射科医师,因此需要用于医学成像和报告二者的综合系统。将成像和放射学报告结合起来。将 图像采集 、图像读取和报告联合起来,从而允许对读取做出反馈以控制采集,使得最终报告更加全面。可以自动使用通常与报告相关联的临床发现用于反馈,以用于进一步或持续的采集而无需放射科医师。可以使用临床识别来确定要执行什么 图像处理 以供读取,和/或提供来自成像系统的原始(即,非重建的)扫描数据以用于与报告生成整合了的图像处理。,下面是医学成像中的成像和报告的结合专利的具体信息内容。

1.一种用于在医学系统中进行成像并生成放射学报告的方法,所述方法包括:
医学成像扫描仪扫描患者;
图像处理器接收所述患者的临床识别;
基于所述临床识别来选择图像处理;
所述图像处理器基于所选择的图像处理对来自所述扫描的第一扫描数据进行图像处理;
基于所述图像处理将信息反馈给所述医学成像扫描仪;
所述医学成像扫描仪基于所述反馈信息重新扫描;
所述图像处理器响应于第一扫描数据、所述反馈信息和/或来自所述重新扫描的第二扫描数据而生成具有表征所述患者的叙述文本的放射学报告;以及
输出所述放射学报告。
2.根据权利要求1所述的方法,其中所述图像处理器和经机器深度学习的文本生成器位于与所述医学成像扫描仪不同的建筑物中,其中所述图像处理器从所述医学成像扫描仪接收第一扫描数据和临床识别,并且其中所述图像处理器执行所述选择。
3.根据权利要求2所述的方法,其中扫描包括用计算机断层扫描系统、磁共振系统或核医学系统进行扫描,并且其中对第一扫描数据进行图像处理包括接收作为投影数据、k空间数据或响应线数据的第一扫描数据以及基于所述临床识别将其重建至对象空间。
4.根据权利要求1所述的方法,其中,图像处理包括从第一扫描数据中进行过滤、去噪、检测、分类和/或分割。
5.根据权利要求1所述的方法,其中图像处理包括确定临床发现,其中反馈所述信息包括反馈用于所述医学成像扫描仪的扫描设置,并且其中重新扫描包括基于所述临床发现用所述扫描设置重新扫描。
6.根据权利要求1所述的方法,其中,生成包括生成经机器学习的自然语言网络。
7.根据权利要求1所述的方法,其中图像处理包括用经机器学习的网络确定第一临床发现,并且其中生成临床报告包括用第一临床发现和第二临床发现来生成所述临床报告,所述第二临床发现是源于对来自所述重新扫描的第二扫描数据的图像处理。
8.根据权利要求1所述的方法,其中图像处理包括核查第一、第二数据的质量,并且其中反馈所述信息包括基于所述质量核查来反馈执行重新扫描的请求
9.根据权利要求1所述的方法,其中接收所述临床识别包括接收症状,并且其中选择包括基于所述症状进行选择。
10.根据权利要求1所述的方法,其中,生成所述放射学报告包括生成包含病变、病变严重性和病变位置的叙述文本。
11.根据权利要求1所述的方法,其中,输出包括输出到电子医学记录数据库、咨询医师和/或所述患者。
12.一种用于进行成像并生成放射学报告的系统,所述系统包括:
医学成像器,其被配置成扫描患者,所述配置是针对临床应用;
处理器,其被配置成从所述医学成像器接收扫描数据,对所述扫描数据应用图像处理,从所述图像处理确定临床发现,基于所述临床发现控制所述医学成像器,以及从所述临床发现生成所述放射学报告;以及
接口,其被配置成输出所述放射学报告。
13.根据权利要求12所述的系统,其中,所述处理器是在与所述医学成像器不同的设施处的服务器
14.根据权利要求12所述的系统,其中,所述处理器被配置成应用作为重建、扫描质量保证、过滤、去噪、检测、分割、分类、量化和/或预测的图像处理。
15.根据权利要求12所述的系统,其中,所述处理器被配置成用基于所述临床发现的扫描设置来控制所述医学成像器。
16.根据权利要求12所述的系统,其中所述医学成像器被配置成输出针对所述临床应用的临床识别标签,并且其中所述处理器被配置成应用基于所述临床识别标签选择的图像处理。
17.根据权利要求12所述的系统,其中所述医学成像器被配置成提供来自所述扫描的没有重建的扫描数据,并且其中所述处理器被配置成作为所述图像处理的应用的一部分进行重建。
18.根据权利要求12所述的系统,其中,所述接口包括用于输出到医学记录数据库的计算机网络接口。
19.一种用于在医学系统中成像并生成放射学报告的方法,所述方法包括:
从第一和第二医学扫描仪接收第一和第二扫描数据,第一和第二扫描数据表示第一和第二患者,并且没有重建至三维对象空间中;
针对第一和第二扫描数据获得第一和第二临床指示标签;
对第一和第二扫描数据进行图像处理,包括重建,基于第一和第二临床指示标签不同,第一扫描数据的图像处理与第二扫描数据的图像处理不同;
从由所述图像处理提供的信息生成第一和第二放射学报告;以及
输出第一和第二放射学报告。
20.根据权利要求19所述的方法,其中,生成包括在接收并通过所述图像处理以及所述生成之后在不向人显示来自第一和第二扫描数据的任何图像的情况下进行生成。

说明书全文

医学成像中的成像和报告的结合

技术领域

[0001] 本实施例涉及医学成像和来自成像的报告。

背景技术

[0002] 如放射学报告之类的医学报告主要是放射科医师、医学专业人员和患者之间的书面沟通。这些报告通常包含复杂的解剖学、技术和医学信息,包括图像、测量值和提供对图像中表示的病变(pathology)的分析或总结的文本记号(例如,关键发现)。其综合解释对疾病的诊断、预后治疗具有重要价值。
[0003] 目前,图像采集和图像报告的过程是分离的。医学成像扫描仪的作用主要是产生高质量的诊断图像,而放射科医师的作用是解读那些图像并产生具有关键发现的放射学报告。由于聚焦于基于价值的护理和提高生产,因此更加强调量化和改善整体成像检查的“价值”。近年来,在图像采集方面有了长足的发展,以标准化图像协议以实现跨多个临床站点一致的高质量图像。这一焦点没有应对报告中的低效或报告中的不一致性。发明内容
[0004] 作为介绍,下面描述的优选实施例包括用于结合的成像和报告的方法、系统、指令和计算机可读介质。由于最终输出是放射学报告,其质量在很大程度上取决于放射科医师,因此更需要用于医学成像和报告二者的综合系统。将成像和放射学报告结合起来。将图像采集、图像读取和报告联合起来,从而允许对读取做出反馈以控制采集,使得最终报告更加全面。可以自动使用通常与报告相关联的临床发现用于反馈,以用于进一步或持续的采集而无需放射科医师。可以使用临床识别来确定要执行什么图像处理以供读取,和/或提供来自成像系统的原始(即,非重建的)扫描数据以用于与报告生成整合了的图像处理。
[0005] 在第一方面,提供了一种用于在医学系统中进行成像并生成放射学报告的方法。医学成像扫描仪扫描患者。图像处理器接收所述患者的临床识别。基于所述临床识别来选择图像处理。所述图像处理器基于所选择的图像处理对来自所述扫描的第一扫描数据进行图像处理。基于所述图像处理将信息反馈给所述医学成像扫描仪。所述医学成像扫描仪基于所述反馈信息重新扫描。所述图像处理器响应于第一扫描数据、所述反馈信息和/或来自所述重新扫描的第二扫描数据而生成所述放射学报告。所述放射学报告具有表征所述患者的叙述文本,并输出所述放射学报告。
[0006] 在第二方面,提供了一种用于进行成像并生成放射学报告的系统。医学成像器被配置成扫描患者。所述配置是针对临床应用。处理器被配置成从所述医学成像器接收扫描数据,对所述扫描数据应用图像处理,从所述图像处理确定临床发现,基于所述临床发现控制所述医学成像器,以及从所述临床发现生成所述放射学报告。接口被配置成输出所述放射学报告。
[0007] 在第三方面,提供了一种用于在医学系统中成像并生成放射学报告的方法。从第一和第二医学扫描仪接收第一和第二扫描数据。第一和第二扫描数据表示第一和第二患者,并且没有重建至三维对象空间中。针对第一和第二扫描数据获得第一和第二临床指示标签。执行第一和第二扫描数据的图像处理,包括重建。基于第一和第二临床指示标签不同,第一扫描数据的图像处理与第二扫描数据的图像处理不同。从由所述图像处理提供的信息生成第一和第二放射学报告。输出第一和第二放射学报告。由于联合了采集和读取来生成报告,可以在接收并通过图像处理并生成之后在不向人显示来自第一和第二扫描数据的任何图像的情况下生成报告。
[0008] 本发明由后面的权利要求来限定,并且本章节中的任何内容均不应被视为对那些权利要求的限制。下面结合优选实施例讨论本发明的其他方面和优点,并且稍后可以单独或结合地要求保护它们。附图说明
[0009] 组件和附图不一定按比例绘制,而是将重点放在例示本发明的原理上。此外,在附图中,相同的附图标号贯穿不同视图标示对应的半部分。
[0010] 图1是用于进行成像并生成医学成像检查报告的系统的一个实施例;图2是用于进行成像并生成医学放射学报告的系统的另一实施例;
图3例示了用于生成医学成像检查报告的示例交互;以及
图4是用于在医学系统中进行成像并生成放射学报告的方法的实施例的流程图

具体实施方式

[0011] 综合医学成像和报告设备或过程扫描受试者并产生临床报告作为最终输出。如图1所示,综合医学成像和报告设备包括医学成像设备22和履行中心或处理器24,履行中心或处理器24用于进行交互以生成医学成像检查报告26。与产生医学图像作为其最终产品的典型医学成像扫描仪相比,该综合设备产生描述患者的成像检查中的主要发现的医学成像检查报告。履行中心24是医学图像读取和报告基础设施。与独立于成像的远程放射学操作不同,履行中心24专被配置成以与医学成像设备22固有地互连的方式进行操作。可以使用反馈来基于来自成像的持续进行的临床发现来控制成像。可以由履行中心24而不是医学成像设备22来使用前馈进行重建,从而允许基于临床发现的重建。可以由履行中心24使用来自医学成像设备22的临床识别来选择图像处理作为迭代式或交互式成像,并继续报告读取。
[0012] 图2示出了用于对患者进行成像并生成放射学报告的系统的一个实施例的框图。该系统提供联合的成像、读取和报告。由于成像和读取之间的固有地互连的布置,(1)由于临床发现,可以使用反馈来控制成像;(2)可以为临床识别提供扫描数据以基于临床识别进行读取,而不是仅执行基于图像的放射学读取;和/或(3)可以提供非重建数据以基于读取进行重建,而不是在缺乏对所使用的重建的控制的情况下从图像进行读取。在一个实施例中,该系统实现图4的方法和/或图3的布置。
[0013] 该系统包括一个或多个医学成像器22和被示为处理器24的履行中心。该系统的其他部分包括接口27、医学记录数据库29和显示器28。可以提供另外的、不同的或更少的组件。例如,在医学成像器22上和/或为处理器24提供用户接口或输入设备。在另一示例中,提供网络或网络连接,诸如以用于联网不同组件(例如,医学成像器22与处理器24和/或处理器24与数据库29)。
[0014] 接口27、处理器24和/或显示器28是服务器、工作站或计算机的一部分。在一个实施例中,接口27、处理器24和/或显示器28是服务器或工作站。医学记录数据库29是与处理器24分离的计算机的一部分,诸如在托管的电子健康记录或电子医学记录系统中。
[0015] 医学成像器22和处理器24在不同的设施处,诸如彼此远离。医学成像器22和处理器24位于不同的建筑物、城市、州或国家。例如,处理器24通过高速计算机网络连接到多个医学成像器22,因此处理器24是服务器或在云中操作。在备选实施例中,处理器24(即,履行中心)可以位于具有医学成像器22的场所,诸如在同一建筑物或设施中,但是在不同的房间中。在其他备选实施例中,处理器24是医学成像器22的一部分或与医学成像器22在同一壳体中。每个医学成像器22包括单独的处理器24,或者一个医学成像器22实现处理器24以供该成像器22和其他成像器22使用。
[0016] 在成像器22和处理器24之间的互连断开的情况下,成像器22可以继续工作。扫描数据(例如,图像)可以被处理成可以视觉方式解读的图像并被路由到图片和存档系统以供稍后读取和/或报告生成。在没有用于联合的成像、读取和报告的互连和通信的情况下,该混合体系根据传统的生成图像、读取图像和报告的系统来操作。
[0017] 医学成像器22是磁共振(MR)、计算机断层扫描(CT)、X射线、超声或核医学(例如,正电子发射断层扫描或单光子计算机断层扫描)扫描仪。在其他实施例中,医学成像器22是多模态设备,诸如核医学和X射线或CT的结合。在其他实施例中,使用侵入性、其他非侵入性或微创成像系统。
[0018] 医学成像器22被配置成扫描患者。可以使用同一成像器22来在不同时间扫描不同的患者。可以使用其他成像器22来扫描其他患者。
[0019] 为了扫描患者,通过扫描参数的设置或值来配置医学成像器22。同一成像器22可以基于设置而不同地操作。例如,电压准直器设置、脉冲设置、偏置、空间位置、速度、行进路径、脉冲序列、定时、要使用的线圈、幅度、焦点和/或其他参数控制用于扫描患者的物理学。不同的模态具有不同的扫描参数。其他参数控制对所采集的数据的后续处理,诸如过滤、放大、重建和/或检测。
[0020] 使用不同的设置用于不同的临床应用。例如,用于胸部扫描的视场和/或焦点位置与用于下部躯干或全身扫描的视场和/或焦点位置不同。针对不同的应用,针对同一模态的参数使用不同的设置。所述应用可以是按区域和/或按病变的扫描类型(例如,针对特定疾病的核查)。技术人员基于咨询医师的指示或临床应用的选择来针对给定的患者配置医学成像器22。该配置可以使用下拉菜单或允许选择临床应用和/或调节或输入一个或多个设置的其他菜单结构。
[0021] 在某些情况下,选择通用临床应用。例如,患者抱怨胸痛。选择心脏成像应用。后来的发现可能是有动脉阻塞,因此稍后可以使用用于血管成像的更特定的临床应用。备选地,最初在没有基于成像的发现来确认预期的疾病、位置或严重性的情况下就规定更特定的临床应用。
[0022] 为了供联合的读取和报告之用,医学成像器22被配置成向处理器24输出临床识别或指示标签。临床识别标签可以是临床应用或临床应用的指示(例如,用于扫描的设置)。在其他实施例中,临床识别标签是症状、来自患者的测量结果、或指示成像原因的其他患者信息。医学成像器22将临床识别标签传送给处理器24,以用于自动生成针对该患者的发现。
[0023] 医学成像器22被配置成将扫描数据输出到处理器24。扫描数据是在任何处理阶段从扫描得到的数据。例如,提供没有重建的数据。对于CT,数据可以是没有重建为针对特定空间位置的值的针对多个投影的检测器测量结果。对于MR,数据可以是用于确定针对特定空间位置的值的傅立叶变换之前的k空间数据。对于核成像,数据可以是在用于分配特定的空间位置的断层扫描之前的响应线值。作为另一示例,提供了重建后的数据。可以对或者可以不对数据应用过滤、检测、扫描转换和/或其他图像处理以供传送到处理器24。医学成像器22提供图像数据(例如,扫描数据)作为从扫描得到的数据,其具有为了生成图像的任何数量的处理。图像数据可以被格式化以用于显示,诸如RGB值,或者可以是扫描格式(例如,标量值)。
[0024] 履行中心的处理器24是通用处理器、控制处理器、数字信号处理器、专用集成电路现场可编程门阵列或用于图像处理的其他硬件处理器。处理器24是计算机、工作站、服务器或被配置成应用图像处理、导出特定于患者的发现、和/或生成放射学报告26的其他设备的一部分。处理器24可以是计算设备的网络,诸如多个计算机或服务器。处理器24由软件、硬件和/或固件来配置。
[0025] 处理器24被配置成与一个或多个医学成像器22相互关连。处理器24是用于成像和报告生成的综合设备的第二子单元。接收原始和/或处理后的医学成像数据(例如,扫描数据)以产生临床报告26作为输出。还可以接收其他信息,诸如临床指示标签和/或患者信息。
[0026] 处理器24被配置成将图像处理应用于扫描数据。可以执行任何类型的图像处理。例如,应用重建、扫描质量保证、过滤、去噪、检测、分割、分类、量化和/或预测。图像处理提供成像质量、针对患者的测量结果或量化、更响应于或指示给定条件的图像数据、位置信息、尺寸信息、类型信息、推荐的临床决策、预期结果或进展、和/或可以用于读取和报告的其他信息。可以实现自然语言处理,以从图像处理结果和/或扫描数据生成放射学报告26的自然文本。
[0027] 图像处理使用手动编码的处理(例如算法)和/或一个或多个经机器学习的网络的应用。由处理器24实现的履行中心可以是全自动或半自动的,由人工智能(AI)算法来辅助,以进行各种图像处理任务,诸如成像检查的质量保证、重建、过滤和去噪、检测、分割、分类、量化、预测、自然语言处理等。
[0028] 图3示出了示例半自动方法或布置。处理器24应用自动图像处理算法或经机器学习的网络30。由人(诸如放射科医师)针对一致性、准确性和/或错误来审查32图像处理的输出。然后应用报告生成算法34以生成放射学报告26。人可能处于履行中心的循环中,以便保证所有或部分发现和/或报告的质量。在备选实施例中,除了放射科医师、患者或咨询医师审查最终的放射学报告26之外,不提供人类审查32。基于成像器22和处理器24之间的交互来提供全自动报告生成。
[0029] 图像处理30、报告生成34和/或由处理器24实现的其他过程使用与医学成像器22的固有互连。处理器24被配置成基于所述互连来选择要应用的图像处理。临床应用标签指示正在执行的检查的类型和/或检查的原因(例如,症状)。可以基于临床指示标签在履行中心自动调用一组特定的图像处理。使用查找表。备选地,训练经机器学习的网络(例如,深度机器学习网络25)以基于临床指示标签、扫描数据、患者信息和/或来自成像器22和/或其他来源的其他信息来选择图像处理和/或用于图像处理的设置。使用临床指示标签来对患者的检查进行分类和路由。要执行的图像处理取决于如由临床指示标签指示的在特定医学成像设备上执行的检查类型。例如,临床指示标签包括胸痛的症状和/或用超声扫描的心脏成像应用。选择用于该症状和/或应用的图像处理,诸如用于检测狭窄、有问题的瓣膜动作和/或异常心壁运动的图像处理。
[0030] 在其他实施例中,不使用临床指示标签。对扫描数据进行图像处理以确定要执行的图像处理,诸如将经机器学习的网络(例如,深度机器学习网络25)应用于扫描数据和/或具有成像数据的头部信息以选择图像处理。
[0031] 可以以另一种方式使用该固有互连。在典型的使用中,医学成像器22基于所选择的成像设置执行重建,所述设置诸如在考虑或不考虑患者特性的情况下针对特定的应用或扫描类型选择的设置。在给定互连的情况下,由医学成像器22将原始扫描数据或重建之前的扫描数据提供给处理器24。作为图像处理的应用的一部分,处理器24被配置成进行重建。要使用的重建的类型或重建设置可以是基于来自临床指示标签、临床发现和/或其他信息的查找表。备选地,经机器学习的网络(例如,深度机器学习网络25)关联输入数据,以输出重建设置或重建类型。履行中心处的图像处理算法可以直接对原始数据或重建之前的扫描数据进行操作和/或可以进行重建。此时,没有任何医学图像在医学成像器22处或被医学成像器22示出。基于图像处理的临床发现发生在来自扫描数据的图像的任何人类可视化之前。
[0032] 处理器24被配置成确定临床发现。作为报告生成或图像处理的一部分,找出临床发现。临床发现是结合分割、检测和/或分类的医学观点。临床发现提供严重性、位置、与症状的关系和/或病变或疾病类型。例如,临床发现是导致中段中度狭窄的检测到并分类好的化动脉粥样硬化斑
[0033] 临床发现是基于查找表和/或经机器学习的网络。使用来自图像处理、患者信息、临床指示标签和/或扫描数据的结果来得出一个或多个临床发现。例如,使用基于用于文本生成的一个或多个经机器学习的网络的自然语言处理系统来提供临床发现。可以使用临床发现来指导其他图像处理、报告生成和/或重新扫描。
[0034] 固有互连的另一种使用可以是基于临床发现和/或来自图像处理的结果来控制医学成像器22。通过应用经机器学习的网络(例如,深度机器学习神经网络25)和/或手动编程的算法,处理器24被配置成将输入信息(例如,扫描数据、其他图像处理的结果,诸如物理量、临床发现和/或患者数据)关联至输出(例如,扫描设置、扫描类型和/或需要重新扫描)。处理器24将以扫描设置或图像处理参数的形式的反馈输出到医学成像器22。所述设置是用于重做扫描、更改当前正在进行的扫描和/或用于执行不同的扫描。例如,临床发现是基于通用心脏扫描。要基于临床发现来执行使用造影剂或不同设置的进一步扫描以聚焦于血管或病变。在备选实施例中,该控制较不直接。例如,反馈是执行进一步扫描或改变扫描的某些方面的请求。医学成像器22处的技术人员实现该请求。
[0035] 在一个示例中,所应用的图像处理是质量核查。将扫描数据应用于经机器学习的网络,该网络被训练以输出质量指示。基于临床指示标签,选择或调整质量核查(例如,算法和/或网络)以核查成像类型的质量。在存在足够的对比度、足够的分辨率、足够的信噪比、有限的伪影和/或其他质量指示的情况下,可以使用扫描数据用于进一步的图像处理和/或临床发现。在扫描数据质量不足的情况下(诸如基于阈值测量),处理器24使用可用信息来提供用于另一扫描的设置。其他图像处理可以指示对不同或另外的扫描数据的需要或期望,诸如在另外的心搏周期上成像以更好地采样
[0036] 处理器24被配置成从图像处理的结果生成放射学报告。放射学报告包括一个或多个临床发现。还可以包括量化、分割、检测和/或其他图像处理结果。可以包括测量结果表、图像、患者信息、临床指示标签、推荐动作、可能的治疗和/或其他信息。在执行重新扫描的情况下,可以提供来自不同扫描和/或图像处理的结果。备选地,从最新或最特定的扫描的扫描数据和图像处理生成放射学报告。
[0037] 所生成的放射学报告可以包括自由文本或叙述文本。可以提供更多结构,诸如在与其他部门(section)传达临床发现的部门中的叙述文本被构造成包括其他信息。在备选实施例中,放射学报告是没有叙述文本的结构化报告,诸如将临床发现提供为症状表、检测到且已分类的疾病、已分类的严重性和/或已分割或检测的位置。
[0038] 在一个实施例中,处理器24被配置成用经机器学习的神经网络来生成临床发现和/或放射学报告。应用自然语言处理系统。处理器24应用经机器学习的网络25和/或其他自然语言处理。由处理器24实现的经机器学习的网络25有助于生成用于临床发现和/或放射学报告的文本。处理器24被配置成使用从放射学术语和/或报告的语料库、明语语料库和/或一个或多个词嵌套语言学模型训练的网络25来基于输入扫描数据、图像处理结果和/或测量结果来进行生成。
[0039] 自然语言处理系统包括深度机器学习网络。还可以包括其他自然语言处理工具。计算语言学(例如,语言学家规则)、信息检索和/或知识表示可以是自然语言处理系统的一部分。
[0040] 深度机器学习网络有助于自然语言处理系统的任何部分,诸如分析、解析、提取、检索证据和/或生成临床发现。可以训练一个网络来执行所有这些动作。可以针对每个动作训练单独的网络。一些动作可以不使用任何经机器学习的网络。深度机器学习网络是任何现在已知或以后开发的神经网络。一般而言,深度学习使用具有原始数据或未转换为其他特征的数据作为输入和地面真值的神经网络。学习输入原始数据的值与地面真值的关系。可以使用深度学习而不包括特定的语言学规则。深度神经网络经由多层特征提取来处理输入,以产生用于输出的特征。深度学习提供了用于生成输出的特征。在备选实施例中,使用其他机器学习,诸如贝叶斯网络、概率提升树或支持向量机
[0041] 对于自然语言处理,深度机器学习网络可以是递归神经网络、卷积网络、注意力模型和/或长短期记忆网络。可以使用任何架构。可以训练和应用其他深度学习的稀疏自编码模型。在学习要使用的特征以及在给定输入样本(即,特征向量)的情况下如何进行分类时,机器训练是无人监督的。学习指示地面真值的原始数据中的信息的组合,并且学习在给定输入信息组合的情况下的输出。
[0042] 经训练的网络存储在存储器中。存储经训练的人工智能(即机器学习网络)。训练的结果是矩阵或其他模型。该模型表示通过使用深度学习进行机器训练而学习到的知识。可以使用其他机器学习网络表示,诸如矩阵的分层结构或其他非线性模型。
[0043] 一旦经过训练,经机器学习的网络就由诸如计算机、处理器或服务器之类的机器来应用。机器使用针对患者的输入数据(即,扫描数据、临床指示标签、来自图像处理的结果、患者信息和/或从其导出的信息)和经机器学习的网络来生成输出,诸如临床发现或具有临床发现的放射学报告26。
[0044] 可以生成其他信息以包括在放射学报告中或用于其他输出。例如,自动生成赔偿代码。基于临床指示标签、扫描数据、患者信息和/或其他信息的查找表提供所述代码。备选地,通过机器学习训练网络来提供所述代码。
[0045] 处理器24可以为不同的终端消费者(咨询师、患者和放射科医师)针对相同患者的相同检查创建多个报告。训练经机器学习的网络以为不同的终端用户或查看者输出不同的叙述文本、报告内容、报告结构和/或其他放射学报告信息。
[0046] 在另一实施例中,处理器24被配置成识别类似情况和/或提供统计信息。处理器24使用临床发现、图像处理结果(例如,量化)、患者信息和/或其他信息来识别针对类似患者的医学记录。使用所识别的医学记录来计算统计相似性和/或差异。类似患者的统计信息和/或列表可以与报告26分离地输出或包括在报告26中。
[0047] 在另一实施例中,处理器24被配置成优先级化确定临床发现和/或生成报告。由于处理器24可以与多个不同的医学成像器22通信,因此提供成像器22之间的优先级。即使对于一个成像器22,也可以提供患者之间的优先级。可以使用接收顺序。使用基于手动编程或机器学习网络的应用确定的优先级,可以在一个患者之前为另一个患者生成临床发现或放射学报告26,即便该另一个患者是后接收到的。处理器24被配置成基于可用数据来辨识急诊室患者、创伤相关患者和/或更可能具有重新扫描的患者。针对此类患者,以比针对其他患者更高的优先级来生成临床发现和/或放射学报告26。
[0048] 再次参考图2,接口27是通信端口,诸如以太网卡,或另一计算机网络接口。在其他实施例中,接口27是用户接口,诸如用户输入设备(例如,键盘鼠标、触控板、触摸屏和/或滚动球)。接口27可以是总线、芯片或用于接收和/或输出信息的其他硬件,所述信息诸如扫描数据、临床指示标签、患者信息、临床发现、扫描设置和/或放射学报告26。
[0049] 接口27被配置成输出放射学报告26。例如,放射学报告26被输出到数据库29、医学成像器22或计算机。来自履行中心的输出是临床报告,其可以被自动发送回一个或多个位置,诸如电子健康记录或电子医学记录系统、咨询医师和/或患者。
[0050] 医学记录数据库29是随机存取存储器、系统存储器、高速缓冲存储器硬盘驱动器、光学介质、磁介质、闪存驱动器、缓冲器、数据库、其组合、或者用于存储放射学报告26、患者信息、临床发现、扫描设置、临床指示标签和/或深度机器学习网络25的其他现在已知或以后开发的存储器设备。医学记录数据库29是与处理器24或医学成像器22相关联的计算机的一部分,或者是用于通过计算机网络访问的分离或远程的数据库。
[0051] 医学记录数据库29或其他存储器备选地或附加地是非暂时性计算机可读存储介质,其存储表示可由编程处理器24和/或医学成像器22执行的指令的数据。用于实现本文所讨论的过程、方法和/或技术的指令被提供在非暂时性计算机可读存储介质或存储器上,诸如高速缓存、缓冲器、RAM、可移除介质、硬盘驱动器或其他计算机可读存储介质。非暂时性计算机可读存储介质包括各种类型的易失性和非易失性存储介质。响应于存储在计算机可读存储介质中或上的一组或多组指令,执行附图中例示或本文中描述的功能、动作或任务。功能、动作或任务与指令集、存储介质、处理器或处理策略的具体类型无关,并且可以由单独地或结合地操作的软件、硬件、集成电路、固件、微代码等执行。同样,处理策略可以包括多处理、多任务处理、并行处理等。
[0052] 在一个实施例中,指令存储在可移除介质设备上以供本地或远程系统读取。在其他实施例中,指令存储在远程位置以通过计算机网络或通过电话线传输。在又其他实施例中,指令存储在给定的计算机、CPU、GPU或系统内。
[0053] 显示器28是监视器、LCD、投影仪、等离子显示器、CRT、打印机或其他现在已知或以后开发的用于显示放射学报告26、临床发现和/或患者图像的设备。显示器28接收来自处理器24、数据库29或接口27的输出。处理器24对所述数据进行格式化以用于显示(例如,映射到RGB值),并将图像存储在缓冲器中,从而配置显示器28。显示器28使用缓冲器中的图像来生成用于查看的图像。图像包括图表、字母数字文本、解剖扫描和/或其他信息。显示器28位于医学成像器22、履行中心(例如,处理器24)、医师的计算机或另一位置。
[0054] 由于处理器24与医学成像器22互连,因此聚焦于生成放射学报告而非聚焦于仅仅生成图像或仅在给定先前采集的图像的情况下进行读取和报告。通信不仅允许连续生成图像、读取和报告。结果,放射学报告和对应的临床发现可以更完整、更准确,并且不太可能导致患者的其他预约或检查。
[0055] 深度或其他机器学习网络25的使用可以使履行中心(例如,处理器24)的响应时间更迅速。由于应用网络而不是手动编程的一系列计算,计算机更快地操作以提供临床发现和/或放射学报告26。
[0056] 图4示出了用于在医学系统中对患者成像并生成放射学报告的方法的一个实施例。该处理链的成像、发现和报告部分被联合在一起,使得最终的放射学报告更可能基于对患者的给定检查而完成,而不太可能需要后续检查来完成诊断。
[0057] 该方法由图1-3的系统之一或另一系统来实现。例如,该方法由计算机、服务器、医学成像器或其他处理器来实现。在动作40中,医学成像器进行扫描,并且可以在反馈中重新扫描。图像处理器(例如,服务器)在动作42中进行接收、在动作44中进行选择、在动作45中进行重建、在动作46中进行图像处理、在动作48中进行生成、基于对医学成像器的反馈来控制扫描、并在动作49中输出到显示设备。可以使用不同的设备。
[0058] 可以提供另外的、不同的或更少的动作。例如,替代地,在图像处理器处作为动作40的一部分执行动作45的服务器处的从原始数据进行重建和/或动作46的图像处理中的一些。作为另一示例,在动作42中未接收临床识别或在动作44中未使用临床识别。在又一示例中,不使用来自动作46和/或动作48的反馈用于控制动作40的扫描。可以提供用于配置或通信的动作。
[0059] 动作44、45、46和/或48使用一个或多个手动编码的算法和/或一个或多个经机器学习的网络。使用不同的经学习的网络或分类器用于每个动作,但是可以使用公共网络(例如,多任务或级联网络)或由其他网络形成的网络来实现一个动作或两个或更多个动作的组合。可以使用任何类型的机器学习和对应的经机器学习的网络,诸如具有神经网络架构的深度学习。可以使用概率提升树、支持向量机、贝叶斯网络或其他网络。可以将一个或多个基于AI的算法(例如,经机器学习的网络)应用于同一任务,并且可以在最终报告中包括共识决策(例如,平均值)。例如,履行中心可以对同一研究运行若干损伤检测算法并以复合的方式报告结果。
[0060] 动作以所示顺序(例如,从上到下或编号顺序)或其他顺序执行。例如,动作46和45以相反的顺序或同时执行。可以在动作44之前执行动作45。动作48可以作为动作46的一部分来执行。示出了从动作46或48中的任一个对动作40的扫描的反馈。由此产生的重复可不包括动作42和/或动作45。
[0061] 在动作40中,医学成像扫描仪扫描患者。医学成像扫描仪是任何医学成像器,诸如CT、MR、核医学或超声扫描仪。
[0062] 沿着平面或在体积中扫描患者。诸如x射线、电磁脉冲、声学或其他能量之类的能量可以传输到患者体内。从患者接收或检测穿过患者并被检测到的能量和/或对能量的响应。备选地,扫描依赖于来自患者体内的发射(emission),测量所述发射。检测到的响应、能量或发射是原始扫描数据。
[0063] 作为扫描的一部分,可以处理原始扫描数据。例如,应用重建。重建可以按患者体内的位置、诸如针对患者的体积或平面中的体素像素确定患者的响应。对于MR,用傅立叶变换重建k空间数据。对于CT,通过计算机断层扫描来重建来自相对于患者的不同方向的投影图像。对于核医学,通过断层扫描来重建沿着响应线检测到的发射。
[0064] 可以提供其他的接收后处理,诸如过滤、去噪、分割、重新格式化、渲染、扫描转换、颜色映射和/或放大。通过扫描来输出来自沿着从原始扫描数据到经渲染、颜色映射的图像的该处理路径的任何点的扫描数据。
[0065] 扫描使用基于预订或规定的扫描类型的设置。医师指示临床应用或指示。技术人员基于所述应用或指示来配置医学成像扫描仪。备选地,医学成像扫描仪使用具有或不具有其他患者信息的应用或指示来自我配置扫描。
[0066] 将扫描数据、扫描设置、患者信息和/或临床识别(例如,应用或指示)传递到履行中心或图像处理器。可以从履行中心收回请求、扫描类型(例如,用于不同和/或更特定的临床应用)或扫描参数设置。
[0067] 在动作42中,实现履行中心的图像处理器接收针对患者的临床识别(例如,应用或指示)。还可以接收扫描数据、患者信息和/或扫描设置。该信息通过计算机网络提供。备选地,通过从存储器加载来接收信息。
[0068] 在一个实施例中,图像处理器和医学成像扫描仪位于不同的建筑物或设施中。例如,图像处理器是由操作医学成像扫描仪的医院或医学实践以外的不同实体操作的一个或多个服务器。可以使用同一履行中心用于多个医学成像扫描仪,诸如由不同医院拥有和操作的扫描仪。图像处理器针对不同的医学成像扫描仪接收相同或不同类型的信息,诸如接收对应于针对不同患者或原因的不同扫描的不同临床识别以及不同的扫描。备选地,图像处理器与医学成像扫描仪在同一建筑物或设施中。
[0069] 临床识别可以是症状或扫描原因的其他指示。临床识别可以是应用,诸如扫描类型。临床识别是标记或标签,但可以是扫描设置或可以从其导出应用或指示的其他信息。
[0070] 在一个实施例中,接收到的扫描数据没有重建。图像处理器要执行重建。这可以允许重建类型和/或重建设置是响应于临床发现或在医学成像扫描仪处至少在该扫描期间不可用的其他图像处理。通过基于更多信息将扫描数据重建至三维对象空间中,重建可以得到更好地按临床需要或报告进行调整的图像或其他扫描数据。
[0071] 在动作44中,图像处理器选择图像处理。可以针对不同的情况使用不同的图像处理。可以针对不同的情况使用同一图像处理内的不同设置(例如,不同的过滤器内核)。可以针对不同的情况使用不同的组和/或序列。并非依赖于用户设置的配置,而是基于当前标准、专家输入和/或其他知识库来选择图像处理。
[0072] 图像处理器使用临床识别来选择图像处理。例如,临床识别是针对心脏扫描或识别出与心脏问题相关的疼痛。所选择的图像处理包括过滤、去噪、狭窄检测、心壁异常检测、严重性分类和/或心脏功能的量化(例如,血流储备分数和/或每搏输出量)。在另一示例中,临床识别是胎儿扫描或识别出标准的3个月妊娠检查。所选择的图像处理包括心跳检测、胎儿检测、长度和/或体积量化、和/或健康分类。使用症状、临床应用、扫描设置、其他临床识别和/或其他信息来选择适当的图像处理。
[0073] 在动作46中,图像处理器以所选择的序列来执行所选择的图像处理。针对不同患者的不同图像处理是独立执行的。基于所选择的图像处理来对扫描数据进行图像处理。可以使用其他信息来进行图像处理,诸如临床识别、扫描设置和/或患者信息。执行适合于临床识别的图像处理。
[0074] 在一个实施例中,所选择的图像处理包括重建。所接收的扫描数据是投影数据、k空间数据或不表示患者体内的特定体素或位置的响应线数据。图像处理器进行重建以从扫描数据估计患者体内的不同位置的标量值。可以针对不同的患者和对应的临床指示执行不同的重建。
[0075] 在初始重建之前或之后的其他图像处理可以指示用于重建的类型和/或设置。可以重复重建。例如,临床发现指示特定类型的信息可能是重要的,诸如心壁厚度随时间的变化。可以使用具有更好或不同运动补偿的重建来为心壁提供更大的分辨率、对比度和/或运动指示。通过重做重建,所得到的扫描数据可以更好地表示感兴趣的信息。通过在履行中心中使用自动化过程,可以在不依赖于用户识别针对不同重建的需要的差异的情况下提供更好的信息。
[0076] 可以应用的其他图像处理包括从扫描数据中进行过滤、去噪、检测、分类和/或分割。检测可以允许检测解剖结构以用于量化和/或检测患者体内是否存在病变。过滤和去噪可以提供更针对于感兴趣的信息的信息。可以使用分割用于量化。
[0077] 另一种形式的图像处理可以是确定临床发现。临床发现可以包括病变、病变位置和严重程度的检测。可以包括推荐的动作和/或比较信息。临床发现可以用经机器学习的网络来确定,所述经机器学习的网络被训练以诸如从放射学报告、给定的输入扫描数据、患者信息、临床识别和/或来自其他图像处理的信息(例如,物理量或检测)提供临床发现。在一个实施例中,作为动作48的一部分提供临床发现。备选地,分离地执行临床发现,并随后将之用于生成放射学报告。
[0078] 又一种形式的图像处理是质量核查。可以测试扫描数据的质量,诸如测量信噪比、对比度平和/或分辨率。可以执行伪影存在、干扰解剖结构和/或其他质量核查。
[0079] 基于在动作48中为放射学报告生成的图像处理的一个或多个结果和/或信息,图像处理器可以将信息反馈给医学成像扫描仪。反馈可以是重复相同扫描的请求(例如,响应于质量差)、对不同扫描的请求(例如,响应于临床发现)、或针对扫描的扫描设置(例如,响应于质量核查或临床发现)。反馈允许收集更好的或额外的扫描数据,以改善最终生成的放射学报告的质量。
[0080] 响应于反馈,医学成像扫描仪在动作40中重新扫描患者。重新扫描可以是继续扫描的一部分或重新开始扫描。使用扫描设置和/或请求反馈来扫描患者。可以针对来自重新扫描的扫描数据重复动作42、44、45和/或46。
[0081] 重新扫描可以包括扫描患者的相同部位或区域和/或扫描患者的不同部位或区域。例如,再次执行相同扫描(例如,心脏扫描),但其具有一个或多个不同设置(例如,幅度)。在另一示例中,第一次扫描是对肝脏,而基于从肝脏扫描中提取的信息,用于重新扫描的第二次扫描是对另一器官。
[0082] 在动作48中,图像处理器生成放射学报告。使用扫描数据、来自图像处理的输出(例如,测量值或物理量)、患者信息、临床识别和/或其他信息来生成放射学报告。为不同的患者生成不同的放射学报告,诸如从不同的扫描数据为不同的患者生成放射学报告。即使在为不同患者提供相同临床识别的情况下,在不同扫描数据和/或患者信息中反映的病变差异仍导致针对不同患者的不同放射学报告。
[0083] 为放射学报告生成一个或多个临床发现。临床发现可以是自由文本或叙述文本的形式。例如,生成指示病变、病变严重性和病变位置作为总结意见的分句或句子。经机器学习的网络,诸如经深度机器学习的文本生成器,生成放射学报告的临床发现。自然语言处理,其中至少部分包括深度机器学习网络或经机器学习的自然语言网络,从输入数据生成叙述文本。应用已从患者放射学报告、扫描数据和患者报告的测量值的样本训练了的神经网络。可以使用不同的经深度机器学习的文本生成器用于不同的临床识别。使用临床识别用于选择算法和/或经机器学习的网络以生成放射学报告,从而允许基于特定于临床指示的语料库来进行训练。备选地,文本生成器对于不同的临床识别是通用的。
[0084] 放射学报告可以是结构化的。来自图像处理的不同信息被插入到结构化报告的不同字段中。在其他实施例中,放射学报告或该报告的一部分是非结构化的。输入叙述文本。
[0085] 可以作为联合的成像到报告系统的一部分生成放射学报告,而不显示针对一个、多个或所有患者的任何图像。在接收扫描数据直到图像处理和报告生成之后,人不会查看来自扫描数据的任何图像。诸如操作医学成像器的技术人员之类的人可以在扫描期间查看图像或者可以不查看图像。履行中心的人可以查看图像和/或其他信息,或者可以不查看。在将扫描数据发送到履行中心之后要进行查看的第一个人可以是查看放射学报告和任何包括的图像的医师。
[0086] 在发生重新扫描的情况下,放射学报告的内容可以是基于初始扫描数据和/或来自重新扫描的扫描数据。可以包括来自不同扫描数据的临床发现,诸如基于初始扫描数据的一般临床发现和基于来自重新扫描的扫描数据的更详细或特定的临床发现。可以基于来自多次扫描的扫描数据确定一个临床发现。
[0087] 在动作49中,图像处理器输出放射学报告。针对不同患者和/或医学成像扫描仪输出不同的放射学报告。输出是到显示器、电子医学记录数据库、咨询医师、患者、计算机网络接口和/或存储器。
[0088] 虽然上文参考各种实施例描述了本发明,但是应该理解,在不脱离本发明的范围的情况下,可以做出许多改变和修改。因此,前面的详细描述旨在被认为是例示性的而不是限制性的,并且应该理解,后面的权利要求,包括所有等同物,旨在限定本发明的精神和范围。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈