分析3D医学图像数据的方法、计算机程序和3D医学图像数据评估装置 |
|||||||
| 申请号 | CN202280065677.6 | 申请日 | 2022-09-07 | 公开(公告)号 | CN118043851A | 公开(公告)日 | 2024-05-14 |
| 申请人 | 皇家飞利浦有限公司; | 发明人 | N·D·M·黑楚里奇; D·V·G·黑楚里奇; M·史瑞克恩伯格; | ||||
| 摘要 | 提供了一种显示和分析3D医学图像数据的方法。该方法包括：接收解剖结构的3D医学图像数据；基于3D医学图像数据生成解剖结构的3D 渲染 图(1)；在 可视化 环境(10)中向用户(20)显示3D渲染图(1)；接收指示3D渲染图(1)上或3D渲染图(1)内的第一点(4)的用户命令；在可视化环境(10)中与第一点(4)相对应的 位置 提供2D 框架 (2)，其中2D框架(2)的第一侧面向用户(20)；在2D框架(2)内显示MPR视图(3)，其中MPR视图(3)基于2D框架(2)的位置处的3D医学图像数据，并且MPR视图(3)的大小与2D框架(2)的大小相对应；以及在用户(20)和2D框架(2)的第一侧之间提供透明裁剪体(9)，以便部分地裁剪3D渲染图(1)。此外，还提供了一种 计算机程序 和一种3D医学图像数据评估装置。 | ||||||
| 权利要求 | 1.一种分析3D医学图像数据的方法，所述方法包括： |
||||||
| 说明书全文 | 分析3D医学图像数据的方法、计算机程序和3D医学图像数据评估装置 技术领域[0001] 本发明涉及一种分析3D医学图像数据的方法、一种计算机程序和一种3D医学图像数据评估装置。 背景技术[0002] 有多种方式可以获取人体或动物体的三维(3D)医学图像数据，如3D超声(US)、计算机断层扫描(CT)、磁共振成像(MRI)、3D超声心动图(3DE)和心脏计算机断层扫描(CCT)等。显示获取的3D医学图像数据的一种方法是将其可视化为通过渲染3D图像数据生成的3D体积。因此，可视化3D体积也可称为3D渲染图。3D渲染图可以在二维(2D)屏幕、虚拟现实环境(VR)或增强现实环境(AR)中显示。特别是，即将开发的消费者友好的AR/VR头戴设备可以让用户迈入虚拟空间，在这个空间中，用户可以使用带有两个独立屏幕的头戴设备，和为左右眼分别计算出的两个图像，以"真3D"的方式立体地观察3D体积。结合非常精确的追踪手部控制器或手部追踪，可以非常自然地与3D内容进行交互。对于医学3D数据成像，与常规成像相比，VR分析与更快的导航和可变性更低的准确测量有关。 [0003] 在任何情况下，3D体积渲染或使用多平面重建(MPR)平面进行导航都是查看医学3D数据的两种最常见方法。MPR被视作数据集的"地面实况"，显示某些切割穿过3D体积的平面并用于进行测量。另一方面，虽然3D体积渲染结合VR分析提供了数据集的立体可视化，但 3D体积渲染图中的测量值对所选的体积阈值非常敏感，从而可能会导致错误的测量值和错误的临床结论。 [0004] 在虚拟现实环境中，可以同时显示体积渲染图和MPR。但问题是，不透明的MPR平面往往会遮挡其后面3D体积(即解剖结构)的视图，反之亦然。 [0005] 因此，期望能有一种解决方案，将3D体积的视觉概览能力与MPR的精确测量能力最佳地结合起来。 [0006] US2007 229500A1显示了一种使用直接体积渲染和MPR渲染的结合，在周围材料的背景下渲染MPR图像的方法。通过使MPR移位，用户可以交互式地改变切口区域，以露出图像体积的内部。 [0007] WO 2017/212063 A1显示了一种医学成像和可视化系统，该系统提供用户界面，使用户能够可视化三维数据集的体积渲染图，并操纵体积渲染图以动态选择3D数据集内的MPR平面，从而在所选MPR平面上生成B模式图像。 [0008] US2012/0308095 A1显示了一种系统，该系统用于根据与调查区域环境有关的诊断相关医学信息，调整作为图像的对象体积数据的可视化。因此，基于体积数据内的切片信息指定了至少一个切片区域。体积数据的第一映射用于在显示器上可视化该至少一个切片区域。与第一映射不同的第二映射用于可视化与切片区域相邻的区域。 发明内容[0010] 因此，本发明的目的是提供3D医学图像数据的全面(整体)可视化，同时允许对数据集进行精确测量或分析。 [0012] 根据本发明的一个方面，提供了一种分析3D医学图像数据的方法，该方法包括： [0013] 接收解剖结构的3D医学图像数据； [0014] 基于3D医学图像数据生成解剖结构的3D渲染图； [0015] 在可视化环境中向用户显示3D渲染图； [0016] 接收指示3D渲染图上或3D渲染图内的第一点的用户命令； [0018] 在2D框架内显示MPR视图，其中MPR视图基于2D框架位置处的3D医学图像数据，并且大小与2D框架的大小相对应；以及 [0019] 在用户和2D框架的第一侧之间提供透明裁剪体，以便部分地裁剪3D渲染图。 [0020] 与现有技术相比，本发明提供了一种使用3D渲染图和MPR视图两者来分析3D医学图像数据的不同方法。在现有技术中，要么使用3D渲染图，要么使用MPR视图来分析医学图像数据，而在本发明中，3D渲染图和MPR视图同时用于全面分析3D医学图像数据。也就是说，在现有技术中，这两种方法是交替使用的。因此，可以将每种分析方法的优势结合起来，以改进3D医学图像数据的分析过程。 [0021] 特别是，描绘MPR视图的2D框架可以定位在3D渲染图中的任何位置，而不会完全覆盖3D渲染图。特别是，2D框架周围的3D渲染图仍然可见(即3D渲染图没有完全被2D框架隐藏)。因此，用户仍然可以通过查看3D渲染图来获得对3D医学图像数据的空间概览。这一点非常重要，因为3D渲染图内的MPR视图的位置对于临床决策至关重要，而且非常容易出错，因为在3D渲染图内选择MPR视图的正确位置需要高水平的经验和空间想象力。根据本发明，用户可以因同时观察MPR视图和3D渲染图而具有改进的定向，以便正确定位2D框架。优选地，MPR视图(即2D框架内的视图)所覆盖的区域小于3D渲染图，并代表3D医学图像数据的一个非常具体的部分。换句话说，MPR视图的可见区域仅限于2D框架的区域。 [0022] 例如，用户可以旋转或移动3D渲染图，以获得更好的定向，并在3D渲染图内准确定位2D框架。换句话说，用户可以使用3D渲染图自行定向，从而可以在3D渲染图的适当位置准确地提供2D框架，以便详细分析3D渲染图的这一区域(如感兴趣的区域、关注区域)。由于裁剪体，用户可以具有MPR视图的基本不受阻碍的视线。也就是说，3D渲染图可以只被裁剪一部分，这样用户仍然可以看到未被切掉的3D渲染图部分。也就是说，可以对3D渲染图进行裁剪，以便在2D框架内提供基本不受阻碍的MPR视图的视线。因此，3D医学图像数据的分析可以被简化和变得更加直观，因为用户可以同时看到3D渲染图和MPR视图两者，这样他在能够详细分析MPR视图的同时，还能具有对整个3D渲染图的概览。 [0023] 3D医学图像数据可以被提供为数字图像，如以DICOM标准，即包含三维体素阵列，每个体素包含一个灰度值。这种3D医学图像数据通常是使用医学成像模式，例如MR、计算机断层扫描(CT)、正电子发射断层扫描(PET)或超声波(US)，从包含解剖结构的视场中获取的。当解剖结构是心脏时，可以有利地使用超声波，特别是经食道超声心动图(TEE)。例如，可以在一定时间跨度内获取3D医学图像数据，以便获得四维(4D)医学图像数据，其中第四维度为时间。在这种情况下，来自4D医学图像数据的一个3D图像在下文中也可称为"帧(框架，frame)"。获取3D图像的帧频为例如每秒5‑100幅，优选地是20‑60幅图像，以便允许平滑地呈现动态移动的解剖结构。时间周期通常为循环运动的至少一个循环，例如至少一次心跳。3D医学图像数据可以直接从获取医学图像数据的模式或从临床图像数据库中接收。 [0024] 3D渲染图的生成可以使用可调阈值，从而只显示阈值范围内的某些体素。彩色阴影和特殊闪电技术可用于在2D屏幕上创建深度印象。3D渲染图可以由体积渲染流程生成，该流程可以使用本领域已知的任何体积渲染技术来执行，例如US2005/0253841 A1(该文件通过引用并入本文)中所述的体积渲染技术。通常，要执行渲染，需要在空间中定义摄像机位置和观察方向。该位置可以与用户的观察位置相对应。此外，有些技术还定义每个体素的不透明度和颜色。一种常见的技术是体积射线投射。在这种技术中，为每个期望图像像素生成射线。使用简单的摄像机模型，射线从摄像机的投影中心(通常是观察位置或眼睛视点)开始，在浮动于摄像机和要渲染的体积之间的假想图像平面上穿过图像像素。然后，在整个体积中以规律或适当的间隔对射线进行采样。在每个采样点对数据进行内插，应用传递函数形成RGBA样本，将结果添加到射线的累积RGBA上，然后重复这一过程，直到射线离开体积。屏幕上的每个图像像素都要重复这一过程，以形成完整的图像。3D渲染图可以被视为可视化的三维体积。 [0025] 体积渲染可以通过Charles H.Hansen和Christopher R.Johnson编著的《可视化手册》(Elsevier Butterworth Heinemann 2005年版)中所述的技术，特别是Arie Kaufmann从第127页开始的"体积渲染概述"一章中所述的技术执行，该手册通过引用并入本文。 [0026] 可视化环境可以由具有坐标X、Y和Z(世界坐标)的可视化坐标系定义。此外，3D渲染图可以在具有坐标X’、Y’和Z’(对象坐标)的对象坐标系中定义。此外，3D医学图像数据可以相对于具有坐标X”、Y”和Z”(3D医学图像坐标)的原始坐标系进行定义。这些坐标系可以相对于彼此移位。因此，诸如3D渲染图、2D框架、表面模式等的对象可以在不同的坐标系中定义，以便相对于彼此移位。另一方面，用户的观察位置可以由可视化坐标系来定义。 [0027] 可视化环境可以是VR/AR可视化环境或非VR可视化环境。在非VR可视化环境中，用户使用的输入工具可以是键盘、指向装置(诸如鼠标、轨迹球、触摸板或触摸感应显示器)，它们通常与屏幕上看到的互动面板结合使用，互动面板包括按钮、滑块等。这些按钮或滑块可以例如由用户用手指或指向装置来致动，例如，用户可以移动屏幕上的光标来致动输入工具。通过这种输入工具，用户可以例如放大或缩小可视化图像，调适可视化参数/设置，诸如3D渲染图阈值、平滑度、亮度和对比度，启动并保持电影模式(cine mode)，以及对3D渲染图和/或MPR视图进行测量。在一个特别有用的实施例中，输入工具允许用户设置点并对解剖结构进行测量。例如，用户可以在3D渲染图和/或MPR视图上选择两个点，这两个点之间的距离将被自动计算出来。这一功能在计划干预措施(如选择植入物)时非常有用。在某些实施例中，用户可能能够借助于指向装置(即鼠标)或对触摸感应显示器的触摸"抓取"可视化对象，从而移动或倾斜该对象。该对象可以是模拟植入物，或者是必须单独装配到患者身上的其他对象。 [0028] 在VR环境中，这种输入工具优选地由虚拟控制器来实现，该虚拟控制器允许用户至少通过手势抓取和移动虚拟现实环境内的对象。该上下文中的"移动"也可以指旋转。VR控制器还可以允许用户改变VR对象的大小和/或形状。此外，VR控制器还可以包括按钮或滑块，用户可以通过它们进行选择。在VR环境中，用户佩戴VR头戴设备，一只手握持至少一个VR控制器(优选地每只手都握持VR控制器)，在VR环境中看到由3D渲染图和MPR视图构成的解剖结构的静态或动态可视化。优选地，用户还能看到与当前手部位置和定向相对应的位置或定向处的控制器。因此，VR环境提供了让用户将控制器移向可视化(对象)，按下特定按钮抓取该可视化(对象)，并用手的移动来移动和/或旋转可视化(对象)的可能性，就像对真实世界中的对象一样。因此，用户具有18个自由度(6个自由度，即VR头戴设备和两个VR控制器中的每一个的3个旋转自由度和3个平移自由度)来正确、直观地观察和分析可视化对象。这与和对象进行交互的自然方式非常相似。 [0029] 例如，通过上述用户操作中的任一项，正在分析3D医学图像数据的用户可以发出命令。该命令可以是： [0030] a)启动分析3D医学图像数据的工作流程， [0031] b)将指向装置(如鼠标、VR控制器、触摸板、触控板、滚轮等)的指针移动到可视化环境内的特定位置，并按下按钮和/或在该位置停留预定时间跨度， [0032] c)用户做出的手势，和/或 [0033] d)按下按钮(如虚拟按钮)。 [0034] 在任何情况下，该命令都可能导致定义第一点，该第一点具有在上面定义的坐标系中的至少一个内的空间位置。例如，可以在原始坐标系X”、Y”和Z”内定义第一点，然后可以将其转换到对象坐标系X’、Y’和Z’中。也就是说，第一点可以定位在可视化环境内的预定坐标上。优选地，该坐标定义了可视化环境内的空间位置(X、Y、Z坐标)。 [0035] 情况a)可以包括在计算机或其他包括处理器的机器上开始执行方法。也就是说，命令可以是开始执行方法的命令。在这种情况下，用户所指示的第一点可以具有在可视化坐标系内通过可视化环境内的坐标X、Y和Z定义的预定位置。优选地，该坐标定义了可视化环境内的空间位置。这使得用户能够在开始执行方法时立即执行分析。这使得工作流程对用户特别友好。此外，工作流程还可以是测量工作流程，当用户想要测量解剖结构的距离、面积、表面等时，就可以激活该工作流程。因此，只有当用户想要执行特定的工作流程(如执行测量)时，才会在可视化环境中提供第一点(以及因此提供2D框架)。在这样的命令之前，可视化环境内可以没有2D框架，用户可以无阻碍地查看完整的3D渲染图。因此，在开始执行特定工作流程之前，用户可以获得对整个3D渲染图的印象。第一点的初始位置可以在开始该方法之前设置。 [0036] 情况b)可以被视为主动发出直接指示第一点的位置的命令。例如，用户可以将控制器(在VR环境的情况下)或任何其他指向装置移动到可视化环境内的特定空间位置，并且可以在到达该位置时按下控制器上的按钮。替代地，用户也可以将指向装置(鼠标、触控板等)的指针移动到该位置并激活按钮。因此，第一点可以在坐标系中的至少一个内定义。这允许用户主动控制何时给出命令以及将第一点置于可视化环境内的何处。也就是说，用户可以直接且单独地控制应定义第一点的空间位置。因此，可以提供单独的工作流程。 [0037] 情况c)可以是用户的预定手势(如点头、单臂或双臂移动等)，该手势可以被执行该方法的系统识别。因此，可以提供接收器来识别用户的这些手势。在系统包括VR头戴设备的情况下，接收器可以设置在头戴设备中。替代地或附加地，可以提供摄像机，该摄像机被配置用于接收用户的手势。在情况c)中，用户指定的第一点可以是可视化环境内的给定空间位置，或者空间位置可以通过手势本身得出。例如，手势可以指定可视化环境内的空间位置。 [0038] 依据第一点，可以在可视化环境内提供2D框架。也就是说，基于第一点，可以直接或间接地从第一点的位置得出2D框架的空间位置。2D框架可以在3D渲染图上或3D渲染图内提供。换句话说，3D渲染图可以描绘3D医学图像数据中包括的解剖结构。因此，3D渲染图可以是具有轮廓线的封闭体积。2D框架可以位于3D渲染图的表面上(即封闭体积的表面上)、3D渲染图内、3D渲染图外，或者部分位于3D渲染图内部，部分位于3D渲染图外部。 [0039] 在情况d)中，用户可以点击虚拟按钮来发出第一点，而不直接定义第一点的空间位置。在这种情况下，可以首先通过可视化坐标系中的坐标X、Y和Z来定义第一点。例如，如果用户不知道在3D渲染图内将2D框架精确定位在哪里，而首先希望在3D渲染图内的预定位置具有MPR视图来找到该位置，就可以这样做。 [0040] 2D框架可能只在两个维度上有延伸。也就是说，2D框架在第三方向(如深度方向或Z方向)上可能没有延伸。替代地，2D框架可以与MPR视图具有相同的厚度(如与MPR切片具有相同的厚度)。换句话说，2D框架可以与MPR视图具有相同的尺寸。2D框架可以被视为画框，其中图片可以是MPR视图，并且其可以被细线或边缘包围，以更好地指示2D框架的位置。在可视化环境内提供2D框架至少有四种实现方式，这些方式可以与上述a)至d)中的任何一种结合使用： [0041] I)2D框架可以以用户命令指示的第一点为中心。也就是说，2D框架可以被定位成使得2D框架的重心位于第一点的位置上。 [0042] II)如上所述，2D框架可以以用户命令指示的第一点为中心。此外，第一点可以在与3D渲染图相同的坐标系内(如在对象坐标系内)具有固定的空间位置。换句话说，如果3D渲染图被移动和/或旋转，第一点以及因此2D框架也会随之移动。也就是说，相对于3D渲染图，2D框架的三个自由度(上下、前后、左右)可以是固定的。但是，2D框架仍可在三个自由度(即滚转、偏航和/或俯仰)上移动。当需要对解剖结构的特定部分进行检查时，这一点是有利的。因此，用户可以根据自己的命令将第一点定位在这样的部位，无论3D渲染图的旋转或移动如何，2D框架都提供在该特定位置。此外，2D框架可以在可视化环境中定位，相对于对象坐标系可以固定两个点。其中一个点可以是第一点，第二点可以定义成使得2D框架面向用户。因此，2D框架只能在旋转自由度上移动。这使得对用户而言特别容易，因为他可以立即开始分析2D框架内的MPR视图。 [0043] III)如上所述，2D框架可以以用户命令指示的第一点为中心。此外，还可以确定用户与2D框架之间的距离。该距离可以是用户的虚拟位置到2D框架的距离。特别是，该距离可以是用户与2D框架的重心之间的距离，或者可以是2D框架的所有点与用户之间的平均距离。换句话说，2D框架可以定义在与用户观察位置相同的坐标系中(如在可视化坐标系中)。在进一步的检查过程中，用户和2D框架之间的距离可以固定。这意味着2D框架可以被视为用户的头上显示器，因为无论用户是否改变其相对于3D渲染图的位置，2D框架与用户的距离可以始终保持不变。这样就可以在可视化环境内非常直观地进行导航，在观察大型3D医学图像数据时尤其有利。这一点在与上述d)结合时尤其有用。 [0044] IV)如上所述，2D框架可以以用户命令指示的第一点为中心。2D框架的位置然后可以固定在可视化坐标系X、Y和Z的坐标上。换句话说，3D渲染图可以移动、旋转等。但2D框架固定在可视化坐标系X、Y和Z的坐标上。特别是，3D渲染图(由对象坐标系定义)可以拖动通过2D框架，而不会影响2D框架的位置。 [0045] 2D框架可以具有多边形外轮廓(如矩形、长方体形、三角形等)。替代地，2D框架可以具有圆润轮廓(如圆形、椭圆形等)。此外，2D框架还可以具有预定大小。也就是说，2D框架可以包封预定的二维空间。预定大小可以由用户在指示命令之前手动设置，或者可以依据3D医学图像数据的大小自动设置。例如，该大小可以设置为使得2D框架至少覆盖初始可视化中的3D渲染图的面积的1％到20％，优选地是4％到10％。3D渲染图的面积可以对应于3D医学图像数据渲染到其上的图像平面的面积。替代地，2D框架的初始大小可以是对应于3D医学图像数据的立方体一侧的面积的1％到20％，优选地是4％到10％。这样，由于2D框架可以自动适应3D医学图像数据，工作流程可以顺利进行。 [0046] 在任何情况下，2D框架都可以是可调适的。也就是说，在可视化环境中提供2D框架后，可以调整2D框架的大小和/或形状。例如，用户可以增大或减小2D框架的大小和/或形状，以便2D框架充分覆盖感兴趣的区域，同时3D渲染图在2D框架周围充分可见。因此，2D框架的布置可以单独适配每个用户的偏好。 [0047] 此外，2D框架还可以具有虚拟把手。把手可以是虚拟控制面板，该虚拟控制面板也可以在可视化环境内描绘。特别是，用户可以通过操作虚拟控制面板来更改2D框架的其他设置。例如，可以通过虚拟控制面板设置MPR视图的可视化特性(如亮度、对比度等)。使用把手，用户可以改变2D框架在可视化环境内的位置。换句话说，用户可以虚拟地抓取把手，在可视化环境内的三个维度中的任一个上自由移动2D框架。例如，用户可以在3D渲染图中前后、上下、左右移动2D框架。此外，用户可以替代地或附加地使用所有三个旋转自由度来移动2D框架。 [0048] 2D框架面向用户，以便用户可以看到2D框架内描绘了什么(如MPR视图)。也就是说，2D框架不会被定向为使得用户只能看到2D框架的一个边缘。优选地，在提供2D框架时自动为其定向，使得其面向用户。2D框架可以有一个初始定向，在提供2D框架时该定向可以始终保持不变。初始定向可以由每个用户预先确定。也就是说，多个用户可以在开始分析过程之前单独设置他们自己的2D框架定向。因此，该方法可以根据每个用户的偏好进行个性化设置。然后，可以依据执行分析过程的用户提供2D框架的定向。此外，用户还可以在分析3D医学图像数据时实时调整定向。这允许用户设置他们的视场，以最佳地适配他们个人的偏好。例如，初始的一个旋转自由度(即滚转)可以是固定的，或者只能在0至5°的范围内移动。也就是说，2D框架可在两个旋转自由度(即偏航和俯仰)上移动。因此，当2D框架不随意移动时，用户具有较佳的概览，从而可以提高可用性。尤其是在2D框架具有非圆润形状的情况下，工作流程可以更有效率。 [0049] 可以在2D框架内显示MPR视图。MPR视图可以直接从2D框架的特定位置处的3D医学图像数据中得出。也就是说，如果2D框架相对于3D渲染图(和/或相对于3D医学图像数据)移动，则MPR视图可以基于3D医学图像数据进行更新。MPR视图可以显示3D医学图像数据在2D框架的位置和定向上切入的平面的所有灰度值(或内插灰度值)，并且可以被视为3D医学图像数据的"地面实况"。也就是说，在MPR视图中，任何信息都不会因为不同的显示调整(如3D渲染图的阈值)而丢失。因此，MPR视图可以与从病人身上获取的3D医学图像数据准确对应。因此，在MPR视图中进行的测量是基于最佳可用信息的。MPR视图可以通过多平面重建来生成，多平面重建可以是将3D医学图像数据从一个解剖平面(通常是横向平面)转换到其他平面(正交或斜向平面)的过程，该过程通常使用像素值插值法，优选地是近邻插值法。它可用于薄切片以及投影。例如，MPR视图可以合适地适配用于描绘支气管的解剖结构，因为支气管与扫描方向并不正交。此外，曲面MPR视图还可用于评估血管。这种重建方式有助于拉直血管中的弯曲部分，从而有助于通过MPR视图或多重MPR视图可视化整个血管。在血管已经被"拉直"后，可以进行横截面积、长度等的测量。这对手术的术前评估非常有帮助。此外，MPR视图可能是不透明的。也就是说，用户可能看不到MPR视图后面的内容。 [0050] 换句话说，MPR视图可用于更详细地观察3D医学图像数据的特定部分。MPR视图可以包括所述解剖特征，但优选地不超过感兴趣的解剖特征，即MPR视图尽可能小，仅仅大到足以包封感兴趣的特征。换句话说，在3D图像数据序列的情况下，优选地是在整个图像序列中，MPR视图(即也是2D框架)的位置、大小和/或形状可以进行调适，以尽可能近地与感兴趣的解剖特征的位置、大小、定向和/或形状相匹配。特别是，与3D渲染图相比，MPR视图可以占据较小的观察面积(如2％至20％)。也就是说，查看观察区域的人可以同时看到MPR视图和3D渲染图。例如，3D渲染图是解剖结构的表示，而感兴趣的解剖特征是所述解剖结构的一部分或与其相邻。举例来说，在用户的观察方向上，MPR视图所覆盖的3D渲染图不到1/5。因此，用户可以具有对解剖结构的概览，并知道MPR视图的精确定位。因此，在MPR视图内进行测量之前，可以防止MPR视图的错误定位。 [0051] MPR视图可以基于3D医学图像数据，因此可以始终包括所有可用信息，而无需对3D渲染图的阈值进行任何调整或对其他参数进行调整。 [0052] 根据一个有用的实施例，上述输入工具允许用户在3D渲染图中选择平面。然后，该方法优选地包括一个步骤，即显示序列中至少一幅三维医学图像的所选平面的多平面重建(MPR)，特别是在三维可视化环境中与所选平面相对应的位置。除了3D渲染图外，显示MPR视图还能让用户更详细地观察解剖结构。在虚拟现实环境中，多亏有18个自由度(VR头戴设备和两个控制器)，3D渲染图中可触摸/可抓取的MPR视图的正确定位非常快速且可验证，对MPR视图或体积渲染部分内(即3D渲染图内)的测量也变得更加精确和可靠。 [0053] 裁剪体或剪切体可以是具有体积的体，但它是透明的，使得用户可以透过它进行查看。换句话说，裁剪体内的任何体素都可以设置为具有为零的灰度值。在另一个实施例中，裁剪体内的所有体素都可以从体积渲染图中排除，并被视为不存在。在这种情况下，即使阈值为0，裁剪体内也不会出现3D渲染图。裁剪体可以由围绕裁剪体体积的表层表面来定义。也就是说，3D渲染图中定位在体积内的任何部分都可以被裁剪(即切割)掉。裁剪体的位置可以关于2D框架的位置来确定。也就是说，在提供2D框架的任何地方(参见上文)，都可以提供裁剪体。因此，用户可以随时查看2D框架(即在2D框架内描绘的MPR视图处)。如果可视化环境中有超过一个2D框架，那么可视化环境中的裁剪体的数量也可以相同。换句话说，裁剪体可以部分地裁剪2D框架的第一侧与用户之间的3D渲染图。也就是说，裁剪体可以形成一种穿过3D渲染图到达2D框架的隧道。用户可以通过所述隧道查看2D框架。这允许用户轻松查看2D框架中显示的MPR视图，同时还能观察2D框架周围的3D渲染图。此外，裁剪体可以使其大小、形状和/或位置适配2D框架的位置。例如，在2D框架被移动的情况下，裁剪体可以相应地移动，使得用户在2D框架处仍具有不受阻碍的视图。相应地，在3D渲染图被移动和/或旋转的情况下，裁剪体可进行自调适，使得用户在2D框架处具有不受阻碍的视图。也就是说，在2D框架被进一步移动到3D渲染图中的情况下，裁剪体可以扩大其大小，以部分地裁剪掉第一侧的3D渲染图，使得用户在2D框架处具有不受阻碍的视图。裁剪体还可以使其大小和形状分别适配2D框架的大小和形状。此外，3D渲染图和裁剪体可以基于用户的移动(即用户观察方向的改变)和/或2D框架的大小/形状/位置进行即时更新(如每秒60‑90次更新)。 [0054] 本发明特别适用于观察和分析感兴趣的特定解剖特征，该特征通常是解剖结构的一部分。这种感兴趣的特征特别是包含在比3D渲染图完整视场小的感兴趣的体积(VOI，关注体积)中。它可以是构成解剖结构的器官的一部分，特别是具有复杂解剖结构的部分，诸如心脏瓣膜。在一个有用的实施例中，感兴趣的解剖特征是二尖瓣、三尖瓣、主动脉瓣或肺动脉瓣。在其他实施例中，感兴趣的解剖特征可以是心脏腔室或其他重要血管(诸如冠状血管)或另外的结构(诸如肿瘤)。 [0055] 为了允许用户观察和分析感兴趣的解剖特征，提供了可视化环境，用于可视化至少两个不同种类的可视化/描绘。它们处于同一坐标系，即它们关于彼此以正确的相对空间位置和定向显示。所述至少两个可视化对象是： [0056] (i)3D医学图像数据的3D渲染图。由此，用户就能获得3D医学图像数据中所包含的整个解剖结构的详细而无阻碍的视图。在一个有用的实施例中，所选的体积渲染设置/参数，诸如阈值、平滑度等，可以自动调整和/或由用户手动调整。 [0057] (ii)第二，2D框架内描绘的MPR视图。由此，用户就能获得2D框架的特定位置处的3D医学图像数据的进一步详细信息。例如，通过视察2D框架内的MPR视图来分析二尖瓣时，用户可以同时追踪心脏的周围部分，如左心室流出道(LVOT)。这在计划诸如瓣膜置换(如经导管主动脉瓣植入术(TAVI)或经导管主动脉瓣置换术(TAVR)或二尖瓣置换)的介入手术时非常重要，在这些手术中，LVOT可以不受阻碍。 [0058] 优选地，2D框架的第一侧面向用户，以便至少与用户的观察方向基本正交。基本正交可以被视为与用户的观察方向(即3D渲染图的观察方向)成80°至100°之间的角度，优选地是88°至92°之间的角度定向。在这个范围内，用户可以有利地看到2D框架(以及因此看到MPR视图)。另一方面，如果2D框架以超出上述范围之外的角度倾斜，由于MPR视图的倾斜，2D框架中显示的MPR视图将无法正确可见。此外，在这种倾斜的2D框架中进行的测量也会相当不准确。上文定义的第一范围提供了MPR视图的足够的可见性，特别是用于在3D渲染图内正确定位2D框架。第二范围为准确测量提供了有利的MPR视图定向。如上所述，无论用户是否改变其观察方向和/或2D框架是否移动，2D框架始终会自动向用户自行定向，以便在上述范围内定向。这简化了用户的使用，因为他不必担心2D框架的正确对齐，而是可以按照最适合3D渲染图分析的方式工作。此外，用户还可以发出命令，使得MPR视图描绘预定义的视图。换句话说，在接收到这样的命令后，3D渲染图可以自动旋转，使得在2D框架内通过MPR视图描绘预定义的视图。这种预定义的视图可以是胸骨旁长轴视图、胸骨旁短轴视图(即3D渲染图相对于胸骨旁长轴视图旋转90°)、两腔视图、三腔视图和/或四腔视图。 [0059] 根据一个实施例，裁剪体与2D框架直接相邻地定位，以便裁剪2D框架的第一侧与用户之间的三维渲染图。在这种情况下，定位在2D框架和用户之间的3D渲染图的任何部分都可以被剪切掉(裁剪)。因此，用户可以看到整个MPR视图。换句话说，3D渲染图的任何部分都不会干涉对2D框架内的整个MPR视图的直接观察。当要对MPR视图进行很详细的分析时，这一点特别有用。例如，可以在MPR视图中方便地执行测量或其他分析方法。这样，这种操作就不会受到3D渲染在图2D框架的第一侧和用户之间的部分的遮挡。 [0060] 根据一个替代实施例，裁剪体可以不直接与2D框架相邻，裁剪体到2D框架的最短距离与2D框架周长长度之间的比率在0.1到0.9之间，优选地在0.1到0.6之间，最优选地在0.1到0.4之间。换句话说，裁剪体不会延伸到2D框架，因此它不会直接与2D框架相邻。也就是说，3D渲染图的一部分可以定位在2D框架的第一侧和用户之间。例如，3D渲染图的一部分可以延伸穿过MPR视图。为简单起见，可以将MPR视图视为一个基点，3D渲染图的一部分就是从这个基点建立到裁剪体的起点。这种建立的范围可以由2D框架与裁剪体之间的距离来定义。在这种情况下，用户可以在MPR视图的位置观察MPR视图和3D渲染图的一部分。上述范围定义了3D渲染图从2D框架的第一侧朝向用户的延伸范围，该延伸范围与2D框架的周长有关。换句话说，周长越大，3D渲染图在第一侧的延伸范围就越大。这一点非常有用，因为如果用户创建了大2D框架，那么与用户创建相当小的2D框架的情况相比，用户将看到的3D呈现部分也会更大。因此，3D渲染图的延伸范围可以自行适配用户设置的2D框架的大小。 [0061] 从0.1至0.9的范围对于定位2D框架特别有用。由于3D渲染图的一部分延伸穿过MPR视图，用户可以很容易地定位自己，以在可视化环境中正确地放置2D框架。由于MPR视图是不透明的，3D渲染图的一部分在2D框架的第一侧的可见性有助于用户了解2D框架后面(即2D框架的第二侧)的内容。因此，只需较少的2D框架的前后移动，就能正确定位2D框架。 [0062] 此外，0.1至0.6的范围对于检查所提供的附加模型是否符合解剖结构特别有用。模型可以是代表医疗器械的表面模型，诸如人工心脏瓣膜、起搏器或其他用于插入人体或动物体内的器械。模型可以具有把手，该把手允许用户使模型或模型部分适配解剖结构。3D渲染图在2D框架的第一侧部分可见可能会有所帮助。 [0063] 0.1至0.4的范围对于根据3D医学图像数据校准3D渲染图的阈值特别有用。需要注意的是，3D渲染图的可视化取决于阈值设置。因此，可以使用MPR视图来校准3D渲染图，以找到最佳地适合3D医学图像数据的阈值设置。在上述范围内，3D渲染图通过MPR视图仅有很小的延伸范围。这允许用户调整从2D框架的第一侧构建到MPR视图所代表的轮廓的3D渲染图。也就是说，可以改变3D渲染图的阈值，直到从2D框架的第一侧升起的3D渲染图与MPR视图上描绘的解剖结构的轮廓对齐为止。因此，可以容易地设置最能代表3D医学图像数据的阈值。 根据另一个实施例，裁剪体与2D框架之间的距离可以进行可变调整。因此，每个用户都可以单独调整3D渲染图在2D框架的第一侧上的延伸范围。 [0064] 该方法还包括接收用户命令，以便改变可视化环境中2D框架的大小，其中2D框架内的MPR视图根据2D框架的新的大小进行更新，并且其中透明裁剪体的大小根据2D框架的新的大小进行调适。 [0065] 优选地，该方法还包括接收用户命令，以便改变2D框架在可视化环境中的位置，其中2D框架内的MPR视图根据2D框架的新位置进行更新，并且其中透明裁剪体的位置根据2D框架的新位置进行调适。用户命令可以与上述在可视化环境内提供2D框架的命令类似。例如，2D框架可以具有虚拟把手，在该虚拟把手处，该2D框架可以被抓取并在可视化环境中移动。此外，用户还可以输入2D框架应被定位的坐标。这种输入可以通过使用键盘或任何其他输入媒介来实现。此外，2D图像还可以旋转和/或放大或缩小。基于2D框架相对于3D医学图像数据的新位置和/或大小，2D框架内描绘的MPR视图可以自动更新。更新后的MPR视图可能仍然基于3D医学图像数据。因此，可以避免将3D渲染图的不准确性传递到MPR视图中。也就是说，至少一个2D框架可以具有面向用户的固定定向，与用户的观察方向无关，并且其中2D框架内的MPR视图可以在3D渲染图相对于2D框架移动时自动更新，反之亦然。 [0066] 优选地，2D框架提供在通过3D渲染图在两个维度上延伸的分析平面中，其中2D框架仅覆盖分析平面的一部分。分析平面可以是透明的，这样用户的视线就不会被分析平面阻碍。2D框架可以位于分析平面的顶部上，也可以与分析平面平行。由于2D框架只覆盖3D渲染图的一部分，因此2D框架可以小于分析平面。 [0067] 根据一个实施例，透明裁剪体具有可调适的横截面，该方法还包括接收指示横截面的大小随与2D框架的距离增加而变化的比率的用户命令的步骤。如上所述，裁剪体可以定义在2D框架和用户之间延伸的体积。只要存在裁剪体体积，3D渲染图就会被裁剪掉。此外，裁剪体可以附加地裁剪2D框架和用户之间的可视化环境内显示的任何元素，诸如表面模型等。由于裁剪体是透明的，用户可以透过它观察2D框架，从而看到2D框架中显示的MPR视图。裁剪体可以由多个相互叠加以形成裁剪体的横截面来定义，其中每个横截面都与2D框架平行。在一个实施例中，裁剪体具有恒定的横截面，也就是说，每个横截面具有相同的尺寸。换句话说，裁剪体可以具有圆柱形形状。在另一个实施例中，横截面可以具有不同的尺寸。这样，就可以通过改变横截面实现不同形状的裁剪体。根据本发明的一个实施例，横截面可以是可调适的，以便在执行检查期间改变裁剪体的形状。也就是说，用户可以发出命令，以便改变裁剪体的形状和/或尺寸。作为初始设置，裁剪体的所有横截面都可以具有相同的尺寸。在这种情况下，最靠近2D框架的远侧横截面和最靠近用户观察位置的近侧横截面可以具有相同的尺寸。不过，也可以将任何其他横截面布置设置为初始设置。例如，切割体可以具有漏斗形状。也就是说，远侧横截面可以是最小的横截面，朝向近侧横截面的每个横截面都可以比前一个横截面大。也可以反过来，其中近侧截截面是最小的。因此，裁剪体可以根据用户偏好和所执行的检查的类型进行调适。例如，出于空间定向的目的，使裁剪体尽可能小(以便尽可能多地看到3D渲染图，同时也看到MPR视图)可能是有利的。 [0068] 此外，远侧横截面的形状和尺寸可以与2D框架相同。因此，可以确保用户透过裁剪体很容易看到2D框架。此外，还可以改变裁剪体的形状，然后将其恢复到初始位置。例如，裁剪体的变化可以是动画的，使裁剪体连续不断地改变其形状，然后连续不断地返回其初始位置。因此，用户可以获得对整个解剖结构的非常好的空间印象。此外，裁剪体还可以连续不断地扩大其大小，直到2D框架的第一侧的3D渲染图中的所有内容都被裁剪掉。在这种情况下，用户可以面向分析平面的整个表面。这对于进行测量或获取解剖结构的2D视图是有利的。 [0069] 优选地，该方法还包括： [0070] 接收用户命令，以便旋转和/或移动3D渲染图，使得3D渲染图在可视化环境内具有新的位置和/或定向，其中2D框架内的MPR视图对应于3D渲染图的新位置进行更新，和/或其中裁剪体的形状和/或大小对应于3D渲染图的新位置进行更新。也就是说，用户可以移动和/或旋转3D渲染图。这对于视察解剖结构后部的解剖结构特征可能是必要的。此外，移动3D渲染图还可以提高用户的3D识别能力。如上所述，可以根据选项I)至IV)之一(参见上文概述)在可视化环境内提供2D框架。在2D框架与3D渲染图不固定的情况下(如在情况II中)，当3D渲染图移动和/或旋转时，2D框架可以保持在其位置上。然而，当3D渲染图相对于2D框架移动和/或旋转时，2D框架内的MPR视图可以进行更新。类似地，裁剪体也会更新。也就是说，由于移动和/或旋转3D渲染图，第一侧(即用户和2D框架之间)的3D渲染图可能会有较大的部分必须被剪切掉，以便提供MPR视图的可见性。因此，可以调适裁剪体的形状和/或尺寸，以便裁剪掉2D框架的第一侧的3D渲染图的较大部分。因此，可以实现流畅的工作流程，其中用户始终可以很好地观察MPR视图，而不受3D渲染图相对于2D框架的位置的影响。此外，MPR视图可以基于3D医学图像(即基于地面实况)始终更新。 [0071] 优选地，该方法还包括： [0072] 接收指示3D渲染图上或3D渲染图内第二点的用户命令； [0073] 在可视化环境中与第二点相对应的位置提供第二2D框架，其中第二2D框架的第一侧面向用户，其中第二2D框架优选地至少与用户的观察方向基本正交， [0074] 在第二2D框架内显示第二MPR视图，其中第二MPR视图基于第二2D框架的位置处的3D医学图像数据，并且所述第二MPR视图的大小与第二2D框架的大小相对应；以及[0075] 在用户和第二2D框架的第一侧之间提供第二透明裁剪体，以便部分地裁剪3D渲染图。第二2D框架和/或第二裁剪体可以与上述第一2D框架和第一裁剪体具有相同的特性。这也适用于发布第二2D框架和或第二裁剪体。此外，可视化环境中还可以添加其他的2D框架。 例如，可以提供三个、四个、五个和六个2D框架。 [0076] 其他2D框架可用于分析和比较解剖结构中两个间隔开的小特征。在这种情况下，可以确保对解剖结构的概览，同时可以对特征进行详细检查。 [0077] 优选地，该方法还包括接收用户命令，以便单独改变至少一个2D框架的形状和/或大小的步骤。也就是说，每个2D框架都可以单独调适(即可以改变2D框架的形状和/或大小)。因此，2D框架可以根据被检查的相应特征的大小进行调适。例如，横截面的形状可以从圆润形变为多边形，反之亦然。此外，还可以提供第三、第四和第五框架。换句话说，可以提供多个2D框架，这些框架可以与第一2D框架具有相同的特征，和/或可以与第一2D框架类似地提供。 [0078] 优选地，该方法还包括以下步骤： [0079] 接收指示沿着从用户设置的第一点开始的测量路径进行测量的用户命令，其中2D框架围绕第一点和测量路径，并根据测量路径动态调适其大小和/或形状，以及[0080] 接收指示测量路径结束位置的用户命令。因此，用户可以进入测量模式。在此模式下，用户可以发出指示第一点的命令，以便提供第一2D框架。测量可以从第一点开始。然后，用户可以指示应测量到它的距离的第二点。这样就可以测量心脏瓣膜或血管的直径。例如，用户可以按下指向装置上的按钮来指示第一点的位置。然后，用户可以在向下按住按钮的同时将指向装置移动到第二点。在到达第二点后，用户可以松开按钮，以指示第二点的位置。 [0081] 此外，如上所述，2D框架可以设置在第一位置处。此外，2D框架可以自行拉伸至第二点，以便覆盖测量路径。因此，在测量之后会创建一个2D框架，覆盖第一点和第二点以及第一点和第二点之间的空间。在这种情况下，用户可以查看2D框架内的MPR视图，以便更好地找到第二点(如血管或空腔的边界)。因此，测量质量可以得到改善。 [0082] 如果只设置了单个点，该点所定义的2D框架仍可围绕所有三个旋转自由度(滚转、俯仰和偏航)旋转。一旦为2D框架定义了第二点，这些自由度中的两个就会被取消，2D框架区域只能绕一个轴旋转。如果设置了第三个点，则2D框架将是刚性的，不再具有任何自由度。也就是说，只有透明裁剪体可以根据旋转和/或移动的3D渲染图或用户观察位置的改变来对其自身进行调整，以允许随时自由观察这个刚性的2D框架(即在MPR视图处)。 [0083] 替代地，可以提供两个2D框架，一个位于第一点(测量起点)，另一个位于第二点(测量目标点)。在这种情况下，在两点之间，3D渲染图仍然可见。因此，用户可以具有对两点之间的空间的更好的空间理解。如果用户设置了两个点，则在任何情况下都可以自动测量这两个点之间的最短距离。可用于为该点提供2D框架的第一点可以是用作测量起点的相同的第一点。替代地，这些点可以是用户单独指定的单独点。可视化环境优选地是VR环境或AR环境。根据一个有用的实施例，三维可视化环境是虚拟现实环境。所谓"虚拟现实"，是指提供所描绘结构的真实三维体验的任何由计算机生成的可视化。因此，本发明的虚拟现实(VR)环境尤其提供视觉反馈，但也可以允许其他类型的感官反馈，诸如听觉反馈。VR环境也可以是增强现实环境，其中用户仍然看到真实环境，但VR对象(如体积渲染图和动态模型)被重叠或叠加在现实对象上，或者是混合现实，其中现实世界的对象被叠加在虚拟场景上。体积渲染的VOI和动态模型的可视化可共同形成可视化对象，优选地是虚拟现实对象。 [0084] 虚拟现实环境一般是通过向用户呈现立体图像来实现的，即每只眼睛看到不同的图像，这样大脑就会将这两个不同的图像组合成真实的三维场景。这种双目图像可以呈现在任何VR显示器上，诸如虚拟现实头戴设备或多投影环境，或者与快门眼镜连接，呈现在间歇地显示两幅图像的屏幕上。 [0085] 在VR环境中，可以通过立体渲染来显示体积渲染的VOI和动态模型：其中，体积渲染(或以其他方式渲染)的可视化/图像会计算两次，分别针对两个略有空间偏移的观察位置，即左眼和右眼各一个观察位置。当由此计算出的两个可视化例如在VR头戴设备上显示给用户，每只眼睛各一个时，用户就会获得真实的三维(VR)印象。因此，体积渲染的VOI和动态表面模型可以在VR中进行转换、观察和分析。 [0086] 在一个优选的实施例中，使用本发明的VR环境的人能够"环顾"人造世界，在其中移动，并与虚拟对象、特征或物品互动。这种效果通常由VR头戴设备创建(该VR头戴设备包括带有在每只眼睛前面的小屏幕的头戴式显示器)，但也可以通过专门设计的带有多个大屏幕的房间来创建。为了让用户在VR环境中移动，位置和定向信息必须由头戴设备传输到生成VR环境的电子设备(如头戴设备内的计算机或处理单元)，以便可视化与用户的头部移动保持一致。为了让用户与VR环境中的虚拟特征进行交互，还必须追踪手部移动，这可以通过手持式VR控制器来实现。不过，这最后一项功能以及传输位置/定向信息以便让用户在虚拟场景中走动都是可选的。 [0087] 虚拟现实环境提供的优势是，用户可以非常自信地观察和分析可视化对象，因为他获得了解剖结构的真实三维视图。此外，由于用户可以在其周围走动，甚至可能进入其中，因此他可以将可视化对象(如人体心脏的可视化)以巨大倍数放大显示，从而完全填满用户面前的空间。因此，用户具有特别好的概览，并可以进行精确度很高的测量。此外，在VR环境中，用户输入事件的处理特别简单和直观。诸如旋转对象和/或调整体积渲染的VOI的设置的动作(其在二维屏幕上可能非常麻烦)在使用VR控制器的VR环境中非常直观和快速。 [0088] 不过，本发明也可与非VR可视化环境一起有利地使用。在没有特别提及VR(虚拟现实)的地方，本文所述的特征和实施例对VR和非VR可视化环境都有用。 [0089] 优选地，该方法还包括以下步骤：接收用户命令，以便提供延伸穿过整个3D渲染图的裁剪平面，并在裁剪平面的一侧裁剪3D渲染图，其中裁剪平面在可视化环境内具有单独的定向和位置。在裁剪平面的一侧，至少可以裁剪掉3D渲染图。此外，可视化环境内的任何其他模型或可视化也可以在裁剪平面的一侧被切割掉。换句话说，裁剪平面可以代表可视化环境内的2D边界，在其一侧映射诸如3D渲染图的对象，而在另一侧至少裁剪或剪切掉3D渲染图。在整个可视化环境中，裁剪平面可以具有两个维度上的延伸。因此，即使3D渲染图的边界未精确确定，也能确保3D渲染图的每个部分都被切割掉。替代地，裁剪平面可以只延伸穿过3D渲染图。这样确保了用户仍然可以看到可视化环境内的其他可视化。裁剪平面可以基于用户命令自由移动。也就是说，与面向用户的2D框架不同，裁剪平面可以在可视化环境内自由定位和/或定向。例如，用户可以从第一方向查看3D渲染图，并从与第一方向正交的第二方向部分地裁剪掉3D渲染图。因此，用户可以将3D渲染图缩小到其检查所必需的有效大小。这进一步简化了检查，并确保了3D医学图像数据的重要部分的清晰可视化。 [0090] 优选地，该方法还包括以下步骤： [0091] 从3D医学图像数据中自动分割出表面模型，其中表面模型与解剖结构的至少一部分相对应； [0092] 在可视化环境内显示表面模型，以及 [0093] 接收用户命令，以便根据2D框架内的MPR视图调整该表面模型。例如，表面模型可以从3D医学图像数据中自动分割出来。也就是说，基于3D医学图像数据，心脏的心室可以至少部分地由表面模型来表示。然后，表面模型可用于进一步检查或计划操作。因此，表面模型优选地能尽可能地代表3D医学图像数据。检查表面模型是否符合3D医学图像数据的一种方法是将表面模型与3D渲染图进行比较。然而，由于3D渲染图所根据的渲染过程取决于阈值的设置，因此3D渲染图中可能存在不准确性。另一方面，仅使用MPR视图可能比较复杂，因为空间定向对用户来说并不容易。根据本实施例，可以使用3D渲染图和MPR视图(在2D框架内描绘)两者来检查表面模型。例如，用户可以发出命令，以便在可视化环境内除3D渲染图和2D框架之外还显示表面模型。然后，用户可以定位2D框架，使得MPR视图至少部分位于表面模型上。因此，用户可以检查表面模型是否与MPR视图所描绘的相应特征(如边界)相对应。由于3D渲染图在2D框架周围可见，用户可以容易地确定他自己的方向。因此，可以高效、准确的方式检查表面模型。根据另一个实施例，用户可以调整表面模型，使其与3D医学图像数据完美匹配。例如，用户可以移动或调整表面模型，使其与3D医学图像数据相匹配。例如，在这种情况下，可以移动定义表面模型的形状和大小的控制点。 [0094] 根据另一个方面，本发明提供了一种包括程序代码指令的计算机程序，当该程序代码指令被处理器执行时，使得处理器能够执行本发明的方法。计算机程序可以位于任何代码中，特别是适合计算机图形应用的代码，特别是用于VR编程的代码。 [0095] 在另一个方面，本发明涉及一种包括上面定义的计算机程序的计算机可读介质。计算机可读介质可以是任何数字数据存储装置，诸如USB盘、硬盘、CD‑ROM、SD卡或SSD卡。当然，计算机程序不一定要存储在这样的计算机可读介质上才能供应给客户，而是也可以通过互联网下载。 [0096] 根据另一个方面，本发明提供了一种3D医学图像数据评估装置，所述3D医学图像数据评估装置被配置用于执行本发明的方法，该评估装置包括： [0098] 用于执行本发明的方法的计算单元，以及 [0099] 可视化装置，用于提供可视化环境以及用于至少显示3D渲染图和2D框架。 [0100] 本文所述的所有实施例既适用于可在计算机屏幕、平板电脑或显示器上实现的"常规"可视化环境，也适用于VR环境。然而，VR环境是特别有利的，因为它提供了真正的3D视图和最直观/快速的用户体验/操作，以及6、12或18个自由度，用户可以在其中相对于可视化对象进行移动。 [0101] 根据本发明的方法优选地由处理器执行，该处理器可以并入任何能够控制显示器(特别是VR显示器，诸如VR头戴设备或投影显示器)的电子设备中。这种数字设备可以是计算机、PC、服务器、电视机、平板电脑、智能手机、笔记本电脑、手持设备或类似设备。处理器也可以是云计算机、工作站或医疗图像装置(尤其是超声波扫描仪)的控制台的一部分。 [0102] 上述实施例的各个特征可以与其他实施例或其他实施例的其他特征相结合，以形成新的实施例。与每个单独特征相关提及的效果也适用于这种新的实施例。此外，与方法相关提及的优势和配置也适用于装置，反之亦然。附图说明 [0103] 现在将参照所附附图对本发明的有用实施例进行描述。类似的元件或特征在图中用相同的参考符号表示。在图中： [0104] 图1显示了现有技术的可视化示意图； [0105] 图2显示了现有技术的可视化示意图； [0106] 图3显示了根据本发明一个实施例的描绘3D渲染图和MPR视图的示意图； [0107] 图4显示了根据本发明一个实施例的测量过程的示意图； [0108] 图5显示了根据本发明另一个实施例的测量过程的示意图； [0109] 图6显示了根据本发明一个实施例的分析过程的示意图； [0110] 图7显示了根据本发明另一个实施例的分析过程的示意图； [0111] 图8显示了根据本发明另一个实施例的分析过程的示意图； [0112] 图9显示了根据本发明另一个实施例的分析过程的示意图； [0113] 图10A和图10B显示了根据本发明一个实施例的具有不同阈值的3D渲染图和分析过程的示意图； [0114] 图11显示了根据本发明一个实施例的校准过程的示意图； [0115] 图12显示了根据本发明一个实施例的调适过程的示意图； [0116] 图13显示了根据本发明一个实施例的3D医学图像数据评估装置的示意图；以及[0117] 图14显示了根据本发明另一个实施例的3D医学图像数据评估装置的示意图。 具体实施方式[0118] 图1显示了一种最先进的可视化方法。特别是，在图1中，显示了3D渲染图101和延伸穿过3D渲染图101的MPR视图100。在MPR视图100的前面，查看MPR视图100的用户看不到3D渲染图。在MPR视图100的后面，由于MPR视图100的阻碍，也看不到3D渲染图。因此，用户几乎很难使用3D渲染图101确定自己的方向。 [0119] 图2也显示了一种最先进的可视化方法。在这种情况下，3D渲染图100并没有在MPR视图100的前面被切割掉。但是，3D渲染图101遮挡了MPR视图100的清晰视图。在这种情况下，用户可以在3D渲染图101上确定自己的方向，但几乎很难看到MPR视图100。 [0120] 图3显示了根据本发明一个实施例的可视化方法。特别是，在图3中，描绘了可视化环境10中的3D渲染图1。在可视化环境10内提供了2D框架2，其中描绘了MPR视图3。图3与用户视图相对应。2D框架2被设置为使得其面向用户。换句话说，2D框架2在可视化环境中的布置和定向使用户始终可以看到2D框架2内的MPR视图3。2D框架2和/或3D渲染图1可以相对于彼此移动和/或旋转。不过，2D框架2会自动确定自己的方向，使其面向用户。此外，用户可以改变他的观察方向，即使在这种情况下，2D框架2也会确定自己的方向，使其面向用户，这样用户就可以看到MPR视图3。此外，只要2D框架2相对于3D渲染图1改变其位置，2D框架2内描绘的MPR视图3就会基于新的相对位置进行更新。需要注意的是，MPR视图是基于3D医学图像数据确定的，因此代表了3D医学图像数据的地面实况。在本实施例中，可视化环境10是VR环境，用户通过使用至少一个控制器11来控制该方法。此外，在本实施例中，2D框架2具有矩形形状。不过，2D框架2也可以具有最适合要进行的检查的任何其他形状。此外，通过抓取2D框架2，用户可以调整2D框架2的大小。也就是说，可以根据用户的偏好放大和缩小2D框架2。为了始终具有MPR视图3的无阻碍视图，提供了裁剪体8(参考图7)，该裁剪体8至少部分地裁剪掉2D框架2的第一侧的3D渲染图。因此，无论2D框架2向3D渲染图1中移动多深，用户都可以看到MPR视图3。此外，在图3中，显示了三个坐标系。可视化坐标系定义了坐标X、Y和Z，其中定义了用户和用户的控制器11的观察位置。然后，定义了对象坐标系X’、Y’和Z’，其中定义了3D渲染图1和2D框架2。最后，提供了原始坐标系X”、Y”和Z”，其中定义了3D医学图像数据。在本实施例中，坐标系可以相对于彼此旋转和/或移动。为简化说明，在其他图中没有描绘坐标系，但它们也是存在的。 [0121] 图4显示了四个子图，它们显示了根据本发明另一个实施例的可视化方法。具体来说，在图4.1中，用户设置的第一点4也是测量的起点。也就是说，第一点4是测量路径5的起点。此外，在可视化环境10内还提供了2D框架2，以便在MPR视图3中描绘第一点4。然后用户可以延伸测量路径5(参考图4.2)。2D框架2以及因此MPR视图3将根据测量路径5的延伸范围进行调适。然后，在图4.3中，待测量的血管的边界在MPR视图3内可见。因此，用户可以准确地提供边界上的第二点6。因此，测量路径在第一点4和第二点6之间延伸。在图4.4中，MPR视图3描绘了已完成的测量路径5。然后，用户可以单独地调整2D框架2。例如，用户可以放大或缩小2D框架，以便获得对测量路径5的邻近区域的更好印象。 [0122] 图5显示了根据本发明另一个实施例的可视化方法。图5的方法与图4的方法的不同之处在于，2D框架2并未沿测量路径延伸，而是在第一点4设置有第一2D框架2，在第二点6设置有第二2D框架7。第一2D框架2描绘了第一MPR视图3，第二2D框架7描绘了第二MPR视图8。这样，测量路径5就延伸穿过3D渲染图1。在这种情况下，由于看到第一2D框架2和第二2D框架7内的这些位置，用户仍然可以准确地设置第一点和第二点，但由于用户看到了第一点 4和第二点6之间3D渲染图1的空间延伸范围，因此对3D渲染图1的空间延伸范围的印象也会增强。需要注意的是，第二2D框架7与第一2D框架具有相同的特性。此外，第二点6可以由用户以与第一点4相同的方式给出。 [0123] 图6显示了根据本发明一个实施例的进一步分析方法。如上所述，在本实施例中，可视化环境是VR环境。用户使用控制器11控制自己的命令。在本实施例中，用户进入分析模式，其中在可视化环境内提供2D框架。为便于说明，可以将2D框架2视为乒乓球拍。换句话说，2D框架2具有把手，用户可以在把手处虚拟地抓取2D框架2。因此，2D框架2可以固定在控制器11上，使得简单地移动控制器11就可以轻松移动和/或旋转2D框架2。以此方式，用户可以在3D渲染图1中虚拟地移动控制器11，并且例如可以搜索特定的特征。如上所述，MPR视图3描绘在2D框架2内，并根据2D框架2相对于3D渲染图1的相对位置自动调适。 [0124] 图7显示了根据本发明另一个实施例的分析过程的示意图。图7的方法与图3所描绘的方法基本对应。在图7中，场景以侧视图的形式描绘。因此，可以看到裁剪体9。裁剪体9设置在2D框架2的第一侧，以便将3D渲染图切割掉。因此，用户20可以在2D框架2内具有MPR视图3的无阻碍视图。此外，在本实施例中，2D框架2实际上固定在用户20的控制器11上，如上文关于图6所述。如上所述，2D框架在3D渲染图1中移动，以便找到特征并定位第一测量点4。裁剪体具有可调适的形状。也就是说，与用户20的观察方向正交的、定义裁剪体9的横截面可以具有单独的形状和大小。在本实施例中，裁剪体9的大小和形状可使得用户在2D框架 2内具有MPR视图3的无阻碍视图。也就是说，裁剪体可以根据2D框架2相对于3D渲染图1的新位置进行自调适。总之，裁剪体9和MPR视图3两者会根据2D框架2的新位置进行调整，以确保MPR视图3对用户20的可见性。 [0125] 图8与图7基本对应，不同之处在于提供了描绘第二MPR视图8的第二2D框架7。相应地，在第二2D框架7的第一侧也设置了第二裁剪体12。如上所述，每个2D框架2、7都定向成以便面向用户。因此，每个裁剪体9、12也被定向成(即大小和形状被设计成)以便定向到用户20。换句话说，每个裁剪体都被设置成使得用户20可以具有相应MPR视图3、8的无阻碍视图。 因此，在两个2D框架2、7定位在可视化环境内不同空间位置的情况下，裁剪体9、12可以具有不同的大小和形状。 [0126] 图9与图7基本对应，不同之处在于2D框架2具有与图3的实施例相同的另一种形状。此外，裁剪体9具有锥形形状，其中最靠近用户20的裁剪体9的横截面与最靠近2D框架2的裁剪体9的横截面相比具有更大的大小。因此，用户20可以看到裁剪体9的壁上的3D渲染图1。这可以为技术人员提供更多信息，使其更好地理解3D渲染图所描绘的解剖结构。 [0127] 图10A和图10B显示了根据本发明一个实施例的具有不同阈值的3D渲染图1和分析过程的示意图。在图10A中，如上所述的3D渲染图1被描绘为具有零阈值。也就是说，在3D渲染图1中所有体素都是可见的。因此，在3D渲染图中，用户10几乎看不到解剖结构。不过，由于裁剪体9、12将3D渲染图1切割掉，2D框架2、7中描绘的MPR视图3、8是可见的。此外，在图10A和图10B中还可以看到第一点4、第二点6和测量路径5。在图10B中，阈值被设置为值为 89/225。也就是说，所有值高于89且低于225的体素都会被渲染，以便生成3D渲染图1。因此，可以对解剖结构更好地成像。该示例旨在显示3D渲染图1对阈值设置的敏感程度。另一方面，MPR视图3、8代表3D医学图像数据的地面实况，不依赖于任何可能会降低MPR视图3、8的意义的设置。因此，这两种显示格式的创造性组合展现出未知的准确性和操作员便利性。 [0128] 此外，根据本发明的另一个实施例，MPR视图3、8的准确性用于校准3D渲染图1。在图11中，描绘了3D渲染图1。此外，还提供了描绘MPR视图3的2D框架2。与之前描述的实施例不同的是，在本实施例中，裁剪体(图11中未描绘)并没有到达2D框架2。另一方面，裁剪体8允许3D渲染图1部分地到达穿过2D框架2并因此穿过MPR视图3。换句话说，裁剪体与2D框架间隔开预定义的距离。这就确保了用户20可以看到MPR视图3和3D渲染图1从2D框架的第一侧朝向用户的部分(即这取决于裁剪体到裁剪体的第一侧的距离)。 [0129] 在本实施例中，用户看到的MPR视图3是2D框架的第一侧的3D医学图像数据的黑白呈现。此外，用户还能看到从2D框架的第一侧建立起来的3D渲染图(即延伸穿过2D框架的3D渲染图1)。3D渲染图1和MPR视图交点的外轮廓可用来校准基于MPR视图的3D渲染图的阈值。换句话说，对阈值进行调适，使得所述交点的外轮廓与MPR视图中描绘的轮廓相合。因此，该阈值可以被确定为使得3D渲染图1正确地表示解剖结构。这进一步提高了分析3D医学图像数据的准确性。 [0130] 在图12中，示意性地描绘了本发明的另一个实施例。本实施例与图7的实施例基本对应，不同之处在于在本实施例中，在可视化环境10内描绘了表面模型13。表面模型13可以基于3D医学图像数据自动生成。表面模型13可以被生成为与解剖结构的特征相对应。使用MPR视图3，用户20可以验证表面模型13确实实际上与所述特征正确对应。 [0131] 图13显示了根据本发明的非VR实施例的用户界面。在该设置中，可视化环境10位于常规的计算机屏幕23上，可视化只是二维屏幕23上的渲染。屏幕可以包括按钮和滑块面板24，该面板24允许用户倾斜、缩放、移动或以其他方式操纵3D渲染图1和2D框架2等。还是在这种用户界面中,具有3D渲染图和MPR视图3是一种有用的工具。显示器可由计算机25(诸如PC)控制，该计算机25包括处理器26和硬盘27。用户界面可以具有输入工具，诸如键盘28和/或鼠标29。 [0132] 不过，在一个优选的实施例中，用户界面是虚拟现实界面，如图14所示。这种界面由用户20佩戴的虚拟现实头戴设备21实现。头戴设备21通过电缆或通过无线连接与计算机25相连。这种虚拟现实头戴设备21包括内部显示器(每只眼睛都有独立的显示器)以及追踪头部的移动的位置传感器22。如果要呈现增强现实环境，这种头戴设备还可以包括摄像机。 此外，用户20手中握持VR控制器11，其中控制器11还包括位置传感器(未显示)以及按钮或其他输入元件。这种虚拟现实控制器11允许用户抓握和移动可视化环境5010中显示的对象。例如，VR头戴设备可以是HTC VIVE头戴设备和对应的VR控制器。 [0134] 参考符号 [0135] 1 3D渲染图 [0136] 2,7 2D框架 [0137] 3,8 MPR可视化 [0138] 4 第一点 [0139] 5 测量路径 [0140] 6 第二点 [0141] 9,12 裁剪体 [0142] 11 控制器 [0143] 13 表面模型 [0144] 20 用户 [0145] 21 头戴设备 [0146] 22 位置传感器 [0147] 23 计算机屏幕 [0148] 24 面板 [0149] 25 计算机 [0150] 26 处理器 [0151] 27 硬盘 [0152] 28 键盘 [0153] 29 鼠标 |
||||||
QQ群二维码
意见反馈
意见反馈