[0002] 在此具体参考
发明人HERVE LOMBAERT、FRANK SAUER、YIYONGSUN、CHENYANG XU于2006年11月8日提交的共同待决的美国临时
专利申请No.60/857,637(
代理人案卷号为No.2006P23957 US)，并且该美国临时专利申请的标题为Interactive 4D Virtual Endoscopy for Cardiac Imaging(用于心脏成像的交互式四维虚拟内窥镜检查术)，而且其公开内容通过引用结合于此，并要求了该美国临时专利申请的优先权的权益。
技术领域
[0003] 本发明通常涉及交互式四维(4D)成像，并且更特别地涉及用于心脏成像的四维虚拟内窥镜检查术。
背景技术
[0004] 虚拟内窥镜检查术允许由预先捕获的数据所建立的场景的
可视化。利用由用户交互式地操纵的
虚拟摄像机来产生图像。下面，首先对目前使用的成像技术以及如何可视化所捕获的数据进行简要回顾。
[0005] 目前，依照
现有技术，计算机
断层扫描(CT)和磁共振(MR)成像是用来捕获患者的解剖学图像的两种流行的成像技术。利用CT，由旋转
扫描仪所拍摄的不同的
X射线图像被用于重建三维体积。不同部分和内部解剖学部分的图像通常会以不同强度的图像呈现。利用MR共振，受激氢分子的弛豫时间被测量。使用正确的参数，能对不同的组织进行成像。这两种技术都提供了适用的
分辨率。在另一有前景的三维成像技术中，
超声波通过对来自
超声波发射器的声回声进行
定位而被用来产生图像。最近的
硬件设备允许数据的三维捕获。
[0006] 也能利用二维超声波
帧的合成来对三维体积进行内插。所捕获的数据能够在体绘制器中、在虚拟内窥镜检查术中被可视化或被可视化为单个切片。切片可以是任何任意的切片，被称为多平面重建(MPR)。通过操纵这些切片，能得到体积的三维场景。在体绘制器中，数据被直接显示为三维。能围绕该体积旋转，并且能放大或缩小(zoom or pan)该体积。通过绘制某些强度的数据，不同的组织被展现。作为观察内部的附加帮助，体积能够被任意平面切割或截断。
[0007] 在虚拟内窥镜检查术中，虚拟摄像机被定位在该体积之内。摄像机能够移动或旋转，并且能改变诸如其
视野的摄影参数。选择等值面的值用于定义构成体积中的空腔的东西。强度低于这个值会被认为是空腔，而强度高于这个值会被绘制为不透明物。在内窥镜检查视图中，所看见的分界因此取决于等值面的值。
[0008] 为了绘制虚拟内窥镜检查视图，以下两种方法被使用：光线投射和等值面可视化。第一种方法透射来自虚拟摄像机的光线，并且检测光线何时射中该体积。在分界处，曲面法线被用于计算当前
像素的正确的采光。每条光线都在屏幕上生成像素。第二种方法从该体积中提取等值面，例如，利用移动立方体
算法来提取等值面。得到的网格被放置在三维世界中，并且虚拟摄像机能够对该网格进行导航。这能够利用OpenGL或任何其他合适的图形语言来有效完成。背景信息可以在文献中被查找到：例如，参见下面引用的文献。
[0009] 目前的可视化现有技术多数保持静态。对于现有内窥镜检查方法的广泛回 顾 例 如 参 见，Anna Vilanova i Bartroli 的“Visualization Techniques for VirtualEndoscopy(虚拟内窥镜检查术的可视化技术)”(博士论文，维也纳工业大学，2001年9月)。
[0010] 四维体绘制器和动态MPR目前是可用的：例如参见Kostas Anagnostou、Tim J.Atherton、Andrew E.Waterfall 的“4D volume Rendering With The Shear WarpFaaorisation”(Proceedings of the 2000 IEEE Symposium on Volume Visualization.，第129-137页，2000年)；然而，这份材料并没有说明四维虚拟内窥镜检查术系统。
[0011] 在提供有助于获得对本发明的更好的理解的背景资料方面有用的教科书例如包括《VIRTUAL ENDOSCOPY and RELATED 3D TECHNIQUES(虚拟内窥镜检查术和相关的三维技术)》(P.Rogalla等，Springer，Berlin & New York，2002年)、《FUNDAMENTALS OF IMAGE PROCESSING(
图像处理的基本原理)》(Arthur R.Weeks，SPIE Optical Engineering Press & IEEE Press；1996年)、《IMAGE PROCESSING，ANALYSIS，AND MACHINE VISION(图像处理、分析和
机器视觉)》(第二版，Milan Sonka等，PWS出版；1999年)以及《DIGITALIMAGE PROCESSING(数字图像处理)》(第二版，Rafael C.Gonzalez等，Prentice Hall；2002年)。
发明内容
[0012] 依照本发明的方面，其中四维可视化对应于三个维数加上时间，内窥镜检查可视化利用心脏成像数据，诸如利用来自
计算机断层扫描(CT)、磁共振(MR)或超声波(US)成像的数据。系统允许对来自心脏内部的动态场景的可视化，并且能被用作诊断工具或用于外科手术规划。与三维静态内窥镜检查可视化比较，所述系统为用户提供更多的视觉信息。
[0013] 依照本发明的方面，一种用于四维(三维+时间)内窥镜检查可视化的系统利用心脏成像数据，诸如利用计算机断层扫描、磁共振或超声波成像。依照本发明的系统允许如从心脏内部观察到的动态场景的可视化。该系统能被用于诊断或用于外科手术规划。如与三维静态内窥镜检查可视化相比较的那样，该系统为用户提供更多的视觉信息。
[0014] 依照本发明的方面，一种四维虚拟内窥镜检查术的方法包括从成像设备捕获患者心脏的心脏
图像序列；捕获展示心脏的
心动周期的
心电图信号；以及利用该心电图信号来选通(gate)图像，用于由每个相对应的心动周期共同的经选择的
相位点处的相应心脏图像在相对应的心动周期接连地导出相应的三维视图。
[0015] 依照本发明的另一方面，用于导出相应的三维视图的步骤包括将心脏图像放置在三维空间中并重建体积。
[0016] 依照本发明的另一方面，捕获心电图信号的步骤包括检测心动周期的步骤和交互式选择相位点的步骤。
[0017] 依照本发明的另一方面，用于导出相应的三维视图的步骤利用(a)光线投射算法和(b)网格提取算法中的一种。
[0018] 依照本发明的另一方面，用于导出一系列相应的三维视图的步骤包括
修改三维视图，以便以所述顺序产生下幅三维视图。
[0019] 依照本发明的另一方面，用于导出一系列相应的三维视图的步骤包括感测(sensing)患者的呼吸和排除不在呼吸周期的相同相位中的图像的步骤。
[0020] 依照本发明的另一方面，用于导出一系列相应的三维视图的步骤包括感测患者体内
导管突发移动和排除其中发生这种突发运动的图像的步骤。
[0021] 依照本发明的另一方面，用于捕获心脏图像序列的步骤包括：利用虚拟摄像机的步骤；和将虚拟摄像机虚拟地附着到患者心脏的壁图像上以便产生基本上稳定的心脏图像的步骤。
[0022] 依照本发明的另一方面，一种四维(4D)虚拟内窥镜检查术的方法包括：捕获展示患者器官运动周期的该器官的运动信号；从成像设备捕获该器官的三维(3D)图像序列；利用运动信号来选通图像，用于由每个相对应的运动周期共同的经选择的相位点处的相应器官图像在相对应的运动周期接连地导出相应的三维视图。
[0023] 依照本发明的另一方面，用于捕获三维视图序列的步骤包括以下步骤之一：(a)利用具有多个换能器阵列的实时三维超声波成像设备，和(b)利用在空间上收集数据的被追踪的超声波成像设备。
[0024] 依照本发明的另一方面，利用在空间上收集数据的被追踪的超声波成像设备的步TM骤包括利用Acunav 系统。
[0025] 依照本发明的另一方面，一种用于执行四维(4D)虚拟内窥镜检查术的系统包括：存储设备，用于存储程序和其他数据；以及与存储设备进行通信的处理器，该处理器运行该程序来执行：从成像设备捕获患者心脏的心脏图像序列；捕获展示心脏的心动周期的心电图信号；和利用心电图信号选通图像，用于由每个相对应的心动周期共同的经选择的相位点处的相应心脏图像在相对应的心动周期接连地导出相应的三维(3D)视图。
[0026] 依照本发明的另一方面，一种用于执行四维(4D)虚拟内窥镜检查术的系统包括：用于捕获展示患者器官运动周期的该器官的运动信号的设备；用于从成像设备捕获该器官的三维(3D)图像序列的设备；和用于利用运动信号来选通图像的设备，用于由每个相对应的运动周期共同的经选择的相位点处的相应器官图像在相对应的运动周期接连地导出相应的三维视图。
[0027] 依照本发明的另一方面，
计算机程序产品包括具有被记录在其上的、针对程序代码的计算机程序逻辑的计算机可用介质，用于执行四维(4D)虚拟内窥镜检查术，其包括：从成像设备捕获患者心脏的心脏图像序列；捕获展示心脏的心动周期的心电图信号；和利用心电图信号来选通图像，用于由每个相对应的心动周期共同的经选择的相位点处的相应心脏图像在相对应的心动周期接连地导出相应的三维(3D)视图。
附图说明
[0028] 结合附图，本发明将由下面的详述得到更全面的理解，其中
[0029] 图1示出依照本发明原理的由相应的心动周期中的相同给定的心脏相位的帧在相对应的不同心动周期重建多个三维体积；
[0030] 图2示出依照本发明的虚拟内窥镜检查术的接连生成的视图；
[0031] 图3-7示出依照本发明原理的各步骤的示意性
流程图；以及
[0032] 图8以方框示意图的形式示出数字计算机在本发明中的应用。
具体实施方式
[0033] 为了更清楚地说明，本发明将根据示例性
实施例进行描述；然而，可以理解的是，特定实施例的详细说明并不意图限制本发明，而是帮助说明。可以理解的是，在本上下文中对例如摄像机和摄像机附件的引用通常是指虚拟等价物。
[0034] 依照本发明的方面，一种用于交互式四维虚拟内窥镜检查术系统的方法和系统的总
框架包括：
[0035] 由三维图像重建四维体积；
[0037] 交互式操纵虚拟内窥镜；以及
[0038] 交互式调整系统参数。
[0039] 四维CT和MR体积是从扫描仪直接获得的。这些方法的说明可在文献中得到，并且不必在此详细重复。因此，在此对本发明的实施例的说明中，将说明如何使用三维超声波(US)图像来重建四维体积的方式。超声波序列或者利用具有多个换能器阵列的实时三维超TM声波或者利用在空间上收集数据的被追踪的Acunav 来捕获。这样捕获的图像被放置于三维空间中，以重建体积。结合可适用的心电图信号(ECG)，US帧被选通且由对应于相同的心脏相位(cardiacphase)的帧创建多个三维体积。结果为被重建的四维体积。
[0040] 如下面将参考图1和图2说明的那样，动态场景的绘制要求在每个连续帧处使用不同的三维数据集。依照本发明的系统使用单个三维体积来生成内窥镜检查视图，且在每个新时间步长改变三维体积。每个单幅图像生成可以使用任意虚拟内窥镜检查术成像。例如可以是如在前面部分所描述的光线投射算法或者网格提取算法。该算法也可以被硬件
加速，用于动态场景的平滑可视化。
[0041] 如同静态虚拟内窥镜检查术一样，内窥镜可以由用户进行交互式操纵。依照本发明的实施例包括摄像机旋转指令；摄像机平移指令；摄像机倾斜指令和摄像机视野选择指令。
[0042] 依照本发明的系统的实施例也包括绘制器参数调整项目，诸如包括：
[0043] 改变等值面的值；
[0045] 改变采光和视野；
[0046] 改变图像分辨率；和
[0047] (例如，通过采用平均
过滤器或中值
滤波器)平滑所绘制的数据。
[0048] 这些摄像机和绘制器的固有特性可以被保存和被加载。预置也是可用的。例如，在体积加载之后，摄像机被自动放置在左
心房并指向
肺静脉。依照本发明的系统可以处理不同的模态，诸如处理CT、MR或者三维复合超声。每种模态都要求参数调整项目，这些项目配备有可用的预置。
[0049] 另外，依照本发明的系统的实施例提供时间指令，这些时间指令可以包括诸如以下的指令：
[0050] 时间导航条，其包括播放和暂停按钮、停止按钮、快进按钮和快退按钮。
[0051] 以电影文件形式记录内窥镜检查视图的指令；以及
[0052] 改变动态场景的帧频的指令。
[0053] 这些控制被用于理解场景中包括的动态化。这些控制可以被用于诊断。例如，运动异常可以利用帧通过帧分析而被检测出来。
[0054] 此外，依照本发明的系统的实施例包括诸如实时虚拟内窥镜检查术的特征；利用超声波，能够实时完成捕获(最新可用的三维体积能被用于绘制算法)。
[0055] 当场景为动态时，得到快速移动结构的稳定可视化是很困难的。可以设想将摄像机
位置与壁上的表面点“绑定”，其中摄像机就可与该点一起运动，以致在屏幕上看来是静态的。
[0056] 因此，依照本发明的实施例可包括将摄像机附着到图像中的壁或表面的特征，该壁或表面例如在心脏的情况下可以是心内膜。
[0057] 时间标记也可被提供，其中表面上的点被标记且在之后随时间变化而被追踪，因而允
许可视化和分析标记运动。
[0058]
碰撞检测也可被提供，以致当用户移动摄像机时，系统检测到摄像机与某个体积的等值面碰撞，以致摄像头不能跨越等值面移动。
[0059] 利用有效的四维路径生成算法供给更简单的心脏内导航，如在任何时候都将摄像机约束在心脏之内那样。
[0060] 如图1和2中所示，在使用三维超声波图像的情况下，测试通过使用心内回声而被执行。图1示出由相应的心动周期中的相同给
定心脏相位的各帧在相对应的不同心动周期重建多个三维体积。参考编号10表示被用于进行选通的心动周期
波形，其中箭头状的线指向下面的相应帧12-18。与给定帧相对应的代表性的、被重建的三维体积通过编号20来表示。
[0061] 图2示出虚拟内窥镜检查术的相继生成的视图(A)、(B)和(C)。尽管前述的说明性实例利用了心内回声，但是明显地，本发明方法也适用于普通的心脏超声心动图。
[0062] 图3-7提供了对本发明方法的代表性实施例的操作的进一步理解，这些图提供了本发明方法的多个方面的流程图。
[0063] 图3示出ECG信号源22，该ECG信号源22将波形信号提供给心动周期检测器和相位点选择器30，该心动周期检测器和相位点选择器30被耦合到用于进行相位点选择的交互式
控制器32。在24，捕获超声波图像序列，并且在26，这些图像被放置在三维空间中，在该三维空间中，体积图像被重建并且然后在28被选通。与来自选择器30的信号合作，在34，由对应于相应的连续心动周期中的经选择的心脏相位点的帧生成多个三维视图，并且其后在36输出这些三维视图。
[0064] 图4示出ECG信号源22，该ECG信号源22将波形信号提供给心动周期检测器和相位点选择器30，该心动周期检测器和相位点选择器30被耦合到用于进行相位点选择的交互式控制器32。在46，感测到了相应的连续心动周期中的经选择的心脏相位点的出现。在48，来自选择器30的选通信号能够选通图像，用于生成三维视图。
[0065] 在图5中，在50，由对应于相应的连续心动周期中的经选择的心脏相位点的帧生成多个三维视图，且在52，存储这些三维视图。在54，在所存储的视图与下幅或接连的视图之间进行比较。在56，所存储的视图被修改来使其与下幅视图一致。
[0066] 图6在28示出图像的选通，用于生成三维视图。来自呼吸
传感器60的信号被施加到呼吸
门控
电路(respiratory gate)62，用于相对应地选通图像。导管突发移动检测器64在66提供用于选通功能的、代表这种突发移动的信号，使得在68由对应于相应的连续心动周期中的经选择的心脏相位点的帧生成多个三维视图，这些帧不包括未被呼吸门控电路和导管突发移动门控电路选通的帧。这些视图在36被输出到图像处理和查看设备。
[0067] 图7在70示出多个三维视图的生成，通过使用光线投射算法或网格提取算法由对应于相应的连续心动周期中的经选择的心脏相位点的帧来生成这些三维视图。
[0068] 显而易见地，本发明最好被意图利用和应用结合被编程的数字计算机的成像设备来实现。图8以基本示意的形式示出用于本发明实施例的数字处理器，该数字处理器被耦合用于与输入设备、输出设备和存储设备进行双向数据通信。在82，
数据总线80将诸如ECG、超声波设备或CT扫描设备或MRI扫描设备的输入设备耦合到处理器86和图形卡、
存储器84、输出设备88以及交互式用户控制器90。
[0069] 存储设备通常被用于存储程序和其他数据。依照本发明，输入设备在广义上被如此命名为用于提供适当的一幅或多幅图像用于进行处理的设备。例如，输入可以来自成像设备，该成像设备诸如是被并入CATSCAN的设备、X射线机、MRI或其它设备，或者输入是所存储的图像，或通过与其它计算机或设备利用直连进行通信、调制过的红外光束、
无线电波、陆线、传真或卫星如例如通过
万维网或因特网那样进行输入，或者输入是任何其它适当的这种数据源。输出设备可以包括使用任意适当设备的计算机型显示设备，这些适当的设备诸如是
阴极射线显象管、
等离子体显示器、
液晶显示器等等，或者输出设备也可包括或不包括用于绘制图像的设备，以及可包括图8的存储设备或该存储设备的部分，用于存储图像，以进行进一步地处理，或用于查看、或评估(如可更方便的那样)，或者输出设备可以利用包括诸如上面关于输入设备所述的连接或耦合。处理器运行依照本发明所设置的程序，用于实现本发明的步骤。这样的被编程的计算机可通过诸如陆线、无线电、因特网等等的通信介质很容易地连接，用于进行图像数据捕获和传输。
[0070] 本发明可以很容易地(至少部分地)被实现
软件存储设备并且被
包装在软件存储设备中，该软件存储设备形成为软件产品。这可以是计算机程序产品的形式，该计算机程序产品包括具有被记录在其上的、针对程序代码的计算机程序逻辑的计算机可用介质，用于执行本发明方法。
[0071] 本发明并不被限于心脏应用。为方便起见，出于说明的目的，实施例被描述为心脏设置，但是本发明也适用于具有诸如呼吸运动的周期性运动的人体其它部分。
[0072] 本发明也例如使用说明性的示例性实施例部分被说明。可以理解的是，利用示例性实施例的说明并不是为了对其进行限制，而是为了本发明可以广泛地应用，利用示例性实施例也助于说明其原理，而又不失一般性。
[0073] 也应该理解的是，所属领域的技术人员可以对其进行各种没有在此详细描述的改变和替换。在不偏离由随后的
权利要求所限定的本发明的精神和范围的情况下，可以进行这种改变和替换。
