将3D超声和2D X射线影像组合的实时场景建模
技术领域
[0001] 本
发明涉及一种用于对在
多模态成像环境中的图像材料进行
可视化的装置、一种对在多模态成像环境中的图像材料进行可视化的方法、一种成像系统、一种计算机可读介质以及一种
计算机程序产品。
背景技术
[0002] 图像引导的医学流程，尤其是外科手术流程的一个挑战是有效地使用由患者在介入之前及期间可能已经经历了的许多成像技术提供的信息。
[0003] 例如，在心脏病学中，医师常常
访问由
C型臂采集的实时X射线图像。这些图像有非常好的空间和时间准确性，从而使得能够精确
跟踪甚至细的
导管及其他介入工具的前进。然而，软组织在这些图像中几乎不可见，并且此外，这些图像是不给出对介入场景的体积几何结构的直接访问的投影。也为了获取对该重要信息的访问，一个解决方案包括使用第二成像模态，所述第二成像模态是3D的并且能够对软组织进行成像。
[0004] 该第二成像系统的一个可能的选择是3D超声成像。该模态的优点是其在外科手术流程期间能够被实时使用。在心脏学流程中，经食管
探头能够被导航为紧邻心脏，从而产生具有在标准经胸超声的情况下几乎不可见的解剖细节的实时体积图像。
[0005] 典型的介入是经皮瓣膜修复(PVR)，如二尖瓣夹合，其中，X射线和超声的同时参与已经被发现有助于对工具/内镜置管关于软组织解剖结构的放置进行监测。
[0006] 然而已经发现，例如在
申请人的US WO 2011/070492中，当通常在巨大的压
力下执行介入时，目前显示超声实时流和X射线实时流两者的常见方式对于操作者而言，经常不足以直观到容易地理解在两个模态之间的空间关系。
发明内容
[0007] 因此可能存在对用于对超声图像和X射线图像两者的可视化的替代系统的需要。
[0008] 本发明的目的由独立
权利要求的主题来解决，其中，另外的
实施例被并入在
从属权利要求中。应当注意，下面描述的本发明的各方面同样应用于对多模态成像环境中的图像材料进行可视化的方法、成像系统、计算机程序单元以及计算机可读介质。
[0009] 根据本发明的第一方面，提供了一种用于对多模态成像环境中的图像材料进行可视化的装置。
[0010] 所述装置包括：
[0011] ·输入端口，其用于接收：i)由超声探头采集的对象的超声图像数据集，以及ii)所述对象的X射线图像，所述X射线图像是通过将所述对象暴露于从X射线成像器的X射线源发出的
辐射，由处于投影方向的平面中的X射线成像器探测器所采集的；
[0012] ·配准单元，其被配置为将所述超声图像数据集配准在针对所述X射线成像器以及所述超声探头两者的公共坐标
框架中；
[0013] ·图形显示生成器，其被配置为在屏幕上生成在用户能够选择的视图处的3D场景的图形显示，所述图形显示在针对所述X射线成像器和所述超声探头两者的所述公共坐标框架中给予对以下的表示：i)(在用户能够选择的视图处的)所述超声图像数据集的3D投影，以及ii)探测器平面中的所述X射线图像的透视3D视图，所述透视3D视图对应于所述X射线投影方向(例如，由X射线成像器的X射线源的在空间中的
位置所定义)以及用户选择的视图，所述生成器被配置为根据并且响应于在所述3D场景上的用户选择的第二视图来更新所述3D场景。
[0014] 换言之，根据一个实施例，所述装置操作以实现对所述3D场景的建模，所述建模是基于所述两幅图像(超声图像数据集以及X射线
帧)并且基于几何信息的，所述几何信息对应于两者采集方式，并且对应于从图像对计算的将两者采集方式空间“链接”的配准变换。这造成给予人类观察者对在两个模态之间的空间关系的单个并且自然的观看的图形显示。
[0015] 所述装置与先前多模态图像观察器非常不同地操作，在所述先前多模态图像观察器中，图像仅仅示出在多格窗口中，每个模态一个格，使得成像模态之间的空间关系本身并不自然地呈现到用户。
[0016] 用户选择的视图能够被认为是3D空间中的“相机”，其操作以捕获由3D空间中的两个成像模态形成的组合的场景。所述视图由以下定义：i)在公共参考框架中的位置；ii)具有观察取向的观察方向；以及iii)从所述位置沿所述方向延伸的立体
角。可以按用户
请求根据先前视图通过诸如平移、旋转或扩大(减小)的
修改或者这些修改的组合来得到所述第二视图。在3D场景上的用户选择的视图给予尤其是在所述超声图像数据集上的所述视图，以及在其平面中的所述X射线帧。
[0017] 根据一个实施例，所述生成器被配置为响应于减小请求，生成所述3D场景的缩小的版本，从而将所述成像器的SID(源到图像接收器距离)的长度容纳在所述3D场景的该版本中，其中，视觉标记物指示所述X射线源相对于在所述3D场景上的、尤其是在其平面中的所述X射线帧上和在所述超声体积上的、用户选择的视图处的所述探测器平面中的所述X射线图像的位置。
[0018] 换言之，在选择了正确的缩放之后，所述组合的场景被建模为图形显示，因此包括所述X射线源位置、在所选择的视图下的超声图像集的3D绘制以及在透视中看到的对应的X射线平面，在所述平面上，2D X射线图像被投影并且可能由于因为透视扭曲而
变形。用户能够利用两个模态的各自的成像几何结构立刻视觉理解它们在所述两个模态的3D空间中的总体布置。
[0019] 根据一个实施例，所述生成器被配置为响应于用户指明在所述X射线图像中的感兴趣点，生成视线，所述视线从所述感兴趣点延伸穿过所述3D场景上的所选择的视图中的所述超声图像数据，并且延伸到所述X射线源的所述位置。所述生成器操作以生成标记物，从而视觉指明在所述线上的对应的点，并且其中，所述线与所述3D场景上的所选择的视图中的所述超声图像数据相交。
[0020] 根据一个实施例，所述生成器被配置为响应于用户指明在所述3D场景上的所选择的视图中的所述超声图像数据集中的感兴趣点，而生成视线，所述视线从所述感兴趣点延伸到所述X射线源的所述位置，并且延伸到在所述X射线图像中并在所述线上的与所述X射线图像相交处的对应的点。所述生成器操作以生成标记物，以视觉指明在所述X射线图像中的所述对应的点。
[0021] 所述视线通过连接所述X射线源的所述位置与所述X射线图像(表示所述探测器平面)中的所述点来几何地产生，所述X射线图像中的所述点是所述超声图像数据中的所述点的投影(根据当前X射线采集几何结构)。
[0022] 在一个实施例中，所述装置给予允许所述用户手动地调节沿所述线并且在所述超声图像数据集中的标记物的位置的另外的功能。在一个实施例中，基于在所述各自的标记物的各自的近邻中的图像内容(在所述X射线图像和所述超声图像数据中)的相似度代替地使用
自动调节算法。
[0023] 解剖标志或者医学设备(导管或
导丝)能够由用户这样指明并且然后在一个或两个模态中被追踪，其中，所述视线自然地链接在所述3D场景内的相同对象/点的两个指明。感兴趣点也可以通过统计推断自动地被检测。
[0024] 根据一个实施例，所述超声图像是在超声图像数据集流中的超声图像，并且其中，所述X射线图像是X射线图像流中的X射线图像，所述两个图像流被配准在所述公共参考系中，所述生成器包括追踪器，以随时间在所述X射线图像流中或在所述超声图像数据集流中追踪所述感兴趣点，所述生成器被配置为重新生成在所述流中的各自的超声图像数据集上的所选择的视图中的或在所述流中的各自的X射线图像中的所述对应的点，并且所述生成器被配置为响应于所述X射线源的位置或所述超声探头的位置的改变而调整所述视线。
[0025] 根据一个实施例，所述图形显示是交互式图形显示并且被配置为接收所述用户选择的第一视图或第二视图或者缩小请求。尤其地并且根据一个实施例，所述屏幕是
触摸屏，并且包括所述减小请求的对所述视图的所述用户选择是通过在所述屏幕上的手动触摸或滑动动作进行的。根据另一个实施例，包括所述减小请求的对所述视图的所述用户选择是通过致动
键盘上的键或通过致动
指针工具进行的，所述键盘或指针工具通信性耦合到所述装置。
[0026] 由3D超声装备采集如本文所设想的所述超声图像数据集，因此形成3D图像体积。然而，所述装置也可以与2D超声成像器一起使用，其中，代替地产生2D切片的序列。然后通过将在其各自的图像平面中的两幅2D图像(所述X射线投影图像和所述2D超声切片)融合为
3D透视视图，来形成所述3D场景，其中，所述2D图像中的一幅或两者可能由于透视扭曲而变形。
附图说明
[0027] 现在将参考附图描述本发明的示范性实施例，其中：
[0028] 图1示出了用于图像引导的介入支持的多模态成像布置；
[0029] 图2是图1的布置中的成像几何结构的示意性特写；
[0031] 图4是
图形用户界面的另外的示意性表示；
[0032] 图5是针对对多模态图像材料进行可视化的方法的
流程图。
具体实施方式
[0033] 参考图1，示出了用于对诸如二尖瓣夹合的微创介入的多模态图像引导的支持的布置。
[0034] 大体上，所述布置包括X射线成像器100、检查台TBL以及超声成像装备USD。特别地，所述布置允许从超声成像器和X射线成像器两者采集图像。如下面将更详细地解释的，所述两个图像流以这样的方式被组合：如用户期望地利用针对相关解剖信息的两个流中的最适合的一个。
[0035] 在介入期间，患者PAT被设置于检查台TBL上。诸如导丝GW的医学设备通过进入点被引入到患者的身体中，并且介入放射医师面临对所述导丝进行导航使其通过患者的脉管系统的复杂曲径以到达病变的位点的挑战。依赖于多模态成像支持的这样的介入的范例是二尖瓣夹合、心脏介入。由介入放射医师(“操作者”)将导丝GW从进入点(例如，患者的PAT股静脉)引导通过心脏脉管系统一直到二尖瓣瓣膜。夹具通过导管被馈送，以抓住并且拉紧瓣膜的小叶，因此防
止血液
泄漏。因此在二尖瓣瓣膜夹合中，必须不仅知晓导管/导丝GE尖端的位置或位点而且知晓瓣膜的小叶的位置，因为其在心脏活动期间是震荡的。这是多模态起作用之处：尽管X射线
荧光图像由于导丝/
引导导管GW的辐射不透明而能够记录导丝或“足迹”(表示投影视图的图像部分)，但是心脏软组织(例如瓣膜小叶)仅在超声图像中可见，而由于缺乏这样的辐射不透明在X射线图像中不可见(或几乎不可见)。
[0036] X射线成像器是C型臂类型的并且允许在不同的投影方向p处从在感兴趣区域处的患者采集X射线投影图像。然而，本文还设想了不同于C型臂的成像器结构。如图1中指示的，能够相对于患者改变诸如C型臂CA的位置的成像几何结构，以如此实现不同投影方向p。在实施例中，C型臂CA以其端部中的一个承载探测器D，并且以另一相对端部承载
准直器
X射线管组件。在X射线管XR与探测器之间延伸的影像视线在本文中将被称为“SID线”，其长度是常常被称为SID(源到图像接收器距离)的成像参数。
[0037]
准直器COL对如由X射线源XR发出的X射线射束进行准直。C型臂CA可通过在具有适合的
滚珠轴承及
导轨布置的
支架CR中以顺
时针或逆时针取向滑动，来围绕其中心旋转。在其它实施例中，成像器的几何结构享有更多的
自由度。例如，整个C型臂CA可在由台TBL的边缘定义的平面X、Y中移位。这能够通过可在X、Y方向中滑动并且包括承载支架CR以及C型臂CA的悬臂的架空运载架来实现。X射线成像器的操作的整体控制是经由控制台CON的，所述控制台提供诸如
踏板或操纵杆的手动控
制模块，或者能够被编程为运行用于对X射线图像流XFt的采集的协议。
[0038] 超声成像装备USD包括超声探头USP，所述超声探头可相对于患者PAT
定位于任何期望的位置或取向u中。在一个实施例中，探头USP被引入到患者PAT中。探头USP被配置为发射超声脉冲波，所述超声脉冲波从在患者的解剖结构中的结构弹回。探头还被配置为将弹回的波配准为传入回声
声波，并且在装备中的处理器计算所述传入回声波的行进时间，以形成在特定时刻t处的在瞬时传播方向u处的3D超声图像数据体积。在介入期间，传播方向u可能改变多次，使得超声装备USD输出3D体积USVt的序列。3D超声装备的范例是申请人的US 7141020。
[0039] 两个图像数据流，即荧光X射线图像帧XF(“荧光的”)和超声体积USV，然后被转发到装置A，以对所述图像或图像的序列进行
图像处理，从而形成图形用户界面GUI，所述图形用户界面然后被绘制为在屏幕M上的视图。下面将更详细地描述装置A的操作。
[0040] 传播方向u和投影方向p分别是超声或X射线成像几何结构的部分。两者几何结构能够通过公共参考框架X、Y、Z彼此空间相关(并且与患者PAT空间相关)。如在图1中能够看到的，公共参考框架的范例由检查台TBL的平面X、Y以及垂直于所述平面的方向z所定义。然而本领域的技术人员将理解，用于两者模态的公共参考框架的其他定义在本技术中也能够被采用。
[0041] 参考图2，示出了关于成像模态的三维几何结构的更详细的视图。
[0042] 对图2中的情况的描绘要被理解为在特定的时刻t处的快照。在所述时刻t处，导丝GW在能够由导丝的尖端TP在空间中的定位定义的特定位置处。围绕所述尖端的相对小的区定义如由在虚线圆内部的区在图中指示的近邻。换言之，导丝GW的尖端TP在时刻t处的位置定义在介入的
进程期间由于导丝GW前进或“卷曲”而改变的瞬时感兴趣区域ROI。
[0043] 在时刻t处，在投影方向p处采集如图2中示出的(流XFt的)X射线帧XF。换言之，X射线射束穿过所述瞬时感兴趣区域，并且在探测器平面D中形成图像，所述图像然后由探测器单元记录为在所述时刻t处的荧光X射线帧XF。探测器单元被布置在由探测器D表面平面定义的局部
坐标系中，所述探测器D表面平面在图2中由X’、Y’指示。如2中示出并且总体上由于C型臂CA的倾斜位置，探测器D的图像平面X’、Y’、Z’相对于由台TBL平面X、Y、Z定义的公共参考框架是旋转的，并且两个参考框架经由
正交变换而相关。探头USP的超声的瞬时视场总体上具有如图2中指示的截头圆锥形状。换言之，截头圆锥体积是当放置在传播方向u中时，在时刻t处由探头声穿透的体积。超声探头USP采集几何结构的局部参考框架被示出为X”、Y”、Z”。如本文设想的US装备USD允许在单个探头位置处在方向u处采集瞬时3D体积USV，因此没有针对任何给定的3D体积USV的所需要的手动的或者以其他方式进行的对探头的移动。然而，本文也设想了对其他更常规的扫描器的使用，其中，在来自许多不同传播方向的对感兴趣体积的声穿透之后重建3D体积，所述许多不同传播方向中的每个均是通过手动地或以其他方式移动扫描器从而扫过体积来获得的。
[0044] 能够通过正交变换将每个成像模态(X射线和超声)的各自的局部参考框架与公共参考框架相关。成像器的C型臂CA(并且因此X射线源/探测器D的平面)与公共参考框架之间的空间关系是已知的。在一个实施例中，通过配准得到在超声探头USP的局部框架与C型臂CA上的探测器D的局部参考框架之间的空间链接，从而建立在超声探头USP与台的TBL平面的公共参考框架之间的链接。换言之，在一个实施例中通过所述配准来估计正交变换，如下面将更加详细地解释的。
[0045] 视图UV指明在C型臂几何结构(X射线源和探测器平面D)与US体积USV的组合的3D场景上的“相机”或用户可选择视图。通过以下来定义视图UV：相对于公共框架的空间中的位置P(并且因此定义到C型臂几何结构的距离)，
指定用户的视场的宽度的立体角Ω，以及指定观察方向d及取向。所述观察取向能够由正交于观察方向d的向量定义，因此定义了针对在3D场景上的视图的“上/下”或“左/右”的概念。
[0046] 大体上，如本文提出的装置A操作以将两个图像流融合到图形显示GUI中，以形成给予观察者的3D场景，所述观察者
感知两个成像模态之间的在3D空间中的透视关系。瞬时采集的一个流的图像在空间中沿公共参考框架被配准，并且在基本上相同时刻处采集的其他流的图像沿公共参考框架被配准，从而形成采集时间同步的多模态配准图像对的序列。以该方式，两个流被配准在公共参考框架中。
[0047] 然后基于针对沿在时刻处在3D场景上的指定的方向d的视图UV(P、Ω、d)的用户请求，绘制总体3D场景。沿视图UV的US体积然后与流XFt中的与当前US体积USV同步的X射线图像帧XF融合。在融合的图像中，X射线图像上的视图UV恰好是超声体积USV上的用户选择的视图UV。换言之，具有各自的X射线图像XF的探测器D平面一般将在透视扭曲下呈现到人类观察者。又换言之，X射线图像，通常由常规观测仪显示在其中假设正方形或矩形形状的平面视图中，将代替地以变形的方式被显示，因此一般将表现为梯形。透视扭曲对应于US体积上的选择的视图UV相对于投影方向p之间的空间关系。如果用户还指定给予足够宽的视图的扩大(减小)或缩放
水平，则X射线成像器的SID线的整体长度被显示在具有标记物的3D空间中，其中，标记物指示X射线源XR相对于探测器平面的位置，后者由因为透视扭曲而变形的X射线图像表示。
[0048] 图3和图4给予在3D超声体积上的不同用户选择的视图UV处以及不同扩大(减小)的X射线图像平面处的示意性描绘。
[0049] 参考图3A，示出了图形用户界面GUI，所述图形用户界面包括根据X射线XF及在3D US体积USV上的选择的视图USS形成的融合的图像。在图3A中，所选择的视图方向UV(在3D场景上，尤其是在超声体积USV上)的方向d与投影方向基本上对齐，因此观察方向d和投影方向p基本上平行延伸。换言之，在GUI上表示的3D场景赋予用户如同他或她正在沿成像器的SID线观察体积USV并观察到其中X射线图像已经被形成的探测器平面上的
印象。
[0050] 在图3B的视图UV中，用户已经选择了不同观察方向d，并且用户还已经指定了减小参数，以通过旋转并且缩小如图3A的视图而到达图3B的视图。图3A赋予用户“横向”观察如由在针对X射线源XR的标记物XRM与由X射线图像XF表示的探测器图像平面之间的距离定义的成像器的SID线的印象。在一个实施例中，所述X射线源标记物XRM是锥形形状的。图3B中的用户选择的视图UV给予在X射线图像XF上的透视扭曲，如通过令图像平面(以及与其一起的X射线图像XF)变形为梯形而明显的。为了清晰，由指示矩形图像区的虚线示出扭曲量，所述矩形图像区能够表现为没有扭曲，如在图3A中。
[0051] 在图3A中，在X射线图像XF中能够更好地看到导丝的足迹GWF，但在超声图像体积USV视图中在导丝上的视图被阻碍。这不同于在图3B(也参见针对特写的图4B)中的旋转视图，在所述旋转视图中现在也揭示导丝尖端在超声图像体积USV中的对应的结构，现在相比于图3A的平面视图从不同视图查看。在图3B中，由观察者选择的超声体积视图相对于投影方向p大致上在40°处(在参考平面中测量的)。
[0052] 图4A类似于图3B，但是现在示出了在超声体积USV中的点P2与X射线图像XF平面中的空间对应点P1之间延伸的对应的视线LS或投影线。进一步参考示出图4A的特写的图4B，视线通过连接XR源的位置与X射线图像平面中的点P1来几何地产生，所述点P1是在瞬时投影方向p下(即，在当前X射线采集几何结构下)的体积USV中的点P2的投影。例如，在X射线图像中，用户通过指针工具PT在如由导丝的尖端的足迹指示的所述尖端的当前位置P1上点击。在对所述点的选择之后，线被绘制并且出现在GUI中，以将XF图像中的所选择的点P1连接到USV体积中的对应的点P2。即，在所述投影p下点的对(P1、P2)空间地对应。也能够以相反方式调用所述投影线LS，即，通过利用指针工具指明在超声体积USV中的点P2来调用所述投影线LS。然后通过使用P1中的X射线成像器100的当前采集几何结构，将超声体积USV中的所述点的投影投射到当前X射线图像XF上。在该实施例中，所述线LS延伸通过超声图像并且延伸到X射线源位置标记物XRM。
[0053] 根据一个实施例，屏幕M是触摸屏并且通过触摸动作来选择所述点，因此用户利用其
手指点击屏幕的表面以定义所述点。
[0054] 图4B是通过应用由用户输入的扩大请求(“放大”)而从图4A的视图获得的。
[0055] 根据一个实施例，设想最初在US体积上的缺省视图被选择，例如如图3A的对齐的视图。然后用户能够如期望地改变US体积上的视图，例如，从图3B中的视图改变。
[0056] 在一个实施例中，图形显示还包括
覆盖图形元素，所述覆盖元素元件形成超声探头USP视场的符号表示。图形元素可以被形成为如在图2中系统示出的截头圆锥，并且优选地覆盖到图形显示GUI的X射线框架FX部分上。
[0057] 在一个实施例中，GUI生成是实时的，因此GUI中的图形显示以预先定义的时间间隔被更新为被接收的同步的US体积和X射线帧的新的对。换言之，上面描述的操作被重复，同时装置循环通过在两个流中的所述同步的对。
[0058] 视线LS能够被绘制为虚线(图4A)或实线(图4B)或者任何其他所期望的图案。
颜色编码也可以用于令线更加显眼。例如，线的不同部分可以被不同地着色，以在图形显示的所有部分中实现好的对比。
[0059] 现在更加详细地解释所述装置的用于产生图3和图4中的图形用户界面的操作。
[0060] 操作
[0061] 在装置A的输入端口IN处接收两个流。根据一个实施例，存在针对每个图像流的专用的输入端口或者存在交替地接收各自的X射线帧XFt或超声体积USVt的组合的图像接收端口。
[0062] 如上面简要提及的，装置包括同步模块，以对两个图像流进行同步。换言之，在特定时间t处采集的每个X射线帧XFt此处与在基本上相同时间t处采集的超声体积USVt相关联。例如能够通过评估附于每个X射线图像帧以及每个US体积USV的时间戳来实现所述两个帧的同步。这样同步的每个图像对然后通过配准单元RU的操作而被空间配准到公共参考框架上。根据一个实施例，配准单元RU通过使用各自的X射线帧XF中的超声探头的足迹并且通过使用X射线成像器的几何结构和超声探头的已知3D形状来操作。申请人的WO 2011/070492描述了这样的配准技术。换言之，在该实施例中，配准用于估计将局部参考框架与公共参考框架相关的上面提及的变换。配准算法基于X射线图像XF中的探头的投影USPF(参见图3)来评定在局部坐标系中的超声探头USP的位置。
[0063] 在其它实施例中，配准不是或不仅是基于图像的，并且配准单元RU包括多个
传感器(例如，电
磁传感器)，以评定所述变换，即，成像模态的相对位置。在一个实施例中，一个或多个配准传感器被布置在检查台TBL上或周围或者患者PAT上的先验已知位置处，以感测探头的位置并且因此提供针对配准的
基础。配准操作实现瞬时X射线帧XF和瞬时超声体积USV两者在公共参考框架中的对齐。
[0064] 装置还包括事件操纵器(未示出)，以截获由用户进行的针对在瞬时US体积USV上，以及作为扩展，在其平面中的瞬时X射线帧XF上的，期望的视图UV的请求。在超声体积USV上的选择的视图UV以及对应于瞬时超声体积USV的时间戳的X射线帧XF然后被绘制以进行显示。
[0065] 生成的图形显示GDP然后将两幅图像，即瞬时USV视图和瞬时X射线帧XF进行融合，并且产生包括所述视图的图形用户界面并且转发所述图形用户界以显示在屏幕M上。图形处理器然后实现并且控制在屏幕M上的显示。
[0066] 根据一个实施例并且如较早关于图4和图3解释的，所述图形用户界面是交互式的。换言之，图形用户界面窗口响应于通过以下而运行的动作：诸如
鼠标或手写笔的指针工具PT，或者在屏幕M的触摸屏实施例的情况下，执行触摸和/或滑动动作的用户的手指触摸或在
接触所述屏幕M的同时的手势。例如用户可以在屏幕上移动其手指以将当前视图平移到新的视图，或者顺时针或逆时针取向地描绘出圆，以将当前视图旋转到新的视图中。在一个实施例中，通过在与屏幕的表面接触的同时将食指与拇指分开来调用扩大，以实现放大到当前3D场景中。以相对的方式，即朝向彼此，移动食指和拇指，调用减小或缩小。然而，这仅仅是一个实施例并且图形显示生成器GDG可以被编程为将其他合适的触摸交互解析为修改当前视图，从而实现平移、旋转或扩大(减小)。
[0067] 类似的用户交互能够被实施在鼠标或手写笔实施例中，以通过旋转、平移或减小来改变US体积上的视图。例如，图形显示生成器GDG可以被编程为将“点击和拖曳”动作解析为实现对视图的改变。例如，用户描绘出围绕当前示出的US体积顺时针或逆时针取向的圆形运动。图形显示生成器同时通过绘制不同视图并且更新X射线图像XF上的透视视图而进行响应，如上面描述的。通过点击以及沿所期望的平移的方向的拖曳来实现平移。能够通过使用鼠标的滚动轮PT发布不同扩大或减小请求。然后用户能够如期望地放大或缩小图像。
[0068] 在一个实施例中，也能够通过鼠标点击实现在X射线或US体积视图上的标记物的设置。装置A的事件操纵器截获这些鼠标点击并且使用配准信息来绘制视线，从而连接X射线部分和超声图像部分中的对应的点。能够通过在X射线图像部分上点击或通过在超声图像部分USS上点击实现对视线LS的调用。
[0069] 尽管也设想了装置A的操作的离线模式，但是根据优选实施例，装置A被配置为操作在实时模式中。换言之，如本文所论述的图形用户界面被绘制为当两个流被接收时的视图，并且针对在各自的流上的每个时刻被更新。在任一图像部分中的用户选择的指明的点在各自的序列上被保持，并且视线相应地被更新。
[0070] 换言之，在实时模式中的操作期间，视线将表现为根据如由两个图像流中的连续
图像采集所记录的X射线源XR或超声探头USV的移动而移动。
[0071] 根据一个实施例，感兴趣点能够被自动识别。例如，在一个实施例中，使用贝叶斯统计推断方案中的形状和
亮度先验，在X射线图像流上自动识别当两个成像模态采集其各自的图像流时驻留在患者PAT中的导丝GW或类似的医学设备的尖端部分。以该方式，尖端部分能够在X射线流上被追踪，并且US体积视图USS中的对应的点也被视觉指明(通过覆盖诸如“十字
光标”符号或类似的符号的合适的符号，或通过颜色编码)，其中，视线连接针对每个同步的图像对的点的对。换言之，在该实施例中，在每个流上有识别和追踪步骤，以识别并且追踪解剖标志或工具GW尖端位置。光学流方法可以用于实现追踪。然后当视线针对这些点被调用时，视线对于观察者而言，将表现为根据患者移动而移动。所述追踪步骤也可以应用于通过指针工具或触摸动作由用户手动地指明感兴趣点。
[0072] 总体而言并且换句话说，在如本文提出的装置中，来自X射线成像器100和超声成像器USD的图像XF、USV被融合到交互式图形显示GUI中以形成3D场景，其中，除超声体积USV的3D绘制USS之外，X射线投影平面XF被显示在非常相同的3D场景内的透视中。绘制是根据用户选择的视图的，所述用户选择的视图在与交互式图形显示GUI的用户交互之后可改变。
[0073] 在图5中，示出了用于对多模态环境中的图像材料的可视化的方法的流程图。
[0074] 在步骤S501处，接收X射线图像流和超声图像流。
[0075] 在步骤S505处，两个流被配准到针对两者成像模态的公共参考框架上。在实施例中，两个流在配准之前被同步。
[0076] 在步骤S510处，接收在超声体积上的用户选择的视图。
[0077] 在步骤S515处，生成针对图形用户界面的融合的图像，所述融合的图像给予在特定时刻处在选择的视图处的US图像体积上的3D视图，并且同时地，给予在透视扭曲下(即在X射线探测器平面的透视扭曲下)在X射线图像上的透视视图。
[0078] 在步骤S520处，确定在各自的流中的下一帧或体积是否已经被接收。如果没有新的X射线帧或US体积流被接收，则当前视图被保持。然而，如果在步骤S520处确定新的帧或体积已被接收，则重复先前步骤，从而实时更新在屏幕上的GUI表示。
[0079] 在一个实施例中，步骤S515还包括监监听针对3D场景上(尤其是超声图像上以及X射线帧XF上)的新的视图的用户请求。如果接收到这样的请求，则代替于当前视图，新的视图用于先前提及的步骤。
[0080] 在一个实施例中，用于生成图形用户界面的步骤S515还包括监听用于指明X射线图像或3D超声图像中的点的用户的请求。如果这样的请求被接收，则对应的点在各自的其他图像中被确定，并且针对连接两个点的视图的视线被绘制。
[0081] 根据一个实施例，生成图形用户界面的步骤S515还包括监听扩大或减小请求。所述扩大请求定义放大或缩小到当前视图中的程度。
[0082] 如果接收到这样的请求，则确定扩大或减小是否将给予容纳成像器的已知SID长度的视图，尤其是视图是否将给予对到X射线源XR的位置的适当缩放的距离的包括。
[0083] 如果确定是这样的情况，则标记被显示在透视视图中，以表示X射线图像源相对于X射线图像平面的位置。如果用户这样请求，则视线被绘制并且被显示为在两个对应点之间，其中，所述线延伸到X射线源的标记物。
[0084] 在本发明的另一个示范性实施例中，在适当的系统上提供了计算机程序或计算机程序单元，所述计算机程序或计算机程序单元的特征在于，适于运行根据前述实施例中的一个的方法的方法步骤。
[0085] 因此计算机程序单元可以被存储在计算机单元上，所述计算机单元也可以是本发明的实施例的部分。该计算单元可以适于执行上面描述的方法的步骤或引起对上面描述的方法的步骤的执行。此外，其可以适于操作上面描述的装置的部件。计算单元能够适于自动操作和/或适于运行用户的命令。计算机程序可以被加载到
数据处理器的工作
存储器中。因此可以装备数据处理器以执行本发明的方法。
[0086] 本发明的该示范性实施例覆盖从开始就使用本发明的计算机程序以及借助于更新将己有的程序转换为使用本发明的程序的计算机程序两者。
[0087] 另外，计算机程序单元可以能够提供用于履行如上面描述的方法的示范性实施例的流程的所有必要步骤。
[0088] 根据本发明的又一示范性实施例，提供了诸如CD-ROM的计算机可读介质，其中，所述计算机可读介质具有存储在其上的计算机程序单元，所述计算机程序单元由前述段落描述。
[0089] 计算机程序可以被存储和/或分布在适合的介质上，例如与其他的
硬件一起提供的或作为其他的硬件的部分提供的光学存储介质或固态介质，但是计算机程序也可以以其他形式分布，例如经由因特网或其他的有线或无线电信系统分布。
[0090] 然而，计算机程序还可以存在于如
万维网的网络上，并且能够从这样的网络被下载到数据处理器的工作存储器中。根据本发明的又一示范性实施例，提供了用于令计算机程序单元可用于下载的介质，所述计算机程序单元被布置为执行根据先前描述的本发明的实施例中的一个的方法。
[0091] 必须注意，参考不同的主题描述了本发明的实施例。具体而言，一些实施例是参考方法型权利要求描述的，而其他实施例是参考设备型权利要求描述的。然而，本领域技术人员将从上面和下面的说明中总结出，除了属于同一类型的主题中的特征的任何组合外，涉及不同的主题的特征之间的任何组合也被视为由本申请所公开，除非做出其他说明。然而，所有特征能够被组合以提供比特征的简单加成更多的协同作用。
[0092] 尽管已经在附图和前文的描述中详细图示并描述了本发明，但这样的说明和描述被视为说明性或示范性的，而非限制性的。本发明不限于所公开的实施例。本领域技术人员通过研究附图、公开内容以及权利要求书，在实践所要求保护的本发明时，能够理解并实现对所公开的实施例的其他变型。
[0093] 在权利要求书中，词语“包括”不排除其他元件或步骤，并且词语“一”或“一个”不排除多个。单个处理器或其他单元可以履行权利要求中记载的若干项目的功能。尽管在互不相同的从属权利要求中记载了特定措施，但是这并不指示不能有利地使用这些措施的组合。权利要求中的任何附图标记都不应被解释为对范围的限制。
