用3D相机进行的用于X射线管的扫描仪自动化的方法和系统专利检索-运动链联轴器，法兰和接头专利检索查询-专利查询网

用3D相机进行的用于X射线管的 扫描仪自动化的方法和系统

阅读：425发布：2021-01-22

专利汇可以提供用3D相机进行的用于X射线管的扫描仪自动化的方法和系统专利检索，专利查询，专利分析的服务。并且公开了一种用于使用3D相机进行 X射线管扫描仪自动化的方法和装置。从安装在 X射线管上的3D相机接收患者工作台上的患者的RBGD图像。计算3D相机的坐标系与患者工作台的坐标系之间的变换。根据患者的RGBD图像来估计患者模型。X射线管被自动地控制以基于患者模型来获取患者的感兴趣区域的X射线图像。，下面是用3D相机进行的用于X射线管的扫描仪自动化的方法和系统专利的具体信息内容。

权利要求

1.一种用于X射线管扫描仪自动化的方法，包括：
从安装在X射线管上的3D相机接收患者工作台上的患者的RGBD图像；
计算3D相机的坐标系与患者工作台的坐标系之间的变换；
根据患者的RGBD图像来估计患者模型；以及
自动地控制X射线管以基于患者模型来获取患者的感兴趣区域的X射线图像。
2.权利要求1的方法，其中，计算3D相机的坐标系与患者工作台的坐标系之间的变换包括：
在RGBD图像中检测患者工作台上的工作台标记；以及
基于在RGBD图像中检测到的工作台标记来估计3D相机的坐标系与患者工作台的坐标系之间的变换。
3.权利要求2的方法，其中，患者工作台上的工作台标记包括在患者工作台的相对侧上的相应的一组环形标记，其中每组环形标记具有许多环形，每个环形有具有区别性色彩的外环和白色内圈。
4.权利要求3的方法，其中，在RGBD图像中检测患者工作台上的工作台标记包括：
使用3D霍夫变换来检测RGBD图像中的圆形形状；以及
基于内圈的亮度和外环内部的色彩分布来确定在RGBD图像中检测到的圆形形状是否与患者工作台上的环形标记中的一个匹配。
5.权利要求1的方法，其中，根据患者的RGBD图像来估计患者模型包括：
对RGBD图像的3D点云表示进行变换以使用3D相机的坐标系与患者工作台的坐标系之间的估计变换来使RGBD图像与患者工作台的预定视场对准；
投射3D点云表示以生成包括彩色和深度图像对的再投射图像；以及
使用再投射图像来估计患者模型。
6.权利要求1的方法，其中，根据患者的RGBD图像来估计患者模型包括：
使用一个或多个基于机器学习的姿势分类器来检测RGBD图像中的患者姿势；
基于检测到的患者姿势来检测RGBD数据中的患者的解剖标志。
7.权利要求6的方法，其中，使用一个或多个基于机器学习的姿势检测器来检测RGBD图像中的患者姿势包括：
使用第一经训练的姿势分类器将患者姿势分类为头先或脚先；以及
基于由第一经训练的姿势分类器进行的患者姿势以头先或脚先的分类而使用第二经训练的姿势分类器或第三经训练的姿势分类器中的一个将患者姿势分类为俯卧或仰卧。
8.权利要求7的方法，其中，第一、第二和第三经训练的姿势分类器中的每一个是多通道概率推进树（PBT）分类器，其从与RGBD图像相关联的多个图像通道提取Haar特征。
9.权利要求6的方法，其中，基于检测到的患者姿势来检测RGBD数据中的患者的解剖标志包括：
基于DAG中的所述多个解剖标志的相对位置而针对所述多个标志中的每一个使用相应的基于机器学习的标志检测器来检测有向非循环图（DAG）的多个标志中的每一个，其中，针对所述多个标志中的每一个，基于患者姿势以头先或脚先的分类而从第一经训练标志检测器和经训练标志检测器中选择基于机器学习的标志检测器。
10.权利要求9的方法，其中，用于所述多个标志的基于机器学习的标志检测器中的每一个是多通道概率推进树（PBT）分类器，其从与RGBD图像相关联的多个图像通道提取Haar特征。
11.权利要求6的方法，其中，根据患者的RGBD图像来估计患者模型还包括：
在将患者姿势分类之前，使用基于机器学习的全身检测器来估计RGBD图像中的患者的粗略位置。
12.权利要求6的方法，其中，根据患者的RGBD图像来估计患者模型还包括：
基于检测到的解剖标志来估计患者的多个身体区域。
13.权利要求6的方法，其中，根据患者的RGBD图像来估计患者模型还包括：
基于检测到的解剖标志将人类骨骼模型拟合到RGBD图像。
14.权利要求1的方法，还包括：
在显示设备上显示所估计的患者模型；以及
在所显示的患者模型上接收患者的感兴趣区域的用户输入。
15.权利要求1的方法，其中，计算3D相机的坐标系与患者工作台的坐标系之间的变换包括：
接收X射线管的控制系统的管位置控制参数；以及
基于X射线管的控制系统的管位置控制参数使用运动校准来计算3D相机的坐标系与患者工作台的坐标系之间的变换。
16.权利要求15的方法，其中，运动校准对3D相机的坐标系、患者工作台的坐标系以及X射线管控制系统的运动链的坐标系进行校准。
17.权利要求16的方法，其中，X射线管控制系统的运动链包括管起点、管保持器垂直旋转中心、管水平旋转中心以及准直器亮场。
18.权利要求15的方法，其中，自动地控制X射线管以基于患者模型来获取患者的感兴趣区域的X射线图像包括：
自动地调整X射线管的控制系统的管位置控制参数以基于运动校准使用逆向运动学将X射线管引导到与3D相机的坐标系中的所估计的患者模型上的感兴趣区域相对应的X射线管的坐标系中的目标位置和取向。
19.权利要求15的方法，其中，所述X射线管的控制系统的管位置控制参数包括三个平移参数和两个旋转参数。
20.一种用于X射线管扫描仪自动化的装置，包括：
用于从安装在X射线管上的3D相机接收患者工作台上的患者的RGBD图像的部件；
用于计算3D相机的坐标系与患者工作台的坐标系之间的变换的部件；
用于根据患者的RGBD图像来估计患者模型的部件；以及
用于自动地控制X射线管以基于患者模型来获取患者的感兴趣区域的X射线图像的部件。
21.权利要求20的装置，其中，用于计算3D相机的坐标系与患者工作台的坐标系之间的变换的部件包括：
用于在RGBD图像中检测患者工作台上的工作台标记的部件；以及
用于基于在RGBD图像中检测到的工作台标记来估计3D相机的坐标系与患者工作台的坐标系之间的变换的部件。
22.权利要求21的装置，其中，患者工作台上的工作台标记包括在患者工作台的相对侧上的相应的一组环形标记，其中每组环形标记具有许多环形，每个环形有具有区别性色彩的外环和白色内圈。
23.权利要求20的装置，其中，用于根据患者的RGBD图像来估计患者模型的部件包括：
用于使用一个或多个基于机器学习的姿势分类器来检测RGBD图像中的患者姿势的部件；
用于基于检测到的患者姿势来检测RGBD数据中的患者的解剖标志的部件。
24.权利要求20的装置，还包括：
用于在显示设备上显示所估计的患者模型的部件；以及
用于在所显示的患者模型上接收患者的感兴趣区域的用户输入的部件。
25.权利要求20的装置，其中，用于计算3D相机的坐标系与患者工作台的坐标系之间的变换的部件包括：
用于基于X射线管的控制系统的管位置控制参数使用运动校准来计算3D相机的坐标系与患者工作台的坐标系之间的变换的部件。
26.权利要求25的装置，其中，用于自动地控制X射线管以基于患者模型来获取患者的感兴趣区域的X射线图像的部件包括：
用于自动地调整X射线管的控制系统的管位置控制参数以基于运动校准使用逆向运动学将X射线管引导到与3D相机的坐标系中的所估计的患者模型上的感兴趣区域相对应的X射线管的坐标系中的目标位置和取向的部件。
27.一种存储用于X射线管扫描仪自动化的计算机程序指令的非临时计算机可读介质，所述计算机程序指令在被处理器执行时引起处理器执行操作，该操作包括：
从安装在X射线管上的3D相机接收患者工作台上的患者的RGBD图像；
计算3D相机的坐标系与患者工作台的坐标系之间的变换；
根据患者的RGBD图像来估计患者模型；以及
自动地控制X射线管以基于患者模型来获取患者的感兴趣区域的X射线图像。
28.权利要求27的非临时计算机可读介质，其中，计算3D相机的坐标系与患者工作台的坐标系之间的变换包括：
在RGBD图像中检测患者工作台上的工作台标记；以及
基于在RGBD图像中检测到的工作台标记来估计3D相机的坐标系与患者工作台的坐标系之间的变换。
29.权利要求28的非临时计算机可读介质，其中，患者工作台上的工作台标记包括在患者工作台的相对侧上的相应的一组环形标记，其中每组环形标记具有许多环形，每个环形有具有区别性色彩的外环和白色内圈。
30.权利要求29的非临时计算机可读介质，其中，在RGBD图像中检测患者工作台上的工作台标记包括：
使用3D霍夫变换来检测RGBD图像中的圆形形状；以及
基于内圈的亮度和外环内部的色彩分布来确定在RGBD图像中检测到的圆形形状是否与患者工作台上的环形标记中的一个匹配。
31.权利要求27的非临时计算机可读介质，其中，根据患者的RGBD图像来估计患者模型包括：
使用一个或多个基于机器学习的姿势分类器来检测RGBD图像中的患者姿势；
基于检测到的患者姿势来检测RGBD数据中的患者的解剖标志。
32.权利要求31的非临时计算机可读介质，其中，使用一个或多个基于机器学习的姿势检测器来检测RGBD图像中的患者姿势包括：
使用第一经训练的姿势分类器将患者姿势分类为头先或脚先；以及
基于由第一经训练的姿势分类器进行的患者姿势以头先或脚先的分类而使用第二经训练的姿势分类器或第三经训练的姿势分类器中的一个将患者姿势分类为俯卧或仰卧。
33.权利要求31的非临时计算机可读介质，其中，基于检测到的患者姿势来检测RGBD数据中的患者的解剖标志包括：
基于DAG中的所述多个解剖标志的相对位置而针对所述多个标志中的每一个使用相应的基于机器学习的标志检测器来检测有向非循环图（DAG）的多个标志中的每一个，其中，针对所述多个标志中的每一个，基于患者姿势以头先或脚先的分类而从第一经训练标志检测器和经训练标志检测器中选择基于机器学习的标志检测器。
34.权利要求31的非临时计算机可读介质，其中，根据患者的RGBD图像来估计患者模型还包括：
在将患者姿势分类之前，使用基于机器学习的全身检测器来估计RGBD图像中的患者的粗略位置。
35.权利要求31的非临时计算机可读介质，其中，根据患者的RGBD图像来估计患者模型还包括：
基于检测到的解剖标志来估计患者的多个身体区域。
36.权利要求31的非临时计算机可读介质，其中，根据患者的RGBD图像来估计患者模型还包括：
基于检测到的解剖标志将人类骨骼模型拟合到RGBD图像。
37.权利要求27的非临时计算机可读介质，其中，所述操作还包括：
在显示设备上显示所估计的患者模型；以及
在所显示的患者模型上接收患者的感兴趣区域的用户输入。
38.权利要求27的非临时计算机可读介质，其中，计算3D相机的坐标系与患者工作台的坐标系之间的变换包括：
接收X射线管的控制系统的管位置控制参数；以及
基于X射线管的控制系统的管位置控制参数使用运动校准来计算3D相机的坐标系与患者工作台的坐标系之间的变换。
39.权利要求38的非临时计算机可读介质，其中，自动地控制X射线管以基于患者模型来获取患者的感兴趣区域的X射线图像包括：
自动地调整X射线管的控制系统的管位置控制参数以基于运动校准使用逆向运动学将X射线管引导到与3D相机的坐标系中的所估计的患者模型上的感兴趣区域相对应的X射线管的坐标系中的目标位置和取向。

说明书全文

用3D相机进行的用于X射线管的 扫描仪自动化的方法和系统

背景技术

[0001] 本发明涉及用于X射线图像获取的扫描仪自动化，并且更特别地涉及使用3D相机的X射线管扫描仪自动化。

[0002] X射线扫描通常是通过技术人员手动地将X射线管定位以使X射线扫描聚焦在患者身上的感兴趣区域上而执行的。X射线管相对于患者的定位和取向依赖于技术人员的主观判定，这常常导致不同X射线扫描之间的不一致性。X射线扫描仪自动化由于多个潜在的益处而是期望的。除改善的扫描工作流程的效率之外，X射线扫描仪自动化与通过技术人员对X射线管进行手动定位获得的X射线扫描相比还可提供更好的扫描质量。

发明内容

[0003] 本发明提供了一种用于使用3D相机的X射线管扫描仪自动化的方法和系统。本发明的实施例利用从安装在X射线管上的3D相机获得的RGBD（红色、绿色、蓝色以及深度）图像来执行X射线管的扫描仪自动化。本发明的实施例使用用于身体姿势估计、标志检测以及身体区域估计的基于机器学习的方法来从RGBD图像生成患者模型。本发明的实施例基于使用患者模型识别的患者的感兴趣区域来自动地对X射线管进行定位以执行X射线扫描。

[0004] 在本发明的一个实施例中，从安装在X射线管上的3D相机接收患者工作台上的患者的RGBD图像。计算3D相机的坐标系与患者工作台的坐标系之间的变换。根据患者的RGBD图像来估计患者模型。X射线管被自动地控制以基于患者模型来获取患者的感兴趣区域的X射线图像。

[0005] 通过参考以下详细描述和附图，本发明的这些及其它优点对于本领域普通技术人员而言将是显而易见的。

附图说明

[0006] 图1图示出根据本发明的实施例的用于X射线管扫描仪自动化的方法；图2A和2B图示出根据本发明的实施例的X射线管扫描装置；
图3图示出根据本发明的实施例的以预定图案布置的一组四个环形标记；
图4图示出根据本发明的实施例的患者工作台上的环形标记放置；
图5图示出根据本发明的实施例的用于从患者的RGBD图像生成患者模型的方法；
图6图示出示例性患者建模结果；
图7图示出根据本发明的实施例的X射线管扫描仪的控制参数；
图8图示出具有3D相机的X射线管控制的运动链；以及
图9是能够实现本发明的计算机的高级框图。

具体实施方式

[0007] 本发明涉及一种使用3D相机的X射线管扫描仪自动化的方法和系统。在本文中描述了本发明的实施例以给出扫描仪自动化方法的直观理解。数字图像常常由一个或多个对象（或形状）的数字表示构成。在本文中常常根据识别和操纵物体来来描述物体的数字表示。此类操纵是在计算机系统的存储器或其它电路/硬件中实现的虚拟操纵。因此，应理解的是可使用存储于计算机系统内的数据在计算机系统内执行本发明的实施例。

[0008] 本发明的实施例生成人的个性化3D 网格模型，其根据从深度相机（诸如Microsoft Kinect深度相机）获得的RGB-D图像数据来估计人的详细身体姿势以及形状。在本文中将人的此类个性化3D网格模型称为化身。不同于用以从视频序列的多个传感器获得个性化网格的其它方法，本发明的实施例根据来自捕捉人的部分视图并处理身体衣服的深度相机的单个快照而生成个性化网格。本发明的实施例提供甚至从身体的部分视图进行的详细身体形状（网格）的重构、从来自任何深度相机传感器的单个快照进行的身体形状估计、在衣服下面的人的身体形状估计以及适当的传感器噪声统计建模以获得精确的身体姿势和形状。

[0009] 3D相机是提供深度信息以及典型图像信息（诸如RGB（红色、绿色、蓝色）数据）的相机。3D相机可以是基于结构光的相机（诸如Microsoft Kinect或ASUS Xtion）、立体相机或飞行时间相机（诸如Creative TOF相机）。从深度相机获得的图像数据通常称为RGBD（RGB＋深度）图像，其通常包括RGB图像（其中每个像素具有RGB值）以及深度图像（其中每个像素的值对应于像素与相机相距的深度或距离）。本发明的实施例将3D相机用于X射线管扫描仪自动化。本发明的实施例利用基于机器学习的方法来对使用3D相机获得的RGBD图像中的身体标志进行局部化。本发明的实施例利用安装在X射线管上的3D相机来获取RGBD图像数据。由于X射线管的移动性，本发明的实施例利用基于标记的配准解决方案来提供多个坐标系之间的自动外部校准。

[0010] 图1图示出根据本发明的实施例的用于X射线管扫描仪自动化的方法。图1的方法对患者的RGBD图像数据进行变换以生成患者模型并执行X射线管的自动化定位来获取患者的感兴趣区域的X射线图像。在步骤102处，从3D相机接收工作台上的患者的RGBD图像数据。图2A和2B图示出根据本发明的实施例的X射线管扫描装置。如图2A中所示，X射线扫描装置包括患者工作台200和X射线管202。X射线管202具有用以相对于患者工作台200和患者工作台200上的患者移动的五个自由度。这允许X射线管202移动至不同的位置和取向以捕捉工作台200上的患者的目标区域的x射线图像。如图2B中所示，3D相机204被安装在X射线管202上。例如，可以如图2B中所示将3D相机204附着到X射线管202的后侧，但本发明不限于此。诸如在图7中所示且下面描述的计算机之类的计算机与X射线管202和3D相机204通信以控制X射线管202和3D相机204的操作。

[0011] 一旦患者位于患者工作台上，就使用3D相机来获取患者的RGBD图像。在可能的实施方式中，可以响应于从用户（例如，技术人员）（诸如按下触发按钮的用户）接收到的输入来获取RGBD图像。在一个实施例中，X射线管可以在使用安装在X射线管上的3D相机来获取RGBD图像之前被自动地移动至预定位置。例如，X射线管可以（沿着z轴）移动至工作台上的最高位置并可以相对于工作台的宽度和长度（x和y轴）居于中心以确保工作台上的患者在3D相机的视场中。这可以是粗动，并且X射线管不需要位于精确的位置上或具有特定的取向，因为基于标记的图像配准将被用来针对工作台的坐标系对RGBD图像进行校准。在另一实施例中，可以在没有首先使X射线管移动至预定位置的情况下获取RGBD图像。在这种情况下，可以确定是否足够的工作台标记（下面描述）在RGBD图像中可见以便使RGBD图像被配准到工作台的坐标系，并且如果不是，则可以将X射线管重新定位，并且可以获取另一RGBD图像。

[0012] 参考图1，在步骤104处，计算3D相机的坐标系与患者工作台的坐标系之间的变换。在第一实施例中，通过检测RGBD图像中的工作台标记并基于在RGBD图像中检测到的工作台标记来估计3D相机的坐标系与患者工作台的坐标系之间的变换来计算3D相机的坐标系与患者工作台的坐标系之间的变换。将3D相机安装在X射线管上的一个挑战是3D相机的位置将不会相对于患者工作台和扫描室坐标系保持恒定。根据本发明的有利的实施例，通过假设患者工作台至少部分地在3D相机的视场中可见，患者工作台装配有被用于多个坐标系之间的自动配准的彩色环形标记。图3图示出根据本发明的实施例的以预定图案布置的一组的四个环形标记302、304、306和308。虽然在图3中用黑色和白色示出，但每个环形标记302、
304、306和308在其外环中具有区别性色彩，并且在其内圈中是白色的。例如，在可能的布置中，环形标记302具有红色外圈，环形标记304具有绿色外圈，环形标记306具有蓝色外圈，并且环形标记308具有黑色外圈。图4图示出根据本发明的实施例的患者工作台上的环形标记放置。如图4中所示，患者工作台400的每侧分别地具有一组环形标记402和404。每组环形标记402和404中的环形标记被以相同的预定图案布置，诸如图3中所示的图案。使每个环形标记位于患者工作台上的特定预定位置上，并且仔细地测量患者工作台上的环形标记的物理位置，因此标记可以充当用于相机姿势估计的校准图案。

[0013] 针对环形标记检测，一旦获取了RGBD图像，则将基于3D霍夫变换的方法用于RGBD图像中的稳健圆圈检测。特别地，对RGBD图像应用霍夫变换以检测RGBD图像中的圆形形状。霍夫变换使用从RGBD图像提取的梯度信息并基于该梯度信息来检测RGBD图像中的圆形形状。内圈内部的区域的亮度和每个环形标记的外环内部的色彩分布被用来确认在3D相机的视场中（即，RGBD图像中）检测到的圆圈是否四个环形标记中的一个。

[0014] 一旦在RGBD图像中检测到环形标记，则基于在RGBD图像中检测到的环形标记来估计3D相机的坐标系与患者工作台的坐标系之间的变换。环形标记在预定的特定位置上被布置在患者工作台上以充当用于估计患者工作台的坐标系中的3D相机的姿势的校准图案。由于环形标记具有区别性彩色外环且被布置在患者工作台上的特定的预定图案中，所以在RGBD图像中检测到的每个环形标记可以被唯一地识别。因此，用于估计患者工作台的坐标系中的3D相机的姿势的姿势估计问题形成标准PnP（透视n点）问题，其可以通过计算使RGBD图像中的每个检测到的环形标记与患者工作台的坐标系中的用于该环形标记的已知位置对准的变换来求解。使用此姿势估计，可以将所获取的RGBD图像数据变换成患者工作台坐标系以使RGB图像数据与对应于工作台上的固定位置（例如，相对于患者工作台的长度和宽度居于中心）处的虚拟相机的相机视场对准。图4示出了当RGBD图像数据被变换成患者工作台400的坐标系时所获取的RGBD图像数据被对准到的视场406。还可以基于3D相机的坐标系与患者工作台的坐标系之间的变换来校准3D相机相对于X射线管的相对位置，因为可以跟踪X射线管相对于患者工作台的相对位置。

[0015] 在第二实施例中，接收X射线管的控制系统的管位置控制参数，并且基于X射线管的控制系统的管位置控制参数使用运动校准来计算3D相机的坐标系与患者工作台的坐标系之间的变换。本实施例使得能够在不需要检测工作台标记的情况下实现X射线管的自动化控制。在示例性实施方式中，管位置控制参数（下面结合图7对其进行更详细的描述）可以包括三个平移参数和两个旋转参数以控制X射线管的位置和取向。可以从X射线管的控制系统接收并在运动校准中使用对应于X射线管的当前位置和取向的管位置控制参数。运动校准用患者工作台的坐标系和X射线管控制系统的运动链的坐标系来校准3D相机的坐标系。下面更详细地描述运动校准。

[0016] 返回图1，在步骤106处，根据RGBD图像来估计患者模型。图5图示出根据本发明的实施例的用于从患者的RGBD图像生成患者模型的方法。图5的方法可以用来实现图1的步骤108。参考图5，在步骤502处，使用3D相机来捕捉患者的RGBD图像数据。此RGBD图像数据可以是在图2的步骤102中接收到的相同RGBD图像数据。替换地，如果一旦相对于患者工作台的坐标系来估计3D相机的姿势，则确定在步骤102中获取的原始RGBD图像不包含患者的充分的解剖结构，可以对3D相机安装在其上面的X射线管进行重新定位，因此更多的患者解剖结构在3D相机的视场中，并且可以获取新的RGBD图像。RGBD图像包括RGB图像和深度图像。可以将RGB图像中的彩色数据和深度图像中的深度（范围）数据组合以将患者的RGBD图像数据表示为3D点云。

[0017] 给定表示为3D点云的彩色和深度数据，对仅包含患者和工作台的图像区域进行局部化。3D相机相对于X射线管扫描仪的相对位置是已知的，因为其是在校准过程期间确立的，并且工作台移动的范围受到限制。此信息被用作空间先验以自动地剪裁被包含患者和工作台的3D体积包围的图像区域。然后对此剪裁数据进行变换，使得z轴与工作台表面法线对准，并且使x-y平面与工作台表面对准。然后将已变换深度数据（和关联色彩信息）正交投射在x-y平面上以生成在本文中称为再投射图像的彩色和深度图像对，其然后被用于后续处理。接下来，为了进一步细化工作台上的患者的位置和范围，可以在再投射图像上应用基于机器学习的全身检测器以检测再投射图像中的患者位置的估计。针对此患者全身检测，可以训练具有在再投射深度和表面法线数据内提取的2D Haar特征的概率推进树（PBT）并用作全身检测器。使用从加注释的训练数据提取的特征来训练PBT，并且使用已训练PBT来检测再投射图像中的患者的粗略位置。

[0018] 在步骤504处，对再投射图像执行姿势检测以将患者的姿势分类。给定粗略患者位置信息，可以将患者姿势分类为头先对比脚先以及使用一个或多个基于机器学习的姿势分类器分类为俯卧对比仰卧。每个姿势分类器可以是经训练的PBT分类器。根据有利实施方式，可以通过考虑从再投射深度图像提取的Haar特征、表面法线数据、饱和图像以及来自LUV空间的U和V通道而将PBT 框架扩展至多个通道。将多个通道融合相比于仅使用深度信息而言可以提供姿势检测方面的显著改善。

[0019] 根据有利实施例，作为针对姿势检测来训练单个多类分类器的替代，可以训练多个二元分类器以系统地处理数据变化。在示例性实施方式中，通过考虑接近于传感器（3D相机）的患者区域的一半来对再投射图像应用头先对比脚先分类器。此区域针对头先情况覆盖身体的上半部，并且针对脚先情况覆盖身体的下半部。一旦患者在再投射图像中被分类为头先或脚先，则对再投射图像应用俯卧对比仰卧分类器以将姿势分类为俯卧或仰卧。针对头先图像和脚先图像来训练单独的俯卧/仰卧分类器。因此，基于姿势是被分类为头先还是脚先来确定将经训练的俯卧/仰卧分类器中的哪一个用来对再投射图像中的患者的姿势进行分类。这是因为当患者躺在工作台上时，头先情况下的头部区域上的数据统计与在脚先情况下相比是明显不同的。这是由于3D相机与身体表面之间的大角度以及增加的数据噪声和距传感器的距离。

[0020] 在步骤506处，执行标志检测。给定患者姿势信息，将包括多个解剖标志的稀疏身体表面模型拟合到再投射图像数据。可以将身体表面模型表示为身体表面上的解剖标志上的有向非循环图（DAG），其中，该图捕捉标志相对于彼此的相对位置。在有利实施例中，使用10个身体标志（头部、腹股沟以及用于肩膀、腰、膝和踝的左右标志）来对患者表面进行建模。针对每个标志训练相应标志检测器。例如，针对每个标志，可以使用具有从被用来训练姿势分类器的从相同通道提取的Haar特征（例如，再投射深度图像、表面法线数据、饱和图像以及来自Luv空间的U和V通道）的多通道PBT分类器来训练每个标志检测器。由于相机和身体表面角度以及传感器噪声，图像统计在身体表面上差异显著。头先情况下的标志上的数据分布与在脚先情况下不同。因此，在有利实施例中，针对每个标志，针对头先和脚先姿势训练单独的标志检测器。在再投射图像上的标志检测期间，由于已检测到姿势种类，所以应用对应于所检测姿势（头先或脚先）的经训练标志检测器的仅一个集合。

[0021] 标志的相对位置被建模为高斯分布，从训练数据集内的注释获得该高斯分布的参数。在再投射图像上的标志检测期间，在将相邻标志的上下文约束考虑在内的同时连续地应用经训练标志检测器。针对每个标志，基于经训练的标志检测器响应以及从DAG中的先前检测标志获得位置假设。在示例性实施方式中，给定用于患者的位置信息，首先通过在患者的中心区域中应用腹股沟标志检测器来执行腹股沟标志检测。接下来，在基于来自姿势信息的约束以及从来自腹股沟区域的假设的相对位置信息而估计的图像区域上应用膝标志检测器。针对穿过DAG的每个标志逐个地获得标志假设。

[0022] 在步骤508处，在获得了用于所有标志的所有标志假设之后，对标志假设执行全局推理以基于经训练标志检测器以及DAG中的上下文信息而获得具有最高联合似然性的一组标志。标志检测的此连续过程处理跨不同年龄的患者的尺寸和比例变化。一旦使用全局推理检测到最后一组标志，则可以基于该组标志来定义再投射图像中的患者的身体区域。例如，可以将再投射图像划分成头、躯干、骨盆、大腿以及小腿的身体区域。在可能的实施方式中，可以基于检测到的标志而将人类骨骼模型拟合到再投射深度图像。

[0023] 返回图1，在步骤108处，显示从RGBD图像生成的患者模型。例如，可以在计算机的显示屏上或者在X射线扫描仪本身的控制台上显示患者模型。所显示患者模型可以示出被用检测到的身体区域标记的患者的再投射图像。患者模型可以示出表示检测到的标志的位置的方框或十字形点。替换地，所显示的患者模型可以示出表示患者身体的人类骨骼模型。

[0024] 图6图示出示例性患者建模结果。图6的行602、604、606、608、610以及612示出了在不同相机位置下成功地执行的标记检测、标志检测以及身体区域估计任务的结果。每个示例602、604、606、608、610以及612中的第一列示出了患者工作台上的初始RGB图像和检测到的环形标记。第二列示出了对应于初始RGB图像的深度图。第三列示出了患者的再投射图像中的标志检测结果。可以观察到的是每个示例602、604、606、608、610和612中的再投射图像被对准到同一视场，尽管在初始RGB图像和深度图中有患者位置和相机取向方面的差异。第四列示出了与基于检测到的标志估计的身体区域（头部、躯干、骨盆、大腿以及小腿）一起显示的再投射图像。

[0025] 返回图1，在步骤110处，接收所显示患者模型上的感兴趣区域的用户选择。例如，用户（例如，技术人员）可以通过使用鼠标、触摸屏等来在所显示患者模型的目标部分上进行点击以选择患者的感兴趣区域。

[0026] 在步骤112处，自动地控制X射线管以获取感兴趣区域的X射线图像。特别地，自动地控制X射线管的位置和取向以使X射线管与所选感兴趣区域对准。在一个实施例中，可以将X射线管自动地引导为与特定目标位置对准，因为X射线管、3D相机以及患者工作台的坐标系之间的关系是使用X射线管的控制系统的管位置控制参数或环形标记而确立的。一旦X射线管与所选感兴趣区域对准，则使用X射线管来获取感兴趣区域的一个或多个X射线图像。

[0027] 为了执行X射线管扫描仪自动化，必须将感兴趣的目标区域的3D位置从3D相机坐标系转移到X射线管坐标系。根据本发明的有利实施例，可以应用逆向运动学以便确定用于X射线管控制的关节角和管基础位置。为此，使用运动校准来确立3D相机与X射线管控制系统的运动链之间的变换。如上所述，还可以在图1的步骤104中使用此运动校准来计算3D相机的坐标系与患者工作台的坐标系之间的变换。图7图示出根据本发明的实施例的X射线管扫描仪700的控制参数。如图7中所示，基于X射线管的机械规格，存在用于管控制的五个参数，包括三个平移参数（TubeLongitudinal、TubeTransverse以及TubeLift）和两个旋转参数（RotVertical和RotHorizontal）。在图7中可以观察到的是两个旋转参数（RotVertical和RotHorizontal）具有不同的旋转中心。

[0028] 如图2B中所示和上文讨论的，可以将3D相机204附着到X射线管202的后侧。这贡献了相机坐标系相对于X射线管/准直器坐标系之间的附加的六个自由度变换。由于X射线管不在3D相机的视场内，所以使用环形标记来建立相机坐标系与X射线管坐标系之间的链接。如上文所讨论的，可以针对相对于工作台的坐标系的相机姿势估计来稳健地检测和识别环形标记。这允许用来闭合X射线管控制的运动链的环路。图8图示出具有3D相机的X射线管控制的运动链。如图8中所示，运动链如下：患者工作台（T）→管起点（A）→管保持器垂直旋转中心（B）→管水平旋转中心（C）→准直器亮场（D）→3D相机（E）→患者工作台（T）。

[0029] 给定当前X射线管的位置控制参数，可以用前向运动学将3D相机的光学中心和三个轴转移到X射线管坐标系。更正式地，针对相机坐标系（E）中的3D点，可以如下导出管起始坐标系（A）中的其相应位置：其中，是用于RotVertical的3×3旋转矩阵，是用于RotHorizontal的旋转矩阵，是由三个平移参数（TubeLongitudinal，TubeTransverse和TubeLift）组成的平移矢量，是从连接两个旋转中心（B）和（C）的臂贡献的平移偏移，和表示相机坐标系（E）相对于准直器亮场坐标系（D）的相对姿势，并且和表示相机坐标系（E）相对于管起始坐标系（A）的相对姿势。

[0030] 在等式（1）中，可以从五个管位置控制参数导出、和。可以根据X射线管的机械说明书用管臂长对矢量进行初始化，并且可以在必要时进一步优化。为了校准3D相机与X射线准直器之间的6-DOF变换和，我们利用由放置在工作台的每侧的彩色环形标记定义的固定工作台坐标系（T）。即：其中，和描述了当存在X射线管的任何移动时在帧间变化的工作台（T）与3D相机（E）之间的6-DOF变换，并且和表示工作台（T）与管起始坐标系（A）之间的6-DOF变换。通过重写等式（2），我们得到：
。

[0031] 用等式（3），我们能够通过使测量的3D环形标记位置与估计位置之间的3D位置差最小化来优化未知参数：其中，、和是在第i帧中从管位置参数导出的，是工作台坐标系中的第k环形标记位置，其可以从3D点云直接地测量，或者基于稳健透视n点算法而从工作台坐标系进行变换。即：
除使3D位置误差最小化之外，我们还可以也用已校准相机固有参数来使3D再投射误差最小化。

[0032] 为了进一步考虑其中准直器中心（图8中的D）可能并未与管水平旋转中心（图8中的C）完美对准的情况，可以用从准直器投射的亮场的十字准线（crosshair）点来添加附加约束。在相机坐标系中观察到的十字准线点在被用变换成准直器坐标系中的相应点时应接近于准直器坐标系的x和y轴中的原点。

[0033] 在相机与准直器之间的相对姿势被校准的情况下，现在可以操纵管控制参数以实现使用逆向运动学的自动化管引导。使用等式（1），可以用当前管控制参数将相机坐标系中的任何点转移到管起始坐标系以导出和。可以通过使以下等式最小化来使准直器坐标系与特定的点和表面取向对准：其中，是目标坐标系中的点，和表示目标坐标系与3D相机之间的相对姿势，并且和描述了将从准直器观察的点的期望取向和距离。根据使用情况，使准直器在到目标表面的多个平面内旋转处对准可能是合理的。因此，期望的和可以具有导致等式（6）的多个貌似合理的解的多个选项。在实践中，某些配置可能由于缺少管控制的一个或多个自由度而不可实现。因此，可以通过首先去除具有大误差的解且然后检查与当前管位置的参数距离并选择最近的一个以节省管移动的时间和努力来选择等式（6）的最佳解。

[0034] 返回图1，在步骤114处，输出X射线图像。一旦X射线管被自动地引导至对应于所选感兴趣区域的位置和取向，并且用X射线管来扫描患者的感兴趣区域以获取X射线图像。可以通过在计算机系统的显示屏上显示X射线图像、打印X射线图像的物理拷贝和/或将X射线图像存储在计算机系统的存储器或储存器中来输出X射线图像。

[0035] 可使用众所周知的计算机处理器、存储器单元、储存装置、计算机软件及其它部件在计算机上实现用于使用3D相机的X射线管扫描仪自动化的上述方法。在图9中图示出此类计算机的高级框图。计算机902包含处理器904，其通过执行定义计算机902的总体操作的计算机程序指令来控制此类操作。可将计算机程序指令存储在储存装置912（例如，磁盘）中并在期望计算机程序指令的执行时加载到存储器910中。因此，图1和5的方法的步骤可由存储在存储器910和/或储存器912中并被执行计算机程序指令的处理器904控制的计算机程序指令定义。可以将3D相机922连接到计算机902以向计算机902输入RGBS图像数据。3D相机922和计算机902可被直接地连接，或者可通过网络或其它无线通信协议进行无线通信。X射线管扫描仪924还可以连接到计算机902。X射线管扫描仪924和计算机902可被直接地连接或者可通过网络或其它无线通信协议进行通信。还可以将医学图像获取设备和计算机902实现为一个设备。计算机902可以与X射线管扫描仪924进行通信以控制X射线管924的定位和取向并控制由X射线管924进行的X射线图像获取。由X射线管扫描仪924获取的X射线图像可以被输入到计算机902。计算机902还包括用于经由网络与其它设备通信的一个或多个网络接口906。计算机902还包括使得能够与计算机902进行用户交互的其它输入/输出设备
908（例如，显示器、键盘、鼠标、扬声器、按钮等）。可将此类输入/输出设备908与一组计算机程序相结合地用作用以对从图像获取设备920接收到的体积加注释的注释工具。本领域的技术人员将认识到实际计算机的实施方式也包含其它部件，并且图9是出于说明性目的的此类计算机的某些部件的高级表示。

[0036] 应将前述详细描述理解为在每个方面是说明性和示例性的而非限制性的，并且不根据具体实施方式，而是根据如根据专利法许可的完整的广度来解释的权利要求来确定在本文中公开的本发明的范围。应理解的是在本文中示出并描述的实施例仅仅说明本发明的原理，并且在不脱离本发明的范围和精神的情况下可由本领域的技术人员实现各种修改。在不脱离本发明的范围和精神的情况下，本领域的技术人员可以实现各种其它特征组合。

标题	发布/更新时间	阅读量
强制运动链伞齿轮滚磨机安装距控制与传动小拖板机构	2020-05-18	931
一种基于鱼群算法的机构运动链同构识别设计方法	2020-05-18	708
一种基于鱼群算法的机构运动链同构识别设计方法	2020-05-19	222
外啮合强制运动链滚磨机	2020-05-12	506
内啮合强制运动链滚磨机	2020-05-13	104
平面闭式复铰运动链的编号矩阵描述方法	2020-05-16	536
强制运动链伞齿轮滚磨机	2020-05-11	318
内啮合强制运动链立式滚磨机减速机构	2020-05-15	586
用于电力推动车辆的运动链	2020-05-12	263
强制运动链伞齿轮变交角可偏置滚磨机滚磨轮夹具	2020-05-20	570

用3D相机进行的用于X射线管的扫描仪自动化的方法和系统

用3D相机进行的用于X射线管的扫描仪自动化的方法和系统

背景技术

发明内容

附图说明

具体实施方式

该功能需要专业版企业版VIP权限，您可以：