首页 / 专利库 / 人工智能 / 机器人 / 关节型机器人 / 肿瘤放射治疗视觉监测与视觉伺服智能控制方法

肿瘤放射治疗视觉监测与视觉伺服智能控制方法

阅读:614发布:2023-01-11

专利汇可以提供肿瘤放射治疗视觉监测与视觉伺服智能控制方法专利检索,专利查询,专利分析的服务。并且本 发明 为 肿瘤 放射 治疗 视觉监测与视觉伺服智能控制方法:1)根据放疗计划阶段模拟 定位 医学成像系统、放疗摆位阶段治疗室内光学成像系统、放疗计划执行阶段机载医学成像系统等采集的多模态医学影像和多视觉光学图像,通过智能分析处理,对 放射治疗 全过程中的肿瘤放疗靶区和危及器官、搭载患者的放射治疗床和治疗设备及治疗室内 辅助治疗 人员和物体进行监测、识别、定位;2)根据肿瘤放疗全过程不同阶段采集的光学图像和(或)医学影像和临床放疗过程 质量 保证要求,通过多级多视觉伺服智能控制系统( 算法 )对肿瘤放疗全过程中的放射治疗床、治疗设备、机载医学成像系统、治疗室内光学成像系统进行智能化、自动化、高 精度 、高鲁棒视觉伺服控制。,下面是肿瘤放射治疗视觉监测与视觉伺服智能控制方法专利的具体信息内容。

1.肿瘤放射治疗视觉监测与视觉伺服智能控制方法,其特征在于:
包括如下步骤:
1)肿瘤放射治疗全过程视觉监测
1-1)通过放疗计划阶段模拟定位成像系统采集的患者CT、MRI、PET/CT和(或)PET/MRI医学影像,高精度确定肿瘤放疗靶区(GTV)和危及器官(OAR)的位姿
1-2)通过放疗摆位阶段治疗室内的多个彩色深度成像系统、激光雷达成像系统、多组近红外双目视觉成像系统、结构光成像系统等实时采集的可见光监测图像,实时动态跟踪和高精度确定放射治疗床(搭载患者)和治疗设备及治疗室内辅助治疗人员和物体的位姿;
1-3)通过放疗摆位阶段治疗设备(加速器)机载成像系统采集的CBCT、或CT医学影像,高精度确定每分次治疗前的放疗靶区(GTV)和危及器官(OAR)的当前位姿;
1-4)通过放疗计划执行阶段机载成像系统实时采集的超声、或MRI的医学影像数据,实时动态跟踪和高精度确定放疗计划执行过程中的放疗靶区(GTV)和危及器官(OAR)的当前位姿;
2)肿瘤放射治疗全过程视觉伺服智能控制
2-1)根据放疗摆位阶段光学成像监测系统实时动态跟踪和高精度确定的治疗室内放射治疗床(搭载患者)、治疗设备、辅助治疗人员和物体的空间位姿,通过视觉伺服智能控制系统(算法),引导和控制放射治疗床(搭载患者)运动到预定的放疗区,并使治疗等中心位置到达放疗计划阶段确定的放疗计划等中心位置的一定范围内;
2-2)通过自动比对治疗设备(加速器)机载成像系统影像确定的每分次放疗摆位阶段放疗靶区与危及器官的当前位姿和放疗计划阶段模拟定位成像系统影像确定的放疗计划肿瘤放疗靶区与危及器官的位姿,自动引导和控制、调整放射治疗床(搭载患者)位姿,使当前的治疗等中心位置和放疗计划阶段确定的放疗计划等中心位置控制在容许的误差范围内,并使放疗靶区位姿和模拟定位计划时的位姿控制在临床放疗容许的误差范围内,然后,按放疗计划阶段确定的放疗计划进行本分次的治疗;否则,修正放疗计划,并按修正后的放疗计划进行本分次的治疗,确保治疗过程的质量得到有效保证;
 2-3)根据放疗计划执行阶段机载成像系统影像实时动态跟踪和高精度确定的治疗过程中靶区和危及器官的当前位姿,实时引导和控制放射治疗床(搭载患者)和治疗设备的位姿,使放疗计划执行过程按治疗前确定的放疗计划进行;否则,实时修正放疗计划,并按修正后的放疗计划进行本分次治疗,确保治疗过程的质量得到有效保证。
2.根据权利要求1所述的肿瘤放射治疗视觉监测与视觉伺服智能控制方法,其特征在于:本发明由放射治疗机器人系统实现;
放射治疗机器人系统由肿瘤放射治疗模拟定位医学成像系统、放疗摆位光学成像系统、搭载患者的多自由度放射治疗床、治疗设备(加速器和多叶光栅)、机载医学成像系统等组成;
3)进一步的,视觉监测和视觉伺服智能控制系统(算法)由多级多视觉光学成像、监测设备(系统)组成,具体包括:
(3-1)在放疗室内以放疗计划等中心为中心,对10m*10m*10m(其中m:为长度单位:米)空间范围内的感兴趣目标进行视觉定位,一种实施方案如下:
以房间中某一固定点作为原点,建立全局的空间坐标系
采用质量室内固定安装的大视野激光雷达和(或)多个固定安装的多视彩色深度成像(RGBD)设备(系统)进行放疗室的静态三维重建,重建结果表现为三维点;根据此重建结果,建立室内静态目标(室内空间、放射治疗床、治疗设备、机载医学成像设备等)粗定位模型,并确定它们在全局空间坐标系中的位置,为第一级放疗摆位视觉监测和视觉伺服提供较低精度的感兴趣目标三维位置信息;
 (3-2)在放疗室内以放疗计划等中心为中心,对5m*5m*5m空间范围内的感兴趣目标进行较高精度视觉定位,一种实施方案如下:
采用多组放疗设备机载的近红外多双目立体视觉设备(系统),采集放疗区域内的放射治疗床和患者全身实时图像;
基于(3-1)的粗定位模型,确定放射治疗床静态三维模型,建立放射治疗床局部坐标系;利用双目立体视觉技术,实时监测感兴趣的运动目标(放射治疗床、患者),确定患者全身三维空间模型和放射治疗床局部坐标系下的位姿,为第二级放疗摆位视觉监测和视觉伺服提供较高精度的感兴趣目标三维空间位置信息;
 (3-3)在放疗室内以放疗计划等中心为中心,对0.5m*0.5m*0.5m空间范围内的感兴趣目标进行高精度视觉定位,一种实施方案如下:
基于(3-2)确定的患者全身三维空间模型,建立患者体坐标系;
采用主动式结构光三维扫描设备(系统),对患者局部身体表面标志物进行实时建模,并和(3-2)中确定的患者全身三维模型进行实时匹配,确定患者局部体表面标志物位置在患者体坐标系中的实时位置和姿态,为第三级放疗摆位视觉监测和视觉伺服提供高精度的感兴趣目标三维空间位置信息。
3.根据权利要求2所述的肿瘤放射治疗视觉监测与视觉伺服智能控制方法,其特征在于:采用肿瘤放射治疗多级摆位视觉监测与视觉伺服,一种实施方案如下:
4-1)各坐标系统的建立及标定
本方法涉及到全局坐标系,放射治疗床局部坐标系,患者体坐标系三种空间坐标系,为了得到精确的三维位置,需要对各级坐标系进行标定,获得坐标系统之间的转换关系;
各级坐标系的建立规则如下:
(4-1-1)全局坐标系
以放疗室内某一固定点为原点,以右手坐标系建立笛卡尔三维坐标系;它是将放疗室内搭载患者的放射治疗床、治疗设备、机载医学成像设备和光学监测成像设备等统一到一起的世界坐标系;
(4-1-2)放射治疗床局部坐标系
以放射治疗床中某一固定点为原点,每次工作时将放射治疗床上的各类设备校正到该坐标系,治疗室内用于光学成像监测的设备也标定到该坐标系下;
 (4-1-3)患者体坐标系
以患者肿瘤放疗计划等中心点为原点,建立三维坐标系,X轴表示左右方向,Y轴表示头脚方向,Z轴表示腹背方向,平面沿顺时针方向旋转矢量值为正;
其中,全局坐标系和放射治疗床局部坐标系之间的标定可利用合作标志进行标定,分别在室内空间和放射治疗床上设置若干合作标志,利用全站仪采集3对及以上不共线标志点的在两个空间坐标系中的坐标,计算放射治疗床在全局坐标系中的刚体转换关系;
通过三维模型匹配,计算患者体坐标与放射治疗床局部坐标之间的变换关系,同时由于患者会存在局部位移,因此该变换需要进行实时纠正,通过近红外双目立体视觉设备实时获取患者的位置姿态并转换到放射治疗床坐标系下;
 进一步的,采用如下多级放疗摆位视觉监测和视觉伺服智能控制:
4-2)第一级放疗摆位
第一级放疗摆位的实时位姿通过设置在治疗室内的大视野激光扫描和(或)多视角彩色深度成像(RGBD)设备(系统)对室内静态感兴趣目标进行三维建模确定;
其中,放射治疗床的位置通过标定得到,其他静态目标的位置可以通过三维模型的匹配得到;
计算患者的实时位姿并反馈给视觉伺服控制系统,将放射治疗床移动到患者放疗计划等中心区域内;
 4-3)第二级放疗摆位
第二级放疗摆位的实时位姿通过近红外多双目立体视觉成像系统确定;
通过对患者及放射治疗床区域进行实时三维重建,并和静态放射治疗床模型进行匹配,计算出患者的实时位姿,并反馈给视觉伺服控制系统,将放射治疗床移动到患者放疗计划等中心区域附近;
 4-4)第三级放疗摆位
第三级放疗摆位位姿通过主动式双目结构光扫描设备(系统)确定;通过实时扫描患者放疗计划等中心区域,并同患者全身三维模型进行匹配,计算出患者在放射治疗床上的实时位姿,并将结果反馈给视觉伺服控制系统,将放射治疗床移动到放疗计划等中心区域。
4. 根据权利要求2所述的肿瘤放射治疗视觉监测与视觉伺服智能控制方法,其特征在于:步骤1)和步骤2)采用多级多视觉成像系统来对搭载患者的放射治疗床进行动态视觉监测和视觉伺服智能摆位控制系统(算法),一种实施方案如下:
5-1)第一级放疗摆位
多视角彩色深度成像设备安装于治疗室四周的墙体上,用于10m*10m*10m治疗室物理空间范围内的粗摆位;
在一个10m*10m*10m治疗室内,可安装多套多视角彩色深度成像设备,对该治疗室内的放射治疗床(搭载患者)、治疗设备、成像设备、辅助治疗人员和物体进行视觉信息采集;
采用数字图像或视频智能分析处理算法,实时计算确定放射治疗床(搭载患者)、治疗设备、成像设备、辅助治疗人员和物体的当前位姿;
采用视觉伺服智能控制算法对放射治疗床(搭载患者)进行控制,控制放射治疗床按最优路径运动到放疗计划确定的位姿,使放疗摆位时患者的定位精度达到0.5米;
 5-2)第二级放疗摆位
采用的近红外双目立体视觉设备的视野范围为5m*5m*5m;
在经过多视角彩色深度成像设备监测与伺服智能控制一级摆位后,通过多套近红外双目立体视觉系统,对该治疗室内的放射治疗床(搭载患者)、治疗设备、成像设备、辅助治疗人员和物体进行视觉信息采集;
采用数字图像或视频智能分析处理算法,实时计算确定放射治疗床(搭载患者)、治疗设备、成像设备、辅助治疗人员和物体的当前位姿;
采用视觉伺服智能控制算法对放射治疗床(搭载患者)进行控制,控制放射治疗床按最优路径运动到放疗计划确定的位姿,使放疗摆位时患者的定位精度达到0.5毫米;
 5-3)第三级放疗摆位
采用的主动式结构光三维扫描系-统的视野范围为0.5m*0.5m*0.5m,可以进行更加精确的摆位;
通过主动式结构光三维扫描系统,对该治疗室内的放射治疗床(搭载患者)、治疗设备、成像设备、辅助治疗人员和物体进行视觉信息采集;
采用数字图像或视频智能分析处理算法,实时计算确定放射治疗床(搭载患者)、治疗设备、成像设备、辅助治疗人员和物体的当前位姿;
采用视觉伺服智能控制算法对放射治疗床(搭载患者)进行控制,控制放射治疗床按最优路径运动到放疗计划确定的位姿,使放疗摆位时患者的定位精度达到0.1毫米;
 5-4)第四级放疗摆位
在通过第三级放疗摆位后,开始治疗前,通过机载成像视觉伺服控制系统控制机载影像系统对患者进行治疗前的CBCT、或CT扫描,并采用医学图像智能分析处理算法对相应的CBCT、或CT图像进行分析处理,实时确定治疗等中心的当前位置,将治疗等中心的当前位置与治疗前确定的放疗计划等中心位置进行对比,若误差不在容许范围内,则采用视觉伺服智能控制算法对放射治疗床和治疗设备(直线加速器、多叶光栅)进行运动控制,保证当前治疗等中心和治疗前确定的放疗计划等中心控制在容许的误差范围(2毫米)内,再进行放射治疗;
进一步的,若在放疗摆位阶段,始终无法将当前的治疗等中心位置与放疗计划阶段确定的放疗计划等中心线位置的误差控制在临床允许范围之内,则修正放疗计划,重新确立新的放疗计划;
之后再将其与机载影像系统测得的实时等中心对比,将误差反馈给视觉伺服智能控制系统,并且通过视觉伺服智能控制算法,对放射治疗床和治疗设备(直线加速器、多叶光栅)进行视觉伺服运动控制,确保每分次放疗计划执行阶段治疗等中心位置和放疗计划阶段确定的放疗计划等中心控制在临床容许的误差范围内。
5.根据权利要求4所述的肿瘤放射治疗视觉监测与视觉伺服智能控制方法,其特征在于:放疗计划阶段,可以仅根据某一种肿瘤放疗模拟定位成像影像数据(如CT)确定肿瘤放疗靶区(GTV)和 危及器官(OAR)的位姿,也可以联合使用两种,或两种以上肿瘤放疗模拟定位影像确定肿瘤放疗靶区(GTV)和 危及器官(OAR)的位姿,如联合肿瘤CT/MRI;或CT/CBCT;
或PET/CT;或PET/MRI;或PET/CT/MRI;
放疗摆位阶段,可以仅使用一种实时动态视觉监测光学成像系统(如双目视觉系统)实时动态监测、跟踪和高精度定位放射治疗床(搭载患者)位姿和治疗设备、治疗室内辅助治疗人员和物体的位姿,也可以联合使用两种,或两种以上成像系统(如多双目视觉系统、结构光系统、激光雷达系统)实时动态跟踪和高精度定位放射治疗床(搭载患者)位姿和治疗设备、治疗室内辅助治疗人员和物体的位姿;
 每分次放疗摆位阶段,可以使用机载的CBCT系统,或CT系统高精度确定每分次治疗前肿瘤放疗靶区(GTV)和 危及器官(OAR)的当前位姿;放疗计划执行过程中可以使用超声、或MRI系统实时动态跟踪和高精度确定治疗过程中肿瘤放疗靶区(GTV)和 危及器官(OAR)的位姿的当前位姿;治疗过程的不同时期,使用不同的视觉监测图像智能分析处理方法和视觉伺服智能控制方法进行实时引导和控制放射治疗床(搭载患者)和治疗设备,使治疗过程按放疗计划进行,确保放疗过程的质量得到有效控制。
6.根据权利要求5所述的肿瘤放射治疗视觉监测与视觉伺服智能控制方法,其特征在于:通过肿瘤放射放疗摆位阶段的视觉监测与视觉伺服智能摆位控制,并完成第三级放疗摆位后,启动机载影像系统(CBCT)智能控制,并对放射治疗床上的患者进行CBCT扫描,以确定患者当前的治疗等中心位置和肿瘤放疗靶区位姿;具体包括如下步骤:
6-1)采用近红外多双目立体视觉系统,监测机载影像系统(CBCT)、放射治疗床(搭载患者)、治疗设备(直线加速器、多叶光栅)、辅助治疗人员和物体的当前位姿,并将机载影像系统(CBCT)的当前位姿与机载影像系统(CBCT)的期望位姿进行对比,产生的误差传递给机载CBCT系统视觉伺服控制器;该视觉伺服控制器根据不同的误差信息输出不同的频率控制信号,控制机载影像系统(CBCT)的电机驱动器;不同的频率控制信号控制电机驱动器,产生不同的电压作用于机载影像系统(CBCT)的伺服电机上,从而使机载影像系统的驱动伺服电机转速得到改变;与伺服电机相连的齿轮箱放大伺服电机产生的矩,并作用在机载影像系统(CBCT)上,使其运动,直到机载影像系统(CBCT)的当前位姿与期望位姿的误差在容许范围内;然后,通过视觉伺服控制器对伺服电机制动器发送直流电源开关指令,并通过伺服电机上的力矩控制伺服电机停止运动,定机载影像系统(CBCT)位姿;
6-2) 在锁定机载影像系统(CBCT)位姿后,将CBCT影像板的期望位姿与实时监测的影像板实时位姿进行对比,产生的误差传给CBCT影像板伺服控制器,该伺服控制器输出CBCT影像版电机驱动器频率控制信号,控制电机驱动器输出不同的电压,作用在CBCT影像板伺服电机上,从而控制电机转速,经过齿轮箱放大后,产生一定的力矩作用在影像板上,使其运动到成像位姿;
6-3)在锁定机载影像系统(CBCT)位姿之后,将CBCT的X光机的期望位姿与监测的X光机实时位姿进行对比,产生的误差传给伺服控制器,该伺服控制器输出X光机电机驱动器频率控制信号,控制电机驱动器输出不同的电压,作用在X光机伺服电机上,从而控制电机转速,经过齿轮箱的放大后,产生一定的力矩作用在X光机上,使其运动到成像位姿。
7.根据权利要求6所述的肿瘤放射治疗视觉监测与视觉伺服智能控制方法,其特征在于:第四级放疗摆位阶段,通过机载CBCT影像和放疗计划时模拟定位CT影像之间的高精度配准,确定放疗靶区和危及器官的形变场;
进一步,通过确定的形变场,将基于放疗计划时模拟定位CT勾画的放疗靶区和危及器官信息、放疗计划信息自动变换,以保持和当前CBCT影像一致;
并通过伺服控制,实时调整放射治疗床、直线加速器和多叶光栅位姿,保证每分次放疗过程中危及器官和放疗靶区的当前位姿和治疗前放疗计划时模拟定位CT影像中危及器官和靶区位姿误差在允许范围内,以减小治疗时放疗靶区等中心位置与治疗前确定的放疗计划等中心位置的误差;
具体步骤如下:
7-1)导入分次放疗过程CBCT图像与原始计划模拟定位CT图像;
7-2)分次放疗过程CBCT图像与原始计划CT中图像进行高精度配准;
7-3)根据配准形变场,自动转换放疗靶区和危及器官勾画轮廓信息;
7-4)根据原始计划CT中的参数、分次放疗前CBCT图像和此分次勾画轮廓重新计算剂量分布和剂量体积直方图,结合原始处方剂量和放疗临床剂量约束,判断是否需要修改放疗计划;
如需要修改计划,则进行7-5)和7-6);如不需要修改计划,则以原放疗计划作为当前分次放疗计划,并实施当前分次放疗;
7-5)结合临床要求进行病人放疗计划的快速在线修正,自动生成当前分次放疗计划;
7-6)根据修改后的放疗计划,通过伺服控制调整放射治疗床、直线加速器和多叶光栅位姿后再实施当前放疗过程。
8. 根据权利要求7 所述的肿瘤放射治疗视觉监测与视觉伺服智能控制方法,其特征在于:一种图像高精度配准算法如下:
8-1)先将当前分次放疗的CBCT 图像与计划CT 图像进行刚性配准,即平移和旋转;之后再进行非刚性配准;
本发明实例采用仿射和基于Demons 算法的双向一致、高精度弹性配准;
 8-2)图像配准算法为多尺度、多分辨率、双向一致的迭代配准过程,通过不断对变形场进行优化直到算法收敛,实现肿瘤影像高精度弹性配准;
该算法利用局部图像信息来变换图像,为了保证该变换在全局范围连续,从而保持图像的拓扑结构,在每一次迭代后,使用高斯滤波器平滑所得到的偏移,提高计算效率;
进一步的,为提高算法收敛速度,将驱动力由浮动图像像素向参考图像像素扩散的单向力变为来自两幅图像梯度的双向力,即图像上任意点的力不仅驱动浮动图像向参考图像扩散,同时也驱动参考图像向浮动图像扩散。
9.根据权利要求8所述的肿瘤放射治疗视觉监测与视觉伺服智能控制方法,其特征在于:
为保证配准结果双向一致,本发明实例采用双向一致的配准算法;
双向一致配准算法基于微分同胚demons,参考图像I1和浮动图像I0的形变场具有对称的特性,在微分同胚变换空间中确保相似性测度准则;
该形变配准使参考图像和浮动图像同时形变,无论如何选择配准的相似性测度和优化参数,该对称微分同胚确保由I1到I0的变换与由I0到I1的变换具有一致性;
该双向一致性配准保证两幅图像变换距离估计的对称性,不限制如何选择固定图像和参考图像;通过直接在最优化过程中加入可逆限制,该方法确保亚体素的配准准确度和离散域的可逆形变;同时,对称的形变利用可逆性使配准误差最小。
10.根据权利要求2所述的肿瘤放射治疗视觉监测与视觉伺服智能控制方法,其特征在于:采用对角递归神经网络(DRNN)视觉伺服控制算法对放射治疗床、治疗设备等进行多级视觉伺服智能控制,一种实施方案如下:
9-1)对角递归神经网络结构
对角递归神经网络(DRNN)具有三层:输入层、隐含层和输出层
其结构图如图6所示;
其特征在于:对角递归神经网络隐含层的神经元之间或网络的输出到输入之间存在着反馈连接,其反馈环节还具有时间延时特性,网络具有短期的记忆能力;
本发明的一种实施方案是采用DRNN网络对复杂的放疗过程进行建模、辨识与控制;
DRNN网络状态方程和输出方程的表达式为:
                           (1)
                             (2)
                  (3)
式中, 是网络的第 个输入向量; 是隐含层中的第 个神经元的输入的总和向量; 是隐含层第 个神经元的状态向量; 是网络的输出向量;是Sigmoid函数;
9-2)对角递归神经网络辨识结构
采用对角递归神经网络对系统进行辨识时,k为网络的迭代步数,u(k)为辨识对象的输入向量,yd(k)为辨识对象的输出向量,y(k)为DRNN网络的输出向量;
将需要辨识的对象的输入及输出作为DRNN网络的输入,辨识对象的输出与DRNN网络输出之差作为DRNN的调整信号;
并根据均方误差的大小来调整辨识网络的参数;
 9-3)对角递归神经网络学习算法
本发明实例采用动态误差反向传播算法(Dynamic Back Propagation, DBP)进行网络训练学习;
9-4)对角递归网络的训练流程
9-4-1):初始化网络参数;
9-4-2):正向传播,根据DRNN网络状态方程和输出方程的表达式计算出网络的输出向量 ,隐含层的输入向量 和状态向量 ;
9-4-3):计算网络的辨识误差 ;
9-4-4):反向传播,对网络各层之间的连接权值进行调整;
9-4-5):判断 是否达到性能要求;
9-4-6):若达到要求,保存权值,结束训练;若未达到,转至9-4-2);
9-5)基于DRNN的放射治疗床视觉伺服控制系统
将期望的图像特征点与通过光学成像检测系统获得的图像特征点相比较,将误差传递给视觉伺服控制器,输出的放射治疗床机械臂末端在三维笛卡尔空间中的速度与雅可比矩阵逆矩阵相乘,获得放射治疗床机械臂各个关节的速度,并传递给放射治疗床各关节控制器、对角递归神经网络及其相应的,对放射治疗床动力学模型的不精确部分进行修正和辨识,将结果传递给放射治疗床动力学模型,从而控制放射治疗床机械臂各关节的位姿。

说明书全文

肿瘤放射治疗视觉监测与视觉伺服智能控制方法

技术领域

[0001] 本发明涉及计算机视觉机器人、智能控制、人工智能、医学影像、图像处理图像分析机器学习模式识别与肿瘤放射物理、放射生物放射治疗、生物医学工程等技术领域;特别涉及肿瘤放射治疗全过程的动态视觉监测图像和肿瘤医学影像智能分析处理方法;放射治疗床(搭载患者)、治疗设备(加速器,多叶光栅)、机载成像系统、治疗室视觉监测成像系统的智能化、自动化、高精度、高鲁棒的视觉伺服智能控制方法;具体的,其展示肿瘤放射治疗视觉监测与视觉伺服智能控制方法。

背景技术

[0002] 肿瘤放射治疗是目前三大肿瘤治疗技术之一。目前临床上恶性肿瘤精确放疗过程的质量保证主要依靠临床放疗医生、放疗物理师和治疗技师的及时有效操控来实现,放疗工作效率低,放疗过程可靠性不高,放射治疗质量难保证。
[0003] 现代精确放疗过程质量保证依赖于:1)放疗计划阶段模拟定位成像系统(包括计算机断层扫描成像(CT)、核磁共振成像(MRI)、电子发射断层扫描成像(PET) )采集的肿瘤放疗靶区(GTV)和危及器官(OAR)医学影像;2)放疗摆位阶段治疗室内光学成像系统(包括可见光、红外光、结构光、激光雷达)采集的可见光监测图像和机载成像系统(锥形束计算机断层扫描成像(CBCT))采集的医学影像;3)放疗计划执行阶段机载成像系统(超声、或MRI成像系统)采集的医学影像;并根据以上不同阶段、不同成像原理采集的影像,对肿瘤放疗全过程进行动态视觉监测、跟踪。进一步,对监测到的视觉光学图像和医学影像进行智能化、自动化的图像分析处理,并据此定量的影像分析处理结果,对放射治疗床、治疗设备(加速器,多叶光栅)、机载成像系统、治疗室视觉监测成像系统进行有效的智能化、自动化、高精度、高鲁棒的视觉监测伺服智能控制。
[0004] 因此,有必要提供有效的肿瘤放射治疗视觉监测与视觉伺服智能控制方法。

发明内容

[0005] 本发明的目的是提供肿瘤放射治疗视觉监测与视觉伺服智能控制方法,以解决目前临床上人工操控放疗过程效率低、可靠性不高的问题,提高放射治疗的效率和质量。
[0006] 本发明通过如下技术实施方案实现上述目的,包括如下步骤:肿瘤放射治疗视觉监测与视觉伺服智能控制方法,包括如下步骤:
1)肿瘤放射治疗全过程视觉监测
1-1)通过放疗计划阶段模拟定位成像系统采集的患者CT、MRI、PET/CT和(或)PET/MRI医学影像,高精度确定肿瘤放疗靶区(GTV)和危及器官(OAR)的位姿
1-2)通过放疗摆位阶段治疗室内的多个彩色深度成像系统、激光雷达成像系统、多组近红外双目视觉成像系统、结构光成像系统等实时采集的可见光监测图像,实时动态跟踪和高精度确定放射治疗床(搭载患者)和治疗设备及治疗室内辅助治疗人员和物体的位姿;
1-3)通过放疗摆位阶段治疗设备(加速器)机载成像系统采集的CBCT、或CT医学影像,高精度确定每分次治疗前的放疗靶区(GTV)和危及器官(OAR)的当前位姿;
1-4)通过放疗计划执行阶段机载成像系统实时采集的超声、或MRI的医学影像数据,实时动态跟踪和高精度确定放疗计划执行过程中的放疗靶区(GTV)和危及器官(OAR)的当前位姿
2)肿瘤放射治疗全过程视觉伺服智能控制
2-1)根据放疗摆位阶段光学成像监测系统实时动态跟踪和高精度确定的治疗室内放射治疗床(搭载患者)、治疗设备、辅助治疗人员和物体的空间位姿,通过视觉伺服智能控制系统(算法),引导和控制放射治疗床(搭载患者)运动到预定的放疗区,并使治疗等中心位置到达放疗计划阶段确定的放疗计划等中心位置的一定范围内;
2-2)通过自动比对治疗设备(加速器)机载成像系统影像确定的每分次放疗摆位阶段放疗靶区与危及器官的当前位姿和放疗计划阶段模拟定位成像系统影像确定的放疗计划肿瘤放疗靶区与危及器官的位姿,自动引导和控制、调整放射治疗床(搭载患者)位姿,使当前的治疗等中心位置和放疗计划阶段确定的放疗计划等中心位置控制在容许的误差范围内,并使放疗靶区位姿和模拟定位计划时的位姿控制在临床放疗容许的误差范围内,然后,按放疗计划阶段确定的放疗计划进行本分次的治疗;否则,修正放疗计划,并按修正后的放疗计划进行本分次的治疗,确保治疗过程的质量得到有效保证;
2-3)根据放疗计划执行阶段机载成像系统影像实时动态跟踪和高精度确定的治疗过程中靶区和危及器官的当前位姿,实时引导和控制放射治疗床(搭载患者)和治疗设备的位姿,使放疗计划执行过程按治疗前确定的放疗计划进行;否则,实时修正放疗计划,并按修正后的放疗计划进行本分次治疗,确保治疗过程的质量得到有效保证。
[0007] 进一步的,本发明由放射治疗机器人系统实现。放射治疗机器人系统由肿瘤放射治疗模拟定位医学成像系统、放疗摆位光学成像系统、搭载患者的多自由度放射治疗床、治疗设备(加速器和多叶光栅)、机载医学成像系统等组成。
[0008] 进一步的,视觉监测和视觉伺服智能控制系统(算法)由多级多视觉光学成像、监测设备(系统)组成,具体包括:(3-1)在放疗室内以放疗计划等中心为中心,对10m*10m*10m(其中m:为长度单位:米)空间范围内的感兴趣目标进行视觉定位,一种实施方案如下:
以房间中某一固定点作为原点,建立全局的空间坐标系。采用质量室内固定安装的大视野激光雷达和(或)多个固定安装的多视彩色深度成像(RGBD)设备(系统)进行放疗室的静态三维重建,重建结果表现为三维点;根据此重建结果,确定室内静态目标(室内空间、放射治疗床、治疗设备、机载医学成像设备等)粗定位模型和在全局空间坐标系中的位置,为第一级放疗摆位视觉监测和视觉伺服提供较低精度的感兴趣目标三维位置信息;
(3-2)在放疗室内以放疗计划等中心为中心,对5m*5m*5m空间范围内的感兴趣目标进行较高精度视觉定位,一种实施方案如下:
采用多组放疗设备机载的近红外多双目立体视觉设备(系统),采集放疗区域内的放射治疗床和患者全身实时图像。基于(3-1)的粗定位模型,确定放射治疗床静态三维模型,建立放射治疗床局部坐标系;利用双目立体视觉技术,实时监测感兴趣的运动目标(放射治疗床、患者),确定患者全身三维空间模型和放射治疗床局部坐标系下的位置和姿态,为第二级放疗摆位视觉监测和视觉伺服提供较高精度的感兴趣目标三维空间位置信息;
(3-3)在放疗室内以放疗计划等中心为中心,对0.5m*0.5m*0.5m空间范围内的感兴趣目标进行高精度视觉定位,一种实施方案如下:
基于(3-2)确定的患者全身三维空间模型,建立患者体坐标系。采用主动式结构光三维扫描设备(系统),对患者局部身体表面标志物进行实时建模,并和(3-2)中确定的患者全身三维模型进行实时匹配,确定患者局部体表面标志物位置在患者体坐标系中的实时位置和姿态,为第三级放疗摆位视觉监测和视觉伺服提供高精度的感兴趣目标三维空间位置信息。
[0009] 进一步的,采用肿瘤放射治疗多级摆位视觉监测与视觉伺服,一种实施方案如下:4-1)各坐标系统的建立及标定
本方法涉及到全局坐标系,放射治疗床局部坐标系,患者体坐标系三种空间坐标系,为了得到精确的三维位置,需要对各级坐标系进行标定,获得坐标系统之间的转换关系。各级坐标系的建立规则如下:
(4-1-1)全局坐标系
以放疗室内某一固定点为原点,以右手坐标系建立笛卡尔三维坐标系。它是将放疗室内
搭载患者的放射治疗床、治疗设备、机载医学成像设备和光学监测成像设备等统一到一起的世界坐标系
(4-1-2)放射治疗床局部坐标系
以放射治疗床中某一固定点为原点,每次工作时将放射治疗床上的各类设备校正到该坐标系,治疗室内用于光学成像监测的设备也标定到该坐标系下;
(4-1-3)患者体坐标系
以患者肿瘤放疗计划等中心点为原点,建立三维坐标系,X轴表示左右方向,Y轴表示头脚方向,Z轴表示腹背方向,平面沿顺时针方向旋转矢量值为正。
[0010] 其中,全局坐标系和放射治疗床局部坐标系之间的标定可利用合作标志进行标定,分别在室内空间和放射治疗床上设置若干合作标志,利用全站仪采集3对及以上不共线标志点的在两个空间坐标系中的坐标,计算放射治疗床在全局坐标系中的刚体转换关系。
[0011] 通过三维模型匹配,计算患者体坐标与放射治疗床局部坐标之间的变换关系,同时由于患者会存在局部位移,因此该变换需要进行实时纠正,通过近红外双目立体视觉设备实时获取患者的位置姿态并转换到放射治疗床坐标系下。
[0012] 进一步的,采用如下多级放疗摆位视觉监测和视觉伺服智能控制系统(算法):4-2)第一级放疗摆位
第一级放疗摆位的实时位姿通过设置在治疗室内的大视野激光扫描和(或)多视角彩色深度成像(RGBD)设备(系统)对室内静态感兴趣目标进行三维建模确定。其中,放射治疗床的位置通过标定得到,其他静态目标的位置可以通过三维模型的匹配得到。计算患者的实时位姿并反馈给视觉伺服控制系统,将放射治疗床移动到患者放疗计划等中心区域内;
4-3)第二级放疗摆位
第二级放疗摆位的实时位姿通过近红外多双目立体视觉成像系统确定。通过对患者及放射治疗床区域进行实时三维重建,并和静态放射治疗床模型进行匹配,计算出患者的实时位姿,并反馈给视觉伺服控制系统,将放射治疗床移动到患者放疗计划等中心区域附近;
4-4)第三级放疗摆位
第三级放疗摆位位姿通过主动式双目结构光扫描设备(系统)确定。通过实时扫描患者放疗计划等中心区域,并同患者全身三维模型进行匹配,计算出患者在放射治疗床上的实时位姿,并将结果反馈给视觉伺服控制系统,将放射治疗床移动到放疗计划等中心区域。
[0013] 进一步的,步骤1)和步骤2)采用多级多视觉成像系统来对搭载患者的放射治疗床进行动态视觉监测和视觉伺服智能摆位控制系统(算法),一种实施方案如下:5-1)第一级放疗摆位
多视角彩色深度成像设备安装于治疗室四周的墙体上,用于10m*10m*10m治疗室物理空间范围内的粗摆位。在一个10m*10m*10m治疗室内,可安装多套多视角彩色深度成像设备,对该治疗室内的放射治疗床(搭载患者)、治疗设备、成像设备、辅助治疗人员和物体进行视觉信息采集。采用数字图像或视频智能分析处理算法,实时计算确定放射治疗床(搭载患者)、治疗设备、成像设备、辅助治疗人员和物体的当前位姿。采用视觉伺服智能控制算法对放射治疗床(搭载患者)进行控制,控制放射治疗床按最优路径运动到放疗计划确定的位姿,使放疗摆位时患者的定位精度达到0.5米;
5-2)第二级放疗摆位
采用的近红外双目立体视觉设备的视野范围为5m*5m*5m。在经过多视角多视角彩色深度成像设备监测与伺服智能控制一级摆位后,通过多套近红外双目立体视觉系统,对该治疗室内的放射治疗床(搭载患者)、治疗设备、成像设备、辅助治疗人员和物体进行视觉信息采集。采用数字图像或视频智能分析处理算法,实时计算确定放射治疗床(搭载患者)、治疗设备、成像设备、辅助治疗人员和物体的当前位姿。采用视觉伺服智能控制算法对放射治疗床(搭载患者)进行控制,控制放射治疗床按最优路径运动到放疗计划确定的位姿,使放疗摆位时患者的定位精度达到0.5毫米;
5-3)第三级放疗摆位
采用的主动式结构光三维扫描系-统的视野范围为0.5m*0.5m*0.5m,可以进行更加精确的摆位。通过主动式结构光三维扫描系统,对该治疗室内的放射治疗床(搭载患者)、治疗设备、成像设备、辅助治疗人员和物体进行视觉信息采集。采用数字图像或视频智能分析处理算法,实时计算确定放射治疗床(搭载患者)、治疗设备、成像设备、辅助治疗人员和物体的当前位姿。采用视觉伺服智能控制算法对放射治疗床(搭载患者)进行控制,控制放射治疗床按最优路径运动到放疗计划确定的位姿,使放疗摆位时患者的定位精度达到0.1毫米;
5-4)第四级放疗摆位
在通过第三级放疗摆位后,开始治疗前,通过机载成像视觉伺服控制系统控制机载影像系统对患者进行治疗前的CBCT、或CT扫描,并采用医学图像智能分析处理算法对相应的CBCT、或CT图像进行分析处理,实时确定治疗等中心的当前位置,将治疗等中心的当前位置与治疗前确定的放疗计划等中心位置进行对比,若误差不在容许范围内,则采用视觉伺服智能控制算法对放射治疗床和治疗设备(直线加速器、多叶光栅)进行运动控制,保证当前治疗等中心和治疗前确定的放疗计划等中心控制在容许的误差范围(2毫米)内,再进行放射治疗。
[0014] 进一步的,若在放疗摆位阶段,始终无法将当前的治疗等中心位置与放疗计划阶段确定的放疗计划等中心线位置的误差控制在临床允许范围之内,则修正放疗计划,重新确立新的放疗计划。之后再将其与机载影像系统测得的实时等中心对比,将误差反馈给视觉伺服智能控制系统,并且通过视觉伺服智能控制算法,对放射治疗床和治疗设备(直线加速器、多叶光栅)进行视觉伺服运动控制,确保每分次放疗计划执行阶段治疗等中心位置和放疗计划阶段确定的放疗计划等中心控制在临床容许的误差范围内。
[0015] 进一步的,放疗计划阶段,可以仅根据某一种肿瘤放疗模拟定位成像影像数据(如CT)确定肿瘤放疗靶区(GTV)和 危及器官(OAR)的位姿,也可以联合使用两种,或两种以上肿瘤放疗模拟定位影像确定肿瘤放疗靶区(GTV)和 危及器官(OAR)的位姿,如联合肿瘤CT/MRI;或CT/CBCT;或PET/CT;或PET/MRI;或PET/CT/MRI。
[0016] 放疗摆位阶段,可以仅使用一种实时动态视觉监测光学成像系统(如双目视觉系统)实时动态监测、跟踪和高精度定位放射治疗床(搭载患者)位姿和治疗设备、治疗室内辅助治疗人员和物体的位姿,也可以联合使用两种,或两种以上成像系统(如多双目视觉系统、结构光系统、激光雷达系统)实时动态跟踪和高精度定位放射治疗床(搭载患者)位姿和治疗设备、治疗室内辅助治疗人员和物体的位姿。
[0017] 每分次放疗摆位时,可以使用机载的CBCT系统,或CT系统高精度确定每分次治疗前肿瘤放疗靶区(GTV)和 危及器官(OAR)的当前位姿;治疗过程中可以使用超声、或MRI系统实时动态跟踪和高精度确定治疗过程中肿瘤放疗靶区(GTV)和 危及器官(OAR)的位姿的当前位姿;治疗过程的不同时期,使用不同的视觉监测图像智能分析处理方法和视觉伺服智能控制方法进行实时引导和控制放射治疗床(搭载患者)和治疗设备,使治疗过程按放疗计划进行,确保放疗过程的质量得到有效控制。
[0018] 进一步的,通过肿瘤放射放疗摆位过程的视觉监测与视觉伺服智能摆位控制,并完成第三级放疗摆位后,启动机载影像系统(CBCT)智能控制,并对放射治疗床上的患者进行CBCT扫描,以确定患者当前的治疗等中心位置和肿瘤放疗靶区位姿;具体包括如下步骤:6-1)采用近红外多双目立体视觉系统,监测机载影像系统(CBCT)、放射治疗床(搭载患者)、治疗设备(直线加速器、多叶光栅)、辅助治疗人员和物体的当前位姿,并将机载影像系统(CBCT)的当前位姿与机载影像系统(CBCT)的期望位姿进行对比,产生的误差传递给机载CBCT系统视觉伺服控制器。该视觉伺服控制器根据不同的误差信息输出不同的频率控制信号,控制机载影像系统(CBCT)的电机驱动器。不同的频率控制信号控制电机驱动器,产生不同的电压作用于机载影像系统(CBCT)的伺服电机上,从而使机载影像系统的驱动伺服电机转速得到改变。与伺服电机相连的齿轮箱放大伺服电机产生的矩,并作用在机载影像系统(CBCT)上,使其运动,直到机载影像系统(CBCT)的当前位姿与期望位姿的误差在容许范围内。然后,通过视觉伺服控制器对伺服电机制动器发送直流电源开关指令,并通过伺服电机上的力矩控制伺服电机停止运动,定机载影像系统(CBCT)位姿;
6-2) 在锁定机载影像系统(CBCT)位姿后,将CBCT影像板的期望位姿与实时监测的影像板实时位姿进行对比,产生的误差传给CBCT影像板伺服控制器,该伺服控制器输出CBCT影像版电机驱动器频率控制信号,控制电机驱动器输出不同的电压,作用在CBCT影像板伺服电机上,从而控制电机转速,经过齿轮箱放大后,产生一定的力矩作用在影像板上,使其运动到成像位姿;
6-3)在锁定机载影像系统(CBCT)位姿之后,将CBCT的X光机的期望位姿与监测的X光机实时位姿进行对比,产生的误差传给伺服控制器,该伺服控制器输出X光机电机驱动器频率控制信号,控制电机驱动器输出不同的电压,作用在X光机伺服电机上,从而控制电机转速,经过齿轮箱的放大后,产生一定的力矩作用在X光机上,使其运动到成像位姿。
[0019] 进一步的,第四级放疗摆位阶段,通过机载CBCT影像和放疗计划时模拟定位CT影像之间的高精度配准,确定放疗靶区和危及器官的形变场。进一步,通过确定的形变场,将基于放疗计划时模拟定位CT勾画的放疗靶区和危及器官信息、放疗计划信息自动变换,以保持和当前CBCT影像一致。并通过伺服控制,实时调整放射治疗床、直线加速器和多叶光栅位姿,保证每分次放疗过程中危及器官和放疗靶区的当前位姿和治疗前放疗计划时模拟定位CT影像中危及器官和靶区位姿误差在允许范围内,以减小治疗时放疗靶区等中心位置与治疗前确定的放疗计划等中心位置的误差。具体步骤如下:7-1)导入分次放疗过程CBCT图像与原始计划模拟定位CT图像;
7-2)分次放疗过程CBCT图像与原始计划CT中图像进行高精度配准;
7-3)根据配准形变场,自动转换放疗靶区和危及器官勾画轮廓信息;
7-4)根据原始计划CT中的参数、分次放疗前CBCT图像和此分次勾画轮廓重新计算剂量分布和剂量体积直方图,结合原始处方剂量和放疗临床剂量约束,判断是否需要修改放疗计划。如需要修改计划,则进行7-5)和7-6);如不需要修改计划,则以原放疗计划作为当前分次放疗计划,并实施当前分次放疗;
7-5)结合临床要求进行病人放疗计划的快速在线修正,自动生成当前分次放疗计划;
7-6)根据修改后的放疗计划,通过伺服控制调整放射治疗床、直线加速器和多叶光栅位姿后再实施当前放疗过程。
[0020] 进一步的,一种图像高精度配准算法如下:8-1)先将当前分次放疗的CBCT 图像与计划CT 图像进行刚性配准,即平移和旋转;之后再进行非刚性配准。本发明实例采用仿射和基于Demons 算法的双向一致、高精度弹性配准算法;
8-2)图像配准算法为多尺度、多分辨率、双向一致的迭代配准过程,通过不断对变形场进行优化直到算法收敛,实现肿瘤影像高精度弹性配准。该算法利用局部图像信息来变换图像,为了保证该变换在全局范围连续,从而保持图像的拓扑结构,在每一次迭代后,使用高斯滤波器平滑所得到的偏移,提高计算效率。进一步的,为提高算法收敛速度,将驱动力由浮动图像像素向参考图像像素扩散的单向力变为来自两幅图像梯度的双向力,即图像上任意点的力不仅驱动浮动图像向参考图像扩散,同时也驱动参考图像向浮动图像扩散。
[0021] 进一步的, 为保证配准结果双向一致,本发明实例采用双向一致的配准算法。双向一致配准算法基于微分同胚demons,参考图像I1和浮动图像I0的形变场具有对称的特性,在微分同胚变换空间中确保相似性测度准则。该形变配准使参考图像和浮动图像同时形变,无论如何选择配准的相似性测度和优化参数,该对称微分同胚确保由I1到I0的变换与由I0到I1的变换具有一致性。该双向一致性配准保证两幅图像变换距离估计的对称性,不限制如何选择固定图像和参考图像。通过直接在最优化过程中加入可逆限制,该方法确保亚体素的配准准确度和离散域的可逆形变。同时,对称的形变利用可逆性使配准误差最小。
[0022] 进一步的,采用对角递归神经网络(DRNN)视觉伺服控制算法对放射治疗床、治疗设备等进行多级视觉伺服智能控制,一种实施方案如下:9-1)对角递归神经网络结构
对角递归神经网络(DRNN)具有三层:输入层、隐含层和输出层。对角递归神经网络隐含层的神经元之间或网络的输出到输入之间存在着反馈连接,其反馈环节还具有时间延时特性,网络具有短期的记忆能力。本发明的一种实施方案是采用DRNN网络对复杂的放疗过程进行建模、辨识与控制;
DRNN网络状态方程和输出方程的表达式为:
                           (1)
                             (2)
                  (3)
式中, 是网络的第 个输入向量; 是隐含层中的第 个神经元的输入的总和
向量; 是隐含层第 个神经元的状态向量; 是网络的输出向量;是Sigmoid函数。
[0023] 9-2)对角递归神经网络辨识结构采用对角递归神经网络对系统进行辨识时,k为网络的迭代步数,u(k)为辨识对象的输入向量,yd(k)为辨识对象的输出向量,y(k)为DRNN网络的输出向量。将需要辨识的对象的输入及输出作为DRNN网络的输入,辨识对象的输出与DRNN网络输出之差作为DRNN的调整信号。并根据均方误差的大小来调整辨识网络的参数;
 9-3)对角递归神经网络学习算法
本发明实例采用动态误差反向传播算法(Dynamic Back Propagation, DBP)进行网络训练学习;
9-4)对角递归网络的训练流程
9-4-1):初始化网络参数;
9-4-2):正向传播,根据DRNN网络状态方程和输出方程的表达式计算出网络的输出向量 ,隐含层的输入向量 和状态向量 ;
9-4-3):计算网络的辨识误差 ;
9-4-4):反向传播,对网络各层之间的连接权值进行调整;
9-4-5):判断 是否达到性能要求;
9-4-6):若达到要求,保存权值,结束训练;若未达到,转至9-4-2);
9-5)基于DRNN的放射治疗床视觉伺服控制系统
将期望的图像特征点与通过光学成像检测系统获得的图像特征点相比较,将误差传递给视觉伺服控制器,输出的放射治疗床机械臂末端在三维笛卡尔空间中的速度与雅可比矩阵逆矩阵相乘,获得放射治疗床机械臂各个关节的速度,并传递给放射治疗床各关节控制器、对角递归神经网络及其相应的,对放射治疗床动力学模型的不精确部分进行修正和辨识,并将结果传递给放射治疗床动力学模型,从而控制放射治疗床机械臂各关节的位姿。
[0024] 与现有技术相比,本发明能有效解决目前临床上人工操控放疗过程效率低、可靠性不高的问题,提高放射治疗执行过程的工作效率和工作质量,确保治疗过程的质量得到有效保证。附图说明
[0025] 图1为由肿瘤放射治疗模拟定位医学成像系统、摆位光学成像系统、搭载患者的多自由度放射治疗床、治疗设备(加速器和多叶光栅)、机载医学成像系统等组成的放射治疗机器人系统构成框图;图2为肿瘤放射放疗摆位多级视觉引导与监测光学成像系统总体构成框图;图3为肿瘤放射放疗视觉监测和视觉伺服控制系统中的放射治疗床局部坐标系与患者体坐标系框图;图4为肿瘤放射治疗第一级摆位视觉监测与视觉伺服智能摆位控制原理框图;图5为肿瘤放射治疗第二级摆位视觉监测与视觉伺服智能摆位控制原理框图;图6为肿瘤放射治疗第三级摆位视觉监测与视觉伺服智能摆位控制原理框图;图7为机载CBCT系统视觉伺服运动控制原理框图;图8为机载CBCT影像板伺服运动控制原理框图;图9为机载CBCT的X光机伺服运动控制原理框图;图10为肿瘤放射放疗第四级摆位视觉监测与视觉伺服智能摆位控制原理框图;图11 为对角递归神经网络(DRNN)辨识系统的结构图;图12为对角递归神经网络DRNN连接权值的训练图;图13为基于配准的放疗靶区和危机器官勾画与在线计划调整流程;图14为基于demons算法的高精度弹性配准流程;图15为双向一致配准算法示意图;图16为放射治疗视觉监测和视觉伺服智能控制原理框图。

具体实施方式

[0026] 本实施例展示肿瘤放射治疗视觉监测与视觉伺服智能控制方法,包括如下步骤:1)肿瘤放射治疗全过程视觉监测
1-1)通过放疗计划阶段模拟定位成像系统采集的患者CT、MRI、PET/CT和(或)PET/MRI医学影像,高精度确定肿瘤放疗靶区(GTV)和危及器官(OAR)的位姿;
1-2)通过放疗摆位阶段治疗室内的多个彩色深度成像系统、激光雷达成像系统、多组近红外光双目视觉成像系统、结构光成像系统等实时采集的可见光监测图像,实时动态跟踪和高精度确定放射治疗床(搭载患者)的位姿和治疗设备、治疗室内辅助治疗人员和物体的位姿;
1-3)通过放疗摆位阶段治疗设备(加速器)机载成像系统采集的CBCT、或CT医学影像,高精度确定每分次治疗前的放疗靶区(GTV)和危及器官(OAR)的当前位姿;
1-4)通过放疗计划执行阶段机载成像系统实时采集的超声、或MRI的医学影像数据,实时动态跟踪和高精度确定放疗计划执行过程中的放疗靶区(GTV)和危及器官(OAR)的当前位姿;
2)肿瘤放射治疗全过程视觉伺服智能控制:
2-1)根据放疗摆位阶段光学成像监测系统实时动态跟踪和高精度确定的治疗室内放射治疗床(搭载患者)、治疗设备、辅助治疗人员和物体的空间位姿,通过视觉伺服智能控制系统(算法),引导和控制放射治疗床(搭载患者)运动到预定的放疗区,并使治疗等中心位置到达放疗计划阶段确定的放疗计划等中心位置的一定范围内;
2-2)通过自动比对治疗设备(加速器)机载成像系统影像确定的每分次放疗摆位阶段放疗靶区与危及器官的当前位姿和放疗计划阶段模拟定位成像系统影像确定的放疗计划肿瘤放疗靶区与危及器官的位姿,自动引导和控制、调整放射治疗床(搭载患者)位姿,使当前的治疗等中心位置和放疗计划阶段确定的放疗计划等中心位置控制在容许的误差范围内,并使放疗靶区位姿和模拟定位计划时的位姿控制在临床放疗容许的误差范围内,然后,按放疗计划阶段确定的放疗计划进行本分次的治疗;否则,修正放疗计划,并按修正后的放疗计划进行本分次的治疗,确保治疗过程的质量得到有效保证;
2-3)根据放疗计划执行阶段机载成像系统影像实时动态跟踪和高精度确定的治疗过程中靶区和危及器官的当前位姿,实时引导和控制放射治疗床(搭载患者)和治疗设备的位姿,使放疗计划执行过程按治疗前确定的放疗计划进行;否则,实时修正放疗计划,并按修正后的放疗计划进行本分次治疗,确保治疗过程的质量得到有效保证。
[0027] 进一步的,步骤1)由放射治疗机器人系统实现,具体如图1所示:放射治疗床的床面可以在空间直角坐标系上X、Y、Z方向上进行平移,以及绕空间直角坐标系上的X、Y、Z方向的旋转。多自由度放射治疗床能够满足患者体内不同方向上靶区的放射治疗,有效的保证放射治疗过程的质量;
肿瘤放射治疗模拟定位医学成像系统用于放疗计划阶段的患者放疗模拟定位成像,为患者放疗计划提供放疗靶区和危及器官OAR模拟定位多模态医学影像,并通过多模态医学影像智能分析处理确定(勾画)患者放疗靶区和OAR。摆位光学成像系统用于放疗摆位阶段实时成像,监测治疗室内搭载患者的多自由度放射治疗床、治疗设备(加速器和光栅)、机载医学成像系统、辅助治疗人员和物体的位姿,并通过多模态视频图像智能分析处理确定其当前状态,反馈给放疗摆位视觉伺服智能控制系统,从而控制放射治疗床和治疗设备(加速器和光栅)的运动,实现多级视觉引导高精度放疗摆位功能。搭载患者的多自由度放射治疗床能够在多级多视觉监测引导和放疗摆位视觉伺服智能控制下,进行多自由度运动,确保患者在临床放疗允许的放疗靶区和 OAR位姿、放疗等中心误差范围内实施肿瘤的放射治疗;治疗设备(加速器和光栅)能够在多级多视觉监测引导和放疗摆位视觉伺服智能控制下,能够将当前治疗等中心和治疗前放疗计划确定的治疗等中心控制在容许的误差范围内;机载医学成像系统能够实时监测患者当前的治疗等中心,反馈给放射治疗过程视觉伺服智能控制系统,使得患者当前治疗等中心和治疗前放疗计划确定的治疗等中心控制在容许的误差范围内。
[0028] 肿瘤每分次放射治疗前都必需进行高精度的摆位,以确保每分次放疗时患者及其被放疗射线照射的肿瘤靶区和危及的正常组织器官的位姿与其放疗计划阶段模拟定位时的相应位姿保持高精度一致,肿瘤放疗等中心空间物理位置误差(放疗摆位精度)小于2毫米。
[0029] 肿瘤放疗摆位阶段可以仅使用一种实时动态视觉监测光学成像系统(如多双目视觉系统)实时动态跟踪和高精度定位放射治疗床(搭载患者)位姿和治疗设备、治疗室内辅助治疗人员和物体的位姿,也可以联合使用两种,或两种以上成像系统(如多双目视觉系统、结构光系统、激光雷达系统)实时动态跟踪和高精度定位放射治疗床(搭载患者)位姿和治疗设备、治疗室内辅助治疗人员和物体的位姿。
[0030] 一种实施方案如下:4-1)各坐标系统的建立及标定
本方法涉及到全局坐标系,放射治疗床局部坐标系,患者体坐标系三种空间坐标系,为了得到精确的三维位置,需要对各级坐标系进行标定,获得坐标系统之间的转换关系。各级坐标系的建立规则如下:
(4-1-1)全局坐标系
以放疗室内某一固定点为原点,以右手坐标系建立笛卡尔三维坐标系。它是将放疗室内搭载患者的放射治疗床、治疗设备、机载医学成像设备和光学监测成像设备等统一到一起的世界坐标系
(4-1-2)放射治疗床局部坐标系
以放射治疗床中某一固定点为原点,每次工作时将放射治疗床上的各类设备校正到该坐标系,治疗室内用于光学成像监测的设备也标定到该坐标系下;
(4-1-3)患者体坐标系
以患者肿瘤放疗计划等中心点为原点,建立三维坐标系,X轴表示左右方向,Y轴表示头脚方向,Z轴表示腹背方向,水平面沿顺时针方向旋转矢量值为正。
[0031] 其中,全局坐标系和放射治疗床局部坐标系之间的标定可利用合作标志进行标定,分别在室内空间和放射治疗床上设置若干合作标志,利用全站仪采集3对及以上不共线标志点的在两个空间坐标系中的坐标,计算放射治疗床在全局坐标系中的刚体转换关系。
[0032] 通过三维模型匹配,计算患者体坐标与放射治疗床局部坐标之间的变换关系,同时由于患者会存在局部位移,因此该变换需要进行实时纠正,通过近红外双目立体视觉设备实时获取患者的位置姿态并转换到放射治疗床坐标系下;4-2)第一级放疗摆位
第一级放疗摆位的实时位姿通过设置在治疗室内的大视野激光扫描和(或)多视角彩色深度成像(RGBD)设备(系统)对室内静态感兴趣目标进行三维建模确定。其中,放射治疗床的位置通过标定得到,其他静态目标的位置可以通过三维模型的匹配得到。计算患者的实时位姿并反馈给视觉伺服控制系统,将放射治疗床移动到患者放疗计划等中心区域内;
4-3)第二级放疗摆位
第二级放疗摆位的实时位姿通过近红外多双目立体视觉成像系统确定。通过对患者及放射治疗床区域进行实时三维重建,并和静态放射治疗床模型进行匹配,计算出患者的实时位姿,并反馈给视觉伺服控制系统,将放射治疗床移动到患者放疗计划等中心区域附近;
4-4)第三级放疗摆位
第三级放疗摆位位姿通过主动式双目结构光扫描设备(系统)确定。通过实时扫描患者放疗计划等中心区域,并同患者全身三维模型进行匹配,计算出患者在放射治疗床上的实时位姿,并将结果反馈给视觉伺服控制系统,将放射治疗床移动到放疗计划等中心区域。
[0033] 参照图2、图3、图4、图5、图6、图7,步骤1)和步骤2)采用多级多视觉成像系统来对搭载患者的放射治疗床进行动态视觉监测和视觉伺服智能摆位控制,具体包括:a)第一级放疗摆位:多视角彩色深度成像设备安装于治疗室四周的墙体上,用于10m*
10m*10m治疗室物理空间范围内的粗摆位。在一个10m*10m*10m治疗室内,可安装多套多视角彩色深度成像设备,对该治疗室内的放射治疗床(搭载患者)、治疗设备、成像设备、辅助治疗人员和物体进行视觉信息采集。采用数字图像或视频智能分析处理算法,实时计算确定放射治疗床(搭载患者)、治疗设备、成像设备、辅助治疗人员和物体的当前位姿。采用视觉伺服智能控制算法对放射治疗床(搭载患者)进行控制,控制放射治疗床按最优路径运动到放疗计划确定的位姿,使放疗摆位时患者的定位精度达到0.5米;
b)第二级放疗摆位:采用的近红外双目立体视觉设备的视野范围为5m*5m*5m。在经过多视角彩色深度成像设备监测与伺服智能控制一级摆位后,通过多套近红外双目立体视觉系统,对该治疗室内的放射治疗床(搭载患者)、治疗设备、成像设备、辅助治疗人员和物体进行视觉信息采集。采用数字图像或视频智能分析处理算法,实时计算确定放射治疗床(搭载患者)、治疗设备、成像设备、辅助治疗人员和物体的当前位姿。采用视觉伺服智能控制算法对放射治疗床(搭载患者)进行控制,控制放射治疗床按最优路径运动到放疗计划确定的位姿,使放疗摆位时患者的定位精度达到0.5毫米;
c)第三级放疗摆位:采用的主动式结构光三维扫描系统的视野范围为0.5m*0.5m*
0.5m,可以进行更加精确的摆位。通过主动式结构光三维扫描系统,对该治疗室内的放射治疗床(搭载患者)、治疗设备、成像设备、辅助治疗人员和物体进行视觉信息采集。采用数字图像或视频智能分析处理算法,实时计算确定放射治疗床(搭载患者)、治疗设备、成像设备、辅助治疗人员和物体的当前位姿。采用视觉伺服智能控制算法对放射治疗床(搭载患者)进行控制,控制放射治疗床按最优路径运动到放疗计划确定的位姿,使放疗摆位时患者的定位精度达到0.1毫米;具体为:启动机载影像系统(CBCT)智能控制,并对放射治疗床上的患者进行CBCT扫描,以确定患者当前的治疗等中心和实际的肿瘤放疗靶区位姿;具体包括如下步骤:
c-1):参照图7, 采用近红外多双目立体视觉系统、监测机载影像系统(CBCT)、放射治疗床(搭载患者)、治疗设备(直线加速器、多叶光栅)、辅助治疗人员和物体的当前位姿,并将机载影像系统(CBCT)的当前位姿与机载影像系统(CBCT)的期望位姿进行对比,产生的误差传递给机载CBCT系统视觉伺服控制器。该视觉伺服控制器根据不同的误差信息输出不同的频率控制信号,控制机载影像系统(CBCT)的电机驱动器。不同的频率控制信号控制电机驱动器,产生不同的电压作用于机载影像系统(CBCT)的伺服电机上,从而使伺服电机的转速得到改变。与伺服电机相连的齿轮箱放大伺服电机产生的力矩,并作用在机载影像系统(CBCT)上,使其运动,直到机载影像系统(CBCT)的当前位姿与期望位姿的误差在容许范围内。通过视觉伺服控制器对伺服电机制动器发送直流电源开关指令,通过伺服电机上的力矩控制伺服电机停止运动,锁定机载影像系统(CBCT)位姿;
c-2) :参照图8,在锁定机载影像系统(CBCT)位姿后,将CBCT影像板的期望位姿与实时监测的影像板实时位姿进行对比,产生的误差传给CBCT影像板伺服控制器,该伺服控制器输出CBCT影像板电机驱动器频率控制信号,控制电机驱动器输出不同的电压,作用在CBCT影像板伺服电机上,从而控制电机转速,经过齿轮箱放大后,产生一定的力矩作用在影像板上,使其进行运动,达到成像状态;
c-3):参照图9,在锁定机载影像系统(CBCT)位姿之后,将CBCT的X光机的期望位姿与实时监测的X光机实时位姿进行对比,产生的误差传给伺服控制器,该伺服控制器输出X光机电机驱动器频率控制信号,控制电机驱动器输出不同的电压,作用在X光机伺服电机上,从而控制电机转速,经过齿轮箱的放大后,产生一定的力矩作用在X光机上,使其进行运动,到达成像位置;
d)第四级放疗摆位:在通过第三级放疗摆位后,开始治疗前,通过机载成像视觉伺服控制系统控制机载影像系统对患者进行治疗前的CBCT、或CT扫描,并采用医学图像智能分析处理算法对相应的CBCT、或CT图像进行分析处理,实时确定治疗等中心的当前位置,将治疗等中心的当前位置与治疗前确定的放疗计划等中心位置进行对比,若误差不在容许范围内,则采用视觉伺服智能控制算法对放射治疗床和治疗设备(直线加速器、多叶光栅)进行运动控制,保证当前治疗等中心和治疗前确定的放疗计划等中心控制在容许的误差范围(2毫米)内,再进行放射治疗;
 d) 第四级摆位阶段,采用一种基于Demons的双向一致、高精度弹性配准方法,通过计算出的形变场,自动将放疗计划阶段模拟定位CT影像上的放疗靶区和危及器官信息变换到放疗摆位CBCT影像上,实现危及器官、靶区轮廓和放疗计划从计划CT到CBCT的自动变换。并通过实时调整放射治疗床、直线加速器和多叶光栅,保证每分次放疗过程中危及器官和靶区的当前位姿和治疗前计划CT中危及器官和靶区位姿误差在允许范围内,以减小治疗时放疗靶区等中心位置与治疗前确定的放疗计划中放疗靶区等中心位置的误差。机载系统CBCT影像与放疗计划时采集的模拟定位CT影像进行配准,参照图13具体步骤如下:
101)导入分次放疗过程CBCT图像与原始计划CT图像;
102)分次放疗过程CBCT图像与原始计划CT中图像进行配准;
103)生成靶区和危及器官的此分次勾画轮廓;
104)根据原始计划CT中的参数、分次放疗前CBCT图像和此分次勾画轮廓重新计算剂量分布和剂量体积直方图,结合原始处方约束判断是否需要修改放疗计划:是否需要则进行步骤1055)和步骤106);如否,则保存原始放疗计划作为此分次放疗计划,完成此次放疗过程;
105)结合临床要求进行病人放疗计划的快速在线修正,生成此分次放疗计划;
106)调整放射治疗床、直线加速器和多叶光栅进行此次放疗过程。
[0034] 在危及器官勾画过程中,本发明实例采用一种基于Atlas的自动勾画方法。首先,对采集的N组CT图像进行预处理,在收集的N组图像中随机选取一组作为参考图像,其余作为目标图像,将参考图像与所有目标图像配准,统计每个空间像素存在的概率。采用多次循环迭代,创建Atlas图谱。建立概率图谱时,根据具体应用环境选取合适的阈值,把图谱从概率空间转化到灰度空间。之后,输入患者此次计划CT图像做目标图像,采用仿射配准算法与图谱进行配准,通过配准过程产生的形变场,将图谱中危及器官轮廓信息自动转移到患者此次计划CT上。最后,临床医生或物理师在自动分割后的此次计划CT上制定放疗计划,执行步骤101)。
[0035] 在步骤102)配准过程中,先将此次放疗的CBCT图像与计划CT图像进行刚性配准,即平移和旋转;之后再进行非刚性配准,即仿射和基于Demons算法的高精度、双向一致形变配准。
[0036] 采用Demons算法获取驱动浮动图像I0的每个点对应的形变向量,即可得到所有像素点的偏移量,实现浮动图像到参考图像的配准。如果浮动图像某点x处的像素灰度值大于参考图像上相应点的像素灰度值,则浮动图像上该点沿正的梯度方向移动。反之,如果浮动图像上该点的像素灰度小于参考图像上相应点的像素灰度值,则浮动图像上的该点将沿负梯度方向移动,位移大小由形变向量d(x)决定。
[0037] 步骤102)的图像配准算法为迭代的过程,通过不断对变形场进行优化直到算法收敛,实现精确配准。为了保证该变换在全局范围连续,从而保持图像的拓扑结构,在每一次迭代后,使用高斯滤波器G平滑所得到的偏移,提高计算效率。
[0038] 为提高算法收敛速度,将驱动力由浮动图像像素向参考图像像素扩散的单向力变为来自两幅图像梯度的双向力,即图像上任意点的力不仅驱动浮动图像向参考图像扩散,同时也驱动参考图像向浮动图像扩散。
[0039] 基于demons的配准算法流程如图14。步骤204中demons点的选取一般选择当前图像全部像素点。步骤205采用式(3)及其改进求得形变场,步骤206将该形变场作用于当前浮动图像并进行步骤207相似性测度,寻找使两幅图像最接近的形变场。
[0040] 为保证配准结果双向一致,本发明实例采用双向一致的配准算法。双向一致配准算法基于微分同胚demons,参考图像I1和浮动图像I0的形变场具有对称的特性,在微分同胚变换空间中确保相似性测度准则。该形变配准使参考图像和浮动图像同时形变,无论如何选择配准的相似性测度和优化参数,该对称微分同胚确保由I1到I0的变换与由I0到I1的变换具有一致性。该双向一致性配准保证两幅图像变换距离估计的对称性,不限制如何选择固定图像和参考图像。通过直接在最优化过程中加入可逆限制,该方法确保亚体素的配准准确度和离散域的可逆形变。同时,对称的形变利用可逆性使配准误差最小。
[0041] 本实例采用由粗及精的配准策略,不断减少原始图像的细节或数据量,得到一组由粗及精的图像,先对具有少的细节或小数据量的图像进行粗配准,将当前层配准结束后的形变结果做下一层配准参数的初始值,如步骤210所示,重复此过程,通过步骤208判断,直到原始图像之间的配准。最后,步骤209输出配准结果。
[0042] 本发明中,步骤203使用直接抽取算法形成图像金字塔分层做多分辨率配准框架,具体步骤为:a. 将参考图像I1和浮动图像I0预处理得到源图像I11和浮动图像I01;
b. 将源图像I11和浮动图像I01分别等间隔 2 抽取,得到原始图像抽取后图像I12和I02;
c. 将图像I12和I02分别等间隔 2 抽取,得到I12和I02图像抽取后图像I14和I04;
d. 将图像 I14和I04配准,得配准参数θ4;
e. 以θ4为初始迭代值,将图像I12和I02配准,得到配准参数θ2;
f. 以θ2为初始迭代值,将源图像I11和I01配准,得到配准参数θ1。
[0043] 在步骤103)靶区和危及器官勾画过程中,结合步骤1)得到的分次CBCT引导图像和步骤102)得到的形变矢量场,基于计划CT上的靶区和采用Atlas算法自动勾画的危及器官轮廓,生成初始的分次勾画轮廓。将初始的分次勾画轮廓和原始计划CT上的勾画轮廓进行对比,结合临床要求进行修改,使其同分次引导图像的解剖结构一致,生成靶区的此分次勾画轮廓。
[0044] 根据原始计划CT中的参数、分次放疗图像和此分次勾画轮廓重新计算剂量分布和剂量体积直方图,结合原始处方约束判断是否需要修改放疗计划;如需要修改,则结合临床要求进行病人放疗计划的快速在线修改,生成此分次放疗计划,从而调整放射治疗床、直线加速器和多叶光栅完成此次放疗过程。如不需要,则保存原始放疗计划作为此分次放疗计划并执行。
[0045] 若在放疗摆位阶段,始终无法将此刻的治疗等中心的当前位置与治疗前确定的放疗计划等中心线位置的误差控制在允许范围之内,则修正放疗计划,重新确立新的放疗计划。之后再将其与机载影像系统测得的实时等中心对比,将误差反馈给视觉伺服智能控制系统,并且通过视觉伺服智能控制算法,对放射治疗床和治疗设备(直线加速器、多叶光栅)进行视觉伺服运动控制,确保每分次放疗时治疗等中心和治疗前确定的放疗计划等中心控制在临床放疗容许的误差范围内。
[0046] 放疗计划阶段,可以仅根据某一种肿瘤放疗模拟定位成像影像数据(如CT)确定肿瘤靶区和 OAR位姿,也可以联合使用两种,或两种以上肿瘤放疗模拟定位影像确定肿瘤靶区和 OAR位姿,如联合肿瘤CT/MRI;或CT/CBCT;或PET/CT;或PET/MRI;或PET/CT/MRI。
[0047] 放疗摆位阶段,可以仅使用一种实时动态视觉监测光学成像系统(如双目视觉系统)实时动态跟踪和高精度定位放射治疗床(搭载患者)位姿和治疗设备、治疗室内辅助治疗人员和物体的位姿,也可以联合使用两种,或两种以上成像系统(如多双目视觉系统、结构光系统、激光雷达系统)实时动态跟踪和高精度定位放射治疗床(搭载患者)位姿和治疗设备、治疗室内辅助治疗人员和物体的位姿。
[0048] 每分次放疗摆位时,可以使用机载的CBCT系统,或CT系统高精度确定每分次治疗前靶区和OAR的当前位姿;治疗过程中可以使用超声、或MRI系统实时动态跟踪和高精度确定治疗过程中靶区和OAR的当前位姿;治疗过程的不同时期,使用不同的视觉监测图像智能分析处理方法和视觉伺服智能控制方法进行实时引导和控制放射治疗床(搭载患者)和治疗设备,使治疗过程按放疗计划进行,确保治疗过程的质量得到有效控制。
[0049] 如图16所示,本发明放射治疗过程中的视觉监测和视觉伺服智能控制原理如下:在肿瘤放射治疗过程中,通过机载影像系统(MRI、或超声)实时扫描采集的影像,动态监测、跟踪和高精度确定治疗过程中靶区和OAR的当前位姿,将靶区和OAR的当前位姿与治疗前模拟定位成像系统影像确定的放疗计划肿瘤放疗靶区与OAR位姿相对比,若误差在容许的范围内,则继续进行下一步的治疗步骤,若误差超过了容许的范围,则将误差传给放疗过程视觉伺服智能控制系统。本发明采用视觉伺服智能控制算法,控制放射治疗床和治疗设备(直线加速器、多叶光栅)运动,保证每分次肿瘤放疗过程中的靶区和OAR的当前位姿与治疗前模拟定位成像系统影像确定的放疗计划肿瘤放疗靶区与OAR位姿误差在容许范围内确保治疗过程的质量。
[0050] 若在放疗计划执行过程中始终无法将靶区和OAR的当前位姿与治疗前模拟定位成像系统影像确定的放疗计划肿瘤放疗靶区与OAR位姿的误差控制在临床放疗容许范围内,则如图16所示在线实时修正放疗计划,再采用视觉伺服控制算法对放射治疗床和治疗设备(直线加速器、多叶光栅)进行控制,使放疗过程中靶区和OAR的当前位姿与此刻模拟定位成像系统影像确定的放疗计划肿瘤放疗靶区与OAR位姿误差始终控制在容许范围内,确保整个放射治疗过程的质量得到保证。
[0051] 通过肿瘤放射放疗摆位阶段的视觉监测与视觉伺服智能摆位控制,并完成第三级放疗摆位后,启动机载影像系统(CBCT)智能控制,并对放射治疗床上的患者进行CBCT扫描,以确定患者当前的治疗等中心位置和肿瘤放疗靶区位姿;具体包括如下步骤:6-1)采用近红外多双目立体视觉系统、监测机载影像系统(CBCT)、放射治疗床(搭载患者)、治疗设备(直线加速器、多叶光栅)、辅助治疗人员和物体的当前位姿,并将机载影像系统(CBCT)的当前位姿与机载影像系统(CBCT)的期望位姿进行对比,产生的误差传递给机载CBCT系统视觉伺服控制器。该视觉伺服控制器根据不同的误差信息输出不同的频率控制信号,控制机载影像系统(CBCT)的电机驱动器。不同的频率控制信号控制电机驱动器,产生不同的电压作用于机载影像系统(CBCT)的伺服电机上,从而使机载影像系统的驱动伺服电机转速得到改变。与伺服电机相连的齿轮箱放大伺服电机产生的力矩,并作用在机载影像系统(CBCT)上,使其运动,直到机载影像系统(CBCT)的当前位姿与期望位姿的误差在容许范围内。然后,通过视觉伺服控制器对伺服电机制动器发送直流电源开关指令,并通过伺服电机上的力矩控制伺服电机停止运动,锁定机载影像系统(CBCT)位姿;
6-2) 在锁定机载影像系统(CBCT)位姿后,将CBCT影像板的期望位姿与实时监测的影像板实时位姿进行对比,产生的误差传给CBCT影像板伺服控制器,该伺服控制器输出CBCT影像版电机驱动器频率控制信号,控制电机驱动器输出不同的电压,作用在CBCT影像板伺服电机上,从而控制电机转速,经过齿轮箱放大后,产生一定的力矩作用在影像板上,使其运动到成像位姿;
6-3)在锁定机载影像系统(CBCT)位姿之后,将CBCT的X光机的期望位姿与实时监测的X光机实时位姿进行对比,产生的误差传给伺服控制器,该伺服控制器输出X光机电机驱动器频率控制信号,控制电机驱动器输出不同的电压,作用在X光机伺服电机上,从而控制电机转速,经过齿轮箱的放大后,产生一定的力矩作用在X光机上,使其运动到成像位姿。
[0052] 第四级放疗摆位阶段,通过机载CBCT影像和放疗计划时模拟定位CT影像之间的高精度配准,确定放疗靶区和危及器官的形变场。进一步,通过确定的形变场,将基于放疗计划时模拟定位CT勾画的放疗靶区和危及器官信息、放疗计划信息自动变换,以保持和当前CBCT影像一致。并通过伺服控制,实时调整放射治疗床、直线加速器和多叶光栅位姿,保证每分次放疗过程中危及器官和放疗靶区的当前位姿和治疗前放疗计划时模拟定位CT影像中危及器官和靶区位姿误差在允许范围内,以减小治疗时放疗靶区等中心位置与治疗前确定的放疗计划等中心位置的误差。具体步骤如下:7-1)导入分次放疗过程CBCT图像与原始计划模拟定位CT图像;
7-2)分次放疗过程CBCT图像与原始计划CT中图像进行高精度配准;
7-3)根据配准形变场,自动转换放疗靶区和危及器官勾画轮廓信息;
7-4)根据原始计划CT中的参数、分次放疗前CBCT图像和此分次勾画轮廓重新计算剂量分布和剂量体积直方图,结合原始处方剂量和放疗临床剂量约束,判断是否需要修改放疗计划。如需要修改计划,则进行7-5)和7-6);如不需要修改计划,则以原放疗计划作为当前分次放疗计划,并实施当前分次放疗;
7-5)结合临床要求进行病人放疗计划的快速在线修正,自动生成当前分次放疗计划;
7-6)根据修改后的放疗计划,通过伺服控制调整放射治疗床、直线加速器和多叶光栅位姿后再实施当前放疗过程。
[0053] 一种图像高精度配准算法如下:8-1)先将当前分次放疗的CBCT 图像与计划CT 图像进行刚性配准,即平移和旋转;之后再进行非刚性配准。本发明实例采用仿射和基于Demons 算法的双向一致、高精度弹性配准算法;
8-2)图像配准算法为多尺度、多分辨率、双向一致的迭代配准过程,通过不断对变形场进行优化直到算法收敛,实现肿瘤影像高精度弹性配准。该算法利用局部图像信息来变换图像,为了保证该变换在全局范围连续,从而保持图像的拓扑结构,在每一次迭代后,使用高斯滤波器平滑所得到的偏移,提高计算效率。进一步的,为提高算法收敛速度,将驱动力由浮动图像像素向参考图像像素扩散的单向力变为来自两幅图像梯度的双向力,即图像上任意点的力不仅驱动浮动图像向参考图像扩散,同时也驱动参考图像向浮动图像扩散。
[0054] 为保证配准结果双向一致,本发明实例采用双向一致的配准算法。双向一致配准算法基于微分同胚demons,参考图像I1和浮动图像I0的形变场具有对称的特性,在微分同胚变换空间中确保相似性测度准则。该形变配准使参考图像和浮动图像同时形变,无论如何选择配准的相似性测度和优化参数,该对称微分同胚确保由I1到I0的变换与由I0到I1的变换具有一致性。该双向一致性配准保证两幅图像变换距离估计的对称性,不限制如何选择固定图像和参考图像。通过直接在最优化过程中加入可逆限制,该方法确保亚体素的配准准确度和离散域的可逆形变。同时,对称的形变利用可逆性使配准误差最小。
[0055] 进一步的,采用对角递归神经网络(DRNN)视觉伺服控制算法对放射治疗床、治疗设备等进行多级视觉伺服智能控制,一种实施方案如下:9-1)对角递归神经网络结构
对角递归神经网络(DRNN)具有三层:输入层、隐含层和输出层。其结构图如图6所示。其特征在于:对角递归神经网络隐含层的神经元之间或网络的输出到输入之间存在着反馈连接,其反馈环节还具有时间延时特性,网络具有短期的记忆能力。本发明的一种实施方案是采用DRNN网络对复杂的放疗过程进行建模、辨识与控制;
DRNN网络状态方程和输出方程的表达式为:
                             (1)
                              (2)
                   (3)
式中, 是网络的第 个输入向量; 是隐含层中的第 个神经元的输入的总和
向量; 是隐含层第 个神经元的状态向量; 是网络的输出向量; 是Sigmoid函数;
9-2)对角递归神经网络辨识结构
采用对角递归神经网络对系统进行辨识时,k为网络的迭代步数,u(k)为辨识对象的输入向量,yd(k)为辨识对象的输出向量,y(k)为DRNN网络的输出向量。将需要辨识的对象的输入及输出作为DRNN网络的输入,辨识对象的输出与DRNN网络输出之差作为DRNN的调整信号。并根据均方误差的大小来调整辨识网络的参数;
9-3)对角递归神经网络学习算法
本发明实例采用动态误差反向传播算法(Dynamic Back Propagation, DBP)进行网络训练学习;
9-4)对角递归网络的训练流程
9-4-1):初始化网络参数;
9-4-2):正向传播,根据DRNN网络状态方程和输出方程的表达式计算出网络的输出向量 ,隐含层的输入向量 和状态向量 ;
9-4-3):计算网络的辨识误差 ;
9-4-4):反向传播,对网络各层之间的连接权值进行调整;
9-4-5):判断 是否达到性能要求;
9-4-6):若达到要求,保存权值,结束训练;若未达到,转至9-4-2);
9-5)基于DRNN的放射治疗床视觉伺服控制系统
将期望的图像特征点与通过光学成像检测系统获得的图像特征点相比较,将误差传递给视觉伺服控制器,输出的放射治疗床机械臂末端在三维笛卡尔空间中的速度与雅可比矩阵逆矩阵相乘,获得放射治疗床机械臂各个关节的速度,并传递给放射治疗床各关节控制器、对角递归神经网络及其相应的,对放射治疗床动力学模型的不精确部分进行修正和辨识,并将结果传递给放射治疗床动力学模型,从而控制放射治疗床机械臂各关节的位姿。
[0056] 与现有技术相比,本发明能有效解决目前临床上人工操控放疗过程效率低、可靠性不高的问题,提高放射治疗执行过程的工作效率和工作质量,确保治疗过程的质量得到有效保证。
[0057] 以上所述的仅是本发明的一些实施方式。对于本领域的普通技术人员来说,在不脱离本发明创造构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈