一种基于三维多模影像的肝肿瘤综合手术规划模拟方法及其系统专利检索-触觉渲染渲染电脑图像专利检索查询-专利查询网

一种基于三维多模影像的肝肿瘤综合手术规划模拟方法及其系统

阅读：1013发布：2020-07-20

专利汇可以提供一种基于三维多模影像的肝肿瘤综合手术规划模拟方法及其系统专利检索，专利查询，专利分析的服务。并且本发明公开了一种基于三维多模影像的肝肿瘤综合手术规划模拟方法及其系统。该方法首先建立包含对象资料的数据库；再对对象的不同模式、单一模式不同期相的医学图像进行三维配准和融合；然后，对特定组织采用自动和半自动方法进行分割，并利用三维重建技术实现肝脏内及肝脏周围重要组织的三维建模，重建出具有沉浸和交互特性的腹部三维模型；之后，基于建模结果，参考诊疗指南，并结合对象资料，进行模拟前综合风险分析；最后，根据综合风险分析的结果，设计各种模拟手术方案，进行真实感强的手术模拟，规划手术路径，并对规划模拟结果进行风险和预后分析，通过反复手术模拟，可提高用户的手术技能和熟练度，并且还能进行医学教学。，下面是一种基于三维多模影像的肝肿瘤综合手术规划模拟方法及其系统专利的具体信息内容。

权利要求

1.一种基于三维多模影像的肝肿瘤综合手术规划模拟方法，其步骤包括：
(1)建立数据库：
数据库用于存储对象的基本信息，包括姓名、性别、年龄、病史、生化检查信息、医学图像和影像检查结果，提供肝肿瘤手术方案规划模拟所需要的特征和信息，用于模拟手术前的风险分析和模拟结果的分析；
(2)三维配准和融合：
从数据库中提取对象的医学图像，进行不同模式、单一模式不同期相图像之间的三维配准和融合，得到配准和融合后的医学图像；
(3)三维建模：
利用配准和融合后的医学图像，建立对象的腹部三维模型，其过程为：
(3.1)分割腹部相关组织：
根据对象的医学图像特点，分割出用于模拟手术前综合风险分析以及模拟手术规划、模拟和模拟结果分析时所涉及的组织，包括肝脏、肝肿瘤、肝部各套血管结构；
(3.2)建立血管结构模型：
利用三维拓扑细化的方法提取分割得到的血管结构数据的中心线，并建立中心线模型，显示血管各分支结构并提供中心线上每点的管径，所述血管结构包括肝动脉、肝静脉、肝门静脉，通过该中心线模型获取血管结构各点的管径、各分支的方向及各分支间的夹角；
(3.3)建立肝脏的分段模型：
采用基于肝门静脉分支走向的肝脏分段方法得到肝脏的分段模型；
(3.4)建立腹部三维模型：
采用三维重建技术，重建出步骤(3.1)、(3.2)和(3.3)处理得到的数据，直观显示肝脏、各肝段、肝部各套血管、肝肿瘤的大小、位置以及与其它相关组织的关系，建立腹部三维模型；
(4)分析模拟手术前综合风险：
利用数据库中的资料和步骤(3)中所得到的建模结果，通过计算机计算肝脏、肝肿瘤和血管结构的各种相关参数，包括肝脏体积、各肝段占总肝体积比例和肝肿瘤直径、体积、数目、与周围重要血管和组织的距离；
(5)利用模拟手术前综合风险分析的结果，基于对象的腹部三维模型，进行模拟手术方案设计、手术模拟及模拟结果分析，模拟规划手术路径，并对模拟设计的结果进行风险和预后分析，通过反复的手术模拟，提高用户的手术技能和熟练度，并且还能进行医学教学，其过程为：
(5.1)模拟手术方案设计及其分析：
当进行肝肿瘤切除术、肝移植术或射频消融术模拟时，分别按下述过程进行：
(a)肝肿瘤切除术：根据对象腹部三维模型所显示的肝内重要血管和肝肿瘤关系、肝脏的受累范围、肝肿瘤的位置、大小和所涉及的肝段信息，对肝肿瘤进行可切除性分析；通过将肝肿瘤模型边缘向外膨胀的方式确定肝肿瘤切除的安全区域，并在三维模型上标记出被该区域影响的血管分支及其所分布的肝脏组织，将这部分作为风险区域并计算体积大小，根据此区域规划拟切除的范围和模拟手术的入路；同时进行基于肝叶、肝段的规则肝切除或者边界肝肿瘤挖除的不规则肝切除的虚拟手术方案规划模拟，划定模拟手术切割边界，从不同方位观察切割截面情况，并计算出模拟手术中在对象的腹部三维模型上切除的肝脏和残肝的体积大小及占总肝体积比例，分析模拟手术后的残肝功能；
(b)肝移植术：根据数据库中对象的资料和重建得到的腹部三维模型，分析作为受体和供体的对象的肝脏状况、重要血管情况，评价移植的可行性、可能的移植部位和结合部位，根据邻近重要结构的状况，确定模拟手术的切割路线和移植方式，并计算出功能性供肝、残肝的体积，分析模拟移植后供体和受体对象的肝脏状况；
(c)射频消融术：根据肝肿瘤位置、大小、血供情况分析射频消融的可行性，并规划微波头的大小和形状，在对象的腹部三维模型上通过模拟的方式界定微波的手术入路，计算出消融范围，并分析模拟消融后对象肝脏残余病变的可能性；
(5.2)手术模拟：
采用第一视角技术，利用虚拟手术刀工具进行手术模拟，并通过加入力反馈硬件设备，模拟手术过程中的触觉感受，增加模拟仿真的真实性；
以用户作为第一视角开发手术入路，真实反映手术状况，利用图形处理器进行体数据高效实时渲染；
通过在计算机上操纵本系统提供的虚拟手术刀工具对所接触的肝脏模型模拟肝肿瘤切除术、肝移植术、射频消融术各种手术过程，采用的方式有基于一个或多个平面的肝切除、边界肝肿瘤挖除和基于形变曲面的灵活不规则肝切除，并显示切口大小，可视化切口内部的解剖结构，警示所遇到的重要组织结构，通过设置肝脏、肝肿瘤和血管结构三维模型的颜色、透明度或者旋转、平移、缩放方式从不同的角度和方位观察切面情况，分析切面所影响的血管结构是否会引起其所分布的肝脏组织发生缺血或者淤血情况，并计算出该模拟过程中发生缺血或者淤血的肝脏体积及占总肝体积比例；
在模拟过程中，构建出有限元物理模型逼真模拟软组织在手术中的形变过程，并使用力反馈硬件设备进行手术模拟过程的触觉建模，使得用户在对腹部三维模型进行切割、触摸、抓取操作时产生连续触觉感受，为用户提供逼真的沉浸感。
2.一种实现权利要求1所述基于三维多模影像的肝肿瘤综合手术规划模拟方法的系统，其特征在于：该系统包括数据库建立模块(100)，数据库(200)，三维配准和融合模块(300)，三维建模模块(400)，模拟前综合风险分析模块(500)，方案设计模拟及分析模块(600)；
数据库建立模块(100)用于通过载入对象基本信息、生化检查资料、医学图像和影像检查结果，建立相应对象资料，得到数据库(200)；该数据库(200)提供肝肿瘤手术方案设计模拟所需要的特征和信息，用于模拟手术前的风险分析和模拟结果的分析，完成上述步骤(1)的功能；
三维配准和融合模块(300)从数据库(200)中提取对象的医学图像进行不同模式、单一模式不同期相图像之间的三维配准和融合，完成上述步骤(2)的功能；
三维建模模块(400)实现肝脏、肝肿瘤、肝部各套血管结构以及肝脏周围重要组织的三维建模，为后续的模拟前综合风险分析模块(500)以及方案设计模拟及分析模块(600)提供对象的腹部三维模型，完成上述步骤(3)的功能；
模拟前综合风险分析模块(500)根据三维建模模块(400)所得的对象的腹部三维模型和诊疗指南，并结合数据库(200)中对象的资料，计算和分析各种相关参数，包括肝脏体积、各肝段占总肝体积比例和肝肿瘤直径、数目、与周围重要血管和组织的距离，进行综合风险分析，完成上述步骤(4)的功能；
方案设计模拟及分析模块(600)根据模拟前综合风险分析模块(500)的分析结果以及三维建模模块(400)所得的对象腹部三维模型，进行包括肝肿瘤切除术、肝移植术、射频消融术在内的各种手术方案的模拟设计和手术模拟，并对模拟的手术方案进行风险和预后分析，通过反复的手术模拟，规划手术路径，提高用户的手术技能和熟练度，完成上述步骤(5)的功能。
3.根据权利要求2所述的基于三维多模影像的肝肿瘤综合手术规划模拟系统，其特征在于：
三维配准和融合模块(300)包括配准数据导入模块(310)，与配准数据导入模块(310)连接的三维配准模块(320)和与三维配准模块(320)连接的三维融合模块(330)；
配准数据导入模块(310)与数据库(200)连接，导入对象的医学图像，并传输给三维配准模块(320)和三维融合模块(330)；三维配准模块(320)利用配准数据导入模块(310)所得的图像数据进行不同模式、单一模式不同期相图像之间的三维配准，并将配准结果传送给三维融合模块(330)；三维融合模块(330)对配准后的图像进行三维融合。
4.根据权利要求2所述的基于三维多模影像的肝肿瘤综合手术规划模拟系统，其特征在于：
三维建模模块(400)包括与三维配准和融合模块(300)连接的三维建模数据导入模块(410)，腹部相关组织分割模块(420)，血管结构建模模块(430)，肝脏分段模块(440)以及腹部三维模型建立模块(450)；
三维建模数据导入模块(410)导入经三维配准和融合模块(300)处理后的医学图像，并提供给腹部相关组织分割模块(420)；
腹部相关组织分割模块(420)利用导入的医学图像，分割出肝肿瘤手术规划模拟需要的相关组织，包括肝脏、肝肿瘤、肝部各套血管结构，并提供给腹部三维模型建立模块(450)，将血管结构数据提供给血管结构建模模块(430)；
血管结构建模模块(430)利用分割得到的血管结构数据进行三维拓扑细化提取出中心线并建立中心线模型，该中心线模型体现出血管结构的拓扑关系、各点的管径、各分支走向、是否存在血管畸形信息，并提供给腹部三维模型建立模块(450)，将肝门静脉模型的分支走向信息提供给肝脏分段模块(440)；
肝脏分段模块(440)根据得到的肝门静脉模型的分支走向信息进行肝脏分段，并将分段结果提供给腹部三维模型建立模块(450)；
腹部三维模型建立模块(450)利用接收到的数据进行三维重建，得到对象的腹部三维模型。
5.根据权利要求2所述的基于三维多模影像的肝肿瘤综合手术规划模拟系统，其特征在于：
模拟前综合风险分析模块(500)包括模拟前综合风险分析数据导入模块(510)和模拟前综合风险分析模块(520)；
模拟前综合风险分析数据导入模块(510)与数据库(200)和三维建模模块(400)相连接，导入对象的资料和腹部三维模型，并传送至模拟前综合风险分析模块(520)；
模拟前综合风险分析模块(520)根据对象的资料和腹部三维模型，计算肝脏、肝肿瘤和血管结构的相关参数，包括肝脏体积、各肝段占总肝体积比例和肝肿瘤直径、体积、数目、与周围重要血管和组织的距离，进行各模拟手术方案的风险分析。
6.根据权利要求2所述的基于三维多模影像的肝肿瘤综合手术规划模拟系统，其特征在于：
方案设计模拟及分析模块(600)包括方案设计数据导入模块(610)，方案设计模块(620)，手术模拟模块(630)，模拟结果分析模块(640)和力反馈装置(650)；
方案设计数据导入模块(610)与三维建模模块(400)和模拟前综合风险分析模块(500)相连接，导入对象的腹部三维模型和模拟前综合风险分析结果并提供给方案设计模块(620)；
方案设计模块(620)基于对象的腹部三维模型和模拟前综合分析结果进行各种手术方案的模拟设计；
手术模拟模块(630)用于对手术过程进行仿真模拟，以用户作为第一视角开发手术入路，真实再现手术中所见状况，通过在计算机上操纵本系统提供的虚拟手术刀工具模拟手术过程；
模拟结果分析模块(640)对不同模拟手术方案的疗效进行预测，分析可能的预后和代价；
力反馈装置(650)与手术模拟模块(630)连接，在模拟过程中加入反馈力，使用户在交互中有连续的触觉感受，增加手术模拟的真实性。

说明书全文

一种基于三维多模影像的肝肿瘤综合手术规划模拟方法及

其系统

技术领域

[0001] 本发明属于医学图像处理及应用领域，具体涉及一种基于三维多模影像的肝肿瘤综合手术规划模拟方法及其系统。本发明能有效地对对象腹部相关组织建模，直观显示对象腹部虚拟环境，进行模拟手术前综合风险分析和综合手术方案规划、模拟，并对模拟结果进行风险和预后分析。

背景技术

[0002] 肝癌是目前严重威胁世界和我国人民生命健康的全球性疾病，其诊断和治疗是当今我国医学研究的热点和难点问题。现代医学诊疗手段和计算机技术的结合，能对肝肿瘤准确分析，可以在术前进行各种手术模拟和风险分析，规划合理的个性化的手术方案。

[0003] 德国Bremen大学开发的用于肝脏移植和肝切除的桌面虚拟手术模拟系统(H.Bourquain，A.Schenk，F.Link，et al.，HepaVision2-A softwareassistant for preoperative planning in living-related liver transplantation andoncologic liver surgery，Computer Assisted Radiology and Surgery(CARS)，2002：341-346)，可标记出被肝肿瘤安全区域所影响的血管结构及其所分布的肝脏组织，将这部分作为风险区域并计算体积大小，进行肝切除手术的风险分析和手术规划，还可利用交互方式进行肝切除手术的模拟，并能预测术后肝功能损害程度；奥地利Gut大学开发出一套基于增强现实的虚拟肝脏手术规划系统，配有虚拟头盔和相应的跟踪设备，用户可完全沉浸在虚拟空间进行交互操作，利用该系统不仅可以模拟基于肝叶、肝段的规则肝切除，还可以模拟采用基于一个或多个平面、边界肝肿瘤挖除和基于形变曲面等方式的不规则肝切除(Bernhard Reitinger，Alexander Bornik，Reinhard Beichel，et al.，Liver surgery planning using virtual reality，ComputerGraphics and Applications，IEEE.2006，26(6)：36-47)。Fujimoto J等开发出一套基于CT图像的三维肝切除仿真系统，可对肝移植术进行术前分析和模拟(Fujimoto J，Yamanaka J，Liver resection and transplantation using a novel 3Dhepatectomy simulation system，Advances in Medical Sciences，
2006，51：7-14)。Mundeleer等开发应用基于CT成像的三维重建技术引导射频消融技术治疗肝脏肿瘤(Laurent Mundeleer，David Wikler，Thierry Leloup，et al.，Development of a computer assisted system aimed at RFA liver surgery，Computerized Medical Imaging and Graphics.2008，32(7)：611-621)。南方医科大学根据CT数据对腹腔血管系统和肝脏进行三维重建，并利用力反馈器械进行肝脏虚拟切割(朱新勇，方驰华，鲍苏苏，等。基于64排螺旋CT扫描数据三维肝脏手术仿真的研究。中华外科杂志，2008，46：
27-29)。由厦门大学、福建医科大学第一附属医院等联合研制的数字化虚拟肝脏以及手术计划系统可基于CT图像数据精确定位肝占位、模拟虚拟肝脏手术仿真并预测术后肝功能损害程度(专利文献“基于数字化虚拟器官的肿瘤图像信息处理装置与处理方法”，公开号为CN1801214)。华中科技大学在“基于三维影像的肝癌计算机辅助诊断与手术规划技术”中利用腹部CT数据实现了肝肿瘤的分割、肝脏的分割和分段、血管的增强与分割、细化和三维建模，并通过分析和计算肝脏体积、血管拓扑结构等信息辅助肝癌的手术规划。专利文献“一种肝门静脉血管树建模方法及其系统”(公开号为CN101393644)公开了一种利用血管结构数据建立血管中心线模型的方法；专利文献“一种基于CT图像的肝脏分段方法及其系统”(公开号为CN101425186A)公开了一种基于肝门静脉分支走向的肝脏分段方法。

[0004] 上述研究只考虑了单一的成像模式(CT成像)，难以准确反映肝肿瘤的实际状况，并且，只针对某些方面进行手术规划模拟(主要是肝肿瘤切除术)，而且在虚拟切割的实现上也主要是采用基于肝叶、肝段的规则肝切除技术，对于常见的综合治疗手段的术前综合分析及手术规划和模拟研究较少涉及，缺乏有效的技术对模拟前综合手术方案进行风险和预后的综合分析。

[0005] 肝肿瘤模拟手术前的风险分析需要计算的参数主要包括肝脏体积、各肝段占总肝体积比例和肝肿瘤直径、体积、数目、与周围重要血管和组织的距离(参见《临床诊疗指南——消化系统疾病分册》及BernhardReitinger，Virtual Liver Surgery Planning：Simulation of Resections using VirtualReality Techniques，doctoral dissertation，Institution.for Computer Graphics andVision，Graz University.of Technology，2005)。

[0006] 在医学图像的配准和融合方面，已有研究者提出各种三维配准和融合的方法，如，Frederik Maes等采用基于最大互信息的多分辨率方法对腹部医学图像进行三维配准(参见Frederik Maes，Dirk Vandermeulen，PaulSuetens，Comparative evaluaion of multiresolution optimization strategies formultimodality image registration by maximization of mutual information.Medical Image Analysis，1999，3(4)：373-386)，S.G.Nikolov等利用三维小波变换的方法进行三维融合(参见S.G.Nikolov，D.R.Bull，C.N.Cangarajah，et al.，Image fusion using a 3-d wavelet transform，Seventh International Conferenceon Image Processing and Its Applications，
1999，l：235-239)。在医学图像的分割方面，许多研究者提出了自动或半自动的分割方法，如，Seong-Jae Lim等基于CT图像提出一种自动分割算法(参见Seong-Jae Lim，Yong-YeonJeong，Chil-Woo Lee，et al.，Automatic Segmentation of the Liver in CT Imagesusing the Watershed Algorithm based on Morphological Filtering，MedicalImaging 2004：Image Processing，2004，5370(1)：1658-1666)，Andrea Schenk等提出一种半自动分割算法(参见Andrea Schenk，Guido Prause，Heinz-OttoPeitgen，Efficient Semiautomatic Segmentation of 3D Objects in MedicalImages，In Proceediong of the 3th International Conference on Medical ImageComputing and Computer-Assisted Intervention，2000：186-195)。在医学体数据渲染方面，Kruqer，J.等采用了利用图形处理器进行体数据高效实时渲染的方法(参见Acceleration techniques for GPU-based volume rendering，IEEEVisualization Proceedings of the 14th IEEE Visualization 2003(VIS′03)，2003：287-293)。“虚拟手术中具备触觉功能的软组织交互技术”(系统仿真学报，2008，20(8)：2076-2080”)在虚拟手术触觉建模方面介绍了构建出有限元物理模型逼真模拟软组织在手术中的形变过程，并使用力反馈硬件设备进行手术模拟过程的触觉建模，使得用户在对虚拟腹部三维模型进行切割、触摸、抓取等操作时产生连续触觉感受，为用户提供逼真的沉浸感。

发明内容

[0007] 本发明的目的在于提供一种基于三维多模影像的肝肿瘤综合手术规划模拟方法及其系统，本发明能有效地实现腹部相关组织的医学图像分割和建模，并集合了肝肿瘤模拟手术前的综合风险分析、各种模拟手术方案设计、手术模拟及模拟结果分析。

[0008] 本发明提供的一种基于三维多模影像的肝肿瘤综合手术规划模拟方法，其步骤包括：

[0009] (1)建立数据库：

[0010] 数据库用于存储对象的基本信息，包括姓名、性别、年龄、病史、生化检查信息、医学图像和影像检查结果，提供肝肿瘤手术方案规划模拟所需要的特征和信息，用于模拟手术前的风险分析和模拟结果的分析；

[0011] (2)三维配准和融合：

[0012] 从数据库中提取对象的医学图像，进行不同模式、单一模式不同期相图像之间的三维配准和融合，得到配准和融合后的医学图像；

[0013] (3)三维建模：

[0014] 利用配准和融合后的医学图像，建立对象的腹部三维模型，其过程为：

[0015] (3.1)分割腹部相关组织：

[0016] 根据对象的医学图像特点，分割出用于模拟手术前综合风险分析以及模拟手术规划、模拟和模拟结果分析时所涉及的组织，包括肝脏、肝肿瘤、肝部各套血管结构；

[0017] (3.2)建立血管结构模型：

[0018] 利用三维拓扑细化的方法提取分割得到的血管结构数据的中心线，并建立中心线模型，显示血管各分支结构并提供中心线上每点的管径，所述血管结构包括肝动脉、肝静脉、肝门静脉，通过该中心线模型获取血管结构各点的管径、各分支的方向及各分支间的夹角；

[0019] (3.3)建立肝脏的分段模型：

[0020] 采用基于肝门静脉分支走向的肝脏分段方法得到肝脏的分段模型；

[0021] (3.4)建立腹部三维模型：

[0022] 采用三维重建技术，重建出步骤(3.1)、(3.2)和(3.3)处理得到的数据，直观显示肝脏、各肝段、肝部各套血管、肝肿瘤的大小、位置以及与其它相关组织的关系，建立腹部三维模型；

[0023] (4)分析模拟手术前综合风险：

[0024] 根据肝肿瘤临床分期分级的标准以及诊疗指南，综合数据库中的资料和步骤(3)中所得到的建模结果，通过计算机计算肝脏、肝肿瘤和血管结构的各种相关参数，包括肝脏体积、各肝段占总肝体积比例和肝肿瘤直径、体积、数目、与周围重要血管和组织的距离；

[0025] (5)利用模拟手术前综合风险分析的结果，基于对象的腹部三维模型，进行模拟手术方案设计、手术模拟及模拟结果分析，模拟规划手术路径，并对模拟设计的结果进行风险和预后分析，通过反复的手术模拟，提高用户的手术技能和熟练度，并且还能用于医学教学，其过程为：

[0026] (5.1)模拟手术方案设计及其分析：

[0027] 当进行肝肿瘤切除术、肝移植术或射频消融术模拟时，分别按下述过程进行；

[0028] (a)肝肿瘤切除术：根据对象腹部三维模型所显示的肝内重要血管和肝肿瘤关系、肝脏的受累范围、肝肿瘤的位置、大小和所涉及的肝段信息，对肝肿瘤进行可切除性分析。通过将肝肿瘤模型边缘向外膨胀的方式确定肝肿瘤切除的安全区域，并在三维模型上标记出被该区域影响的血管分支及其所分布的肝脏组织，将这部分作为风险区域并计算体积大小，根据此区域规划拟切除的范围和模拟手术的入路；同时进行基于肝叶、肝段的规则肝切除或者边界肝肿瘤挖除的不规则肝切除的虚拟手术方案规划模拟，划定模拟手术切割边界，从不同方位观察切割截面情况，并计算出模拟手术中在对象的腹部三维模型上切除的肝脏和残肝的体积大小及占总肝体积比例，分析模拟手术后的残肝功能；

[0029] (b)肝移植术：根据数据库中对象的资料和重建得到的腹部三维模型，分析作为受体和供体的对象的肝脏状况、重要血管情况，评价移植的可行性、可能的移植部位和结合部位，根据邻近重要结构的状况，确定模拟手术的切割路线和移植方式，并计算出功能性供肝、残肝的体积，分析模拟移植后供体和受体对象的肝脏状况；

[0030] (c)射频消融术：根据肝肿瘤位置、大小、血供情况分析射频消融的可行性，并规划微波头的大小和形状，在对象的腹部三维模型上通过模拟的方式界定微波的手术入路，计算出消融范围，并分析模拟消融后对象肝脏残余病变的可能性；

[0031] (5.2)手术模拟：

[0032] 采用第一视角技术，利用虚拟手术刀工具进行手术模拟，并通过加入力反馈硬件设备，模拟手术过程中的触觉感受，增加模拟仿真的真实性；

[0033] 以用户作为第一视角开发手术入路，真实反映手术状况，利用图形处理器进行体数据高效实时渲染；

[0034] 通过在计算机上操纵本系统提供的虚拟手术刀工具对所接触的肝脏模型模拟肝肿瘤切除术、肝移植术、射频消融术各种手术过程，采用的方式有基于一个或多个平面的肝切除、边界肝肿瘤挖除和基于形变曲面的灵活不规则肝切除，并显示切口大小，可视化切口内部的解剖结构，警示所遇到的重要组织结构，通过设置肝脏、肝肿瘤和血管结构三维模型的颜色、透明度或者旋转、平移、缩放方式从不同的角度和方位观察切面情况，分析切面所影响的血管结构是否会引起其所分布的肝脏组织发生缺血或者淤血情况，并计算出该模拟过程中发生缺血或者淤血的肝脏体积及占总肝体积比例；

[0035] 在模拟过程中，构建出有限元物理模型逼真模拟软组织在手术中的形变过程，并使用力反馈硬件设备进行手术模拟过程的触觉建模，使得用户在对腹部三维模型进行切割、触摸、抓取操作时产生连续触觉感受，为用户提供逼真的沉浸感。

[0036] 实现上述基于三维多模影像的肝肿瘤综合手术规划模拟方法的系统，其特征在于：该系统包括数据库建立模块，数据库，三维配准和融合模块，三维建模模块，模拟前综合风险分析模块，方案设计模拟及分析模块；

[0037] 数据库建立模块用于通过载入对象基本信息、生化检查资料、医学图像和影像检查结果，建立相应对象资料，得到数据库；该数据库提供肝肿瘤手术方案设计模拟所需要的特征和信息，用于模拟手术前的风险分析和模拟结果的分析，完成上述步骤(1)的功能；

[0038] 三维配准和融合模块从数据库中提取对象的医学图像进行不同模式、单一模式不同期相图像之间的三维配准和融合，完成上述步骤(2)的功能；

[0039] 三维建模模块实现肝脏、肝肿瘤、肝部各套血管结构以及肝脏周围重要组织的三维建模，为后续的模拟前综合风险分析模块以及方案设计模拟及分析模块提供对象的腹部三维模型，完成上述步骤(3)的功能；

[0040] 模拟前综合风险分析模块根据三维建模模块所得的对象的腹部三维模型和诊疗指南，并结合数据库中对象的资料，计算和分析各种相关参数，包括肝脏体积、各肝段占总肝体积比例和肝肿瘤直径、数目、与周围重要血管和组织的距离，进行综合风险分析，完成上述步骤(4)的功能；

[0041] 方案设计模拟及分析模块根据模拟前综合风险分析模块的分析结果以及三维建模模块所得的对象腹部三维模型，进行包括肝肿瘤切除术、肝移植术、射频消融术等在内的各种手术方案的模拟设计和手术模拟，并对模拟的手术方案进行风险和预后分析，通过反复的手术模拟，规划手术路径，提高用户的手术技能和熟练度，完成上述步骤(5)的功能。

[0042] 本发明处理时首先建立数据库，包括对象基本信息、生化检查资料、医学图像和影像检查结果；其次，从得到的数据库中提取对象的医学图像进行不同模式、单一模式不同期相的三维配准和融合；然后，对特定组织如肝脏、肝肿瘤、血管等采用自动和半自动方法进行分割，并利用三维重建技术实现肝脏内及肝脏周围重要组织的三维建模，重建出具有解剖结构信息和沉浸交互特性的腹部三维模型；之后，基于建模结果，参考诊疗指南，并结合对象的资料，进行模拟前综合风险分析；最后，根据综合风险分析的结果，设计各种模拟手术方案，进行真实感强的手术模拟，规划手术路径，并对手术模拟结果进行风险和预后分析，通过反复的手术模拟，可提高用户的手术技能和熟练度，并且还能用于医学教学。具体而言，本发明具有以下特点：

[0043] (1)采用不同模式、单一模式不同期相的医学图像进行三维配准和融合，相比单一的成像模式，能更加准确地反映肝肿瘤实际状况，较好地显示出血管结构的侵犯及肝脏边界等细节方面，能为综合手术规划模拟提供更充足的信息；

[0044] (2)在肝肿瘤手术规划模拟上，本发明采用综合规划和全面分析的方法。基于以对象的腹部三维模型，通过导入诊疗指南和数据库中的对象资料，对包括肝肿瘤切除术、肝移植术、射频消融术等在内的各种模拟手术方案进行综合风险分析、规划和模拟；

[0045] (3)在肝肿瘤手术过程模拟的实现上，本发明提出利用用户的第一视角开发手术入路，引入力反馈硬件设备实现触觉建模，提供手术模拟过程的触觉感受，同时模拟基于肝叶和肝段的规则肝切除、不规则肝切除(边界肝肿瘤挖除技术等)、肝移植术、射频消融术等各种手术技术，通过反复手术模拟，提高用户的手术技能和熟练度。通过基于重建的腹部三维模型模拟手术过程还可以进行医学教学。附图说明

[0046] 图1为本发明基于三维多模影像的肝肿瘤综合手术规划模拟方法的流程示意图。

[0047] 图2为本发明基于三维多模影像的肝肿瘤综合手术规划模拟系统的结构示意图。

[0048] 图3为本发明基于三维多模影像的肝肿瘤综合手术规划模拟系统的一种具体实施方式的结构示意图。

具体实施方式

[0049] 本发明的用户可以是医院、医护工作人员，以及医学院及其学生或者其他经过训练的非医护工作者等，所指的对象可以是已有的医学图像等资料，也可以是用户自己虚拟的模型。

[0050] 下面结合附图对本发明的技术方案作进一步的详细说明。

[0051] 如图1所示，本发明具体包括以下步骤：

[0052] (1)建立数据库；

[0053] 该数据库存储对象的基本信息，如：姓名、性别、年龄、病史、生化检查资料、医学图像和影像检查结果，提供肝肿瘤手术方案规划模拟所需要的特征和信息，用于模拟手术前的风险分析和模拟结果分析。该医学图像是指腹部的多模医学图像，包括不同模式或者单一模式不同期相的医学图像，模式可以是CT、MRI等，数据库可以采用Oracle、MySQL、SQL Server2000/2005等平台建立。

[0054] (2)三维配准和融合；

[0055] 从数据库中提取出对象的医学图像，进行不同模式、单一模式不同期相图像之间的三维配准和融合。可以采用基于最大互信息的多分辨率方法对腹部图像进行三维配准，并结合基于三维小波变换的方法进行三维融合。

[0056] (3)三维建模；

[0057] (3.1)分割腹部相关组织。根据对象的医学图像特点，通过自动或半自动分割算法分割出用于模拟手术前综合风险分析以及模拟手术方案设计、手术模拟和模拟结果分析所涉及的组织，包括肝脏、肝肿瘤、肝部各套血管结构等。

[0058] (3.2)建立血管中心线模型。利用血管结构数据建立血管中心线模型，即利用三维拓扑细化的方法提出分割得到的血管结构数据(肝动脉、肝静脉、肝门静脉)的中心线，并建立中心线模型，显示血管各分支结构并提供中心线上每点的管径，所述血管结构包括肝动脉、肝静脉、肝门静脉，通过该中心线模型可获取血管结构各点的管径、各分支的方向及各分支间的夹角等信息。

[0059] (3.3)建立肝脏的分段模型。解剖学研究表明肝脏是一分段性器官，每一段都有独立的管道系统，可以作为一个外科切除单位。采用目前在临床和研究中被普遍认可的基于肝门静脉分支走向的肝脏分段方法。

[0060] (3.4)建立腹部三维模型。采用三维重建技术，利用VTK(VisualizationToolkit)或OSG(Open Scene Graph)等重建出步骤(3.1)、(3.2)、(3.3)处理得到的数据，直观显示肝脏、各肝段、肝部各套血管、肝肿瘤的大小、位置以及与其它相关组织的关系，建立腹部三维模型。

[0061] (4)分析模拟手术前综合风险；

[0062] 根据肝肿瘤临床分期分级的标准以及诊疗指南，综合数据库中的资料和步骤(3)中所得到的建模结果，通过计算机计算肝脏、肝肿瘤和血管结构的各种相关参数。

[0063] (a)肝肿瘤。计算参数包括肝肿瘤直径、数目、体积、形态、所在肝段、与周围重要血管和组织结构的距离等。

[0064] (b)肝脏。计算参数包括肝脏体积、肝段的划分、各肝段占总肝体积比例等。

[0065] (c)血管结构。计算参数包括血管结构各点管径和各分支走向、是否存在栓塞、血管各段支配的肝脏范围和体积大小等。

[0066] (5)模拟手术方案设计、手术模拟及模拟结果分析；

[0067] 根据模拟前综合风险分析结果，基于对象的腹部三维模型，提供包括肝肿瘤切除术、肝移植术、射频消融术等各种手术方案的模拟设计及手术模拟，规划手术路径，并对手术规划模拟结果进行风险和预后分析，通过反复的手术模拟，可提高用户的手术技能和熟练度，并且还能用于医学教学。

[0068] (5.1)模拟手术方案设计及其分析；

[0069] 以下以肝肿瘤切除术、肝移植术和射频消融术三项手术为例，介绍各手术方案设计模拟的过程及其在模拟过程中可能遇到的风险和预后分析。

[0070] (a)肝肿瘤切除术。根据对象腹部三维模型所显示的肝内重要血管和肝肿瘤关系、肝脏的受累范围、肝肿瘤的位置、大小和所涉及的肝段等信息，对肝肿瘤进行可切除性分析。可通过将肝肿瘤模型边缘向外膨胀一定距离的方式确定肝肿瘤切除的安全区域，并在三维模型上标记出被该区域影响的血管分支及其所分布的肝脏组织，将这部分作为风险区域并计算体积大小，根据此区域规划拟切除的范围和模拟手术的入路。同时可进行基于肝叶、肝段的规则肝切除或者边界肝肿瘤挖除等不规则肝切除的虚拟手术方案规划模拟，划定模拟手术切割边界，从不同方位观察切割截面情况，并计算出模拟手术中在对象的腹部三维模型上切除的肝脏和残肝的体积大小及占总肝体积比例，分析模拟手术后的残肝功能。

[0071] (b)肝移植术。根据数据库中对象的资料和重建得到的腹部三维模型，分析作为受体和供体的对象的肝脏状况、重要血管情况等，评价移植的可行性、可能的移植部位和结合部位，根据邻近重要结构的状况，确定模拟手术的切割路线和移植方式，并计算出功能性供肝、残肝的体积，分析模拟移植后供体和受体对象的肝脏状况。

[0072] (c)射频消融术。根据肝肿瘤位置、大小、血供情况等分析射频消融的可行性，并规划微波头的大小和形状，在对象的腹部三维模型上通过模拟的方式界定微波的手术入路，计算出消融范围，并分析模拟消融后对象肝脏残余病变的可能性等。

[0073] (5.2)手术模拟；

[0074] 采用第一视角技术，利用虚拟手术刀工具进行手术模拟，并可通过加入力反馈硬件设备，模拟手术过程中的触觉感受，增加模拟仿真的真实性。

[0075] (a)第一视角技术。以用户作为第一视角开发手术入路，真实反映手术状况，利用图形处理器进行体数据高效实时渲染。

[0076] (b)采用虚拟手术刀工具进行手术模拟。通过在计算机上操纵本系统提供的虚拟手术刀工具可对所接触的肝脏模型模拟肝肿瘤切除术、肝移植术、射频消融术等各种手术过程，采用的方式有基于一个或多个平面的肝切除、边界肝肿瘤挖除和基于形变曲面的灵活不规则肝切除等，并显示切口大小，可视化切口内部的解剖结构，警示所遇到的重要组织结构，可以通过设置肝脏、肝肿瘤和血管结构等三维模型的颜色、透明度或者旋转、平移、缩放等方式从不同的角度和方位观察切面情况，分析切面所影响的血管结构是否会引起其所分布的肝脏组织发生缺血或者淤血情况，并可计算出该模拟过程中可能发生缺血或者淤血的肝脏体积及占总肝体积比例。

[0077] 在模拟过程中，构建出有限元物理模型逼真模拟软组织在手术中的形变过程，并使用力反馈硬件设备进行手术模拟过程的触觉建模，使得用户在对虚拟腹部三维模型进行切割、触摸、抓取等操作时产生连续触觉感受，为用户提供逼真的沉浸感。

[0078] 本发明提供的基于三维多模影像的肝肿瘤综合手术规划模拟系统结构示意图如图2所示，详细的系统结构示意图如图3所示。该系统包括数据库建立模块100，数据库200，三维配准和融合模块300，三维建模模块400，模拟前综合风险分析模块500，方案设计模拟及分析模块600。

[0079] 数据库建立模块100用于通过载入对象基本信息、生化检查资料、医学图像和影像检查结果，建立相应对象资料，得到数据库200；该数据库提供肝肿瘤手术方案设计模拟所需要的特征和信息，用于模拟手术前的风险分析和模拟结果的分析，可以采用Oracle、MySQL、SQL Server 2000/2005等平台建立。

[0080] 三维配准和融合模块300从数据库200中提取对象的医学图像进行不同模式、单一模式不同期相图像之间的三维配准和融合。该模块分为三个子模块，分别为：与数据库200连接的配准数据导入模块310，与配准数据导入模块310连接的三维配准模块320和与三维配准模块320连接的三维融合模块330，即完成上述步骤(2)的功能。

[0081] 配准数据导入模块310与数据库200连接，导入对象的医学图像，并传输给三维配准模块320和三维融合模块330；三维配准模块320利用配准数据导入模块310所得的图像数据进行不同模式、单一模式不同期相图像之间的三维配准，所用到的方法有基于最大互信息的多分辨率方法等，并将配准结果传送给三维融合模块330；三维融合模块330对配准后的图像进行三维融合，所用的方法有基于三维小波变换的三维融合等。

[0082] 三维建模模块400实现肝脏、肝肿瘤、肝部各套血管结构以及肝脏周围重要组织的三维建模，为后续的模拟前综合风险分析模块500以及方案设计模拟及分析模块600提供对象的腹部三维模型。该模块分为五个子模块：与三维配准和融合模块300连接的三维建模数据导入模块410，腹部相关组织分割模块420，血管结构建模模块430，肝脏分段模块440以及腹部三维模型建立模块450，即完成上述步骤(3)的功能。

[0083] 三维建模数据导入模块410导入经三维配准和融合模块300处理后的医学图像，并提供给腹部相关组织分割模块420；腹部相关组织分割模块420利用导入的医学图像，分割出肝肿瘤手术规划模拟需要的相关组织，包括肝脏、肝肿瘤、肝部各套血管结构等，所用的方法有自动或者半自动分割方法，如Live Wire、Graph Cuts等，并提供给腹部三维模型建立模块450，将血管结构数据提供给血管结构建模模块430；血管结构建模模块430利用分割得到的血管结构数据进行三维拓扑细化提取出中心线并建立中心线模型，该模块可体现出血管结构的拓扑关系并提供各点的管径、各分支走向、是否存在血管畸形等信息，并提供给腹部三维模型建立模块450，将肝门静脉模型的分支走向信息提供给肝脏分段模块440；肝脏分段模块440根据所得到的肝门静脉模型的分支走向信息，进行肝脏分段，所用的方法是目前在临床和研究中被普遍认可的基于肝门静脉分支走向的肝脏分段方法；最后腹部三维模型建立模块450利用接受到的数据进行重建，得到对象的腹部三维模型。

[0084] 模拟前综合风险分析模块500根据三维建模模块400所得的对象的腹部三维模型和诊疗指南，并结合数据库200中对象的资料，计算和分析各种相关参数，包括肝脏体积、各肝段占总肝体积比例和肝肿瘤直径、数目、与周围重要血管和组织的距离等，进行综合风险分析。该模块包括两个子模块：模拟前综合风险分析数据导入模块510和模拟前综合风险分析模块520，即完成上述步骤(4)的功能。

[0085] 模拟前综合风险分析数据导入模块510与数据库200和三维建模模块400相连接，导入对象的资料和腹部三维模型，并传送至模拟前综合风险分析模块520；模拟前综合风险分析模块520根据对象的资料和腹部三维模型，依据相关诊疗标准，计算肝脏、肝肿瘤和血管结构的各种相关参数，进行各模拟手术方案的风险分析，对于肝肿瘤，其计算参数包括直径、数目、体积、所在肝段、与周围重要血管和组织结构的距离等，对于肝脏，其计算参数包括体积、肝段的划分、各肝段占总肝体积比例等，对于血管结构，其计算参数包括各点处的管径、各分支走向、是否存在畸形、是否存在栓塞、血管各段支配的肝脏范围和体积大小等。

[0086] 方案设计模拟及分析模块600根据模拟前综合风险分析模块500的分析结果以及三维建模模块400所得的对象腹部三维模型，进行包括肝肿瘤切除术、肝移植术、射频消融术等在内的各种手术方案的模拟设计和手术模拟，并对模拟结果进行风险和预后分析，通过反复的手术模拟，规划手术路径，提高用户的手术技能和熟练度。该模块主要分为四个子模块，分别是方案设计数据导入模块610，方案设计模块620，手术模拟模块630，模拟结果分析模块640以及力反馈装置650，即完成上述步骤(5)的功能。

[0087] 方案设计数据导入模块610与三维建模模块400和模拟前综合风险分析模块500相连接，导入对象的腹部三维模型和模拟前综合风险分析结果并提供给方案设计模块620。

[0088] 方案设计模块620基于对象的腹部三维模型和模拟前综合分析结果，进行各种手术方案的模拟设计。对于肝肿瘤切除术，根据对象腹部三维模型所显示的肝内重要血管和肝肿瘤关系、肝脏的受累范围、肝肿瘤的位置、大小和所涉及的肝段等信息，对肝肿瘤进行可切除性分析。通过将肝肿瘤模型边缘向外膨胀一定距离的方式确定其切除的安全区域，并在三维模型上标记出被该区域影响的血管分支及其所分布的肝脏组织，将这部分作为风险区域并计算体积大小，根据此区域规划拟切除的范围和手术入路，同时可进行基于肝叶、肝段的规则肝切除或者边界肝肿瘤挖除等不规则肝切除的虚拟手术方案规划。对于肝移植术，根据数据库中对象的资料和重建得到的腹部三维模型，分析作为受体和供体的对象的肝脏状况、重要血管情况等，评价移植的可行性、可能的移植部位和结合部位，根据邻近重要结构的状况，确定模拟手术切割路线和移植方式。对于射频消融术，根据肝肿瘤位置、大小、血供情况等分析射频消融的可行性，并规划微波头的大小和形状。

[0089] 手术模拟模块630对手术过程进行仿真模拟，以用户作为第一视角开发手术入路，真实再现手术中所见状况，通过在计算机上操纵本系统提供的虚拟手术刀工具模拟肝肿瘤切除术、肝移植术、射频消融术等各种手术过程，采用的方式有基于一个或多个平面的肝切除、边界肝肿瘤挖除和基于形变曲面的灵活不规则肝切除等，并显示切口大小，可视化切口内部的解剖结构，警示所遇到的重要组织结构，可以通过设置肝脏、肝肿瘤和血管结构等三维模型的颜色、透明度或者旋转、平移、缩放等方式从不同的角度和方位观察切面情况，分析切面所影响的血管结构是否会引起其所分布的肝脏组织发生缺血或者淤血情况，规划手术路径，对于肝肿瘤切除术，计算出模拟手术中在对象腹部三维模型上切除的肝脏和残肝的体积大小及占总肝体积比例，分析模拟手术后的残肝功能，对于肝移植术，计算出模拟移植后功能性供肝、残肝的体积，分析模拟移植后供体和受体对象的肝脏状况，对于射频消融术，在对象的腹部三维模型上界定微波头的模拟手术入路，计算出模拟过程中射频头的角度和消融范围，分析模拟消融后可能的疗效和对象肝脏残余病变的可能性。

[0090] 模拟结果分析模块640对不同模拟手术方案的疗效进行预测，分析可能的预后和代价。

[0091] 力反馈装置650与手术模拟模块630连接，可在模拟过程中加入反馈力，使用户在交互中有连续的触觉感受，增加手术模拟的真实性。力反馈装置650可以采用Sensable-PHANTOM系列力反馈设备等市售产品。

[0092] 以上所述为本发明的较佳实施例而已，但本发明不应该局限于该实施例和附图所公开的内容。所以凡是不脱离本发明所公开的精神下完成的等效或修改，都落入本发明保护的范围。

标题	发布/更新时间	阅读量
一种基于电场可视化的带电作业培训方法和系统	2020-05-08	227
基于融合静电力与振动触觉再现装置的3D凸起渲染方法	2020-05-16	660
用非音频数据在耳机上渲染触觉	2020-05-20	357
眼睛跟踪校准技术	2020-05-11	814
游戏交互控制的方法和装置	2020-05-15	498
用于渲染触觉反馈的多速率处理设备	2020-05-13	626
用于使用特定于HCP的装置进行患者监测的系统和方法	2020-05-14	663
一种基于静电力的触觉形式数字水印嵌入及检测方法	2020-05-19	852
一种用于虚拟现实的虚实融合键盘系统	2020-05-17	425
一种基于虚拟现实系统的鼠标输入系统	2020-05-18	402