首页 / 专利库 / 解剖与生理 / 骨密度 / 一种基于力反馈的骨外科手术仿真系统

一种基于反馈的骨外科手术仿真系统

阅读:321发布:2021-06-06

专利汇可以提供一种基于反馈的骨外科手术仿真系统专利检索,专利查询,专利分析的服务。并且一种基于 力 反馈的骨外科手术仿真系统,涉及虚拟手术系统开发技术领域。本 发明 的目的是为了能够让用户真实的 感知 人体组织的 生物 力学特性,从而提高手术培训的效果和手术成功率。本发明包括:虚拟 骨科手术 模拟子系统、输入模 块 、 力反馈 模块和显示模块。虚拟骨科手术模拟子系统用于实现手术模拟过程中所需的人体组织的几何建模、网格划分、生物力学建模及其计算、 碰撞检测 、切割缝合及动态 可视化 、力反馈计算等。本发明的方案可基于visual studio开发平台,通过自主编程实现虚拟人体组织的几何建模、网格划分、生物力学建模及其计算、形变切割以及力反馈计算等。本发明能降低手术系统成本及复杂程度。,下面是一种基于反馈的骨外科手术仿真系统专利的具体信息内容。

1.一种基于反馈的骨外科手术仿真系统,其特征在于:所述系统包括虚拟骨科手术模拟子系统(1)、输入模(2)、力反馈模块(3)和显示模块(4);
其中,所述虚拟骨科手术模拟子系统(1)包括:
几何建模模块,用于导入二维断层扫描图像数据;并用于经过图像预处理后进行骨组织、软骨和软组织的三维表面模型的建立;
网格划分模块,用于三维表面模型的面网格划分;并用于将面网格模型生成体网格模型,实现连续的三维模型的离散化,保证能够进行后续的有限元计算;
生物力学建模及其计算模块,用于虚拟人体组织的体网格模型的材料属性赋值,骨组织采用基于CT图像灰度值的微观生物力学模型来提高仿真精度,而软骨和软组织的生物力学模型采用非线性超弹性方程来减少计算量;本模块还用于骨生物力学建模及其计算过程中的CT图像灰度值的提取,并计算单元内心处的灰度值,然后根据灰度值、表观密度弹性模量之间的关系求得表示应力-应变关系的单元弹性矩阵;并用于软骨以及软组织生物力学建模及其计算过程中的人体皮肤、脂肪、肌肉等组织的超弹性模型材料参数的输入,并根据模型的参数以及超弹性材料的特点来求得表示应力-应变关系的单元弹性矩阵;本模块还用于每个网格模型的单元刚度矩阵的计算、整体刚度矩阵的封装等;还用于计算模型在设定固定约束和外加载荷等条件下输出的变形
碰撞检测模块,用于判断和检测手术器械在运动的过程中是否与虚拟人体组织发生碰撞,如果发生碰撞,则给出碰撞反应;
切割缝合以及动态可视化模块,用于计算人体组织模型切割部分的几何拓扑关系;还用于实时刷新模型的网格节点变化,并在系统的显示设备中显示模型的变形、切割、缝合过程;
力反馈计算模块,用于计算虚拟人体组织在发生变形和切割过程中对手术器械反馈的力;
其中,所述的输入模块(2)包括:
图像数据输入单元,用于读取患者的二维断层扫描图像数据;
用户操作单元,用于用户与虚拟骨科手术模拟子系统之间的患者信息输入与传递,信息包括患者的个人基本信息和虚拟人体组织模型向用户反馈的视觉信息;
其中,所述力反馈模块(3)包括:
检测单元,用于实时地将手术器械的位置信息和反馈力信息传递到虚拟骨科手术模拟子系统(1)中;
力觉交互单元,用于用户通过仿真手术器械实际模拟演练手术,与虚拟骨科手术模拟子系统(1)进行触觉交互;
其中,所述显示模块(4),用于在视觉上显示整个手术的模拟过程,实现用户与虚拟骨科手术模拟子系统(1)之间的视觉交互。
2.根据权利要求1所述的一种基于力反馈的骨外科手术仿真系统,其特征在于:所述虚拟骨科手术模拟子系统(1)实现其功能的具体过程为:
1)几何建模模块
几何建模的过程中涉及到阈值筛选、交互式分割以及三维重建的步骤;通过阈值筛选的过程将患者的骨、肌肉、软骨、脂肪、皮肤这些组织分别进行初步的分割;通过交互式分割过程手动擦除和修补单张图片来提高图像分割质量;通过三维重建的过程可将在二维断层图像中分割出来的区域生成三维表面模型;
2)网格划分模块
网格划分过程包括面网格划分和体网格划分两个步骤;面网格划分过程是将三维表面模型进行优化,包括:表面模型优化、平滑处理、修补漏洞;表面模型的优化通过减小表面模型的三面片来实现,该过程只需将相连的两个顶点合并到一个新顶点上,并延续原有的拓扑关系;平滑处理的过程,对三维的面网格模型进行去噪;修补漏洞的过程通过将模型当中的空洞提取成空间多边形,然后对空洞多边形进行三角化的方法实现;体网格划分的过程是将面网格模型进行拉伸、旋转步骤来实现;
3)生物力学建模及其计算模块
a.骨生物力学建模及其计算:
骨生物力学建模及其计算模块包括骨材料属性赋值和模型计算两个步骤;骨弹性模量的赋值过程是求出每个单元内心处应变-应力关系矩阵S,应变与应力关系(本构方程)如式(1)所示:
ε=S·σ (1)
式中,ε是应变张量;σ是应力张量;S是柔度矩阵,其形式如下:
其中,EXY是x和y轴方向的弹性模量;EZ是z轴方向的弹性模量;μXY是x和y轴方向的泊松比;μZ是z轴方向的泊松比;GXY是x和y轴方向的剪切模量;GZ是z轴方向的剪切模量;
柔度矩阵S中的弹性模量和剪切模量通过CT图像的灰度值与骨表观密度之间关系、骨表观密度与弹性模量之间的关系等来获取;其中骨表观密度与弹性模量之间的关系为骨生物力学模型,模型如式(3)所示:
式中,弹性模量E的单位是MPa;ρ是表观密度,单位是g/cm3;剪切模量G的单位是GPa;
表观密度与灰度值之间的关系如式(4)所示:
式中,ρ1,ρ0为骨最大、最小表观密度;H1,H0为骨最大、最小灰度值;选取ρ1=2,ρ0=0,H0=0,H1=2663;H为单元内心处灰度值,可通过六面体插值函数来求得;
骨模型的计算过程是求解平衡方程,平衡方程如式(5)所示:
P=K·u (5)
式中,P是等效节点载荷列阵;K是整体刚度矩阵;u是位移列阵;
e
整体刚度矩阵K由单元刚度矩阵K按节点序号排列并封装得到,单元刚度矩阵的表达形式如式(6)所示:
式中,矩阵B是表示应变和位移关系的几何矩阵;矩阵D是表示应力与应变关系的弹性矩阵,是柔度矩阵S的逆矩阵;
求解平衡方程得到节点位移;
b.软骨和软组织生物力学建模及其计算:
软骨和软组织的生物力学建模及计算模块包括材料属性赋值和模型计算两个步骤;软骨和软组织材料属性的赋值过程是求得每个单元的切线弹性矩阵DT,具体可通过超弹性模型对应变分量求两次导数得到,如式(7)所示:
式中,DT是切线弹性矩阵;W是超弹性材料的应变能密度函数;E是Green应变张量;
软组织包括皮肤、脂肪、肌肉,其中皮肤的生物力学模型采用Neo-Hookeon模型,如式(8)所示:
W=C10(I1-3) (8)
脂肪组织的生物力学模型采用Polynomial Form模型,如式(9)所示:
肌肉组织的生物力学模型采用Veronda模型,如式(10)所示:
软骨生物力学模型采用二参的Mooney-Rivilin模型,如式(11)所示:
W=C10(I1-3)+C01(I2-3) (11)
式中,C10、C01、Cij、α和β是模型的材料常数,I1和I2是应变张量的第一、第二主不变量;
计算之前,软组织的操作区域用户根据医生的经验来选择手术过程变形的区域;
求解平衡方程得到节点位移;
4)碰撞检测模块
碰撞检测包括粗略检测阶段和详细检测阶段两个步骤,其中详细检测阶段又划分为逐步求精层和精确求交层两个层次;粗略检测阶段快速确定可能存在物体相交的区域;详细检测阶段递归检测层次树结点之间是否相交,直到层次树叶子结点,进一步检测叶子结点中所包围的物体多边形面片之间是否相交;
5)切割缝合以及动态可视化模块
在实现该算法的过程分为三个步骤,分别是:1.判断切割条件,当手术器械施加人体组织的压力大于人体组织的屈服极限时,受力部分发生破裂;2.基于找近似面的切割算法,形成破裂处的切口;3.动态可视化的过程中定义模型的绘制格、颜色模式,并进行模型的数学描述,并且对虚拟人体组织在发生变形过程中的节点变化情况和被切割过程中的几何拓扑关系进行实时的刷新;
6)力反馈计算模块
虚拟人体组织在发生变形或被切割时,软组织的切割对虚拟手术器械所反馈的力根据模型的作用点处产生的穿刺深度来计算,计算结果将传输到外围力反馈设备上;另外骨钻的模拟公式如式(12)所示:
3
式中,F是钻削进给力,单位是N;ρ是骨密度,单位是g/cm;d是钻头的直径,单位是mm;n是钻头的转速,单位是r/min;v是钻头的进给速度,单位是mm/min;M是钻削扭矩,单位是N·m;
骨锯的模拟公式如下:
式中,Fz是骨锯进给方向的反力,单位是N;Fx是震动反力,单位是N;Fnormal是垂直切割力,单位是N;Flateral是侧向切削力,单位是N;θi是骨锯的第i个齿与t方向间的夹角,其中t方向垂直于进给方向和震动方向。
3.根据权利要求2所述的一种基于力反馈的骨外科手术仿真系统,其特征在于:
所述的输入模块(2)包括:
图像数据输入单元,将二维断层扫描图像通过计算机输入设备导入到虚拟骨科手术模拟子系统,为几何建模做准备;
用户操作单元,用于操作单元通过计算机输入设备输入手术相关信息,并通过操作输入设备与虚拟骨科手术模拟子系统的操作界面进行信息交互。
4.根据权利要求3所述的一种基于力反馈的骨外科手术仿真系统,其特征在于:所述力反馈模块(3)实现其功能的具体过程为:
检测单元,在实施的过程中涉及到两个关键的位置信息,一个是虚拟手术器械的末端所处的位置,另一个是虚拟手术器械的末端与虚拟人体组织的表面接触时接触点的位置;
选择合适的传感器来实现相应的功能;
力觉交互单元,用于用户通过仿真手术器械实际模拟演练手术,与软件进行触觉交互;
仿真手术器械除了包括外科手术常用的基本手术器械以外,还包括骨科手术特有的仿真手术器械。
5.根据权利要求4所述的一种基于力反馈的骨外科手术仿真系统,其特征在于:所述显示模块(4)实现其功能的具体过程为:将计算机的显示设备连接到计算机,与用户进行视觉上的交互。

说明书全文

一种基于反馈的骨外科手术仿真系统

技术领域

[0001] 本发明涉及一种基于力反馈的骨外科手术仿真系统,涉及虚拟手术系统开发领域。

背景技术

[0002] 近年来患骨科疾病的人数不断增长,吸引了国内外不少专家对治疗骨科疾病的关注。目前在骨科手术领域所具有的种类繁多、更新快、专业性强、手术体位复杂等特点,使得年轻的新医生难以快速地掌握骨科手术的技术。传统的医学培训主要是通过口头、视频等教学,或者对尸体和动物做实验的方法进行,而这种方法存在着无法重复使用实验对象、培训周期较长、培训成本较高、并存在着伦理道德方面的争议等缺点。
[0003] 随着虚拟现实技术的发展与有限元技术的结合,使得虚拟手术技术应运而生。现阶段有一些相关领域的研究成果,比如日本名古屋大学开发的3D手术仿真系统,美国Intuitive Surgical公司开发的Da Vinci外科机器人系统等,这些系统的价格昂贵,无法普及到国内各个医疗培训机构。国内的一些研究单位对虚拟手术系统开发的研究处于起步阶段,主要集中在三维重建和人体组织的生物力学建模上,而针对于骨外科手术的培训系统更是甚少,大部分还是利用几套现有的商业软件进行手术仿真。文献号为CN101996507B的发明专利公开了一种“构建外科虚拟手术教学及训练系统的方法”,包括DICOM数据的采集、几何建模、计算建模、碰撞检测可视化、评定系统等内容。该手术系统可应用于普通外科、骨外科和鼻喉科模拟手术培训、手术预演以及临床诊断等,但该手术系统的建立过程中缺少力反馈模,因此缺乏虚拟触觉效果,在仿真精度上还有一些提高的空间。南方医科大学的刘永刚在博士学位论文“骨折分类三维数字化模型的建立及其在虚拟手术中的应用”中建立了骨折分类虚拟手术系统,其中骨折的分类三维几何模型采用MIMICS软件建立,并在Freedom Modeling System的GHOST环境下实现虚拟切割和骨折复位固定等,然后利用外部力反馈设备进行手术的模拟。该建模方法提高了虚拟手术系统的仿真精度,但是整个过程采用几套现有的商业软件实现,因此系统的成本和复杂程度较高。

发明内容

[0004] 本发明的目的是提供一种基于力反馈的骨外科手术仿真系统,能够让操作者真实的感知人体组织的生物力学力学特性,从而提高手术培训的效果和手术成功率。
[0005] 本发明为解决上述技术问题采取的技术方案是:
[0006] 一种基于力反馈的骨外科手术仿真系统,所述系统包括虚拟骨科手术模拟子系统(1)、输入模块(2)、力反馈模块(3)和显示模块(4);
[0007] 其中,所述虚拟骨科手术模拟子系统(1)包括:
[0008] 几何建模模块,用于导入二维断层扫描图像数据;并用于经过图像预处理后进行骨组织、软骨和软组织的三维表面模型的建立;
[0009] 网格划分模块,用于三维表面模型的面网格划分;并用于将面网格模型生成体网格模型,实现连续的三维模型的离散化,保证能够进行后续的有限元计算;
[0010] 生物力学建模及其计算模块,用于虚拟人体组织的体网格模型的材料属性赋值,骨组织采用基于CT图像灰度值的微观生物力学模型来提高仿真精度,而软骨和软组织的生物力学模型采用非线性超弹性方程来减少计算量;本模块还用于骨生物力学建模及其计算过程中的CT图像灰度值的提取,并计算单元内心处的灰度值,然后根据灰度值、表观密度弹性模量之间的关系求得表示应力-应变关系的单元弹性矩阵;并用于软骨以及软组织生物力学建模及其计算过程中的人体皮肤、脂肪、肌肉等组织的超弹性模型材料参数的输入,并根据模型的参数以及超弹性材料的特点来求得表示应力-应变关系的单元弹性矩阵;本模块还用于每个网格模型的单元刚度矩阵的计算、整体刚度矩阵的封装等;还用于计算模型在设定固定约束和外加载荷等条件下输出的变形
[0011] 碰撞检测模块,用于判断和检测手术器械在运动的过程中是否与虚拟人体组织发生碰撞,如果发生碰撞,则给出碰撞反应;
[0012] 切割缝合以及动态可视化模块,用于计算人体组织模型切割部分的几何拓扑关系;还用于实时刷新模型的网格节点变化,并在系统的显示设备中显示模型的变形、切割、缝合过程;
[0013] 力反馈计算模块,用于计算虚拟人体组织在发生变形和切割过程中对手术器械反馈的力;
[0014] 其中,所述的输入模块(2)包括:
[0015] 图像数据输入单元,用于读取患者的二维断层扫描图像数据;
[0016] 用户操作单元,用于用户与虚拟骨科手术模拟子系统之间的患者信息输入与传递,信息包括患者的个人基本信息和虚拟人体组织模型向用户反馈的视觉信息;
[0017] 其中,所述力反馈模块(3)包括:
[0018] 检测单元,用于实时地将手术器械的位置信息和反馈力信息传递到虚拟骨科手术模拟子系统(1)中;
[0019] 力觉交互单元,用于用户通过仿真手术器械实际模拟演练手术,与虚拟骨科手术模拟子系统(1)进行触觉交互;
[0020] 其中,所述显示模块(4),用于在视觉上显示整个手术的模拟过程,实现用户与虚拟骨科手术模拟子系统(1)之间的视觉交互。
[0021] 所述虚拟骨科手术模拟子系统(1)实现其功能的具体过程为:
[0022] 1)几何建模模块
[0023] 几何建模的过程中涉及到阈值筛选、交互式分割以及三维重建的步骤;通过阈值筛选的过程将患者的骨、肌肉、软骨、脂肪、皮肤这些组织分别进行初步的分割;通过交互式分割过程手动擦除和修补单张图片来提高图像分割质量;通过三维重建的过程可将在二维断层图像中分割出来的区域生成三维表面模型;
[0024] 2)网格划分模块
[0025] 网格划分过程包括面网格划分和体网格划分两个步骤;面网格划分过程是将三维表面模型进行优化,包括:表面模型优化、平滑处理、修补漏洞;表面模型的优化通过减小表面模型的三面片来实现,该过程只需将相连的两个顶点合并到一个新顶点上,并延续原有的拓扑关系;平滑处理的过程,对三维的面网格模型进行去噪;修补漏洞的过程通过将模型当中的空洞提取成空间多边形,然后对空洞多边形进行三角化的方法实现;体网格划分的过程是将面网格模型进行拉伸、旋转步骤来实现;
[0026] 3)生物力学建模及其计算模块
[0027] a.骨生物力学建模及其计算:
[0028] 骨生物力学建模及其计算模块包括骨材料属性赋值和模型计算两个步骤;骨弹性模量的赋值过程是求出每个单元内心处应变-应力关系矩阵S,应变与应力关系(本构方程)如式(1)所示:
[0029] ε=S·σ (1)
[0030] 式中,ε是应变张量;σ是应力张量;S是柔度矩阵,其形式如下:
[0031]
[0032] 其中,EXY是x和y轴方向的弹性模量;EZ是z轴方向的弹性模量;μXY是x和y轴方向的泊松比;μZ是z轴方向的泊松比;GXY是x和y轴方向的剪切模量;GZ是z轴方向的剪切模量;
[0033] 柔度矩阵S中的弹性模量和剪切模量通过CT图像的灰度值与骨表观密度之间关系、骨表观密度与弹性模量之间的关系等来获取;其中骨表观密度与弹性模量之间的关系为骨生物力学模型,模型如式(3)所示:
[0034]
[0035]
[0036] 式中,弹性模量E的单位是MPa;ρ是表观密度,单位是g/cm3;剪切模量G的单位是GPa;
[0037] 表观密度与灰度值之间的关系如式(4)所示:
[0038]
[0039] 式中,ρ1,ρ0为骨最大、最小表观密度;H1,H0为骨最大、最小灰度值;选取ρ1=2,ρ0=0,H0=0,H1=2663;H为单元内心处灰度值,可通过六面体插值函数来求得;
[0040] 骨模型的计算过程是求解平衡方程,平衡方程如式(5)所示:
[0041] P=K·u (5)
[0042] 式中,P是等效节点载荷列阵;K是整体刚度矩阵;u是位移列阵;
[0043] 整体刚度矩阵K由单元刚度矩阵Ke按节点序号排列并封装得到,单元刚度矩阵的表达形式如式(6)所示:
[0044] Ke=∫ VBTDBdV (6)式中,矩阵B是表示应变和位移关系的几何矩阵;矩阵D是表示应力与应变关系的弹性矩阵,是柔度矩阵S的逆矩阵;
[0045] 求解平衡方程得到节点位移;
[0046] b.软骨和软组织生物力学建模及其计算:
[0047] 软骨和软组织的生物力学建模及计算模块包括材料属性赋值和模型计算两个步骤;软骨和软组织材料属性的赋值过程是求得每个单元的切线弹性矩阵DT,具体可通过超弹性模型对应变分量求两次导数得到,如式(7)所示:
[0048]
[0049] 式中,DT是切线弹性矩阵;W是超弹性材料的应变能密度函数;E是Green应变张量;
[0050] 软组织包括皮肤、脂肪、肌肉,其中皮肤的生物力学模型采用Neo-Hookeon模型,如式(8)所示:
[0051] W=C10(I1-3) (8)
[0052] 脂肪组织的生物力学模型采用Polynomial Form模型,如式(9)所示:
[0053]
[0054] 肌肉组织的生物力学模型采用Veronda模型,如式(10)所示:
[0055]
[0056] 软骨生物力学模型采用二参的Mooney-Rivilin模型,如式(11)所示:
[0057] W=C10(I1-3)+C01(I2-3) (11)式中,C10、C01、Cij、α和β是模型的材料常数,I1和I2是应变张量的第一、第二主不变量;
[0058] 计算之前,软组织的操作区域用户根据医生的经验来选择手术过程变形的区域;
[0059] 求解平衡方程得到节点位移;
[0060] 4)碰撞检测模块
[0061] 碰撞检测包括粗略检测阶段和详细检测阶段两个步骤,其中详细检测阶段又划分为逐步求精层和精确求交层两个层次;粗略检测阶段快速确定可能存在物体相交的区域;详细检测阶段递归检测层次树结点之间是否相交,直到层次树叶子结点,进一步检测叶子结点中所包围的物体多边形面片之间是否相交;
[0062] 5)切割缝合以及动态可视化模块
[0063] 在实现该算法的过程分为三个步骤,分别是:1.判断切割条件,当手术器械施加人体组织的压力大于人体组织的屈服极限时,受力部分发生破裂;2.基于找近似面的切割算法,形成破裂处的切口;3.动态可视化的过程中定义模型的绘制格、颜色模式,并进行模型的数学描述,并且对虚拟人体组织在发生变形过程中的节点变化情况和被切割过程中的几何拓扑关系进行实时的刷新;
[0064] 6)力反馈计算模块
[0065] 虚拟人体组织在发生变形或被切割时,软组织的切割对虚拟手术器械所反馈的力根据模型的作用点处产生的穿刺深度来计算,计算结果将传输到外围力反馈设备上;另外骨钻的模拟公式如式(12)所示:
[0066]
[0067] 式中,F是钻削进给力,单位是N;ρ是骨密度,单位是g/cm3;d是钻头的直径,单位是mm;n是钻头的转速,单位是r/min;v是钻头的进给速度,单位是mm/min;M是钻削扭矩,单位是N·m;
[0068] 骨锯的模拟公式如下:
[0069]
[0070] 式中,Fz是骨锯进给方向的反力,单位是N;Fx是震动反力,单位是N;Fnormal是垂直i切割力,单位是N;Flateral是侧向切削力,单位是N;θ 是骨锯的第i个齿与t方向间的夹角,其中t方向垂直于进给方向和震动方向。
[0071] 所述的输入模块(2)包括:
[0072] 图像数据输入单元,将二维断层扫描图像通过计算机输入设备导入到虚拟骨科手术模拟子系统,为几何建模做准备;
[0073] 用户操作单元,用于操作单元通过计算机输入设备输入手术相关信息,并通过操作输入设备与虚拟骨科手术模拟子系统的操作界面进行信息交互。
[0074] 所述力反馈模块(3)实现其功能的具体过程为:
[0075] 检测单元,在实施的过程中涉及到两个关键的位置信息,一个是虚拟手术器械的末端所处的位置,另一个是虚拟手术器械的末端与虚拟人体组织的表面接触时接触点的位置;选择合适的传感器来实现相应的功能;
[0076] 力觉交互单元,用于用户通过仿真手术器械实际模拟演练手术,与软件进行触觉交互;仿真手术器械除了包括外科手术常用的基本手术器械以外,还包括骨科手术特有的仿真手术器械。
[0077] 所述显示模块(4)实现其功能的具体过程为:将计算机的显示设备连接到计算机,与用户进行视觉上的交互。
[0078] 本发明的有益效果是:本发明的使用解决了目前该技术领域因涉及软件繁多而成本较高并操作复杂的问题;基于力反馈的骨外科手术培训系统能够让操作者真实的感知人体组织的生物力学力学特性,从而提高手术培训的效果和手术成功率。
[0079] 本发明主要针对骨外科手术,提出了一种构建基于力反馈的骨外科手术培训系统的方法。通过力反馈设备可以进行手术的实时模拟,使得用户具有身临其境的感觉。本系统可指导年轻的新医生进行手术培训,从而提高实际手术的成功率,对临床具有较高的指导意义。
[0080] 本发明提出了虚拟骨科手术仿真系统的建立方法,该软件基于visual studio开发平台,通过自主编程实现虚拟人体组织的几何建模、网格划分、生物力学建模及其计算、形变切割以及力反馈计算等。本发明无需借助其他例如MIMICS、ANSYS等商业软件,从而降低了手术系统的成本,并降低了系统操作的复杂程度。
[0081] 在系统的虚拟骨科手术仿真中,骨生物力学模型是根据CT图像的灰度值与骨组织表观密度、骨组织表观密度与弹性模量之间的关系来建立,实现了骨组织生物力学建模,因此每个网格单元的材料属性能够真实表达患者体内的信息,体现了人体骨组织的非均匀、各向异性等特征,并达到了个体化建模的要求,提高虚拟人体组织的仿真精度。
[0082] 系统的虚拟骨科手术仿真中,重点手术对象是骨组织,因此软骨和软组织的生物力学模型采用非线性的超弹性模型,结合圣维南原理进行计算,并在人体软组织模型中选择操作区域和非操作区域,结合非线性与线性计算的方法,优点是在保证一定精度的情况下减少计算时间,达到实时计算的要求。本系统中的虚拟人体软组织包括肌肉、皮肤、脂肪等组织,而每一种软组织采用超弹性模型是不同的,选取的模型是最适合相应软组织的生物力学特性,能够提高软组织的仿真精度,特别是对肌肉组织的描述采用的veronda模型的简化形式,能够较为精确的表达肌肉组织的非线性特性。
[0083] 在系统的虚拟骨科手术仿真中,还提出了骨钻、骨锯等骨外科手术中常见的手术器械的触觉模拟的方法,提高了手术系统的触觉仿真精度,也符合实际骨外科手术培训的要求。
[0084] 系统的虚拟骨科手术模拟子系统中,网格划分模块、生物力学建模及其计算模块相比于市面比较流行的ANSYS、ABAQUS等有限元软件具有占用内存小,操作简单等优点。附图说明
[0085] 图1是本发明的流程框图,图中虚线框1代表虚拟骨科手术模拟子系统,虚线框2代表力输入模块,虚线框3代表力反馈设备,虚线框4代表显示设备;
[0086] 图2是实现本发明的物理设备示意图(实现本发明的设备的实物关系图),图中虚拟骨科手术模拟子系统安装在计算机主机中;原始数据的方法可以是读取光盘的形式,也可以是读取U盘的形式;
[0087] 图3是虚拟骨科手术模拟子系统中的几何建模模块的构成示意图。图4是虚拟骨科手术模拟子系统中的网格划分模块的结构框图。
[0088] 图5是虚拟骨科手术模拟子系统中的骨生物力学建模及其计算模块的结构框图。
[0089] 图6是虚拟骨科手术模拟子系统中的的软组织生物力学建模及其计算模块的结构框图。
[0090] 图7是虚拟骨科手术模拟子系统中的的碰撞检测模块的结构框图。
[0091] 图8是虚拟骨科手术模拟子系统中的的切割缝合以及动态可视化模块的切割过程的结构框图。

具体实施方式

[0092] 具体实施方式一:如图1和2所示,本实施方式所述的一种基于力反馈的骨外科手术仿真系统包括:虚拟骨科手术模拟子系统1、输入模块2、力反馈设备3、显示设备4。
[0093] 虚拟骨科手术模拟子系统1用于实现手术模拟过程中所需的人体组织的几何建模、网格划分、生物力学建模及其计算、碰撞检测、切割缝合及动态可视化、力反馈计算;虚拟骨科手术模拟子系统1还用于接收并处理输入模块2中导入的患者的二维断层扫描图像信息;虚拟骨科手术模拟子系统1还用于计算力反馈设备3所需的反馈力,即人体组织发生变形和切割过程中对仿真手术器械反馈的力;
[0094] 输入模块2用于读取患者的二维断层扫描图像数据;输入模块2还用于实现用户与虚拟骨科手术模拟子系统1之间的患者信息的输入与传递;
[0095] 力反馈模块3用于实时地将人体组织发生变形或切割时的力传递到力反馈设备当中;力反馈模块3还用于用户操作仿真手术器械,与虚拟骨科手术模拟子系统1进行触觉交互;
[0096] 显示模块4用于显示整个虚拟手术的过程,实现用户与虚拟骨科模拟子系统1之间的视觉交互;
[0097] 其中,所述的虚拟骨科手术模拟子系统1包括:几何建模模块、网格划分模块、生物力学建模及其计算模块、碰撞检测模块、切割缝合以及动态可视化模块。
[0098] 所述几何建模模块,用于根据导入的二维断层扫描图像数据(如CT、MRI图像),经过图像预处理后进行骨组织、软骨和软组织(包括皮肤、脂肪、肌肉等)三维表面模型的建立。
[0099] 所述网格划分模块,用于三维表面模型的面网格划分;然后将面网格模型进行拉伸、旋转等步骤生成体网格模型,实现连续的三维几何模型的离散化,保证能够进行后续的有限元计算。
[0100] 所述生物力学建模及其计算模块,用于虚拟人体组织的体网格模型的材料属性赋值;软骨和软组织的生物力学模型使用宏观的非线性超弹性模型;而骨组织从微观角度出发建立其生物力学模型。骨组织微观生物力学建模的具体实现过程为:首先将骨网格模型的坐标进行转换,以像素和层数为坐标轴的形式与CT图像的像素坐标统一;然后根据CT图像的灰度值与骨表观密度关系,计算骨组织每个网格单元的表观密度;最后根据骨组织表观密度与弹性模量之间的关系,对每个网格单元的内心坐标进行材料属性赋值;本模块还用于计算虚拟人体骨组织、软骨和软组织生物力学模型,实现在外加载荷和固定约束的条件下,计算出每个网格单元的变形。软骨和软组织的位移用完全拉格朗日法分布载荷进行计算,骨组织的变形可以采用高斯消原法或预处理共轭梯度法进行计算,并且在软组织模型的计算过程运用圣维南原理,将软组织分为操作区域、非操作区域、公共边界区域,只需要计算操作区域和公共边界条件,非操作区域的变形可忽略不计,减少计算时间。另外,大型矩阵的计算可以采用GPU进行,提高计算速度来保证仿真的实时性。
[0101] 所述碰撞检测模块,用于判断和检测手术器械在运动的过程中是否与虚拟人体组织发生碰撞,如果发生碰撞,则给出相应的碰撞反应。
[0102] 所述切割缝合以及动态可视化模块,用于计算切割过程中的虚拟人体组织内部力的改变情况;还用于实时刷新模型的网格节点,并计算被切割的模型的几何拓扑关系,在计算机显示器中显示模型的变形和切割的效果;还用于模拟并显示缝合切口的过程。
[0103] 所述力反馈计算模块,用于计算虚拟人体组织在发生变形和切割时对手术器械反馈的力。
[0104] 其中,所述的输入模块2包括:图像数据输入单元和用户操作单元。
[0105] 所述图像数据输入单元,用于读取患者CT、MRI等图像数据的DICOM、JPG、BMP等格式文件,是虚拟骨科手术模拟子系统当中几何建模模块和生物力学建模模块的基础
[0106] 用户操作单元,用于用户与虚拟骨科手术模拟子系统之间的信息的输入与传递,如软件界面中患者基本信息、病例、检查意见等内容输入,又比如视角的切换、透明度的改变等。
[0107] 其中,所述的力反馈设备3包括:检测设备、力觉交互设备。
[0108] 所述检测设备,用于实时将手术器械的位置信息和反馈力信息传递到虚拟骨科手术模拟子系统中。
[0109] 力觉交互设备,用于用户实际模拟演练手术,主要是仿真的手术器械的建模,除了可以有手术钳、手术刀、导引器等外科手术中常见的手术器械的模型之外,还可以有骨科手术当中常见的骨钻、骨锯等器械的模型。
[0110] 所述显示设备用来显示整个手术的过程,实现用户与系统之间的视觉交互。
[0111] 具体实施方式二:
[0112] 本实施方式中,所述的虚拟骨科手术模拟子系统1实现其功能的具体过程为:
[0113] 1)几何建模模块
[0114] 几何建模模块可以选择VTK、MITK等工具进行开发。如图3所示,几何建模的过程中涉及到阈值筛选、交互式分割以及三维重建等步骤。阈值筛选的过程采用阈值分割算法可将患者的骨、软骨、肌肉、脂肪、皮肤等组织分别进行初步的分割。交互式分割过程运用多边形的变填充算法,用户可以结合解剖学上的知识和经验,手动擦除和修补每张图片来提高图像分割的质量和速度。模型三维重建的过程可采用目前比较流行的Marching Cube算法或Dividing Cube算法,使得在二维断层图像中分割出来的区域生成三维表面模型。从图中3可看出,几何建模的过程需要计算机的显示设备、输入设备(鼠标键盘等)配合用户来完成。
[0115] 2)网格划分模块
[0116] 如图4所示,网格划分过程包括面网格划分和体网格划分两个步骤。面网格划分的步骤包括:表面模型优化、平滑处理、修补漏洞等。表面模型的优化通过边折叠法减小表面模型的三角面片来实现,该过程只需将相连的两个顶点合并到一个新顶点上,并延续原有的拓扑关系;平滑处理的过程可采用Laplacian平滑算法,对三维的面网格模型进行去噪;修补漏洞的过程通过将模型当中的空洞提取成空间多边形,然后对空洞多边形进行三角化的方法实现。体网格划分的过程是将面网格模型进行拉伸、旋转等步骤来实现。
[0117] 3)生物力学建模及其计算模块
[0118] a.骨生物力学建模及其计算:
[0119] 如图5所示,骨生物力学建模及其计算模块包括骨材料属性赋值和模型计算两个步骤。骨弹性模量的赋值过程是求出每个单元内心处应变-应力关系矩阵S,应变与应力的关系如式(1)所示:
[0120] ε=S·σ (1)式中,ε是应变张量;σ是应力张量;S是柔度矩阵,其形式如下:
[0121]
[0122] 其中,EXY是x和y轴方向的弹性模量;EZ是z轴方向的弹性模量;μXY是x和y轴方向的泊松比;μZ是z轴方向的泊松比;GXY是x和y轴方向的剪切模量;GZ是z轴方向的剪切模量。
[0123] 柔度矩阵S中的弹性模量和剪切模量可以通过CT图像的灰度值与骨表观密度之间关系、骨表观密度与弹性模量之间的关系等来获取。其中骨表观密度与弹性模量之间的关系为骨生物力学模型,模型可以采用Dieter等人提出经验公式,如式(3)所示:
[0124]
[0125]
[0126] 式中,弹性模量E的单位是MPa;ρ是表观密度,单位是g/cm3;剪切模量G的单位是GPa。
[0127] 表观密度与灰度值之间的关系如式(4)所示:
[0128]
[0129] 式中,ρ1、ρ0为骨最大、最小表观密度;H1、H0为骨最大、最小灰度值;选取ρ1=2、ρ0=0,H0=0、H1=2663;H为单元内心处灰度值,可通过六面体插值函数来求得。
[0130] 骨模型的计算过程是求解平衡方程,平衡方程如式(5)所示:
[0131] P=K·u (5)
[0132] 式中,P是等效节点载荷列阵;K是整体刚度矩阵;u是位移列阵;
[0133] 整体刚度矩阵K由单元刚度矩阵Ke按节点序号排列并封装得到,单元刚度矩阵的表达形式如式(6)所示:
[0134] Ke=∫ VBTDBdV (6)
[0135] 式中,矩阵B是表示应变和位移关系的几何矩阵;矩阵D是表示应力与应变关系的弹性矩阵,是柔度矩阵S的逆矩阵,V是单元的体积。
[0136] 平衡方程可采用高斯消元法或预处理共轭梯度法等求解位移。
[0137] B.软骨和软组织生物力学建模及其计算:
[0138] 如图6所示,软组织的生物力学建模及计算模块包括软组织材料属性赋值和软组织模型计算两个步骤。软骨的生物力学建模及其计算过程与软组织相同,软骨和软组织材料属性的赋值过程是求每个载荷步长的单元切线弹性矩阵DT,具体可通过超弹性模型对应变分量求两次导数得到,如式(7)所示:
[0139]
[0140] 式中,DT是切线弹性矩阵;W是超弹性材料的应变能密度函数;E是Green应变张量。
[0141] 本发明中的软组织包括皮肤、脂肪、肌肉等组织,其中皮肤的生物力学模型采用Neo-Hookeon模型,如式(8)所示:
[0142] W=C10(I1-3) (8)
[0143] 脂肪组织的生物力学模型采用Polynomial Form模型,如式(9)所示:
[0144]
[0145] 肌肉组织的生物力学模型采用Veronda模型,如式(10)所示:
[0146]
[0147] 软骨生物力学模型采用二参的Mooney-Rivilin模型,如式(11)所示:
[0148] W=C10(I1-3)+C01(I2-3) (11)
[0149] 式中,C10、C01、Cij、α和β是模型的材料常数,I1和I2是应变张量的第一、第二主不变量;
[0150] 针对每类软组织,皮肤的生物力学模型的参数可以取C10=0.17Mpa;脂肪组织的参数可以取C10=(3.1±0.3)Mpa,C01=(3.0±0.2)Mpa,C11=(22.5±3)Mpa,C20=(38.0±6)Mpa,C02=(47.2±7)Mpa;肌肉组织的参数可以取α=0.12Mpa,β=1.0;软6 7
骨的参数可以取C10=-4.69×10 Mpa,C01=1.05×10 Mpa。
[0151] 计算之前,软组织的操作区域用户可以自行选择,或根据医生的经验来选择。又因为人体软骨和软组织可以发生大变形,因此软骨和软组织模型的计算的过程中需要考虑到几何非线性问题,可以用完全拉格让日法分步载荷进行求解平衡方程,每个载荷步长的非线性方程组可采用修正的newton迭代解算,而每个迭代步的线性方程组可采用预处理共轭梯度法来求解。
[0152] 4)碰撞检测模块
[0153] 如图7所示,碰撞检测包括粗略检测阶段和详细检测阶段两个步骤,其中详细检测阶段又划分为逐步求精层和精确求交层两个层次。粗略检测阶段可采用空间剖分法来快速确定可能存在物体相交的区域。详细检测阶段可基于层次包围盒法,同时遍历物体对的层次树,递归检测层次树结点之间是否相交,直到层次树叶子结点,进一步检测叶子结点中所包围的物体多边形面片之间是否相交。
[0154] 5)切割缝合以及动态可视化模块
[0155] 如图8所示,在实现该算法的过程可以分为三个步骤,分别是:1.判断切割条件,当手术器械施加人体组织的压力大于人体组织的屈服极限时,受力部分发生破裂;2.基于找近似面的切割算法,形成破裂处的切口;3.动态可视化的过程可在OpenGL工具中实现,在OpenGL中可定义模型的绘制风格、颜色模式,并可以进行模型的数学描述,还可以对虚拟人体组织在发生变形过程中的网格节点变化情况和被切割过程中的几何拓扑关系进行实时的刷新。
[0156] 6)力反馈计算模块
[0157] 虚拟人体组织在发生变形和切割时,对虚拟手术器械所反馈的力的大小根据模型的作用点处产生的穿刺深度来计算,计算结果将传输到外围力反馈设备上。骨钻的模拟公式如式(12)所示:
[0158]
[0159] 式中,F是钻削进给力,单位是N;ρ是骨密度,单位是g/cm3;d是钻头的直径,单位是mm;n是钻头的转速,单位是r/min;v是钻头的进给速度,单位是mm/min;M是钻削扭矩,单位是N·m。
[0160] 骨锯的模拟公式如下:
[0161]
[0162] 式中,Fz是骨锯进给方向的反力,单位是N;Fx是震动反力,单位是N;Fnormal是垂直i切割力,单位是N;Flateral是侧向切削力,单位是N;θ 是骨锯第i个齿与t方向间的夹角,其中t方向垂直于近给方向和震动方向。
[0163] 本实施方式的其它组成及连接关系与具体实施方式一相同。
[0164] 具体实施方式三:
[0165] 本实施方式中,所述的输入模块2实现其功能的具体过程为:
[0166] 1)图像数据输入单元
[0167] CT/MRI图像可通过计算机主机箱的光驱或USB接口传输,然后导入到虚拟骨科手术模拟子系统,为几何建模做准备。
[0168] 2)用户操作单元
[0169] 本单元的实现可以在MFC平台下开发一个虚拟骨科手术模拟子系统的操作界面来完成。在操作界面上,用户通过计算机输入设备如键盘、鼠标等输入手术相关信息,手术相关信息可能包括患者姓名、性别、年龄、病例等,手术相关信息还可能包括手术步骤、手术相关注意事项、检查意见等,用户还可以通过操作鼠标、键盘等设备对手术过程中虚拟人体组织模型的视角、大小、透明度等进行切换,并可以进行虚拟手术器械的切换。
[0170] 本实施方式的其它组成及连接关系与具体实施方式一或二相同。
[0171] 具体实施方式四:
[0172] 本实施方式中,所述的力反馈设备3实现其功能的具体过程为:
[0173] 1)检测设备
[0174] 检测设备在实施的过程中主要涉及到两个比较关键的位置信息,一个是虚拟手术器械的末端所处的位置,另一个是虚拟手术器械的末端与虚拟人体组织的表面接触时接触点的位置,位置传感器可以采用HEDS55型500线光电式编码器。在测量反馈力的大小时,传感器的选择主要考虑传感器尺寸的大小,可采用FSS-1500NST型力传感器。
[0175] 2)力觉交互设备
[0176] 力觉交互设备,用于用户实际模拟演练手术,主要是仿真手术器械,除了可以有手术钳、手术刀、导引器等外科手术中常见的手术器械的模型之外,还可以有骨科手术当中常见的骨钻、骨锯等器械的模型。
[0177] 本实施方式的其它组成及连接关系与具体实施方式一、二或三相同。
[0178] 以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,根据本发明的技术方案及其发明构思加以等同替换或改变,都应涵盖在本发明的保护范围之内。
[0179] 实施例
[0180] 为了能更好的说明本发明使用方法以及意义,下面具体举一个例子来阐述本发明的操作过程。
[0181] 模拟胫腓骨骨折内固定术:
[0182] 1)获取图像数据
[0183] 为了建立虚拟患者腿部组织的三维几何模型,需要对该患者腿部组织进行CT、MRI扫描,得到DICOM数据格式的采集。如果骨组织从CT图像中获取,软组织从MRI图像中获取,可在扫描时在扫描部位的皮肤上粘贴维生素E胶囊来做标记,以便进行图像的配准。
[0184] 2)建立虚拟人体组织的几何模型以及患者信息的输入
[0185] 将DICOM格式的CT和MRI图像通过计算机USB接口导入到虚拟骨科手术模拟软件中,然后将患者的姓名、性别、年龄、病例、诊查结果等信息输入到操作界面。经过对图像进行阈值筛选操作,将图像中的目标组织例如骨、肌肉、脂肪和皮肤组织等分离出来。通过用户操作计算机鼠标对图像进行交互式分割来手动擦除和修补后,最终生成患者虚拟腿部组织的三维表面模型。
[0186] 3)虚拟人体组织的网格划分
[0187] 首先将上一部生成的虚拟人体组织的三维表面网格模型进行优化,其步骤包括表面模型优化、平滑处理和修补漏洞等。然后将生成的面网格模型通过拉伸、旋转等进行体网格划分。
[0188] 4)胫骨和腓骨的生物力学建模及其计算建模
[0189] 首先将经过步骤2)中预处理的CT图像的灰度值数据存到一个三维数组当中,获取CT图像的像素尺寸进行坐标转换,一般DICOM格式的图像数据本身包含图像的像素尺寸。然后软件的后台基于骨网格模型的节点坐标、单元编号等文件,开始计算单元网格的内心坐标、内心灰度值、表观密度、弹性矩阵等,进行单元刚度矩阵的计算与整体刚度矩阵的封装。当用户操作力反馈设备使虚拟手术器械对虚拟骨组织施加载荷时,计算建模模块可计算有限元模型的平衡方程求解出操作区域的节点位移。
[0190] 5)腿部软组织生物力学建模及其计算建模
[0191] 腿部软组织的生物力学模型选择非线性超弹性模型,并且需要输入每个模型对应组织的材料常数。然后系统基于软组织网格模型的节点坐标、单元编号等文件,开始计算网格的单元刚度矩阵并封装整体刚度矩阵。接下来用户可根据预计的手术区域或医生的手术经验,来选择软组织的操作区域和公共边界区域。当用户操作力反馈设备使虚拟手术器械对虚拟软组织施加载荷时,计算建模模块基于CPU和GPU结合的方法建立并计算有限元模型的平衡方程,其中大型矩阵采用GPU计算,线性和非线性方程组采用CPU求解出位移。
[0192] 以上操作和参数选择完成后,方可进行手术模拟的操作。
[0193] 6)所需的虚拟手术机械
[0194] 在胫腓骨骨折内固定术中,除了外科手术中常见的手术刀、手术钳、手术剪、拉钩等器械之外,还有骨折固定术中所需的相应尺寸和形状的接骨板、钻头、钻头套管、测深器、攻丝、T型把手、螺丝刀、克氏针、螺钉等器械的模型。
[0195] 7)碰撞检测
[0196] 当用户操作力反馈设备使虚拟手术器械靠近并开始接触虚拟人体组织模型的边界时,系统能够及时检测并计算出碰撞反应,碰撞检测的层次包围盒算法的包围盒采用K-Dop包围盒。
[0197] 8)切割缝合以及动态可视化
[0198] 当用户操作力反馈设备使虚拟手术器械将虚拟人体组织进行切割时,切割模块计算切割部分的几何拓扑关系,并刷新网格单元。
[0199] 动态可视化模块将患者虚拟腿部组织发生的变形、切割、缝合过程进行实时刷新,并把虚拟场景、虚拟组织的几何模型采用纹理映射、光照等数学模型加以渲染,用户可在计算机显示器中看到所有手术过程。
[0200] 9)力反馈计算及其设备
[0201] 用户可操作力反馈设备控制软件中虚拟手术器械进行手术训练,力反馈设备产生的位移、旋转等动作可通过设备的传感器将数据传递到虚拟骨科手术模拟子系统中,系统将其动作显示在可视化窗口中。另外,软件的力反馈计算模块可将虚拟人体组织因发生变形而产生的反馈力进行计算,传送到力反馈设备当中,用户可通过力反馈设备感知到力的大小和方向,从而实现用户与手术系统的交互。
相关专利内容
标题 发布/更新时间 阅读量
一种胸骨骨密度仪 2020-05-14 260
骨密度仪 2020-05-11 123
一种检测骨密度的方法 2020-05-13 766
一体式超声骨密度仪 2020-05-13 42
骨密度仪 2020-05-11 331
WIT骨密度分析仪 2020-05-11 1011
新型X射线骨密度仪 2020-05-15 645
骨密度测定装置 2020-05-12 55
骨密度测量装置 2020-05-12 485
一种骨密度检测系统 2020-05-15 756
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈