技术领域
[0001] 本
发明涉及一种教育或演示用具，尤其涉及的是一种手术预测和训练的设备及其方法。
背景技术
[0002] 现代外科手术技术正在向微创伤、小
视野、低痛苦的
微创手术方向发展。手术中使用插入病人体内的微小摄像机和切削工具，通过注视监视器完成手术过程。微创手术有利于节约手术成本、减轻病人痛苦和缩短术后恢复期，已在
耳鼻喉、胃肠科、泌尿科、妇科以及神经科中得到了广泛的应用。
[0003] 手术预测是在手术进行前制定的手术方案，传统模式的手术预测依赖操作者的主观经验，例如在
截骨术中对手术方式、截骨部位、骨段移动的方位和距离、咬合关系的确定等都需先做一系列的
预测分析及模拟手术，才能确保手术的成功，这对操作者的要求很高，增加了手术过程的难度。一旦微创手术失败需要临时转为传统手术，创伤更大，对病人造成严重的伤害，以“求美”为目的的颅面部的整形美容手术尤为更甚；所以
现有技术中的手术预测的难度很高。
[0004] 另外，在微创手术过程中，由于切口小，操作者不能看见他的手，需要借助仪器，并根据自己的经验判断来进行手术，这需要极高的手术技巧和杰出的手眼配合技术。新手在正式手术前需要经过大量的训练以掌握人体的解剖结构，以及培养应付各种突发情况的能
力。传统的手术训练主要以动物或尸体为实验对象，但是，由于动物的解剖结构和人体的解剖结构的不一致性、以及尸体和活体的组织差异等因素会影响训练效果；而且，由于动物和尸体的不可重复性，导致医院的培训成本增加。
[0005] 因此，现有技术还有待于改进和发展。
[0006] 发明内容
[0007] 本发明的目的在于提供一种手术预测和训练的设备及其方法，该手术预测和训练设备及方法能够直观的进行手术预测，降低了手术预测的难度和手术训练的成本。 [0008] 本发明的技术方案如下：
[0009] 一种手术预测和训练设备，包括：模型生成模
块，用于利用人体的外形图像、解剖结构图像和人体各组织的属性数据，模拟各种组织的状态；与所述模型生成模块连接的监视装置；其中，还包括：用于接收手术指令的操作装置，该手术指令包括：操作动作数据和手术部位信息；与所述操作装置连接的物理计算模块，用于将所述操作动作数据转换为所述手术部位相应组织的形变数据；所述模型生成模块内包括：属性数据单元、医学成像设备、
图像处理单元、三维几何单元和数据融合单元；所述医学成像设备用于获取患者外形及解剖结构的CT或MRI等模态的
图像序列；所述图像处理单元与医学成像设备连接，用于对所获取的图像序列进行图像增强、噪声去除、刚性配准处理和分析；所述三维几何单元与图像处理单元连接，用于利用处理和分析后的图像序列构建三维
几何模型；所述属性数据单元用于获取各种属性数据，其与物理计算模块连接，并根据物理计算模块生成的形变数据对相应组织的属性数据进行修正；所述数据融合单元，用于将三维几何模型和属性数据进行融合，以实现人体各组织状态的模拟；
[0010] 其中，所述属性数据单元包括与所述物理计算模块连接的数据修正单元，该数据修正单元用于利用所述形变数据修正所述手术部位相应的属性数据。
[0011] 所述的设备，其中，所述物理计算模块包括：与所述操作装置连接的动作转换单元和
位置提取单元，与该动作转换单元和位置提取单元连接的力转换单元；动作转换单元210用于将所述操作动作数据转换为外力数据； 位置提取单元220用于提取所述手术指令中的手术部位信息；力转换单元230用于根据该外力数据计算手术部位相应组织产生
变形的形变数据。
[0012] 所述的设备，其中，所述操作装置包括：适于操作者手部操作的操作件、与该操作件连接的
感知模块，该感知模块用于感知所述操作件的状态参数；以及与该感知模块和所述物理计算模块连接的处理模块，该处理模块用于将所述操作件的状态参数转化为所述手术指令。
[0013] 所述的设备，其中，还包括：与所述物理计算模块连接的
生物力学模块，用于根据所述手术部位相应组织的形变数据生成手术部位的反作用力数据；设置在所述操作件上并与该生物力学模块连接的力学反馈模块，用于利用所述反作用力数据向所述操作件施加力。
[0014] 所述的设备，其中，所述操作件包括：与所述感知模块连接的手套。 [0015] 所述的设备，其中，所述操作件还包括：与所述感知模块连接的手术器械。 [0016] 所述的设备，其中，所述处理模块包括：用于存储手术器械的信息的工具单元；与该工具单元连接的交互选择单元，用于在所述工具单元中选择手术器械信息。 [0017] 所述的设备，其中，所述监视装置采用立体眼镜。
[0018] 本发明还提供一种手术预测和训练方法，应用于由计算机单元提供的
虚拟环境中，包括以下步骤：S1、利用获取的人体的外形图像、解剖结构图像和人体各组织的属性数据，模拟各种组织的状态并
可视化显示；S2、接收来自操作者的手术指令，该手术指令包括：操作动作数据和手术部位信息；S3、将所述操作动作数据转换为所述手术部位相应组织的形变数据；S4、利用所述形变数据修正所述手术部位相应的属性数据。
[0019] 所述的方法，其中，所述步骤S2包括以下步骤：S21、获取操作者手部动作的状态参数；S22、将所述状态参数转化为所述手术指令。
[0020] 所述的方法，其中，还包括以下步骤：S5、根据所述手术部位相应组织的形变数据生成手术部位的反作用力数据；S6、利用所述反作用力数据向所述操作者手部施加力。 [0021] 所述的方法，其中，所述步骤S3包括：S31、将手术指令中包含的所述操作动作数据转换为外力数据；S32、提取所述手术指令中的手术部位信息；S33、根据该外力数据计算手术部位相应组织产生变形的形变数据。
[0022] 本发明所提供的手术预测和训练设备及其方法，采用操作装置接收关于手术预测或者手术训练的手术指令，物理计算模块将操作装置接收的手术指令转换为相应组织的受力及形变数据，模型生成模块利用人体的外形图像、解剖结构图像和人体各组织的属性数据，以及所述形变数据修正过的属性数据，模拟人体各种组织的状态。从而，能够直观的进行手术预测，降低了手术预测的难度和手术训练的成本。
[0024] 图1是本发明第一实施方式的原理
框图；
[0025] 图2是本发明三维几何模型的效果图；
[0026] 图3是本发明模拟人体额头部变形前的效果图；
[0027] 图4是本发明模拟人体额头部变形后的效果图；
[0028] 图5是本发明第二实施方式的操作装置的原理框图；
[0029] 图6是本发明第三实施方式的原理框图；
[0030] 图7是本发明第四实施方式的操作装置的原理框图。
[0031] 具体实施方式
[0032] 下面结合具体实施方式和附图对本发明作进一步详细的描述。
[0033] 本发明的手术预测和训练设备应用于由计算机单元提供的虚拟环境中，操作者可以通过操作装置向模型生成模块进行操作，沉浸于虚拟
手术环境内，完成手术的预测以及训练。通过仿真手术器械体验和学习如何进行各种手术。
[0034] 作为本发明的第一种实施方式，如图1所示，包括：操作装置100、物理计算模块200、模型生成模块300、监视装置400。
[0035] 操作装置100用于接收手术指令，所述的手术指令包括：手术测量数据、手术路线数据、以及操作动作数据和手术部位信息。手术测量数据包括标识点的选取，目标部位的面积和体积，解剖结构上的纵向、矢状、冠状之间的直线、弧线距离等，例如颅面部手术中的手术测量的测量数据有：眉间点与头后点之间的直线距离(头最大长)，头左右测点之间的距离(头最大宽)自颏下点至头
顶点之间的投影距离(全头高)，以及沿中矢状面自鼻根点至枕外隆凸点之间的弧长(头矢状弧)。手术路线数据是根据手术方案输入的具体操作数据，动作数据主要通手术动作的位移和时间描述手术动作，手术部位信息反映手术动作所针对的相应组织的信息。
[0036] 物理计算模块200与所述操作装置100连接，物理计算模块200将所述的手术指令中的操作动作数据转换为所述手术部位相应组织的形变数据。物理计算模块200包括：动作转换单元210、位置提取单元220和力转换单元230，如图2所示。
[0037] 动作转换单元210与操作装置100连接，用于将手术指令中包含的操作动作数据转换为外力数据，根据位置参量和时间参量计算速度以及该速度所对应的作用力； [0038] 位置提取单元220与操作装置100连接，用于提取所述手术指令中的手术部位信息，手术部位信息也就是手术动作所针对的具体组织及其特性(比如
皮肤、脂肪、肌肉)； [0039] 力转换单元230与动作转换单元220和位置提取单元210连接，用于根据该外力数据计算手术部位相应组织产生变形的形变数据，所谓形变数据包括譬如韧带、肌肉、脂肪、血管和皮肤这些软组织的单一或者联合形变的数据。
[0040] 模型生成模块300用于收集人体的外形图像、解剖结构图像和人体各组织的属性数据，并利用上述信息模拟人体各种组织的状态。如图2所示，模型生成模块300内设有属性数据单元340，属性数据单元340又包括：属性数据获取单元341、属性数据修正单元342。属性数据获取单元341用于获取各种属性数据，其与物理计算模块200连接；属性数据修正单元342用于根据物理计算模块200生成的形变数据修正所述手术部位相应的属性 数据。
[0041] 所述属性数据包括：反映不同组织器官(比如皮肤、脂肪、肌肉)材质属性和几何分布形状的数据；反映异常部位(比如
肿瘤)的大小、形状、软硬度、粗糙度、纹理的数据；反映手术部位的大小、形状、软硬度、粗糙度、纹理的数据。
[0042] 模型生成模块300中还包括：医学成像设备310、图像处理单元320、三维几何单元330和数据融合单元350。医学成像设备310用于获取患者外形及解剖结构的CT或MRI等模态的图像序列，图像处理单元320与医学成像设备310连接，用于对所获取的图像序列进行图像增强、噪声去除、刚性配准处理和分析；三维几何单元330与图像处理单元320连接，用于利用处理和分析后的图像序列构建三维几何模型；属性数据单元340用于获取各种属性数据，其与物理计算模块200连接，并根据物理计算模块200生成的形变数据对相应组织的属性数据进行修正；数据融合单元350，用于将三维几何模型和属性数据进行融合，以实现人体各组织状态的模拟。
[0043] 监视装置400与所述模型生成模块300连接，用于向操作者显示当前时刻模拟的人体及其各种组织的状态。
[0044] 以下以颅面部的整形美容为例，对本发明的设备做详细说明：
[0045] 首先通过医学成像设备310获取患者的颅面部外形及解剖结构的CT或MRI图像序列。
[0046] 由图像处理单元320采用图像平滑、锐化和滤波方法对所获取的图像序列进行图像增强、噪声去除，以达到改善图像
质量的目的；同时利用骨骼
密度和连续性对图像进行分割，依靠解剖知识对分割结果进行修正以获取感兴趣的区域；由于在扫描过程中，患者很难保证一个固定姿势不变，这样由于姿势的不固定就会造成扫描同方向相邻投影间的不匹配，因此这时需要对图像序列进行配准，使得两幅图像的对应点达到空间位置和解剖结构上的一致，根据图像的特点可以采用刚性配准方法，对于二维图像而 言，需要寻求的就是刚性变换的三个参数：x，y方向上的平移Dx和Dy，旋转
角度θ。
[0047]
[0048] 在对图像序列经过处理和分析后，三维几何单元330对图像序列进行三维几何模型构建，分别获取颅面部的骨骼、软骨及软组织的三维几何面模型；再根据获取模型的特点，采用简化、光顺、网格优化、碎片去除、细分曲面拟合、网格切割、体网格化对几何模型进行后续处理；同时根据每种具体的处理方法，可以采用串行或并行，比如基于GPU的技术分别处理。采用去除体元切割
算法或体元剖分切割算法对模型进行切割。下图所示为对一患者的头部扫描得到图像进行基于GPU
三维重建得到的三维几何模型，参见图2。 [0049] 属性数据单元340，用于获取属性数据，属性数据包括：反映皮肤材质属性和几何分布形状的数据、脂肪材质属性和几何分布形状的数据、肌肉材质属性和几何分布形状的数据、以及其他组织器官材质属性和几何分布形状的数据；反映每个部位的大小、形状、软硬度、粗糙度、纹理的数据；部位又包括：手术部位、异常部位(例如肿瘤)。 [0050] 数据融合单元350将三维几何模型和属性数据进行融合，以模拟人体及其各种组织的状态。最后由监视装置400向操作者进行显示。
[0051] 操作装置100接收手术指令，手术指令中包括：操作动作数据、手术部位信息信息。
[0052] 将手术指令传递给物理计算模块200，其中的动作转换单元210用于将手术指令中包含的操作动作数据转换为外力数据，利用操作动作数据计算手术动作的速度以及该速度所对应的作用力。
[0053] 位置提取单元220与操作装置100连接，用于提取手术指令中的手术部位、也就是手术动作所针对的具体组织(比如皮肤、脂肪、肌肉)。
[0054] 力转换单元230与动作转换单元220和位置提取单元210连接，用于根据外力数据计算手术部位相应组织产生变形的形变数据，利用位置提取单元220提取的手术部位的大小、形状、软硬度、粗糙度、纹理的数据，以及动作转换单元220计算的外力数据建立材料力学建模和形变计算模型，通过该材料力学建模和形变计算模型计算相应组织在该外力作用下产生的形变数据，所谓形变数据包括譬如韧带、肌肉、脂肪、血管和皮肤这些软组织的单一或者联合形变的数据。可以采用
弹簧质子模型、基于有限元的线弹性或动态线弹性模型，或者采用这些模型的组合，比如采用动态线弹性有限元模型模拟手术部位的软组织变形，见公式1，
[0055]
[0056] 其中，M为物体的质量矩阵，D为物体的阻尼矩阵，K为整体
刚度矩阵，u是位移，t是时间，f是等效力向量。物体是指虚拟手术的模拟对象，比如面部手术时，如果
图像采集的是整个头部的话，同时前面几何建模也是整个头部的话，这里的整体和物体就是指整个头部对象，如果采集的局部比如只有下颌部那就是单指下颌部，也可以称之为手术模拟对象。根据模拟的实时性要求这些模型的计算模型可建立GPU(Graphic Processing Unit，图形处理器)或CPU之上。
[0057] 实时地将该形变数据发送至属性数据单元340，属性数据单元340利用该形变数据修正所述属性数据，从而使数据融合单元350所模拟的组织产生相应的改变，模拟人体额头部变形的效果见图3和图4。
[0058] 本实施方式的手术预测和训练设备，通过物理计算模块200根据手术指令生成反映各软组织的单一或者联合形变数据，模型生成模块300根据该形变数据模拟各组织的状态，通过监视装置400进行观察。由此对手术效果进行可视性预测，一方面可以帮助医生制定具体患者的手术方案、优化手术路径、减少损伤及对组织的损害、提高病灶
定位精度、预测手术结 果；此外可以让外科医生针对一个真实的病人进行术前规划、术中模拟、和术后效果预测，通过预演手术可以提前发现手术方案存在的问题并得到及时修正，并可以得到根据专家经验建立的专家手术系统的指导，使得外科手术更加安全、可靠和精确，这些对提高手术的成功率具有重要的意义；患者亦可以动态观测手术效果预测，直至达到患者满意且手术方案可行。
[0059] 作为本发明的第二实施方式，在第一实施方式的
基础上进行以下改进：如图5所示，所述操作装置100包括：操作件110、与操作件110连接的感知模块120、以及与感知模块120和物理计算模块200连接的处理模块130。
[0060] 操作件110适于操作者手部操作，操作件110可采用：包裹手部的手套、手术器械、或者适于手持的手持件。手术器械包括
钳子、
镊子、夹子、手术刀、手术剪、量尺。 [0061] 感知模块120与操作件110和物理计算模块200连接，感知模块120通常采用
传感器，用于感知操作件110的状态参数。所述状态参数主要表征操作件110移动时的位移矢量，以及操作件110本身的变形量；
[0062] 处理模块130与感知模块120连接，用于将该所述状态参数转化为所述的手术指令。
[0063] 当操作件110采用手套和手术器械时，传感器可以设置在手术器械上，也可以设置在手术器械和手套上。
[0064] 当操作件110只采用手套或者手持件时，传感器则设置在手套或者手持件上。 [0065] 本实施方式中的操作装置100包括操作件110以及与操作件110连接的感知模块120，实现了通过操作者的手部动作来实现手术指令的输入，这可以令操作者亲手操作手术，参与手术过程，够帮助新手学习、掌握人体的解剖结构，进行手术训练，并培养应付各种突发情况的能力。
[0066] 作为本发明的第三实施方式，在第二实施方式的基础上增加了生物力学模块500和力学反馈模块600，如图6所示。
[0067] 生物力学模块500与物理计算模块200连接，利用力转换单元230的形变数据和位置提取单元220提取的手术部位相应组织及其特性，生成手术部位相应组织的反作用力数据；可以采用弹簧质子模型、基于有限元的线弹性或动态线弹性模型，或者采用这些模型的组合，比如采用动态线弹性有限元模型模拟手术部位的软组织变形，实际应用中，物理计算模块200和生物力学模块500可集成在同一模块。
[0068] 力学反馈模块600与生物力学模块500连接，而且，力学反馈模块600设置在所述操作件110上，用于利用所述反作用力数据向操作件110施加力。
[0069] 当操作件110采用手持件，力学反馈模块600可采用与手持件相连接的
力臂进行力传导。当操作件110采用手套和手术器械，力学反馈模块600可以设置在手套上或者手术器械上，也可以在手套和手术器械都设置；力学反馈模块600可采用以电
信号控制的震动单元，也可以采用微型气囊。
[0070] 本实施方式中采用力学反馈模块600，较之上一实施方式，能够模拟手术过程操作中的各组织的反作用力，增加了操作者的触觉体验，极大的提升了操作者的
沉浸感、真实感。此外，监视装置400可采用监视器、显示屏，优选的采用立体眼镜，因为立体眼镜利用偏光原理，即，用两只眼睛视角的差距将同一景象制造出两个影像，让两只眼睛分别看到其中一个的影像，透过
视网膜就使大脑产生景深的立体感。这可以进一步的提高操作者的沉浸感、亲临感。
[0071] 以上实施方式采用真实的手术器械进行手术预测和训练，以下的实施方式与第二实施方式和第三实施方式的区别在于：如图7所示，处理模块130中设有工具单元131和交互选择单元132；工具单元131用于存储手术器械的信息，例如，每种手术器械的规格，材料，变形系数等；交互选择单元132与该工具模块连接，用于在所述工具单元中选择手术器械信息，其外接
硬件可以采用常用的
鼠标、
触摸屏等方式，操作者通过该交互选择 单元132完成手术器械信息的选择。
[0072] 本实施方式较之前两种实施方式，操作者可在训练开始前，通过交互选择单元132的外接硬件选择某一手术器械，处理模块130将手术器械的信息和获得的操作者手部动作相融合转换为手术指令，并将手术指令发送至物理计算模块200。本实施方式中的手术器械也采用虚拟模拟，摒弃了传统的手术器械，简化了训练时的硬件工具，进一步降低了手术训练的成本。
[0073] 本发明用于由计算机单元提供的虚拟环境中，该虚拟环境包括手术目标的三维几何模型数学表示，其反映目标的几何、机械及生物力学特性，以及虚拟仪器，由物理进给装置控制，使得可影响、操作目标模型。其方法步骤包括：建立颅面部的三维模型，基于重建模型的三维体征美学测量，
力反馈模型建立及分析，基于增强触视觉信息的手术模拟和训练。改变了仅凭主观经验诊断分析和设计手术方案的传统模式，提手术的安全性和预测整形美容效果的准确性，减少患者痛苦、提高手术质量。
[0074] 本发明还提供一种手术预测和训练方法，包括以下步骤：
[0075] 10、利用获取的人体的外形图像、解剖结构图像和人体各组织的属性数据，模拟各种组织的状态并可视化显示；
[0076] 11、获取患者外形及解剖结构的CT或MRI等模态的图像序列，以及人体各组织的属性数据，
[0077] 12、对所获取的图像序列进行图像增强、噪声去除、刚性配准处理和分析； [0078] 13、利用处理和分析后的图像序列构建三维几何模型；
[0079] 14、将三维几何模型和属性数据进行融合，以实现人体各组织状态的模拟； [0080] 15、将模拟结果可视化显示。
[0081] 20、接收来自操作者的手术指令，该手术指令包括：操作动作数据和手术部位信息；
[0082] 所述的手术指令包括：手术测量数据、手术路线数据、以及操作动作数据和手术部位信息。手术测量数据包括标识点的选取，目标部位的面积和体积，解剖结构上的纵向、矢状、冠状之间的直线、弧线距离等，例如颅面部手术中的手术测量的测量数据有：眉间点与头后点之间的直线距离(头最大长)，头左右测点之间的距离(头最大宽)自颏下点至头顶点之间的投影距离(全头高)，以及沿中矢状面自鼻根点至枕外隆凸点之间的弧长(头矢状弧)。手术路线数据是根据手术方案输入的具体操作数据，动作数据主要通手术动作的位移和时间描述手术动作，手术部位信息反映手术动作所针对的相应组织的信息。 [0083] 如果要进行手术训练，本步骤中的手术指令包括以下步骤：
[0084] 21、获取操作者手部动作的状态参数；
[0085] 22、将所述状态参数转化为所述手术指令。
[0086] 30、将所述操作动作数据转换为所述手术部位相应组织的形变数据； [0087] 31、将手术指令中包含的所述操作动作数据转换为外力数据；
[0088] 32、提取所述手术指令中的手术部位信息，包括的手术部位组织的形状、软硬度、粗糙度、纹理的数据；
[0089] 33、根据该外力数据计算手术部位相应组织产生变形的形变数据。 [0090] 建立材料力学建模和形变计算模型，通过该材料力学建模和形变计算模型计算相应组织在该外力作用下产生的形变数据，所谓形变数据包括譬如韧带、肌肉、脂肪、血管和皮肤这些软组织的单一或者联合形变的数据。可以采用弹簧质子模型、基于有限元的线弹性或动态线弹性模型，或者采用这些模型的组合，比如采用动态线弹性有限元模型模拟手术部位的软组织变形，见公式1，
[0091] 40、利用所述形变数据修正所述手术部位相应的属性数据。
[0092] 根据手术指令生成反映各软组织的单一或者联合形变数据，通过根据该形变数据模拟各组织的状态。由此对手术效果进行可视性预测，一方面 可以帮助医生制定具体患者的手术方案、优化手术路径、减少损伤及对组织的损害、提高病灶定位精度、预测手术结果；此外可以让外科医生针对一个真实的病人进行术前规划、术中模拟、和术后效果预测，通过预演手术可以提前发现手术方案存在的问题并得到及时修正，并可以得到根据专家经验建立的专家手术系统的指导，使得外科手术更加安全、可靠和精确，这些对提高手术的成功率具有重要的意义；患者亦可以动态观测手术效果预测，直至达到患者满意且手术方案可行。 [0093] 50、根据所述手术部位相应组织的形变数据生成手术部位的反作用力数据； [0094] 利用形变数据和手术部位信息，可以采用弹簧质子模型、基于有限元的线弹性或动态线弹性模型，或者采用这些模型的组合，比如采用动态线弹性有限元模型模拟手术部位的软组织变形，生成手术部位相应组织的反作用力数据。
[0095] 60、利用所述反作用力数据向所述操作者手部施加力，可以在操作者手持的物件上施加作用力。
[0096] 综上，本发明所提供的手术预测和训练设备及其方法通过采用操作装置来接收关于手术预测或者手术训练的手术指令，物理计算模块将操作装置接收的手术指令转换为相应组织的受力及形变数据，模型生成模块利用人体的外形图像、解剖结构图像和人体各组织的属性数据，以及所述形变数据修正过的属性数据，模拟人体各种组织的状态，从而可以直观的进行手术预测，降低了手术预测的难度和手术训练的成本。
[0097] 应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附
权利要求的保护范围。
