技术领域
[0001] 本
发明涉及手术机器人辅助技术领域，特别是涉及一种采用人工智能技术的颅颌面
外科手术机器人辅助系统。
背景技术
[0002] 颅颌面整形手术通过牵引成骨、截骨及重新
定位骨移植等方法将颅颌面骨头分区移动来达到矫正颅颌面畸形的目的。手术的难点主要表现在：复杂的解剖区域结构，周围密布重要的血管和神经等组织结构，狭窄或几乎盲视的手术
视野以及外科医生的生理颤抖和长时间手术操作的疲劳。颅颌面手术对手术
精度要求非常高，传统手术由于技术
缺陷很难满足其手术精度要求，使其相对于其他外科手术
风险更大，技术
门槛也相对高。
[0003] 目前的手术机器人产品主要着眼于主从式的通用型用途，对于专科手术机器人的发展较为滞后，人工智能的技术在手术机器人中应用较少。而颅颌面整形手术主要对颅颌骨进行操作，术前规划时人工误差较大，很难选取最优的手术规划方案，术中狭小的操作空间需要医生避开许多障碍进行操作。
[0004] 经对现有
专利技术检索发现，中国专利公布号为CN103598916A公开的一种颅面外科整形手术辅助装置，该装置的机器臂辅助设备带有
力反馈装置，但是缺乏多
自由度，只能在外科医生的操作下进行移动，无法根据
导航系统进行自动定位，控制系统的智能程度较低。中国专利公布号为CN202146362U公开的一种基于光学导航七自由度颅颌面手术辅助
机械臂，该实用新型专利只介绍了一款机器臂的组成部分，以及
末端执行器中手术器械的光学导航标志物的固定安装方式。对于整个系统而言，并没有详细对于人工智能技术的应用。中国专利公布号为CN107280764A公开的颅颌面整形外科手术机器人，该项专利主要对机械构型与控制部分进行了描述，对于与导航系统的配合或者其他人工智能技术的应用并没有进行相应的描述。该机器人还是处于比较单独的机械装置状态，尚不能完成进一步智能控制的临床使用需求。
发明内容
[0005] 本发明所要解决的技术问题是提供一种采用人工智能技术的颅颌面外科手术机器人辅助系统，可以自动利用术前影像学数据进行截骨手术方案的设计，并在术中利用导航设备，在
机器视觉技术的辅助下对手术区域的解剖结构和器械人体进行实时避障，以完成自动达到设计的导航区域，并进行手术操作的功能。
[0006] 本发明解决其技术问题所采用的技术方案是：提供一种采用人工智能技术的颅颌面外科手术机器人辅助系统，包括术前手术方案规划子系统、术中导航定位子系统和机器人控制子系统；所述术前手术方案规划子系统利用术前影像学数据进行截骨手术方案的设计；所述术中导航定位子系统在机器视觉技术的辅助下，对手术区域的解剖结构和器械人体进行实时避障，以完成自动达到设计的导航区域；所述机器人控制子系统根据得到的导航区域对机械臂的运动轨迹进行优化。
[0007] 所述术前手术方案规划子系统包括影像学
数据库、训练样本集模
块、测试样本集模块和截骨手术方案确定模块；所述影像学数据库从相应手术患者的影像学数据中排除与相应手术无关的数据，建立以DICOM数据源为核心的数据库资料；所述训练样本集模块用于建立点
云数据模型；所述测试样本集模块用于完成截骨设计；所述截骨手术方案确定模块根据训练样本集模块的数据对测试样本集模块得到的截骨设计进行参数修正。
[0008] 所述训练样本集模块通过逐层标记的方式对下颌骨进行3D重建，通过标定截骨面得到下颌
角截骨模块，并对下颌角截骨模块建立点云数据模型。
[0009] 所述测试样本集模块将原始点云数据通过一个
深度神经网络模型完成截骨点云的准确分割，其中，每个点提取128个特征信息，利用多层
感知机进行融合，实现下颌骨点云的分割；通过计算点与点之间的欧氏距离获取边缘点，即原始点云数据通过深度神经网络模型被分割成非特征点与特征点，计算特征点中所有点与非特征点中的所有点之间的欧氏距离，取距离小于某值的点为边缘点；通过k-means聚类
算法分割两端的边缘点；通过拟合交界点，获取平面，即获取左右两组交界点之后，需要分别对两组交界点进行拟合，从而获取截骨平面，利用最小二乘法通过最小化点与平面之间的距离的平方和来拟合截骨平面，完成截骨设计。
[0010] 所述截骨手术方案确定模块对训练样本集模块中的人工截骨与点云截骨精确度进行比较，并建立精确度与点云模型点数的关系，通过比较人工截骨与点云截骨速度，对测试样本集模块拟合的截骨平面进行参数修正。
[0011] 所述术中导航定位子系统包括磁导航模块和自动避障模块，所述磁导航模块利用
模式识别算法自动识别影像空间
坐标系下自动配准牙套装置中金属球的空间坐标，使用空间变换方法获得自动配准牙套装置中金属球在磁定位仪坐标系下的空间坐标，建立影像空间坐标系和磁定位仪坐标系之间的配准转换关系；影像空间坐标系和磁定位仪坐标系之间的转换关系随着患者运动实时计算更新，始终保持正确的配准关系；所述自动避障模块使用避障路径算法使空间多自由度机械臂从初始点至目标点自主地搜索到一条与障碍物不发生碰撞的最优路径。
[0012] 所述自动配准牙套装置包括牙套本体，所述牙套本体内置有六个金属球，牙套本体内还设置有一个可插拔的5自由度磁定位
传感器，所述5自由度磁定位传感器和六个金属球的
位置关系固定，六个金属球之间的相互空间距离唯一且不重复。
[0013] 所述自动避障模块采用基于空间几何体包络的碰撞模型检测方法进行
碰撞检测，具体为：根据D-H表示法对机械臂建模，并用最小直径的圆柱体包络机械臂各
连杆；对于不规则的三维障碍物，使用球形包络；在进行碰撞检测时，机械臂连杆的径向最大半径
叠加到障碍物的厚度上，使得机械臂与障碍物两个实体间的碰撞问题转化为空间直线段与球体之间的位置关系判断；对于术中存在多个障碍物的情况时，进一步转化为基于球心和球半径描述的球体序列，如此将机械臂各连杆空间直线段与障碍物实体间的位置关系判断转化为空间直线段与一系列球心点之问的距离判断；如果机械臂各杆件与其运动范围内设置的球体障碍物球体序列的球心之间的垂直距离都大于球体半径，则机械臂与障碍物不会发生碰撞；如果机械臂各杆件与其运动范围内设置的球体障碍物球体序列的球心之间的垂直距离有小于球体半径的，则机械臂与障碍物发生碰撞。
[0014] 所述自动避障模块采用基于A*算法的三维路径规划，具体为：定义OPEN列表和CLOSE列表来存储
节点信息，其中OPEN列表存储待测节点，作为可能的路径上的点；CLOSE列表存储已检测节点；算法从
工作空间的初始位置开始，将初始位置节点及其周围方位进行扩展，并存放在OPEN列表中；如果有障碍物方格，那么就不需要考虑这些节点，即定义启发值为无穷大，接着从OPEN列表中选择一个启发值最小的节点，然后考虑其周围邻居，再通过估价函数判断并进行循环处理，直到所设定的目标点加入CLOSE列表中，则算法搜索结束；或者在循环判断过程中，如果OPEN列表空了，则说明没找到路径，算法结束。
[0015] 所述机器人控制子系统采用基于粒子群
优化算法对机械臂关节进行轨迹优化，具体为：将机械臂每个关节的运动轨迹分为三段，第一段和第三段采用三次多项式来表示，第二段采用五次多项式来表示，时间作为自变量；根据机械臂的关节在各个点处的
关节角度值以及在各个点处的约束关系，推导出多项式插值函数的系数与三段轨迹的运行时间的关系；初始化
粒子群优化算法的参数；根据产生的N组3-5-3多项式插值时间的组合值计算出多项式系数矩阵；根据多项式系数矩阵得到表示每段轨迹对应的关节位置的多项式，再通过一阶求导得到关节速度的多项式，计算每段轨迹对应的最大速度是否满足约束条件，若不满足，则舍弃对应的粒子；以三段轨迹的运行时间和为适应度函数，对满足约束条件的粒子计算相应的适应度；对得到的适应度进行比较并选择出个体最优值和群体最优值；根据粒子群优化算法更新每个粒子的位置和速度；判断是否符合结束条件，符合则退出循环，否则重新计算多项式系数矩阵。
[0016] 有益效果
[0017] 由于采用了上述的技术方案，本发明与
现有技术相比，具有以下的优点和积极效果：本发明可以在术前依据影像学数据进行自动点云分析，生成相应的手术截骨方案。术中实时识别需要避障的解剖区域和工作区域，在导航系统的引导下，机器人在避障条件下，完成对手术操作部位的定位，进行相应的手术操作。
附图说明
[0019] 图2是测试样本集模块采用的深度神经网络模型图；
[0020] 图3是测试样本集模块的流程图；
[0021] 图4是磁导航模块的使用示意图；
[0022] 图5是颅颌面整形外科机器人系统示意图。
具体实施方式
[0023] 下面结合具体
实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或
修改，这些等价形式同样落于本
申请所附
权利要求书所限定的范围。
[0024] 本发明的实施方式涉及一种采用人工智能技术的颅颌面外科手术机器人辅助系统，包括术前手术方案规划子系统、术中导航定位子系统和机器人控制子系统；所述术前手术方案规划子系统利用术前影像学数据进行截骨手术方案的设计；所述术中导航定位子系统在机器视觉技术的辅助下，对手术区域的解剖结构和器械人体进行实时避障，以完成自动达到设计的导航区域；所述机器人控制子系统根据得到的导航区域对机械臂的运动轨迹进行优化。
[0025] 所述术前手术方案规划子系统包括影像学数据库、训练样本集模块、测试样本集模块和截骨手术方案确定模块；所述影像学数据库主要选取相应手术患者的影像学数据，排除与相应手术无关的数据，建立以DICOM数据源为核心的数据库资料；所述训练样本集模块用于建立点云数据模型；所述测试样本集模块用于完成截骨设计；所述截骨手术方案确定模块根据训练样本集模块的数据对测试样本集模块得到的截骨设计进行参数修正。
[0026] 如图1所示，所述训练样本集模块通过逐层标记的方式对下颌骨进行3D重建，通过标定截骨面得到下颌角截骨模块，并对下颌角截骨模块建立点云数据模型。
[0027] 测试样本集模块主要包括：迁移学习(特征提取)，即原始点云数据通过一个深度神经网络模型(见图2)完成截骨点云的准确分割。每个点提取128个特征信息，利用多层感知机进行融合，最终实现下颌骨点云的分割。如图3所示，通过计算点与点之间的欧氏距离获取边缘点，即原始点云数据通过深度神经网络模型被分割成非特征点与特征点，计算特征点中所有点与非特征点中的所有点之间的欧氏距离，取距离小于某值的点为边缘点。通过k-means
聚类算法分割两端的边缘点，即上一步所得到的焦点为下颌骨双侧的分割平面焦点，因此需要对两组点按照某一规则进行划分，k-means算法通过距离对点进行聚类。拟合交界点，获取平面。获取左右两组交界点之后，需要分别对两组交界点进行拟合，从而获取截骨平面。利用最小二乘法通过最小化点与平面之间的距离的平方和来拟合截骨平面。完成截骨设计。
[0028] 所述截骨手术方案确定模块对训练样本集模块中的人工截骨与点云截骨精确度进行比较，并建立精确度与点云模型点数的关系，通过比较人工截骨与点云截骨速度，对测试样本集模块拟合的截骨平面进行参数修正。
[0029] 所述术中导航定位子系统包括磁导航模块和自动避障模块。
[0030] 为实现磁导航模块的定位功能，本实施方式设计了一个自动配准牙套装置。该自动配准牙套装置是一个具有内置六个金属球和一个可插拔的5自由度磁定位传感器的牙套，5自由度磁定位传感器和内置的六个金属球位置关系固定，六个金属球之间的相互空间距离唯一且不重复。如图4所示，患者佩戴牙套装置进行CT扫描生成DICOM图像，通过模式识别算法自动识别六个金属球在影像空间的圆心位置。由于自动配准牙套装置有一个可插拔的5自由度磁定位传感器，所以自动配准牙套装置具有一个属于自己的坐标系，加之此前已将内置的六个直径2毫米金属球与5自由度磁定位传感器之间建立了固定的位置关系，因此，通过金属球与5自由度磁定位传感器之间的固定的位置关系，就可以得到金属球心在5自由度磁定位传感器坐标系下的坐标位置。
[0031] 利用模式识别算法自动识别影像空间坐标系下自动配准牙套装置中六个金属球的空间坐标；使用空间变换方法获得自动配准牙套装置中六个金属球在磁定位仪坐标系下的空间坐标。然后，利用现有的算法(如ICP算法)就可以建立影像空间坐标系和磁定位仪坐标系之间的配准转换关系。影像空间坐标系和磁定位仪坐标系之间的转换关系随着患者运动实时计算更新，始终保持正确的配准关系，从而能够实现精准定位。
[0032] 为了达到术中手术机器人自动避障的目的，需要使用避障路径算法使空间多自由度机械臂从初始点至目标点自主地搜索到一条与障碍物不发生碰撞的最优路径。所以在规划机器人避障路径时必须考虑机械臂的碰撞检测问题，即机械臂各关节在运动过程中与工作环境的障碍物之间是否碰撞问题。
[0033] 本实施方式中自动避障模块采用基于空间几何体包络的碰撞模型对障碍物进行检测。为了计算方便，提高碰撞检测算法效率，可以通过械臂模型简化和障碍物模型简化对机械臂各运动关节与障碍物之间的实体碰撞问题进行转化。首先根据D-H表示法对机械臂建模，并用最小直径的圆柱体包络机械臂各连杆。对于不规则的三维障碍物，使用球形包络，从而大大简化障碍物模型。在进行碰撞检测时，机械臂连杆的径向最大半径叠加到障碍物的厚度上，这样机械臂与障碍物两个实体间的碰撞问题就转化为空间直线段与球体之间的位置关系判断。同时，对于术中存在多个障碍物的情况，可以进一步转化为基于球心和球半径描述的球体序列，这样机械臂各连杆空间直线段与障碍物实体间的位置关系判断又可转化为空间直线段与一系列球心点之问的距离判断。如果机械臂各杆件与其运动范围内设置的球体障碍物球体序列的球心之间的垂直距离都大于球体半径，则机械臂与障碍物不会发生碰撞；如果机械臂各杆件与其运动范围内设置的球体障碍物球体序列的球心之间的垂直距离有小于球体半径的，则机械臂与障碍物发生碰撞。
[0034] 自动避障模块采用基于A*算法的机械臂避障路径规划。A*算法是人工智能中典型的一种基于图搜索方法，在搜索中加入了与问题有关的启发性信息，指导搜索朝最有希望的方向进行，用于搜索
状态空间的最
短路径。
[0035] 采用A*算法时，首先需要进行环境建模，即将工作环境进行网格化，考虑到障碍物存在不规则性，在进行网格化处理过程中需尽量细化网格。然后采用由0，l元素组成的矩阵(其中1表示障碍点，0表示非障碍点)的方式描述笛卡尔坐标空间中障碍物点及非障碍点位置信息。在三维笛卡尔坐标空间内，可以用一个三维矩阵进行环境建模，具体就是将初始的零矩阵中与障碍在障碍空间中的相对应的0元素改为1的过程，从而将区域划分多个立方体代替搜索空间。
[0036] 在三维路径规划时，首先定义OPEN列表和CLOSE列表来存储节点信息，其中OPEN列表存储待测节点，作为可能的路径上的点；CLOSE列表存储已检测节点。算法从工作空间的初始位置开始，将初始位置节点及其周围方位进行扩展，并存放在OPEN列表中。如果有障碍物方格，那么就不需要考虑它们，即定义启发值为无穷大，接着从OPEN列表中选择一个启发值最小的节点，然后考虑其周围邻居，再通过估价函数判断并进行循环处理，直到所设定的目标点加入CLOSE列表中，则算法搜索结束；或者在循环判断过程中，如果OPEN列表空了，则说明没找到路径，算法结束。
[0037] 由A*算法搜索到的最优避障路径是一条空间折线段，机械臂各关节在运动过程中会出现抖动现象，通过二阶的B样条曲线对避障路径进行平滑优化处理，从而确保机械臂能够连续稳定地工作。
[0038] 机械臂避障路径算法实现过程如下：
[0039] (1)初始化机械臂末端执行器的初始位置和终止位置，及每个关节的初始关节角，并在三维空间中建立障碍物模型。
[0040] (2)采用A*算法进行三维路径规划，并使用二次B样条曲线对获得的路径进行平滑处理。
[0041] (3)对上一步得到的三维路径进行机械臂运动学逆解。如果反解失败，说明该点不在机械臂末端执行器工作空间范围内，返回上一步。
[0042] (4)进行机械臂运动学正解，得到每个关节的空间坐标。
[0043] (5)由上一步得到的各关节的空间位置坐标确定机械臂相邻两关节间的线段方程，检测机械臂与障碍物间的碰撞情况。如果发生碰撞，返回(4)并结合机器人逆解的多解性，在其他解中重新选择一组可行解。反之，该解为最优的一组关节角度。
[0044] 路径规划最终获得的是一系列的离散路径点。为了符合机械臂本身的运行条件，需要在机械臂从起始
位姿运行到末端位姿的过程中，对每个关节的位置、速度和
加速度进行控制，从而实现轨迹规划。最优时间轨迹规划指在符合速度、加速度变化和力矩等约束条件下，调节每段路径对应的时间，使机械臂的运动时间最短，从而缩短手术时间。
[0045] 本实施方式中的机器人控制子系统使用多项式插值是指将机械臂每个关节的运动轨迹分为三段，第一段和第三段采用三次多项式来表示，第二段采用五次多项式来表示，时间作为自变量。根据机械臂的关节在各个点处的关节角度值以及在各个点处的约束关系，可以推导出多项式插值函数的系数与三段轨迹的运行时间的关系。
[0046] 该机器人控制子系统还通过基于粒子群优化算法的轨迹优化。粒子群算法是将可行解空间内一群随机粒子视为一个种群，各个粒子的适应度值由相应的函数值设定，这些粒子在目前最优粒子的带领下在可行解空间中进行搜索，并通过
迭代最终搜寻到群体的最优位置。在整个过程中，粒子利用搜索到的两个极值：粒子自身搜索到的最优解pBest(个体极值)和群体搜索到的最优解gBest(全局极值)来更新自己。对机械臂的一个关节进行时间最优轨迹规划的具体步骤如下：
[0047] (1)初始化粒子群优化算法的参数，包括惯性权重，加速因子，粒子个数N和粒子的初始位置和速度。
[0048] (2)根据产生的N组3-5-3多项式插值时间的组合值计算出多项式系数矩阵。
[0049] (3)根据系数矩阵得到表示每段轨迹对用的关节位置的多项式，再通过一阶求导得到关节速度的多项式，计算每段轨迹对应的最大速度是否满足约束条件，若不满足，则舍弃对应的粒子。
[0050] (4)以三段轨迹的运行时间和为适应度函数，对满足约束条件的粒子计算相应的适应度。
[0051] (5)对上一步得到的适应度进行比较并选择出个体最优值pBest和群体最优值gBest。
[0052] (6)根据粒子群优化算法更新每个粒子的位置和速度
[0053] (7)判断是否符合结束条件，符合则退出循环，否则转到步骤(2)。
[0054] 下面通过一个具体的实施例来进一步说明本发明。
[0055] 如图5所示，颅颌面整形外科机器人系统的
硬件主要由四部分组成，分别为：颅颌面整形外科机器人、视觉定位导航相机、工作站、颅颌面整形外科末端系统。
[0056] 颅颌面整形外科机器人系统帮助医生完成引导、定位等手术操作。针对颅颌面整形外科手术的临床需求，设计稳定、灵活、可靠、高精度的机器人机构是实现穿刺手术成功的关键。在综合考虑各种机器构型
基础上，设计了一种具有六自由度的立体
框架可移动式下颌手术机器人，设计采用了丹麦优傲公司的UR5机器人，具有6个自由度，底部的3个自由度用于初始定位，机器人的重复定位精度高达±0.1mm，将机器人固定机械结构上，在机械结构底部安装轮子，构成成可移动式台车。考虑了
手术室的空间大小以及机器人固定的安全性，机器人的固定方式选用
水平固定式；考虑到机器人的搬运便捷性以及机器人在运动过程中的
稳定性，机器人固定系统采用
铝型材机构加铝板和304不锈
钢负重。
[0057] 考虑到医用环境，根据颅颌面整形外科手术的实际需求，设计采用了德国IDS公司的ENSENSO系列N35视觉定位导航相机，视觉定位导航相机在计算机辅助
手术导航系统研究领域应用非常广泛，许多著名的国际医疗器械公司推出的手术导航系统也都采用了该公司的视觉定位导航相机。颅颌面整形外科手术中，视觉定位导航相机可以实时获得颅颌面整形外科手术中病人的下颌以及软组织保护装置的位姿信息，实时传输到工作站的视觉
软件中，用于定位和规划机器人钻铣路径。系统设计采用的视觉定位导航相机在有效区域最大精度为2mm，为了使相机有更好的视野，设计台
车顶端相机固定机构，考虑到相机在设备调试的过程中存在
俯仰调节及高度调节，因此相机的固定机构采用俯仰及高度可调节设计。
[0058] 系统设计采用了阿普奇AB0X-700作为整个颅颌面整形外科手术机器人系统的工作站，其CPU为Intel I7，主频为3.40GHz，内存8G，
操作系统采用Windows 10，能够满足系统的性能要求。工作站的主要功能是术前手术路径规划，术中记录手术钻铣数据，实现术后根据钻铣数据对手术
质量的评估。
[0059] 颅颌面整形外科末端系统由钻铣设备、
钻头夹具组成；系统设计机器臂末端夹具，采用可调节式包夹304
不锈钢机构。
[0060] 软件系统将机器人、视觉成像设备和患者联系起来，负责
数据采集、
图像处理、手术规划和机器人控制等任务，该系统使用CT图像进行术前
三维建模，通过与术中实时图像的配准，实现手术系统的空间变换及手术器械监控。
[0061] 该软件部分可以分为视觉设备
数据处理及导航、下颌骨机器人运动规划和控
制模块、主从式控制、手术安全监控四个模块。
[0062] 视觉设备数据处理及导航模块。此模块实时接收处理视觉系统的数据，通过
图像分割与识别技术获得实时靶标点的坐标，与术前获得的颅颌面CT数据中的靶标点进行配准，建立不同坐标空间之间的转换关系，包括导航空间、
图像空间、患者坐标空间和颅颌面整形外科机器人坐标空间，进而在钻铣过程中实时计算并显示钻铣探针与颅颌面及保护机构的相对位置，从而指导医生完成手术操作。
[0063] 颅颌面整形外科机器人运动规划和
控制模块。此模块目的是为颅颌面整形外科机器人设计手术规划路径，并控制颅颌面整形外科机器人辅助医生完成手术操作。由于刚性软组织保护及安装定位结构在实际安装过程中存在装配误差，此模块基于靶标配准信息计算导航空间中的实际手术
切割线和钻铣点的位置，并在每个钻铣点位置处计算该钻铣点处的下颌骨切线方向作为机器人的进入方向；对每个切割点，计算沿当前设计的机器人进入方向路径上，钻铣探针是否会与保护结构相交：若会，则求切割点与保护结构上端对应点连线夹角，将基于设定值略微增大夹角后的连线设置为新的切割路径。完成路径设计后，该模块将钻铣点的手术规划路径信息发送给机器人，机器人完成
姿态变换自动到达钻铣点。
[0064] 主从式控制模块。医用机器人系统需要同医生交互以增强手术的安全性，主从式控制模块可以接收并处理钻铣
脚踏端发来的控制指令，并控制机器人末端执行器的钻铣或停止。
[0065] 安全监控模块。在安全方面，采用了针对颅颌面整形外科手术的自主多层安全监控方法。首先确定
监控系统采用的检测信息，建立反映数据输入和最终安全决策输出之间关系的数学模型，实现位置、速度等多方面的监控，以解决手术中的患者安全问题。
[0066] 不难发现，本发明可以在术前依据影像学数据进行自动点云分析，生成相应的手术截骨方案。术中实时识别需要避障的解剖区域和工作区域，在导航系统的引导下，机器人在避障条件下，完成对手术操作部位的定位，进行相应的手术操作。
