首页 / 专利库 / 显示技术 / 立体视觉法 / 基于立体视觉的机器人辅助穿刺手术末端工具中心标定方法

基于立体视觉机器人辅助穿刺手术末端工具中心标定方法

阅读:976发布:2020-05-11

专利汇可以提供基于立体视觉机器人辅助穿刺手术末端工具中心标定方法专利检索,专利查询,专利分析的服务。并且基于 立体视觉 的 机器人 辅助穿刺手术末端工具中心标定方法,属于机器人控制领域,为实现机器人对针尖的精确控制,本本 发明 方法:对两个相机进行单目视觉标定,再进行双目系统视觉标定,进而建立视觉测量空间 坐标系 ;穿刺针在视觉测量空间范围内分别进行单平移和旋转平移运动;对移动操作中采集的 图像处理 生成封闭区域及该封闭区域的最小外接矩形;循环检测最小外接矩形的短边与封闭区域的交点,获取单平移运动过程中针尖在视觉测量空间坐标系中的 位置 变化描述及旋转平移运动过程中针尖在视觉测量空间坐标系中的位置变化描述;得到视觉测量空间坐标系和机器人基坐标系的 姿态 旋转关系;获取针尖相对于 机械臂 末端的位置描述,完成对针尖的位置标定。,下面是基于立体视觉机器人辅助穿刺手术末端工具中心标定方法专利的具体信息内容。

1.基于立体视觉机器人辅助穿刺手术末端工具中心标定方法,其特征在于,该方法包括以下步骤:
步骤一、对两个相机进行单目视觉标定,每个相机分别建立各自的像平面坐标系
所述两个相机均用于采集机器人辅助穿刺手术末端工具的图像,且两个相机的光轴垂直;
步骤二、进行双目系统视觉标定,进而建立视觉测量空间坐标系;
步骤三、拍摄视觉测量空间内无异物状态下的背光图像,以作为后期图像差分处理的背景;
步骤四、控制机械臂移动,将其末端的穿刺针放入视觉测量空间范围内,分别进行单平移运动和旋转平移运动,并拍摄图像;
步骤五、对移动操作中采集的所有图像依次进行与背景的差分运算、大津法阈值提取、开运算平滑边界、图像二值化,生成封闭区域及该封闭区域的最小外接矩形;
所述封闭区域为单平移运动形成的封闭区域或旋转平移运动形成的封闭区域;
步骤六、循环检测最小外接矩形的短边与封闭区域的交点,其所有交点的位置的均值即为针尖在两个像平面坐标系的位置,进而获取单平移运动过程中针尖在视觉测量空间坐标系中的位置变化描述及旋转平移运动过程中针尖在视觉测量空间坐标系中的位置变化描述;
步骤七、通过单平移运动过程中针尖在视觉测量空间坐标系中的位置变化描述与机械臂末端在机器人基坐标系中的位置变化描述的旋转矩阵,通过最小二乘法得到视觉测量空间坐标系和机器人基坐标系的姿态旋转关系;
步骤八、通过旋转平移运动过程中针尖在视觉测量空间坐标系中的位置变化描述、机械臂末端在机器人基坐标系中的位置变化描述及视觉测量空间坐标系和机器人基坐标系的姿态旋转关系,获取针尖相对于机械臂末端的位置描述,完成对针尖的位置标定。
2.根据权利要求1所述基于立体视觉的机器人辅助穿刺手术末端工具中心标定方法,其特征在于,步骤一建立像平面坐标系,两个相机的像平面坐标系与像素坐标的关系分别为:

其中L表示a相机,R表示b相机,(XL,YL)表示a相机像平面坐标系下某点的坐标,(XR,YR)表示b相机像平面坐标系下某点的坐标;
SxL、SyL表示a相机像平面坐标系中单个像素在x方向和y方向代表的实际物理尺寸,SxR、SyR表示b相机像平面坐标系中单个像素在x方向和y方向代表的实际物理尺寸;
(u0L,v0L)表示a相机像素坐标系下的中心点坐标,(u0R,v0R)表示b相机像素坐标系下的中心点坐标;
(uL,vL)表示a相机像素坐标系下的某点坐标,(uR,vR)表示b相机像素坐标系下的某点坐标。
3.根据权利要求2所述基于立体视觉的机器人辅助穿刺手术末端工具中心标定方法,其特征在于,步骤二建立视觉测量空间坐标系下的某点坐标(x,y,z)表示为:
其中,fL和fR分别表示a相机和b相机的镜头焦距;
r1~r9构建了a相机和b相机两个像平面坐标系的相对姿态转换关系矩阵该相对姿态转换关系矩阵 存在如下关系式:
式中:(xR,yR,zR)表示b相机的相机坐标系R下的某点坐标;
tx、ty、tz构建了a.相机的相机坐标系L和b相机的相机坐标系R两个坐标系的相对位置关系矩阵
根据相对姿态转换关系矩阵 相对位置关系矩阵 构建a相机和b相机两个相机坐标系的相对位姿关系矩阵
4.根据权利要求3所述基于立体视觉的机器人辅助穿刺手术末端工具中心标定方法,其特征在于,步骤七的具体过程为:
将单平移运动获取的所有针尖在视觉测量空间坐标代入公式
中,
再通过最小二乘法获取觉测量空间坐标系V和机器人基坐标系B的转换关系式中:
第i次运动针尖在视觉测量空间中的三维坐标记作[PVi 1]Τ,
Τ
第i+1次运动针尖在视觉测量空间中的三维坐标记作[PVi+1 1] ,
表示第i次运动机械臂末端坐标系E与机器人基坐标系B的齐次空间相对位置关系,表示第i+1次运动机械臂末端坐标系E与机器人基坐标系B的齐次空间相对位置关系。
5.根据权利要求4所述基于立体视觉的机器人辅助穿刺手术末端工具中心标定方法,其特征在于,步骤八的具体过程为:
将旋转平移运动获取的所有针尖在视觉测量空间坐标代入公式
中,
再通过最小二乘法获取针尖相对于机械臂末端位置在机械臂末端坐标系E中的三维坐Τ
标[PE 1] 。

说明书全文

基于立体视觉机器人辅助穿刺手术末端工具中心标定方法

技术领域

[0001] 本发明属于机器人控制领域,涉及针尖位置标定技术。

背景技术

[0002] 经皮穿刺手术在三叉神经热凝,射频消融,近距离放疗和肿瘤活检等领域有着非常广泛的应用,但是由于人体组织的非线性和非刚性导致依靠手工实现精确穿刺异常困难,随着技术的发展,机器人辅助的经皮穿刺手术为精确穿刺的实现提供了技术方案,在机器人辅助经皮穿刺手术中必不可少的一项技术是对针尖(即机器人辅助穿刺手术过程中的末端工具中心)进行标定,以实现机器人对针尖的精确控制,实现精确穿刺。
[0003] 目前典型的末端工具中心标定方法大多数是接触式的,这对于穿刺针这种低刚度末端执行工具而言势必会在标定过程中引入较大误差,当然也有部分技术是非接触式的,主要原理是通过线激光获得末端工具的特征,目前只适用于焊枪等大型且形状简单的末端工具,对穿刺针这样的小型目标难以适用。因此如何能够快速精确地标定穿刺针针尖对于进一步推进机器人辅助精确穿刺技术具有重要意义。

发明内容

[0004] 本发明目的是为了提供了一种基于立体视觉的机器人辅助穿刺手术末端工具中心标定方法,获取穿刺针针尖相对于机器人末端法兰的位置描述。
[0005] 本发明所述基于立体视觉的机器人辅助穿刺手术末端工具中心标定方法,该方法包括以下步骤:
[0006] 步骤一、对两个相机进行单目视觉标定,每个相机分别建立各自的像平面坐标系
[0007] 所述两个相机均用于采集机器人辅助穿刺手术末端工具的图像,且两个相机的光轴垂直;
[0008] 步骤二、进行双目系统视觉标定,进而建立视觉测量空间坐标系;
[0009] 步骤三、拍摄视觉测量空间内无异物状态下的背光图像,以作为后期图像差分处理的背景;
[0010] 步骤四、控制机械臂移动,将其末端的穿刺针放入视觉测量空间范围内,分别进行单平移运动和旋转平移运动,并拍摄图像;
[0011] 步骤五、对移动操作中采集的所有图像依次进行与背景的差分运算、大津法阈值提取、开运算平滑边界、图像二值化,生成封闭区域及该封闭区域的最小外接矩形;
[0012] 所述封闭区域为单平移运动形成的封闭区域或旋转平移运动形成的封闭区域;
[0013] 步骤六、循环检测最小外接矩形的短边与封闭区域的交点,其所有交点的位置的均值即为针尖在两个像平面坐标系的位置,进而获取单平移运动过程中针尖在视觉测量空间坐标系中的位置变化描述及旋转平移运动过程中针尖在视觉测量空间坐标系中的位置变化描述;
[0014] 步骤七、通过单平移运动过程中针尖在视觉测量空间坐标系中的位置变化描述与机械臂末端在机器人基坐标系中的位置变化描述的旋转矩阵,通过最小二乘法得到视觉测量空间坐标系和机器人基坐标系的姿态旋转关系;
[0015] 步骤八、通过旋转平移运动过程中针尖在视觉测量空间坐标系中的位置变化描述、机械臂末端在机器人基坐标系中的位置变化描述及视觉测量空间坐标系和机器人基坐标系的姿态旋转关系,获取针尖相对于机械臂末端的位置描述,完成对针尖的位置标定。
[0016] 优选地,步骤一建立像平面坐标系,两个相机的像平面坐标系与像素坐标的关系分别为:
[0017] 和
[0018] 其中L表示a相机,R表示b相机,(XL,YL)表示a相机像平面坐标系下某点的坐标,(XR,YR)表示b相机像平面坐标系下某点的坐标;
[0019] SxL、SyL表示a相机像平面坐标系中单个像素在x方向和y方向代表的实际物理尺寸,SxR、SyR表示b相机像平面坐标系中单个像素在x方向和y方向代表的实际物理尺寸;
[0020] (u0L,v0L)表示a相机像素坐标系下的中心点坐标,(u0R,v0R)表示b相机像素坐标系下的中心点坐标;
[0021] (uL,vL)表示a相机像素坐标系下的某点坐标,(uR,vR)表示b相机像素坐标系下的某点坐标。
[0022] 优选地,步骤二建立视觉测量空间坐标系下的某点坐标(x,y,z)表示为:
[0023]
[0024] 其中,fL和fR分别表示a相机和b相机的镜头焦距;
[0025] r1~r9构建了a相机和b相机两个像平面坐标系的相对姿态转换关系矩阵[0026]
[0027] tx、ty、tz构建了a.相机的相机坐标系L和b相机的相机坐标系R两个坐标系的相对位置关系矩阵
[0028]
[0029] 根据相对姿态转换关系矩阵 相对位置关系矩阵 构建a相机和b相机两个相机坐标系的相对位姿关系矩阵 该相对位姿转换关系存在如下关系式:
[0030]
[0031] 式中:(xR,yR,zR)表示b相机的相机坐标系R下的某点坐标。
[0032] 优选地,步骤七的具体过程为:
[0033] 将单平移运动获取的所有针尖在视觉测量空间坐标代入公式
[0034]
[0035] 中,
[0036] 再通过最小二乘法获取觉测量空间坐标系V和机器人基坐标系B的转换关系[0037] 式中:
[0038] 第i次运动针尖在视觉测量空间中的三维坐标记作[PVi 1]Τ,
[0039] 第i+1次运动针尖在视觉测量空间中的三维坐标记作[PVi+1 1]Τ,[0040] 表示第i次运动机械臂末端坐标系E与机器人基坐标系B的齐次空间相对位置关系,
[0041] 表示第i+1次运动机械臂末端坐标系E与机器人基坐标系B的齐次空间相对位置关系。
[0042] 优选地,步骤八的具体过程为:
[0043] 将旋转平移运动获取的所有针尖在视觉测量空间坐标代入公式
[0044]
[0045] 中,
[0046] 再通过最小二乘法获取针尖相对于机械臂末端位置在机械臂末端坐标系E中的三维坐标[PE 1]Τ。
[0047] 本发明的有益效果:本发明方法能快速精准地标定穿刺针针尖与末端法兰的相对位置,以实现机器人对针尖的精确控制,实现精确穿刺。附图说明
[0048] 图1是本发明所述基于立体视觉的机器人辅助穿刺手术末端工具中心标定方法的结构示意图。
[0049] 1-a相机,2-b相机,3-a光源,4-b光源,5-计算机,6-机械臂,7-手术针。

具体实施方式

[0050] 以下将结合附图及实施例来详细说明本发明的实施方式,借此对本发明如何应用技术手段来解决技术问题,并达成技术效果的实现过程能充分理解并据以实施。需要说明的是,只要不构成冲突,本发明中的各个实施例以及各实施例中的各个特征可以相互结合,所形成的技术方案均在本发明的保护范围之内。
[0051] 具体实施方式一:下面结合图1说明本实施方式所述基于立体视觉的机器人辅助穿刺手术末端工具中心标定方法。
[0052] 计算机5给机械臂6下达指令实现运动,机械臂6的末端安装手术针7,机械臂末端坐标系E相对于机器人基坐标系B的位置关系是确定的,本实施方式的标定方法是标定手术针7的针尖相对于机械臂末端坐标系E的相对位置关系,标定后机械臂携同手术针7无论怎样运动,针尖位置均可被获取。
[0053] 首先,对图1涉及的坐标系进行如下说明:
[0054] 机器人基坐标系B位于机械臂6的固定基座处,机械臂末端坐标系E位于机械臂6末端法兰处,这两个坐标系都是三维空间的物理坐标系,且两个坐标系的相对位置关系是系统标定过的,机械臂6运动,其末端法兰的位置是可获知的量。
[0055] 两个相机先是建立像平面坐标系,每个像平面坐标系用与之对应的像素坐标系进行表征,每个像平面坐标系与相机坐标系是相呼应的,a相机1的相机坐标系L,b相机1的相机坐标系R,经双目系统标定形成视觉测量空间坐标系V,三个坐标系都是三维空间的物理坐标系,且L与V是重合的。
[0056] 标定过程具体如下:
[0057] 首先对两个相机进行单目视觉标定,每个相机分别建立各自的像平面坐标系,两个相机均用于采集机器人辅助穿刺手术末端工具的图像,且两个相机的光轴垂直;两个相机采集到的图片发送至计算机5中。两个光源提供拍摄背景光源。
[0058] 两个相机单目视觉标定,建立的图像坐标与像素坐标的关系如下:
[0059] a相机1的像平面坐标系与其对应像素坐标的关系:
[0060]
[0061] b相机2的像平面坐标系与其对应像素坐标的关系:
[0062]
[0063] 其中下标L表示a相机,下角标R表示b相机,(XL,YL)表示a相机像平面坐标系下某点的坐标,(XR,YR)表示b相机像平面坐标系下某点的坐标;
[0064] SxL、SyL表示a相机像平面坐标系中单个像素在x方向和y方向代表的实际物理尺寸,SxR、SyR表示b相机像平面坐标系中单个像素在x方向和y方向代表的实际物理尺寸;
[0065] (u0L,v0L)表示a相机像素坐标系下的中心点坐标,(u0R,v0R)表示b相机像素坐标系下的中心点坐标;
[0066] (uL,vL)表示a相机像素坐标系下的某点坐标,(uR,vR)表示b相机像素坐标系下的某点坐标。
[0067] 然后进行双目系统标定,进而建立视觉测量空间坐标系;建立两个相机平面坐标与视觉测量空间(V)中对应点的空间坐标的之间的转换关系如下:
[0068]
[0069] a相机1和b相机2两个像平面坐标系的相对姿态转换关系矩阵 为
[0070]
[0071] a.相机1的相机坐标系L和b相机2的相机坐标系R两个坐标系的相对位置关系矩阵为:
[0072]
[0073] 视觉测量空间坐标系下的某点坐标(x,y,z)表示为:
[0074]
[0075] 其中,fL和fR分别表示a相机1和b相机2的镜头焦距;
[0076] 然后拍摄视觉测量空间内无异物状态下的背光图像,以作为后期图像差分处理的背景。无异物状态下的背光图像即为拍摄无异物状态下的a光源3和b光源4所获得的图像。
[0077] 控制机械臂移动,将其末端的穿刺针放入视觉测量空间范围内,分别进行单平移运动和旋转平移运动,并拍摄图像;本实施方式中,计算机5控制机械臂6带动针尖做单平移运动和旋转平移运动两种类型运动对针尖位置进行标定。
[0078] 由计算机5控制机械臂6以机器人基坐标系B为基准移动机器人末端,使穿刺针7的针尖进入视觉测量空间(坐标系V),分别进行单平移运动和平移旋转运动,并采集相应的图像数据,依次对所有采集到的图像进行与无异物状态下背光图像的差分运算,使用大津法进行阈值提取、进行开运算平滑边界、去除孤立点、图像二值化,然后生成封闭区域及封闭区域的最小外接矩形,所述封闭区域为单平移运动形成的封闭区域或旋转平移运动形成的封闭区域;根据图像特点可以定位穿刺针针尖必然位于靠近图像中心的短边的某点,循环检测靠近图像中心的短边的像素值,记录所有边界像素值与封闭区域像素值相同的像素位置,并对其求均值,即为两个像平面坐标系中针尖的位置,记作 根据针尖在两个像平面坐标系的位置获取单平移运动过程中针尖在视觉测量空间坐标系中的位置变化描述及旋转平移运动过程中针尖在视觉测量空间坐标系中的位置变化描述,具体为:将单平移运动和旋转平移运动过程中采集到的所有图片进行上述运算,得到每幅图像的针尖位置,将其分别代入(1)(2)中,根据像平面坐标系与相机坐标系的关系计算出每次运动的针尖在视觉测量空间中的三维坐标,记作[PVi 1]Τ,i表示单平移运动或旋转平运动时采集的图像的次数,比如单平移运动走完一个封闭区域过程中共采集N个图像,则i=1,2,3,…,N,以下命名为第i次运动。[PVi 1]Τ即为针尖在视觉测量空间坐标系中的位置变化描述。
[0079] 通过单平移运动过程中针尖在视觉测量空间坐标系中的位置变化描述[PVi 1]Τ与机械臂末端在机器人基坐标系中的位置变化描述的旋转矩阵 通过最小二乘法得到视觉测量空间坐标系和机器人基坐标系的姿态旋转关系 具体为:
[0080] 针尖相对于机械臂末端的位置在机械臂末端坐标系E中的三维坐标记作[PE 1]Τ,显然二者满足以下关系:
[0081]
[0082] 其中 表示视觉测量空间坐标系V与机器人基坐标系B的齐次空间位姿转换关系,由 和 两部分组成分别描述姿态转换关系和相对位置关系,
表示第i次运动机器人末端法兰坐标系V与机器人基坐标系B的齐次空间
位姿转换关系,由 和 两部分组成分别描述第i次运动的姿态转换关系和相对位置关系。
[0083] 将式(7)相邻的两个式子(第i次和第i+1次)做差,可以得到如下关系:
[0084]
[0085] 当仅发生平移时,由于没有发生旋转运动 故公式(8)转换为下式:
[0086]
[0087] 其中只有 未知,代入所有仅平移运动的针尖点的坐标,通过最小二乘法可以求解得到视觉测量空间坐标系V和机器人基坐标系B的转换关系
[0088] 通过旋转平移运动过程中针尖在视觉测量空间坐标系中的位置变化描述[PVi1]Τ、机械臂末端在机器人基坐标系中的位置变化描述 及视觉测量空间坐标系和机器人基坐标系的姿态旋转关系 获取针尖相对于机械臂末端的位置描述[PE 1]Τ,完成对针尖的位置标定,具体为:
[0089] 当发生旋转平移运动时,公式(8)转换为下式:
[0090]
[0091] 由于之前已经求出 将发生旋转平移运动的点代入公式(10)通过最小二乘法即可求得PE,完成对针尖的标定。
[0092] 虽然本发明所揭露的实施方式如上,但所述的内容只是为了便于理解本发明而采用的实施方式,并非用以限定本发明。任何本发明所属技术领域内的技术人员,在不脱离本发明所揭露的精神和范围的前提下,可以在实施的形式上及细节上作任何的修改与变化,但本发明的专利保护范围,仍须以所附的权利要求书所界定的范围为准。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈