技术领域
[0001] 本
发明涉及
机器人技术领域，特别是涉及一种服务
机器人视觉抓取方法及服务机器人。
背景技术
[0002] 目前，随着机器人技术的发展，市面上已出现了一些服务机器人产品，这类服务机器人大都只是一个可移动的交互平台，相对于一种可移动的智能音箱，可为用户提供的服务很有限，当前市面上也存在一些带有抓取
机械臂的机器人产品，但这类机器人产品抓取物品时需要全程依靠人工操控执行，智能化程度不够，往往操控机器人抓取物品还没有用户自己去拿来得方便，用户体验较差。
发明内容
[0003] 发明目的：为了克服
现有技术中存在的不足，本发明提供一种基于视觉，可自主抓取物品的服务机器人视觉抓取方法及服务机器人。
[0004] 技术方案：为实现上述目的，本发明的服务机器人视觉抓取方法，包括：
[0005] 使用自主导航
算法或根据接收到的用户的控制指令控制移动底盘运转，使服务机器人运动至设定
位置；
[0006] 通过视觉元件采集周围环境的视频数据，并将视频数据实时传送给用户的操控终端；
[0007] 接收用户的选择指令，得到待抓取物品的信息；
[0008] 计算所述待抓取物品的位置数据；
[0009] 根据所述位置数据调整所述服务机器人的
姿态，以使所述待抓取物品落入机械臂的抓取范围；
[0010] 控制所述机械臂调节抓取姿态，并抓起所述待抓取物品；
[0011] 使用自主导航算法或根据接收到的用户的控制指令控制所述移动底盘运转，使服务机器人运动至交接物品的位置。
[0012] 进一步地，所述视觉元件安装在多轴
云台上，所述通过视觉元件采集周围环境的视频数据包括：
[0013] 接收用户的云台操控指令；
[0014] 根据所述云台操控指令控制所述多轴云台旋转，同时通过视觉元件采集其
视野内的视频数据。
[0015] 进一步地，用户通过操控终端的
触摸屏选择待抓取物品，所述接收用户的选择指令，得到待抓取物品的信息包括：
[0016] 根据用户在所述操控终端的触摸屏上的触摸位置确定待抓取物品在视频图像中的位置；
[0017] 对所述视频图像中对应于所述触摸位置处的图像进行提取分析，得到待抓取物体的图像；
[0018] 利用标记框将所述待抓取物体在所述视频图像中框选出来。
[0019] 进一步地，所述计算所述待抓取物品的位置数据包括：
[0020] 获取所述标记框内每个
像素点对应的点云坐标；
[0021] 根据所述点云坐标去除深度距离不满足条件的像素点；
[0022] 根据剩余像素点的点云坐标计算点云形心的位置，并以此作为所述待抓取物品的位置数据。
[0023] 进一步地，所述根据剩余像素点的点云坐标计算点云形心的位置包括：
[0024] 根据计算公式 计算所述点云形心的位置，其中，n为剩余像素点的总个数，(xi，yi，zi)为第i个像素点的点云坐标。
[0025] 进一步地，所述根据所述位置数据调整所述服务机器人的姿态包括：
[0026] 判断所述位置数据是否在所述机械臂的抓取范围内；
[0027] 当所述位置数据不在所述机械臂的抓取范围内，驱动所述服务机器人的移动底盘和/或升降调节模
块运转，使得所述位置数据落入所述机械臂的抓取范围。
[0028] 进一步地，所述控制所述机械臂调节抓取姿态包括：
[0029] 获取所述标记框内每个像素点对应的点云坐标，所述标记框内所有像素点构成点云图；
[0030] 使用RANSAC方法从所述点云图中提取平面，并从所述点云图中剔除所述平面包含的点以及位于所述平面以下的点；
[0031] 剔除所述点云图中剩余点中的离群点；
[0032] 根据所述点云图中剩余的所有点的点云坐标计算剩余所有点的形心坐标、
主轴方向以及
包围盒的长、宽、高；
[0033] 判断所述包围盒的宽、高是否超出机械臂的爪手的自动抓取范围，是则输出提示信息至用户的操控终端，否则执行下一步；
[0034] 将所述形心坐标与主轴方向转换至所述机械臂的基
坐标系下，得到转换后形心坐标以及转换后主轴方向；
[0035] 根据所述转换后形心坐标与转换后主轴方向计算爪手的夹取
位姿，所述夹取位姿包括原点位置与旋转矩阵；
[0036] 控制所述机械臂运转与爪手运转，以使所述爪手调节至夹取位置。
[0037] 进一步地，所述从所述点云图中剔除所述平面包含的点已经位于所述平面以下的点包括：
[0038] 计算提取到的平面的平面方程Ax+By+Cz+D＝0；
[0039] 将所述点云图中平面外的点的点云坐标分别代入所述平面方程，并判断各结果与平面方程系数D是否同号；
[0040] 当所述结果与平面方程系数D同号，则保留对应的点；
[0041] 当所述结果与平面方程系数D异号，则剔除对应的点。
[0042] 进一步地，，所述转换后形心坐标为(xo,yo,zo)，所述转换后主轴方向为(nx,ny,nz)；所述根据所述转换后形心坐标与转换后主轴方向计算爪手的夹取位姿包括：
[0043] 所述原点位置与所述转换后形心坐标重合；
[0044] 当所述转换后主轴方向与所述机械臂基坐标系的Z轴方向平行或与Z轴方向的夹
角在设定
阈值内，则旋转矩阵 或
[0045] 当所述转换后主轴方向与所述机械臂基坐标系的Z轴方向垂直或与Z轴方向的夹角在设定阈值内，则旋转矩阵
[0046] 服务机器人，包括：
[0047] 移动底盘，其能可控移动；
[0048] 躯干，其安装在所述移动底盘上；
[0049] 升降调节模块，其连接所述移动底盘与躯干，用于驱动所述躯干相对于所述移动底盘升降；
[0050] 机械臂，其安装在所述躯干上，其末端具有爪手；
[0051] 视觉元件，其用于采集图像；
[0052] 多轴云台，其连接所述视觉元件与躯干，用于驱动所述视觉元件相对于所述躯干作多轴运动；及
[0053] 控制单元，其与所述移动底盘、升降调节模块、机械臂、视觉元件及多轴云台驱动连接，用于执行上述的服务机器人视觉抓取方法。
[0054] 有益效果：本发明的服务机器人视觉抓取方法及服务机器人通过为机器人搭配视觉元件，用户只需
指定待抓取物品，服务机器人的控制单元可根据视觉元件采集的数据进行自主抓取物品，无需用户手动控制抓取，用户体验好，智能程度高。
附图说明
[0055] 附图1为服务机器人与操控终端的构成示意图；
[0056] 附图2为服务机器人视觉抓取方法的流程示意图；
[0057] 附图3为使用标记框将作为待抓取物体的杯子标记出来的结果示意图。
[0058] 图中：100-服务机器人；101-移动底盘；102-躯干；103-升降调节模块；104-机械臂；105-爪手；106-视觉元件；107-多轴云台；200-操控终端；201-触摸屏。
具体实施方式
[0059] 为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及
实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0060] 本发明各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为
基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
[0061] 此外，在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。
[0062] 如附图1所示为一种服务机器人100，其为本发明的服务机器人视觉抓取方法的一种
硬件基础，该服务机器人100包括：移动底盘101、躯干102、升降调节模块103、机械臂104、爪手105、视觉元件106、多轴云台107、控制单元。控制单元与上述移动底盘101、升降调节模块103、机械臂104、视觉元件106及多轴云台107电性连接，控制单元可与上述各组件收发
信号进行交互以使各组件执行相应的任务，执行的任务如：使多轴云台107转动使视觉元件106调整视野、控制升降调节模块103运转使得躯干102升高降低、控制移动底盘101运转使得服务机器人整体运动、控制机械臂104运转调整爪手105的位置等，各组件可通过总线与所述控制单元连接，下面将对服务机器人的各部分的功能作具体介绍。
[0063] 移动底盘101能可控移动，其包含有两个主动轮，两个主动轮可作差速运动，此外，移动底盘101上还安装有导航避障模块，导航避障模块包括
激光雷达、
深度相机、
超声波等
传感器，这些传感器可在移动底盘101的移动过程中采集服务机器人周围的环境数据，控制单元可根据采集的环境数据自主
定位导航以及避障；
[0064] 躯干102安装在所述移动底盘101上，其上安装机械臂104与视觉元件106；升降调节模块103用于连接所述移动底盘101与躯干102，用于驱动所述躯干102相对于所述移动底盘101升降，躯干102上的机械臂104与视觉元件106也可随之升降，如此控制单元可根据需求使躯干102升高或降低，使得服务机器人的视野可随之升降，且可增大机械臂104的抓取范围。
[0065] 机械臂104的末端具有爪手105，爪手105可抓取物品。
[0066] 视觉元件106，其用于采集图像，本实施例中，视觉元件106为深度相机，其可采集其视野内的物体的点云数据，点云数据包括图像数据以及图像中每个像素点的点云坐标，根据点云坐标可以获知每个像素点的深度数据；
[0067] 多轴云台107连接所述视觉元件106与躯干102，用于驱动所述视觉元件106相对于所述躯干102作多轴运动，本实施例中，视觉元件106可使视觉元件106作
俯仰运动以及
水平回转运动，以扩大视觉元件106的视野范围；
[0068] 控制单元用于执行服务机器人视觉抓取方法，使得服务机器人具有根据视觉抓取物品的能
力。
[0069] 如附图1所示，本发明中，涉及三个坐标系，分别为视觉元件坐标系(X1、Y1、Z1)、机械臂基坐标系(X2、Y2、Z2)以及爪手坐标系(X3、Y3、Z3)。
[0070] 此外，在实际使用中，用户与服务机器人交互时需要通过操控终端200来操控，操控终端200包括触摸屏201以方便用户选取待抓取物品，操控终端200的形式可以是智能手机、
平板电脑等常用的智能终端，也可以是专用的控制终端，操控终端200可与服务机器人100通过蓝牙、WiFi、蜂窝移动网络等形式建立通信关系以实现数据互传。
[0071] 如附图2所示为服务机器人视觉抓取方法的流程示意图，可以理解，本方法实施例中的
流程图不用于对执行步骤的顺序进行限定。所述方法包括如下步骤S301-S307：
[0072] 步骤S301，使用自主导航算法或根据接收到的用户的控制指令控制移动底盘101运转，使服务机器人100运动至设定位置；
[0073] 本步骤中，当控制单元使用自主导航算法控制服务机器人100运动至设定位置时，可以是用户通过操控终端200指定设定位置后，控制单元根据自主导航与避障算法导航至设定位置；当控制单元根据接收到的用户的控制指令控制服务机器人100移动时，用户通过操控终端200持续给控制单元发送指令，使得移动底盘101根据控制指令执行直行、转弯等一系列操作到达设定位置，此过程中，控制单元通过视觉元件106实时采集图像数据并转发给操控终端200，使得用户可实时掌握机器人端的周围环境图像，以方便用户灵活操控。
[0074] 步骤S302，通过视觉元件106采集周围环境的视频数据，并将视频数据转发给操控终端200；
[0075] 步骤S303，接收用户的选择指令，得到待抓取物品的信息；
[0076] 步骤S304，计算所述待抓取物品的位置数据；
[0077] 步骤S305，根据所述位置数据调整所述服务机器人100的姿态，以使所述待抓取物品落入机械臂104的抓取范围；
[0078] 步骤S306，控制所述机械臂104调节抓取姿态，并抓起所述待抓取物品；
[0079] 步骤S307，使用自主导航算法或根据接收到的用户的控制指令控制所述移动底盘101运转，使服务机器人100运动至交接物品的位置。
[0080] 本步骤中的控制方法与步骤S301中的控制方法完全一致，可参考步骤S301中的控制方法，本步骤中，所述交接物品的位置可以是用户所在位置或者用户指定的其他位置。
[0081] 具体地，上述步骤S302中，所述通过视觉元件106采集周围环境的视频数据包括如下步骤S401-S402：
[0082] 步骤S401，接收用户的云台操控指令；
[0083] 本步骤中，云台操控指令由用户通过操控终端200发送。
[0084] 步骤S402，根据所述云台操控指令控制所述多轴云台107旋转，同时通过视觉元件106采集其视野内的视频数据。
[0085] 上述步骤中，用户通过远程观察视频数据并根据需要远程控制多轴云台107进行俯仰动作与回转动作，以在视频数据中查找是否出现待抓取物品，当待抓取物品出现在视频数据中，用户使多轴云台107停止运动，并进行下面步骤中指定待抓取物品的步骤。
[0086] 步骤S303中，所述接收用户的选择指令，得到待抓取物品的信息包括如下步骤S501-S503：
[0087] 步骤S501，根据用户在所述操控终端的触摸屏上的触摸位置确定待抓取物品在视频图像中的位置；
[0088] 步骤S502，对所述视频图像中对应于所述触摸位置处的图像进行提取分析，得到待抓取物体的图像；
[0089] 本步骤中，控制单元可采用图像分隔算法对触摸位置周围的图像进行分析并根据轮廓信息进行分割操作得到待抓取物体的大致图像。
[0090] 步骤S503，利用标记框将所述待抓取物体在所述视频图像中框选出来。
[0091] 本步骤中，标记框将待抓取物体整体圈在里面，如附图3中所示，图中待抓取物体为杯子，方形的标记框将其圈在其内。
[0092] 基于上述步骤S501-S503，所述计算所述待抓取物品的位置数据包括如下步骤S601-S603：
[0093] 步骤S601，获取所述标记框内每个像素点对应的点云坐标；
[0094] 本步骤中，控制单元截取的是深度相机获取的所有点云数据中位于标记框内的一部分点云，根据该部分点云内各像素点的点云坐标可以得到各像素点的深度距离。
[0095] 步骤S602，根据所述点云坐标去除深度距离不满足条件的像素点；
[0096] 本步骤是针对点云进行滤波的操作，去除深度距离不满足条件的像素点的方法为：去除深度距离小于dmin，大于dmax的点，dmin、dmax可根据机械臂104的抓取范围进行取值，如此可去除明显不满足条件的像素点，如可去除不在桌面的地面上的像素点，这些点处在远处，可先将其剔除以免后续浪费计算资源。
[0097] 步骤S603，根据剩余像素点的点云坐标计算点云形心的位置，并以此作为所述待抓取物品的位置数据。
[0098] 本步骤中，根据计算公式 计算所述点云形心的位置，其中，n为剩余像素点的总个数，(xi，yi，zi)为第i个像素点的点云坐标。
[0099] 步骤S304中所述根据所述位置数据调整所述服务机器人100的姿态包括如下步骤S701-S702：
[0100] 步骤S701，判断所述位置数据是否在所述机械臂104的抓取范围内；
[0101] 步骤S702，当所述位置数据不在所述机械臂104的抓取范围内，驱动所述服务机器人100的移动底盘101和/或升降调节模块103运转，使得所述位置数据落入所述机械臂104的抓取范围。
[0102] 本步骤中，当待抓取物品位置过高或过低，则调整躯干102的高度，使待抓取物品在机械臂104的可抓取范围内；当物体距离服务机器人100太远，则驱动移动底盘101自主运动到距离待抓取物品较近的位置。机器人运动过程中，控制多轴云台107运转以追踪物体，保证物体始终保持在视觉元件106的视野范围内，并根据上述步骤S601-S603不断更新待抓取物品的形心位置，调整躯干高度和以及机器人相对于待抓取物品的距离。
[0103] 可选地，步骤S305中所述控制所述机械臂104调节抓取姿态包括如下步骤S801-S808：
[0104] 步骤S801，获取所述标记框内每个像素点对应的点云坐标，所述标记框内所有像素点构成点云图；
[0105] 本步骤中，为了减少点云图中噪声影响，取多
帧点云图进行计算，取均值。
[0106] 步骤S802，使用RANSAC方法从所述点云图中提取平面，并从所述点云图中剔除所述平面包含的点以及位于所述平面以下的点；
[0107] 本步骤中，通过对点云图内的像素点进行聚类处理并拟合可得到平面的方程，若拟合得到的平面方程为Ax+By+Cz+D＝0，从所述点云图中剔除所述平面包含的点已经位于所述平面以下的点包括如下步骤S802a-S802c：
[0108] 步骤S802a，将所述点云图中平面外的点的点云坐标分别代入所述平面方程，并判断各结果与平面方程系数D是否同号；
[0109] 步骤S802b，当所述结果与平面方程系数D同号，则保留对应的点；
[0110] 步骤S802c，当所述结果与平面方程系数D异号，则剔除对应的点。
[0111] 步骤S803，剔除所述点云图中剩余点中的离群点；
[0112] 本步骤中，经上述步骤S802处理后，点云图中剩下的点一般会包含对应于待抓取物品的点以及少量的离群点，对应于待抓取物品的点聚在一起，离对应于待抓取物品的点群距离较远的点可作为离群点进行剔除处理。
[0113] 步骤S804，根据所述点云图中剩余的所有点的点云坐标计算剩余所有点的形心坐标、主轴方向以及包围盒OBB(oriented bounding box)的长、宽、高；
[0114] 本步骤中，包围盒为将点云图中剩余的所有点包含在内的最小盒体，通过计算得到包围盒的长、宽、高，可以获知待抓取物品的大致尺寸以及摆放姿态等信息，为后续的抓取操作提供基础数据。上述形心坐标的计算方法与所述步骤S603中点云形心位置的计算方法一致。计算主轴方向的方法为：首先计算点云协方差矩阵C，求矩阵C的特征值和
特征向量，然后比较特征值，最大特征值对应的特征向量为点云主轴方向。
[0115] 步骤S805，判断所述包围盒的宽、高是否超出机械臂104的爪手105的自动抓取范围，是则输出提示信息至用户的操控终端，否则执行步骤S806；
[0116] 本步骤中，由于爪手105的开合大小有限，当包围盒的尺寸过大，爪手就无法用常规抓取方法进行抓取，此时输出无法自动抓取请用户协助操控的提示信息至操控终端200，用户可通过操控终端200向控制单元发送操控机械手104运动的机械臂操控指令，操控终端200接收机械臂操控指令并根据机械臂操控指令控制机械臂104运动，如此用户可自行寻找抓取角度，以协助爪手抓取待抓取物品。
[0117] 步骤S806，将所述形心坐标与主轴方向转换至所述机械臂104的基坐标系下，得到转换后形心坐标以及转换后主轴方向；
[0118] 本步骤中，形心坐标与主轴方向均是相对于视觉元件坐标系形成的，为了方便操控机械臂，需要知道在机械臂基坐标系下相应的形心坐标与主轴方向，因此需要进行转换，此处，根据多轴云台107各关节的转动角度与位置坐标可以算得视觉元件坐标系与机械臂基坐标系的转换关系矩阵，然后即可根据形心坐标与主轴方向算得转换后形心坐标与转换后主轴方向。转换后的转换后形心坐标记为(xo,yo,zo)，所述转换后主轴方向记为(nx,ny,nz)；
[0119] 步骤S807，根据所述转换后形心坐标与转换后主轴方向计算爪手105的夹取位姿，所述夹取位姿包括原点位置与旋转矩阵；
[0120] 具体地，本步骤包括如下步骤S807a-S807c：
[0121] 步骤S807a，将所述原点位置设为与所述转换后形心坐标重合；
[0122] 步骤S807b，当所述转换后主轴方向与所述机械臂104基坐标系的Z轴方向平行或与Z轴方向的夹角在设定阈值内，则旋转矩阵 或
[0123] 步骤S807c，当所述转换后主轴方向与所述机械臂104基坐标系的Z轴方向垂直或与Z轴方向的夹角在设定阈值内，则旋转矩阵
[0124] 步骤S808，控制所述机械臂104运转与爪手105运转，以使所述爪手105调节至夹取位置。
[0125] 本步骤中，控制单元根据爪手姿态，控制机械臂104运转对爪手105的运动路径进行规划，使爪手105到达夹取位置。本系统使用Moveit！算法对机械臂104的运动进行规划，视觉元件106采集的到点云信息，除用于待抓取物品的提取外，还被用于机械臂104的运动规划(
碰撞检测)。
[0126] 本发明的服务机器人视觉抓取方法及服务机器人通过为机器人搭配视觉元件，用户只需指定待抓取物品，服务机器人的控制单元可根据视觉元件采集的数据进行自主抓取物品，无需用户手动控制抓取，用户体验好，智能程度高。
[0127] 以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
