技术领域
[0001] 本
发明涉及一种机器人乘梯技术领域，特别是涉及一种乘梯机器人及其乘梯机器人按键控制方法。
背景技术
[0002] 近年来，随着城镇化的推进及居民生活
水平的提高，
电梯已成为百姓生产、生活中不可或缺的垂直交通工具。目前中国已成为世界上电梯保有量最大的国家，截至2013年底，我国电梯保有量达到292.24万台，同比增长19.97％。我国电梯拥有数为21.48台/1万人，与全球平均23.88台/1万人相比，已经接近全球平均水平。而我国未来电梯的保有量会达到800万台左右，年新装/更新量会维持在50万台的水平。
[0003] 由此一来，众多的电梯装置也为物流机器人提供了货物配送的最佳捷径。为了使物流机器人能够充分利用电梯，提高货物配送速度，开发机器人自动搭乘电梯技术至关重要。
发明内容
[0004] 本发明旨在至少解决
现有技术中存在的技术问题，特别创新地提出了一种乘梯机器人及其乘梯机器人按键控制方法。
[0005] 为了实现本发明的上述目的，本发明提供了一种乘梯机器人，包括底座，在所述底座底面设置有运动装置，在所述底座顶面安装有
机械臂；在所述机械臂末端安装有
末端执行器，末端执行器包括
弹簧按钮
开关，在弹簧按钮开关正下方安装有摄像头，在弹簧按钮开关左方安装有
超声波距离
传感器；
[0006] 所述摄像头的图像
信号输出端与处理器的图像信号输入端相连，处理器的运动控制输出端与运动装置的控制命令输入端相连，处理器的机械臂
控制信号输出端与机械臂的控制信号输入端相连，弹簧按钮开关的信号输出端与处理器的按钮反馈输入端相连，
超声波距离传感器的距离信息输出端与处理器的距离采集输入端相连。
[0007] 本发明通过摄像头拍摄图像数据，通过计算分析，控制机械臂三轴运动，对电梯楼层按钮和电梯升降按钮的识别和点亮，实现物流货物的运送，提高效率。
[0008] 本发明还公开了一种乘梯机器人按键控制方法，包括以下步骤：
[0009] S1，机器人进入电梯后，摄像头进行无目标循环扫描，搜寻电梯楼层面板
位置；捕获到电梯楼层面板位置后；执行步骤S2；
[0010] S2，在捕获到电梯楼层面板位置后，控制机械臂移动摄像头使得所识别出的电梯楼层面板位置中心点位于摄像头的
视野中央后并在当前位置附近进行S形扫描，直到预按楼层按钮出现在摄像头视野中；执行步骤S3；
[0011] S3，对预按楼层按钮进行再次确认识别，然后进行标注并保持
跟踪，控制机械臂移动使得预按楼层按钮处于摄像头视野中央；当检测到预按楼层按钮处于摄像头视野中央并反复检测其在位于摄像头视野中央达M次后，所述M为正整数，执行步骤S4；
[0012] S4，处理器的机械臂控制信号输出端向机械臂输出控制信号，控制机械臂水平向前运动执行按压预按楼层按钮的动作，进而完成按压预按楼层按钮的任务。
[0013] 在本发明的一种优选实施方式中，步骤S1包括以下步骤：
[0014] S11，判断摄像头正对面是否扫描到电梯上有电梯楼层面板：
[0015] 若摄像头正对面扫描到电梯上有电梯楼层面板，则执行步骤S2；
[0016] 若摄像头正对面未扫描到电梯上有电梯楼层面板，则执行步骤S12；
[0017] S12，处理器的机械臂控制信号输出端输出控制信号使得机械臂运动到程序预定的扫描起始点，机械臂的末端高度不变并开始在同一水平面以机械臂底座中心为圆心，以起始点为一端，
角度范围为90°的范围内缓慢地逆
时针运动，运动过程中，摄像头将图像信息实时采集到处理器进行处理，若过程中一旦检测到电梯楼层面板，机械臂立刻停止运动并执行步骤S2；若运动到90°时依然未检测到电梯楼层面板，则执行步骤S13；
[0018] S13，同理于步骤S12，只是将机械臂的运动方式改为竖直向上运动，且此步骤的运动起始点为步骤S12的终止点；处理器的机械臂控制信号输出端输出控制信号使得机械臂开始缓慢竖直向上运动至机械臂
硬件的运动上限位置；运动过程中，摄像头将图像信息实时采集到处理器进行处理，若过程中一旦检测到电梯楼层面板，机械臂立刻停止运动并执行步骤S2；若运动到机械臂的上限位置时依然未检测到电梯楼层面板，则执行步骤S14；
[0019] S14，同理于步骤S12，只是将机械臂的运动方向改为顺时针，运动范围也是90°，且此步骤的运动起始点为步骤S13的终止点；处理器的机械臂控制信号输出端输出控制信号使得机械臂开始缓慢移动90°；运动过程中，摄像头将图像信息实时采集到处理器进行处理，若过程中一旦检测到电梯楼层面板，机械臂立刻停止运动并执行步骤S2；若运动到90°位置时依然未检测到电梯楼层面板，则执行步骤S15；
[0020] S15，同理于步骤S13，只是将机械臂的运动方向改为竖直向下，此步骤的运动起点为步骤S14的终止点，此步骤的运动终止点为步骤S12的起始点；处理器的机械臂控制信号输出端输出控制信号使得机械臂开始缓慢移动至此步骤的运动终止点；运动过程中，摄像头将图像信息实时采集到处理器进行处理，若过程中一旦检测到电梯楼层面板，机械臂立刻停止运动并执行步骤S2。
[0021] 在本发明的一种优选实施方式中，步骤S2中包括以下步骤：
[0022] S21，处理器对摄像头采集回来的图像进行实时识别并得到电梯楼层面板中心的位置，根据摄像头视野中心和电梯楼层面板中心的距离控制机械臂运动，最终使得电梯楼层面板的中心位置处于摄像头的视野中央；执行步骤S22；
[0023] S22，基于S21中当电梯楼层面板的中心位置处于摄像头的视野中央时的位置，在此位置附近控制机械臂移动摄像头进行S形扫描；S形扫描中，在每一次扫描方向改变时的拐点处进行一次预按楼层按钮的精准识别，若检测到预按楼层按钮，机械臂立刻停止运动，执行步骤S3。
[0024] 在本发明的一种优选实施方式中，步骤S3包括以下步骤：
[0025] S31，处理器再次采集摄像头图像进行一次精准识别，确保识别目标无误，进而对预按楼层按钮进行标注，调用图像跟踪程序对摄像头视野中识别出来的预按楼层按钮进行实时跟踪，并获取预按楼层按钮的中心位置，处理器根据预按楼层按钮的中心位置控制摄像头移动，最终使得预按楼层按钮位于摄像头视野中央，执行步骤S32；
[0026] S32，处理器持续地实时返回预按楼层按钮中心的位置，若检测到预按楼层按钮中心位置处于摄像头视野中央达到M次后，处理器最终确认预按楼层按钮处于摄像头视野中央；执行步骤S4。
[0027] 在本发明的一种优选实施方式中，步骤S4包括以下步骤：
[0028] S41，处理器向机械臂发送控制命令，控制机械臂末端执行器水平向前运动，同时超声波距离传感器实时检测末端执行器和电梯楼层面板之间的距离，当距离小于K厘米时，所述K为正数，控制机械臂使其向前运动的速度减慢，进而机械臂末端执行器缓慢靠近预按楼层按钮；执行步骤S42；
[0029] S42，当机械臂末端执行器按下到预按楼层按钮时，安装在机械臂末端执行器上的弹簧按钮开关被按下，处理器接收到按压信息反馈后，控制机械臂收回，完成一次预按楼层按钮的识别及按下。
[0030] 在本发明的一种优选实施方式中，在进电梯前，还包括以下步骤：
[0031] S71，机器人在电梯
门口等候，摄像头进行无目标循环扫描，搜寻电梯升降面板位置；捕获到电梯升降面板位置后；执行步骤S72；
[0032] S72，在捕获到电梯升降面板位置后，处理器首先控制底座运动到靠近电梯升降面板的位置，然后控制机械臂移动摄像头使得所识别出的电梯升降面板位置中心点位于摄像头的视野中央后并在当前位置附近进行S形扫描，直到预按升降按钮出现在摄像头视野中；执行步骤S73；
[0033] S73，对预按升降按钮进行再次确认识别，然后进行标注并保持跟踪，控制机械臂移动使得预按升降按钮处于摄像头视野中央；当检测到预按升降按钮处于摄像头视野中央并反复检测识别达N次后，所述N为正整数，执行步骤S74；
[0034] S74，处理器的机械臂控制信号输出端向机械臂输出控制信号，机械臂指向按钮向前运动执行按压按钮的动作，进而完成按预按升降按钮的任务；待电梯门打开后，机器人驶入电梯。
[0035] 在本发明的一种优选实施方式中，在步骤S1中采用YOLO-tiny识别模式对
图像识别；
[0036] 在步骤S2中先采用YOLO-tiny识别模式对电梯楼层面板进行图像识别并得到其位置；在S形扫描过程中采用了YOLO-entire识别模式对预按楼层按钮进行精确识别；YOLO-tiny占用计算机资源较少，识别速度更快，更能实现更好的实时性，但是识别准确度较低。
[0037] 在步骤S3中先采用了YOLO-entire识别模式进行再次识别确认；再调用opencv-tracker识别模式对预按楼层按钮进行标注并跟踪。YOLO-entire占用计算机资源较大，识别速度较慢，实时性较差，但是识别准确度很高。opencv-tracker能对摄像头视野中特定的对象进行较前两者实现最高的实时性和较高可靠性的跟踪。
[0038] 在本发明的一种优选实施方式中，摄像头为广角视野的鱼眼摄像头，在处理器对图像进行识别之前首先对获取到存在畸变的图像进行矫正，进而将图像转换为正常且更容易识别的图像。
[0039] 综上所述，由于采用了上述技术方案，本发明的机器人能够在乘坐电梯时，自动按击预按楼层按钮和预按升降按钮，对输送物流起到决定性的作用。
[0040] 本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
[0041] 本发明的上述和/或附加的方面和优点从结合下面附图对
实施例的描述中将变得明显和容易理解，其中：
[0042] 图1是本发明结构示意图。
[0043] 图2是本发明机器人按键流程示意图。
[0044] 图3是本发明S形扫描示意图。
具体实施方式
[0045] 下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
[0046] 本发明提供了一种乘梯机器人，如图1所示，包括底座，在所述底座底面设置有运动装置，在所述底座顶面安装有机械臂；在所述机械臂末端安装有末端执行器，末端执行器包括弹簧按钮开关，在弹簧按钮开关正下方安装有摄像头，在弹簧按钮开关左方安装有超声波距离传感器；在本实施方式中，机械臂为现有技术可以实现三轴运动，其中机械臂包括大臂和小臂。
[0047] 所述摄像头的图像信号输出端与处理器的图像信号输入端相连，处理器的运动控制输出端与运动装置的控制命令输入端相连，处理器的机械臂控制信号输出端与机械臂的控制信号输入端相连，弹簧按钮开关的信号输出端与处理器的按钮反馈输入端相连，超声波距离传感器的距离信息输出端与处理器的距离采集输入端相连。
[0048] Socket线程主要是做通信功能。如图2所示，其中有两个UDP端口：端口9999和端口10000。端口9999绑定于机械臂控制主程序中，端口10000绑定于摄像头识别并行程序中。两个端口相互通信，使机械臂控制与操作与
机器视觉识别电梯按钮相互配合，从而使整个按键过程顺利进行。
[0049] 从端口9999传到端口10000的指令为识别模式的选择与启停。机器人进入电梯后，机械臂进行无目标循环扫描，端口9999向端口10000发出指令开启YOLO-tiny扫描模式，在
锁定所需按钮大致位置后，端口9999向端口10000发出指令开启YOLO-entire扫描模式，对按键进行精确识别。确定按钮后，端口9999再次向端口10000发出指令开启opencv-tracker模式，对识别的所需按键进行标定，并保持跟踪，使机械臂移动将其调整。
[0050] 从端口10000传回端口9999的指令为识别结果的反馈。即主线程中机械臂的操作是根据并行程序通过端口10000回传至端口9999的识别结果来判断是否进行下一步操作。
[0051] 本发明还公开了一种乘梯机器人按键控制方法，包括以下步骤：
[0052] S1，机器人进入电梯后，摄像头进行无目标循环扫描，搜寻电梯楼层面板位置；捕获到电梯楼层面板位置后；执行步骤S2；在本实施方式中，电梯楼层面板包括楼层按钮即各层按钮(如 )，还可以包括延时关门按钮(如 )、快速关门按钮(如 )、报警按钮(如 )、闹铃按钮(如 )。
[0053] S2，在捕获到电梯楼层面板位置后，控制机械臂移动摄像头使得所识别出的电梯楼层面板位置中心点位于摄像头的视野中央后并在当前位置附近进行S形扫描，直到预按楼层按钮出现在摄像头视野中；执行步骤S3；
[0054] S3，对预按楼层按钮进行再次确认识别，然后进行标注并保持跟踪，控制机械臂移动使得预按楼层按钮处于摄像头视野中央；当检测到预按楼层按钮处于摄像头视野中央并反复检测其在位于摄像头视野中央达M次后，所述M为正整数，优选的，M取6，执行步骤S4；
[0055] S4，处理器的机械臂控制信号输出端向机械臂输出控制信号，控制机械臂水平向前运动执行按压预按楼层按钮的动作，进而完成按压预按楼层按钮的任务。在本实施方式中，还包括判断预按楼层按钮是否亮光：
[0056] 若预按楼层按钮亮光，则机器人等待预按楼层按钮熄灭，且待电梯门打开后；机器人驶出电梯；
[0057] 若预按楼层按钮未亮光，则重新按压预按楼层按钮。有利于保证预按楼层按钮已经按压成功，可以顺利到达相应楼层。
[0058] 在本发明的一种优选实施方式中，步骤S1包括以下步骤：
[0059] S11，判断摄像头正对面是否扫描到电梯上有电梯楼层面板：
[0060] 若摄像头正对面扫描到电梯上有电梯楼层面板，则执行步骤S2；
[0061] 若摄像头正对面未扫描到电梯上有电梯楼层面板，则执行步骤S12；
[0062] S12，处理器的机械臂控制信号输出端输出控制信号使得机械臂运动到程序预定的扫描起始点，机械臂的末端高度不变并开始在同一水平面以机械臂底座中心为圆心，以起始点为一端，角度范围为90°的范围内缓慢地逆时针运动，运动过程中，摄像头将图像信息实时采集到处理器进行处理，若过程中一旦检测到电梯楼层面板，机械臂立刻停止运动并执行步骤S2；若运动到90°时依然未检测到电梯楼层面板，则执行步骤S13；
[0063] S13，同理于步骤S12，只是将机械臂的运动方式改为竖直向上运动，且此步骤的运动起始点为步骤S12的终止点；处理器的机械臂控制信号输出端输出控制信号使得机械臂开始缓慢竖直向上运动至机械臂硬件的运动上限位置；运动过程中，摄像头将图像信息实时采集到处理器进行处理，若过程中一旦检测到电梯楼层面板，机械臂立刻停止运动并执行步骤S2；若运动到机械臂的上限位置时依然未检测到电梯楼层面板，则执行步骤S14；
[0064] S14，同理于步骤S12，只是将机械臂的运动方向改为顺时针，运动范围也是90°，且此步骤的运动起始点为步骤S13的终止点；处理器的机械臂控制信号输出端输出控制信号使得机械臂开始缓慢移动90°；运动过程中，摄像头将图像信息实时采集到处理器进行处理，若过程中一旦检测到电梯楼层面板，机械臂立刻停止运动并执行步骤S2；若运动到90°位置时依然未检测到电梯楼层面板，则执行步骤S15；
[0065] S15，同理于步骤S13，只是将机械臂的运动方向改为竖直向下，此步骤的运动起点为步骤S14的终止点，此步骤的运动终止点为步骤S12的起始点；处理器的机械臂控制信号输出端输出控制信号使得机械臂开始缓慢移动至此步骤的运动终止点；运动过程中，摄像头将图像信息实时采集到处理器进行处理，若过程中一旦检测到电梯楼层面板，机械臂立刻停止运动并执行步骤S2。
[0066] 在本发明的一种优选实施方式中，步骤S2中包括以下步骤：
[0067] S21，处理器对摄像头采集回来的图像进行实时识别并得到电梯楼层面板中心的位置，根据摄像头视野中心和电梯楼层面板中心的距离控制机械臂运动，最终使得电梯楼层面板的中心位置处于摄像头的视野中央；执行步骤S22；
[0068] S22，基于S21中当电梯楼层面板的中心位置处于摄像头的视野中央时的位置，在此位置附近控制机械臂移动摄像头进行S形扫描；如图3所示，S形扫描中，在每一次扫描方向改变时的拐点处进行一次预按楼层按钮的精准识别，若检测到预按楼层按钮，机械臂立刻停止运动，执行步骤S3。
[0069] 在本发明的一种优选实施方式中，步骤S3包括以下步骤：
[0070] S31，处理器再次采集摄像头图像进行一次精准识别，确保识别目标无误，进而对预按楼层按钮进行标注，调用图像跟踪程序对摄像头视野中识别出来的预按楼层按钮进行实时跟踪，并获取预按楼层按钮的中心位置，处理器根据预按楼层按钮的中心位置控制摄像头移动，最终使得预按楼层按钮位于摄像头视野中央，执行步骤S32；
[0071] S32，处理器持续地实时返回预按楼层按钮中心的位置，若检测到预按楼层按钮中心位置处于摄像头视野中央达到M次后，处理器最终确认预按楼层按钮处于摄像头视野中央；执行步骤S4。
[0072] 在本发明的一种优选实施方式中，步骤S4包括以下步骤：
[0073] S41，处理器向机械臂发送控制命令，控制机械臂末端执行器水平向前运动，同时超声波距离传感器实时检测末端执行器和电梯楼层面板之间的距离，当距离小于K厘米时，所述K为正数，一般的K为不大于10，优选的，K取5，控制机械臂使其向前运动的速度减慢，进而机械臂末端执行器缓慢靠近预按楼层按钮；执行步骤S42；
[0074] S42，当机械臂末端执行器按下到预按楼层按钮时，安装在机械臂末端执行器上的弹簧按钮开关被按下，处理器接收到按压信息反馈后，控制机械臂收回，完成一次预按楼层按钮的识别及按下。
[0075] 在本发明的一种优选实施方式中，在进电梯前，还包括以下步骤：
[0076] S71，机器人在电梯门口等候，摄像头进行无目标循环扫描，搜寻电梯升降面板位置；捕获到电梯升降面板位置后；执行步骤S72；在本实施方式中，电梯升降面板包括升降按钮，升降按钮包括上升按钮(如 )和下降按钮(如 )，电梯升降面板还可以包括延时关门按钮(如 )和快速关门按钮(如 )。其中在最高层时，电梯升降面板不包括上升按钮；在最低层时，电梯升降面板不包括下降按钮。
[0077] S72，在捕获到电梯升降面板位置后，处理器首先控制底座运动到靠近电梯升降面板的位置，然后控制机械臂移动摄像头使得所识别出的电梯升降面板位置中心点位于摄像头的视野中央后并在当前位置附近进行S形扫描，直到预按升降按钮出现在摄像头视野中；执行步骤S73；
[0078] S73，对预按升降按钮进行再次确认识别，然后进行标注并保持跟踪，控制机械臂移动使得预按升降按钮处于摄像头视野中央；当检测到预按升降按钮处于摄像头视野中央并反复检测识别达N次后，所述N为正整数，优选的，N取6，执行步骤S74；
[0079] S74，处理器的机械臂控制信号输出端向机械臂输出控制信号，机械臂指向按钮向前运动执行按压按钮的动作，进而完成按预按升降按钮的任务；待电梯门打开后，机器人驶入电梯。在本实施方式中，还包括判断预按升降按钮是否亮光：
[0080] 若预按升降按钮亮光，则机器人等待预按升降按钮熄灭，且待电梯门打开后；机器人驶出电梯；
[0081] 若预按升降按钮未亮光，则重新按压预按升降按钮。
[0082] 在本发明的一种优选实施方式中，在步骤S1中采用YOLO-tiny识别模式对图像识别；
[0083] 在步骤S2中先采用YOLO-tiny识别模式对电梯楼层面板进行图像识别并得到其位置；在S形扫描过程中采用了YOLO-entire识别模式对预按楼层按钮进行精确识别；
[0084] 在步骤S3中先采用了YOLO-entire识别模式进行再次识别确认；再调用opencv-tracker识别模式对预按楼层按钮进行标注并跟踪。
[0085] 在本发明的一种优选实施方式中，摄像头为广角视野的鱼眼摄像头，在处理器对图像进行识别之前首先对获取到存在畸变的图像进行矫正，进而将图像转换为正常且更容易识别的图像。
[0086] 尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、
修改、替换和变型，本发明的范围由
权利要求及其等同物限定。
