一种用于机器人带电作业的虚拟现实操作系统专利检索-自拍摄影专利检索查询-专利查询网

一种用于 机器人带电作业的 虚拟现实 操作系统

阅读：537发布：2024-02-18

专利汇可以提供一种用于机器人带电作业的虚拟现实操作系统专利检索，专利查询，专利分析的服务。并且本发明提供了一种用于机器人带电作业的虚拟现实操作系统，其包括虚拟现实系统和实际操作系统；本发明将机器人带电作业与虚拟现实技术相结合，操作人员主要承担操作虚拟现实软件的任务，对机器人进行遥操作或者让机器人自主作业，虚拟现实系统获得反馈信息并建立虚拟三维场景，操作人员通过分析逼真的虚拟三维情景，确立初步的操作流程，然后通过仿真系统进行模拟操作，避免误动作，在仿真操作正确的情况下，操作人员可通过遥操作系统对机器人进行远程控制，或者发出自主作业指令让机器人自主完成作业流程，在操作过程中，系统持续进行建模、渲染以及三维重构，以确保系统的实时性和可操作性。，下面是一种用于机器人带电作业的虚拟现实操作系统专利的具体信息内容。

权利要求

1.一种用于机器人带电作业的虚拟现实操作系统，其特征在于，所述用于机器人带电作业的虚拟现实操作系统包括虚拟现实系统和实际操作系统，所述虚拟现实系统和所述实际操作系统通过通讯板卡以无线通信或光纤通信的方式进行双向通信；所述虚拟现实系统包括图像处理器、第一通讯板卡、操控器、操控器信息采集单元、主处理器、主显示屏和视频监控显示屏，所述图像处理器连接到所述主处理器和所述视频监控显示屏，所述第一通讯板卡与所述主处理器进行双向连接，所述操控器连接到所述操控器信息采集单元，所述操控器信息采集单元连接到所述主处理器，所述主处理器还连接到所述主显示屏；所述实际操作系统包括监控摄像机、第二通讯板卡、机械手路径规划和运动控制处理器、机械手双目摄像机、左右作业机械手以及机械手位姿采集传感器，所述监控摄像机连接到所述第二通讯板卡，所述第二通讯板卡与所述机械手路径规划和运动控制处理器进行双向连接，所述机械手双目摄像机和所述机械手位姿采集传感器均连接到所述机械手路径规划和运动控制处理器，所述机械手路径规划和运动控制处理器还连接到所述左右作业机械手，所述左右作业机械手分别连接到所述机械手双目摄像机和所述机械手位姿采集传感器；所述主处理器完成三维虚拟场景的构建，根据由图像处理器处理得到的非结构化环境信息和由通讯板卡传输的机械手位姿信息，实时更新虚拟场景；所述机械手路径规划和运动控制处理器根据系统工作方式的不同完成不同功能，当机械手工作在自主作业工作方式，该处理器根据预定的工序，自主确定每一步工序的最终位置，当系统工作在遥操作工作方式，该处理器根据主处理器发出的位姿信息，驱动作业机械手运动。
2.根据权利要求1所述的一种用于机器人带电作业的虚拟现实操作系统，其特征在于，所述操控器为所述虚拟现实操作系统的遥操作设备，当系统工作在遥操作工作方式，需通过所述操控器控制左右机械手的姿态，在这种工作方式下，所述操控器信息采集单元采集所述操控器的位姿信息，并将其作为控制参数传送给所述机械手路径规划和运动控制处理器。
3.根据权利要求2所述的一种用于机器人带电作业的虚拟现实操作系统，其特征在于，所述机械手双目摄像机安装在每个机械臂末端，提供两个同步的视频信号，图像处理器对获取的图像信息进行处理；所述监控摄像机提供全景图像信息，图像处理器通过虚拟现实技术及三维重构技术重现作业环境。
4.根据权利要求3所述的一种用于机器人带电作业的虚拟现实操作系统，其特征在于，图像处理器由通讯板卡获取机器人系统全景CCD相机和双目相机多个摄像头拍摄的图像，通过模式识别技术识别出非结构化环境中机器人需作业的目标设备，通过多目视觉的三维量测方法得到设备的位置和尺度信息，并将包含机械手和周围环境信息的图像显示在监控显示屏上。
5.根据权利要求4所述的一种用于机器人带电作业的虚拟现实操作系统，其特征在于，为识别非结构化环境中机器人需作业的目标设备，首先应建立带电作业机器人系统的设备模板库，即包含作业环境场景在内的各个设备特征的图像，并将其存储在数据库中，建立设备模板库，再利用模型库，釆用模板匹配算法实现实时场景中设备的自动识别。
6.根据权利要求5所述的一种用于机器人带电作业的虚拟现实操作系统，其特征在于，在识别出非结构化环境中的设备后，必须确定该设备的三维位置和尺度信息；场景三维空间信息的获取为利用搜索算法寻找双目摄像机左目和右目中的两种不同投影图像中的同一场景点的不同投影点，计算其在左右目图像中的位差，利用位差数据和相机内参数计算该场景点与相机的距离信息，进而计算出场景的三维点云信息；而设备位置和尺度获取为在利用双目立体视觉获取场景三维点云信息后，结合之前提取的各个设备在图像中的区域，得到设备的三维位置和尺度信息，将该信息上送至主计算机能实现设备模型的实时同步。
7.根据权利要求6所述的一种用于机器人带电作业的虚拟现实操作系统，其特征在于，为实现对从臂各关节的位置伺服控制和使操作者获得临场感，操控器对应于机械手的腰部回转、大臂俯仰、小臂俯仰、腕部俯仰和腕部摇摆5个旋转关节都安装有力矩电机和精密电位计，第6个腕部回转关节只安装有精密电位计；机械手末端夹持器的开合通过操控器末端手柄上的扳机开关控制，远端机械手的静态或动态的力，通过力矩电机反映给操作者，作业机械手各关节也都安装有精密的角位置传感器，用来提供机械手各关节位置的信息。
8.根据权利要求7所述的一种用于机器人带电作业的虚拟现实操作系统，其特征在于，所述虚拟现实操作系统工作于离线训练方式，这种工作方式模拟所有实际中可能遇到的故障，操作者通过控制操控器、触摸屏、键盘输入设备，将虚拟机器人移动到准确工位，在下达控制指令后，虚拟机器人自主完成作业任务。
9.根据权利要求7所述的一种用于机器人带电作业的虚拟现实操作系统，其特征在于，所述虚拟现实操作系统工作于是实时控制方式，在遥操作方式下，操作者根据虚拟现实系统实时显示的机械手位姿、环境信息，通过操控器，调节机械手的姿态；而在自主作业方式下，操作者只需发出相应的指令，机械手自主完成作业任务，此时操作者通过虚拟现实系统监控其作业过程。
10.根据权利要求7所述的一种用于机器人带电作业的虚拟现实操作系统，其特征在于，所述虚拟现实操作系统工作于先模拟后操作的工作方式，该工作方式先在虚拟场景中构建出实际场景，控制虚拟机器人在场景中工作，当虚拟机器人正确地完成作业任务后，再进行实际系统的操作。

说明书全文

一种用于机器人带电作业的 虚拟现实 操作系统

技术领域

[0001] 本发明属于虚拟现实技术领域，特别涉及一种用于机器人带电作业的虚拟现实操作系统。

背景技术

[0002] 我国的虚拟现实技术主要应用于三维场景的扫描重建和仿真上，还没有很好地应用在带电作业机器人仿真和实时操作领域。在带电作业培训中，采用实物操作，一方面会大量消耗电力，另一方面由于培训人员操作生疏，可能发生安全事故；在带电作业机器人作业过程中，工作环境复杂多变，线路布局紧密无规则，作业空间狭小，这种非结构化的作业环境将大大增加机器人带电作业的难度，降低作业效率，甚至带来安全隐患。研究基于虚拟现实视觉临场感的带电作业技术，不仅可以为培训人员提供一个高效、安全的培训平台，提高带电作业培训的效率；同时还可以为操作人员构造一个真实性、沉浸性、多感知性和交互性好的虚拟现实系统，提高带电作业的自动化水平和安全性，提高电网的运行质量，具有巨大的经济效益和社会效益。

[0003] 我国基于虚拟现实技术的带电作业机器人的研发及应用立足于国内自主研发。但目前国内研发的带电作业机器人，在智能控制、信息感知、对非结构化环境的适应能力、双机械手协同控制方面，与西方发达国家的带电作业机器人相比还有一定差距，尚不能自主地完成精细复杂的工作，机器人的作业内容与作业效率受到很大限制，未能真正实现工程化应用。

发明内容

[0004] 本发明将机器人带电作业与虚拟现实技术相结合：操作人员主要承担操作虚拟现实软件的任务，对机器人进行遥操作或者让机器人自主作业，虚拟现实系统获得反馈信息并建立虚拟三维场景。操作人员通过分析逼真的虚拟三维情景，确立初步的操作流程，然后通过仿真系统进行模拟操作，避免误动作。在仿真操作正确的情况下，操作人员可通过遥操作系统对机器人进行远程控制，或者发出自主作业指令让机器人自主完成作业流程。在操作过程中，系统持续进行建模、渲染以及三维重构，以确保系统的实时性和可操作性。

[0005] 本发明具体为一种用于机器人带电作业的虚拟现实操作系统，所述用于机器人带电作业的虚拟现实操作系统包括虚拟现实系统和实际操作系统，所述虚拟现实系统和所述实际操作系统通过通讯板卡以无线通信或光纤通信的方式进行双向通信；所述虚拟现实系统包括图像处理器、第一通讯板卡、操控器、操控器信息采集单元、主处理器、主显示屏和视频监控显示屏，所述图像处理器连接到所述主处理器和所述视频监控显示屏，所述第一通讯板卡与所述主处理器进行双向连接，所述操控器连接到所述操控器信息采集单元，所述操控器信息采集单元连接到所述主处理器，所述主处理器还连接到所述主显示屏；所述实际操作系统包括监控摄像机、第二通讯板卡、机械手路径规划和运动控制处理器、机械手双目摄像机、左右作业机械手以及机械手位姿采集传感器，所述监控摄像机连接到所述第二通讯板卡，所述第二通讯板卡与所述机械手路径规划和运动控制处理器进行双向连接，所述机械手双目摄像机和所述机械手位姿采集传感器均连接到所述机械手路径规划和运动控制处理器，所述机械手路径规划和运动控制处理器还连接到所述左右作业机械手，所述左右作业机械手分别连接到所述机械手双目摄像机和所述机械手位姿采集传感器；所述主处理器完成三维虚拟场景的构建，根据由图像处理器处理得到的非结构化环境信息和由通讯板卡传输的机械手位姿信息，实时更新虚拟场景；所述机械手路径规划和运动控制处理器根据系统工作方式的不同完成不同功能，当机械手工作在自主作业工作方式，该处理器根据预定的工序，自主确定每一步工序的最终位置，当系统工作在遥操作工作方式，该处理器根据主处理器发出的位姿信息，驱动作业机械手运动。

[0006] 进一步的，所述操控器为所述虚拟现实操作系统的遥操作设备，当系统工作在遥操作工作方式，需通过所述操控器控制左右机械手的姿态，在这种工作方式下，所述操控器信息采集单元采集所述操控器的位姿信息，并将其作为控制参数传送给所述机械手路径规划和运动控制处理器。

[0007] 进一步的，所述机械手双目摄像机安装在每个机械臂末端，提供两个同步的视频信号，图像处理器对获取的图像信息进行处理；所述监控摄像机提供全景图像信息，图像处理器通过虚拟现实技术及三维重构技术重现作业环境。

[0008] 进一步的，图像处理器由通讯板卡获取机器人系统全景CCD相机和双目相机多个摄像头拍摄的图像，通过模式识别技术识别出非结构化环境中机器人需作业的目标设备，通过多目视觉的三维量测方法得到设备的位置和尺度信息，并将包含机械手和周围环境信息的图像显示在监控显示屏上。

[0009] 进一步的，为识别非结构化环境中机器人需作业的目标设备，首先应建立带电作业机器人系统的设备模板库，即包含作业环境场景在内的各个设备特征的图像，并将其存储在数据库中，建立设备模板库，再利用模型库，釆用模板匹配算法实现实时场景中设备的自动识别。

[0010] 进一步的，在识别出非结构化环境中的设备后，必须确定该设备的三维位置和尺度信息；场景三维空间信息的获取为利用搜索算法寻找双目摄像机左目和右目中的两种不同投影图像中的同一场景点的不同投影点，计算其在左右目图像中的位差，利用位差数据和相机内参数计算该场景点与相机的距离信息，进而计算出场景的三维点云信息；而设备位置和尺度获取为在利用双目立体视觉获取场景三维点云信息后，结合之前提取的各个设备在图像中的区域，得到设备的三维位置和尺度信息，将该信息上送至主计算机能实现设备模型的实时同步。

[0011] 进一步的，为实现对从臂各关节的位置伺服控制和使操作者获得临场感，操控器对应于机械手的腰部回转、大臂俯仰、小臂俯仰、腕部俯仰和腕部摇摆5个旋转关节都安装有力矩电机和精密电位计，第6个腕部回转关节只安装有精密电位计；机械手末端夹持器的开合通过操控器末端手柄上的扳机开关控制，远端机械手的静态或动态的力，通过力矩电机反映给操作者，作业机械手各关节也都安装有精密的角位置传感器，用来提供机械手各关节位置的信息。

[0012] 进一步的，所述虚拟现实操作系统工作于离线训练方式，这种工作方式模拟所有实际中可能遇到的故障，操作者通过控制操控器、触摸屏、键盘输入设备，将虚拟机器人移动到准确工位，在下达控制指令后，虚拟机器人自主完成作业任务。

[0013] 进一步的，所述虚拟现实操作系统工作于是实时控制方式，在遥操作方式下，操作者根据虚拟现实系统实时显示的机械手位姿、环境信息，通过操控器，调节机械手的姿态；而在自主作业方式下，操作者只需发出相应的指令，机械手自主完成作业任务，此时操作者通过虚拟现实系统监控其作业过程。

[0014] 进一步的，所述虚拟现实操作系统工作于先模拟后操作的工作方式，该工作方式先在虚拟场景中构建出实际场景，控制虚拟机器人在场景中工作，当虚拟机器人正确地完成作业任务后，再进行实际系统的操作。附图说明

[0015] 图1为本发明一种用于机器人带电作业的虚拟现实操作系统的结构组成示意图。

具体实施方式

[0016] 下面结合附图对本发明一种用于机器人带电作业的虚拟现实操作系统的具体实施方式做详细阐述。

[0017] 如图1所示，本发明的用于机器人带电作业的虚拟现实操作系统包括虚拟现实系统和实际操作系统，所述虚拟现实系统和所述实际操作系统通过通讯板卡以无线通信或光纤通信的方式进行双向通信；所述虚拟现实系统包括图像处理器、第一通讯板卡、操控器、操控器信息采集单元、主处理器、主显示屏和视频监控显示屏，所述图像处理器连接到所述主处理器和所述视频监控显示屏，所述第一通讯板卡与所述主处理器进行双向连接，所述操控器连接到所述操控器信息采集单元，所述操控器信息采集单元连接到所述主处理器，所述主处理器还连接到所述主显示屏；所述实际操作系统包括监控摄像机、第二通讯板卡、机械手路径规划和运动控制处理器、机械手双目摄像机、左右作业机械手以及机械手位姿采集传感器，所述监控摄像机连接到所述第二通讯板卡，所述第二通讯板卡与所述机械手路径规划和运动控制处理器进行双向连接，所述机械手双目摄像机和所述机械手位姿采集传感器均连接到所述机械手路径规划和运动控制处理器，所述机械手路径规划和运动控制处理器还连接到所述左右作业机械手，所述左右作业机械手分别连接到所述机械手双目摄像机和所述机械手位姿采集传感器；所述主处理器完成三维虚拟场景的构建，根据由图像处理器处理得到的非结构化环境信息和由通讯板卡传输的机械手位姿信息，实时更新虚拟场景；所述机械手路径规划和运动控制处理器根据系统工作方式的不同完成不同功能，当机械手工作在自主作业工作方式，该处理器根据预定的工序，自主确定每一步工序的最终位置，当系统工作在遥操作工作方式，该处理器根据主处理器发出的位姿信息，驱动作业机械手运动。

[0018] 所述操控器为所述虚拟现实操作系统的遥操作设备，当系统工作在遥操作工作方式，需通过所述操控器控制左右机械手的姿态，在这种工作方式下，所述操控器信息采集单元采集所述操控器的位姿信息，并将其作为控制参数传送给所述机械手路径规划和运动控制处理器。

[0019] 所述机械手双目摄像机安装在每个机械臂末端，提供两个同步的视频信号，图像处理器对获取的图像信息进行处理；所述监控摄像机提供全景图像信息，图像处理器通过虚拟现实技术及三维重构技术重现作业环境。

[0020] 图像处理器由通讯板卡获取机器人系统全景CCD相机和双目相机多个摄像头拍摄的图像，通过模式识别技术识别出非结构化环境中机器人需作业的目标设备，通过多目视觉的三维量测方法得到设备的位置和尺度信息，并将包含机械手和周围环境信息的图像显示在监控显示屏上。

[0021] 为识别非结构化环境中机器人需作业的目标设备，首先应建立带电作业机器人系统的设备模板库，即包含作业环境场景在内的各个设备特征的图像，并将其存储在数据库中，建立设备模板库，再利用模型库，釆用模板匹配算法实现实时场景中设备的自动识别。

[0022] 在识别出非结构化环境中的设备后，必须确定该设备的三维位置和尺度信息；场景三维空间信息的获取为利用搜索算法寻找双目摄像机左目和右目中的两种不同投影图像中的同一场景点的不同投影点，计算其在左右目图像中的位差，利用位差数据和相机内参数计算该场景点与相机的距离信息，进而计算出场景的三维点云信息；而设备位置和尺度获取为在利用双目立体视觉获取场景三维点云信息后，结合之前提取的各个设备在图像中的区域，得到设备的三维位置和尺度信息，将该信息上送至主计算机能实现设备模型的实时同步。

[0023] 为实现对从臂各关节的位置伺服控制和使操作者获得临场感，操控器对应于机械手的腰部回转、大臂俯仰、小臂俯仰、腕部俯仰和腕部摇摆5个旋转关节都安装有力矩电机和精密电位计，第6个腕部回转关节只安装有精密电位计；机械手末端夹持器的开合通过操控器末端手柄上的扳机开关控制，远端机械手的静态或动态的力，通过力矩电机反映给操作者，作业机械手各关节也都安装有精密的角位置传感器，用来提供机械手各关节位置的信息。

[0024] 所述虚拟现实操作系统工作于离线训练方式，这种工作方式模拟所有实际中可能遇到的故障，操作者通过控制操控器、触摸屏、键盘输入设备，将虚拟机器人移动到准确工位，在下达控制指令后，虚拟机器人自主完成作业任务。

[0025] 所述虚拟现实操作系统工作于是实时控制方式，在遥操作方式下，操作者根据虚拟现实系统实时显示的机械手位姿、环境信息，通过操控器，调节机械手的姿态；而在自主作业方式下，操作者只需发出相应的指令，机械手自主完成作业任务，此时操作者通过虚拟现实系统监控其作业过程。

[0026] 所述虚拟现实操作系统工作于先模拟后操作的工作方式，该工作方式先在虚拟场景中构建出实际场景，控制虚拟机器人在场景中工作，当虚拟机器人正确地完成作业任务后，再进行实际系统的操作。

[0027] 最后应该说明的是，结合上述实施例仅说明本发明的技术方案而非对其限制。所属领域的普通技术人员应当理解到，本领域技术人员可以对本发明的具体实施方式进行修改或者等同替换，但这些修改或变更均在申请待批的权利要求保护范围之中。

标题	发布/更新时间	阅读量
一种基于深度图像的筛板故障智能监测方法	2020-06-22	0
一种市政道路的高清监控系统	2021-03-13	0
移动终端应用程序消息通知图标设置方法和装置	2021-03-15	0
一种基于镜面反射的移动增强现实型卡片识别方法	2021-10-04	2
摄像装置	2021-09-25	2
自然场景中的车标识别方法	2020-06-05	1
一种手机随身拍	2021-01-02	0
超限高车辆预警系统	2021-10-28	0
一种自适应手机屏幕分辨率的通用潜水防护壳	2020-06-29	0
一种图像传输装置和可移动平台	2021-03-10	0

一种用于机器人带电作业的虚拟现实操作系统

一种用于机器人带电作业的虚拟现实操作系统

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：