首页 / 专利库 / 人工智能 / 机器人自主导航 / 基于ROS的灾后救援通道检测机器人

基于ROS的灾后救援通道检测机器人

阅读:598发布:2020-05-08

专利汇可以提供基于ROS的灾后救援通道检测机器人专利检索,专利查询,专利分析的服务。并且本 发明 涉及一种基于ROS的灾后救援通道检测 机器人 ,包括 机器人本体 、与ROS系统连接的远程计算机终端、设置在机器人上与ROS系统连接的基站 定位 系统、地形检测系统、 图像识别 系统以及气体环境检测系统,所述气体环境检测系统包括有毒气体检测模 块 和温湿度检测模块;还包括减震设备和用于驱动机器人运动的前 履带 轮和后轮;所述机器人本体分成上中下三层,由锂 电池 供电;所述ROS系统具有驱动装置,通过驱动装置驱动所述前履带轮和后轮运动。本发明可进行实时环境空气成分分析,图像与信息回传,可以具有攀爬能 力 强、 稳定性 高、行动敏捷、易操控、救灾功能全面的特点。,下面是基于ROS的灾后救援通道检测机器人专利的具体信息内容。

1.一种基于ROS系统的灾后救援通道检测机器人,包括机器人本体、与ROS系统连接的远程计算机终端、设置在机器人上与ROS系统连接的基站定位系统、地形检测系统、图像识别系统、气体环境检测系统、减震设备和用于驱动机器人运动的前履带轮和后轮;其特征在于:所述气体环境检测系统包括有毒气体检测模和温湿度检测模块;机器人本体分成上中下三层,中层、上层为不锈板,由锂电池供电;驱动机器人运动的前轮为硬质履带轮(1),后轮为钢制链条包裹钢制内轮(2);ROS系统本身具有驱动装置,通过驱动装置驱动硬质履带轮(1)和钢制链条包裹钢制内轮(2)运动;
减震设备位于机器人本体下层,由中层支撑板、中枢轴承、中枢减震轴(3)、电机减震板(4),以及前后减震组合组成;中层支撑板由5mm新型抗热材料切割而成;中枢轴承由四个支撑轴和一条(1)5mm新型抗热高强度材料组成;中枢减震轴(3)由钢管和弹簧套组成;电机减震板(4)由5mm新型抗热材料切割而成;前后减震组合由钢制弹簧自制而成,连接电机减震板(4)与中层支撑板;中枢减震轴(3)左右各为两根减震弹簧,电机减震板(4)在前后分别设置,下方各有两根硬质钢管;前后减震组合前端采用双弹簧,后端采用单弹簧。
2.如权利要求(1)所述的一种基于ROS系统的灾后救援通道检测机器人,其特征在于:
所述气体环境检测系统还包括聚酯气体回收模块。
3.如权利要求1或2所述的一种基于ROS系统的灾后救援通道检测机器人,其特征在于:
所述有毒气体检测模块为MQ-135气体传感器,所述温湿度检测模块为SHT3x传感器,所述聚酯气体回收模块为365直流微型隔膜
4.如权利要求3所述的一种基于ROS系统的灾后救援通道检测机器人,其特征在于:所述基站定位系统为UWB基站定位系统,所述地形检测系统为SLAM地形检测系统。
5.如权利要求1、2或4所述的一种基于ROS系统的灾后救援通道检测机器人,其特征在于:所述图像识别系统包括鱼眼摄像头和双目摄像头。
6.权利要求1-5所述一种基于ROS系统的灾后救援通道检测机器人的使用方法,其特征在于如下步骤,
1)基于大数据的危化品工厂灾后救援通道检测机器人火灾侦测方法;针对实际环境下的温度、湿度、气体浓度、气味、速等与火灾相关的灾变信息,采用大数据技术对这些信息进行快速分析处理,从而对危化品火灾进行侦测;
(2)基于多元信息融合的危化品工厂灾后救援通道检测机器人危化品气体浓度侦测方法;通过矿救灾机器人平台搭载热传导型传感器、载体热催化传感器、电化学传感器、红外传感器,实现多元信息采集,在传感器采集的数据中筛选出前后变化最大的数据,并对这些数据进行融合计算,从而得到精准的危化品气体泄露浓度监测结果;
(3)使通过A*算法替换其自身的Dijkstra全局路径规划算法,加强了危化品工厂灾后救援通道检测机器人的的定位,导航,自主避障能;在半结构化环境中,事先建立危化品工厂内危化品存储的环境地图,以路径最短为优化目标,采用栅格地图来描述环境模型,用A*方法进行路径规划;
(4)通过自身携带的IMU和激光雷达生成实时的状态估计从而完成自身的定位;在定位的同时增量式完成地图的构建,为下面的路径规划提供依据;接下来就是路径规划,让机器能在在已建好的地图上快速地规划出一条最优路径,并实时避开动态的障碍物;本发明主要利用基于粒子滤波的Fast-slam,粒子滤波是结合了蒙特卡洛定位贝叶斯估计的滤波算法,Fast-slam算法主要是将每个粒子看成是对当前状态的真实估计,在任何时刻,它都会更新采样n个样本粒子,保证实时的更新机器人的当前位姿;结合激光雷达和危化品工厂内部UWB定位技术实现壁障以及障碍点标记和灾害区域标记。
7.如权利要求6所述一种基于ROS系统的灾后救援通道检测机器人的使用方法,其特征还在于,
步骤1:优化算法
首先通过基于Open Slam开源项目建立的SLAM算法实现了在紧急环境下构建地图与定位功能,接着以ROS系统自带的导航模块为基础,通过A*算法替换其自身的Dijkstra的全局路径规划算法,加强了机器人的定位,导航,自主避障能力;
A*搜索的基本思想是把到达节点的代价和从该节点到目标的代价结合起来对接点进行评价:
f(n)=g(n)+h(n)            (1)
首先尝试找到g(n)+h(n)值的最小节点是合理的;
步骤2:双目视觉识别搭载
装载的双目摄像头对救灾环境进行分析,在基于人工智能机器学习对救灾现场的人员,消防设备进行识别,分析救灾通道的安全系数;识别确定内部人员,火情,安全通道标识,救灾消防栓位置,为后期救援提供参考依据;
1)坐标系转换
在摄像机的成像过程中,存在着4个坐标系,分别为:像素坐标系,图像坐标系,相机坐标系以及世界坐标系;其中,像素坐标系以图像的左上方为原点,以图像矩阵的平行做u轴,以图像矩阵的垂直列做v轴;相应的,图像坐标系以图像矩阵中心做原点,其y轴同像素坐标系的v轴平行,x轴同像素坐标系的u轴平行;两个坐标系之间的相互转换的常数系数为单位像素大小的倒数 与 与偏移量u0,v0
令 这时图像坐标系与像素坐标系的矩阵关系可表示为
这时,令相机的光轴做z,相机的光轴则交图像坐标系于原点O,交相机坐标系于原点Oc,这时相机坐标系同图像坐标系的矩阵关系可表示为
世界坐标系映射到相机坐标系的矩阵关系为
其中,R为旋转矩阵,T为平移矩阵
2)深度矩阵计算
通过如上的坐标变换,将像素坐标系成功映射到了世界坐标系;使用2个摄像头,将2个摄像头的光轴配置为平行;
通过 标定出左相机的图像与右相机的图像同相机坐
标系之间的关系;
令D=xL+xR通过如上矩阵求逆获得相机坐标系下对应的z的数值;
3)景深图像的获取方法
通过上文在求出像素坐标系与相机坐标系之间的关系后,确认两个摄像头光轴的距离B,焦距f,以及每一个点对应的左右相机的像素坐标(xL,y),(xR,y),即求出相机坐标系下的深度信息z
其中,光轴距离,焦距可通过物理测量得知;
对摄像机进行标定,将图像的通过旋转平移调整至与光轴平行产生的图像相同;通过Matlab的Bouguet工具箱进行立体标定从而产生正确的旋转矩阵与平移矩阵;再通过OpenCV当中的createStereoBM函数可以直接将图像矩阵转化为深度图矩阵,得到识别效果图;
步骤3:气体收集检测
采用365直流微型隔膜泵,实时回传与检测,对稀有气体进行收集;确定灾害环境下易燃易爆有毒气体的分布情况,结合内部图像处理分析,防止救灾过程中二次灾害的发生。

说明书全文

基于ROS的灾后救援通道检测机器人

技术领域

[0001] 本发明属于信息技术领域,涉及到数据预处理、图像处理算法等技术,运用了基于无线UWB自组网的危化品工厂救灾机器人安全路径侦测方法、基于大数据的危化品工厂救灾机器人火灾侦测方法、基于多源信息融合的危化品工厂救灾机器人危化品气体泄露浓度侦测方法。通过该检测机器人深入灾害现场,收集灾害区域信息,收集检测区域内有毒有害气体的成分并探索安全通道,减少不必要的二次伤亡、最大程度地保护人身财产安全,制定科学的救灾方案。检测机器人将深度融合计算、人工智能物联网等现代信息技术,从而全面提升灾后救援通道检测机器人灾变环境侦测结果的可靠性。

背景技术

[0002] 随着化工业的发展,危化品物流仓储在安全管理、技术标准有了很大程度上改善,但是,安全事故时有发生。当化工厂、危化品物流仓储等设施发生火灾、爆炸等事故时,除灾害本身损失外,经常在灾后救援过程中造成重大二次伤亡,如,2015年8月12日23:30左右,位于天津市滨海新区天津港的瑞海公司危险品仓库发生火灾爆炸事故,造成参与救援的公安消防人员死亡110人,失踪5人。2019年3月21日14时许,江苏盐城响县陈家港化工园区内发生爆炸,现场有大量有毒有害物质和气体泄出,给现场搜救工作带来了极大的困难。因存在二次灾害发生的可能,以及受高温、烟气、有害气体等因素影响,救援人员难以准确判定能否进入灾害现场执行营救任务,可能延误救援时机。为保障救援人员安全,避免投入大量人、物力到化工区域实施救援任务,当危化品工厂发生事故时,利用救灾机器人先行进入事故现场,对化工厂灾变环境进行侦测,可为救援人员安全开展救援工作提供保障。
[0003] 传统火灾侦测技术主要为感温式监测法。感温式监测法通过化工厂救灾机器人搭载的感温传感器监测危化品工厂火灾生成的热气流,即监测火灾的某一点或沿某一条线范围的温升速率和温度,从而达到监测火灾的目的。该方法准确率高,具有较强的实时性,但监测点数量多,对化工厂火灾的侦测具有一定局限性。
[0004] 传统危化品气体浓度侦测技术为热传导型监测法。通过救灾机器人搭载的热传导型传感器,利用空气热导率与各种气体热导率之间的差异,结合气体浓度和热导率之间的关系来检测危化品气体浓度。当被测气体浓度高时,其热导率与空气热导率相差较大,测量结果精度高。当被测气体浓度较低时,其热导率与空气热导率相近,则传感器输出信号较弱,灵敏度和分辨率较小。因此,热传导型监测法不适用于低浓度危化品气体泄漏的监测。
[0005] 以上方法存在如下不足:传统救灾机器人未全面进行多元信息的整合分析,只是单一化的对救灾区域进行检测,误报率较高。因此现需研发一种危险环境下的巡检机器人,可进行实时环境空气成分分析,图像与信息回传,可靠性操控,以及动力充沛的机器人,可以具有攀爬能力强、稳定性高、行动敏捷、易操控、救灾功能全面的特点。
[0006] ROS(Robot Operating System)是一个适用于机器人的开源的元操作系统。它提供了操作系统应有的服务,包括硬件抽象,底层设备控制,常用函数的实现,进程间消息传递,以及包管理。它也提供用于获取、编译、编写、和跨计算机运行代码所需的工具和库函数。ROS的主要目标是为机器人研究和开发提供代码复用的支持。ROS是一个分布式的进程(也就是“节点”)框架,这些进程被封装在易于被分享和发布的程序包和功能包中。ROS也支持一种类似于代码储存库的联合系统,这个系统也可以实现工程的协作及发布。这个设计可以使一个工程的开发和实现从文件系统到用户接口完全独立决策(不受ROS限制)。同时,所有的工程都可以被ROS的基础工具整合在一起。

发明内容

[0007] 本发明主要基于ROS系统开发,由智能运载工具系统、基站定位系统、地形检测系统、图像识别系统以及气体环境检测系统组成。通常采用集中式管理和分散控制方式,各模相互独立,减少信号间的控制干扰同时又有机结合,借助于树莓派、STM32、Arduino控制器强大的处理能力,对多种数据进行分析处理。使用高性能传感器确保检测机器人在灾后恶劣的环境下依然可以正常工作。在实时采集数据的同时,将原始数据进行实时分析处理并快速回传,为灾情大数据分析提供可靠数据基础。
[0008] 本发明的技术方案:
[0009] 一种基于ROS系统的灾后救援通道检测机器人,包括机器人本体、与ROS系统连接的远程计算机终端、设置在机器人上与ROS系统连接的基站定位系统、地形检测系统、图像识别系统、气体环境检测系统、减震设备和用于驱动机器人运动的前履带轮和后轮;其特征在于:所述气体环境检测系统包括有毒气体检测模块和温湿度检测模块;机器人本体分成上中下三层,中层、上层为不锈板,由锂电池供电;驱动机器人运动的前轮为硬质履带轮,后轮为钢制链条包裹钢制内轮;ROS系统本身具有驱动装置,通过驱动装置驱动硬质履带轮和钢制链条包裹钢制内轮运动。
[0010] 减震设备位于机器人本体下层,由中层支撑板、中枢轴承、中枢减震轴、电机减震板,以及前后减震组合组成;中层支撑板由5mm新型抗热材料切割而成;中枢轴承由四个支撑轴和一条5mm新型抗热高强度材料组成;中枢减震轴由钢管和弹簧套组成;电机减震板由5mm新型抗热材料切割而成;前后减震组合由钢制弹簧自制而成,连接电机减震板与中层支撑板;中枢减震轴左右各为两根减震弹簧,电机减震板在前后分别设置,下方各有两根硬质钢管;前后减震组合前端采用双弹簧,后端采用单弹簧。
[0011] 所述气体环境检测系统还包括聚酯气体回收模块。
[0012] 所述有毒气体检测模块为MQ-135气体传感器,所述温湿度检测模块为SHT3x传感器,所述聚酯气体回收模块为365直流微型隔膜
[0013] 所述基站定位系统为UWB基站定位系统,所述地形检测系统为SLAM地形检测系统。
[0014] 基于ROS的危化品工厂灾后救援通道检测机器人的使用方法,步聚如下:
[0015] (1)基于大数据的危化品工厂灾后救援通道检测机器人火灾侦测方法。针对实际环境下的温度、湿度、气体浓度、气味、速等与火灾相关的灾变信息,采用大数据技术对这些信息进行快速分析处理,从而对危化品火灾进行侦测;
[0016] (2)基于多元信息融合的危化品工厂灾后救援通道检测机器人危化品气体浓度侦测方法。通过矿救灾机器人平台搭载热传导型传感器、载体热催化传感器、电化学传感器、红外传感器,实现多元信息采集,在传感器采集的数据中筛选出前后变化最大的数据,并对这些数据进行融合计算,从而得到精准的危化品气体泄露浓度监测结果。
[0017] (3)使通过A*算法替换其自身的Dijkstra全局路径规划算法,加强了危化品工厂灾后救援通道检测机器人的的定位,导航,自主避障能力。在半结构化环境中,事先建立危化品工厂内危化品存储的环境地图,以路径最短为优化目标,采用栅格地图来描述环境模型,用A*方法进行路径规划。
[0018] (4)通过自身携带的IMU和激光雷达生成实时的状态估计从而完成自身的定位。在定位的同时增量式完成地图的构建,为下面的路径规划提供依据。接下来就是路径规划,让机器能在在已建好的地图上快速地规划出一条最优路径,并实时避开动态的障碍物。本发明主要利用基于粒子滤波的Fast-slam,粒子滤波是结合了蒙特卡洛定位贝叶斯估计的滤波算法,Fast-slam算法主要是将每个粒子看成是对当前状态的真实估计,在任何时刻,它都会更新采样n个样本粒子,保证实时的更新机器人的当前位姿。结合激光雷达和危化品工厂内部UWB定位技术实现壁障以及障碍点标记和灾害区域标记。
[0019] 本发明为应急救援提供安全、可靠、快速的救援方案。将危化品救灾区域进行可视化反馈,多数据采集分析。适应多变受灾环境采取了全面的解决办法,并且融合了多项先进技术,为各种环境下救灾救援提供多项分析指标。附图说明
[0020] 图1为检测机器人结构示意图;
[0021] 图2为检测机器人系统控制调度流程图
[0022] 图3为检测机器人外观构造模型图。
[0023] 图中:1.硬质履带轮;2.钢制链条包裹钢制内轮;3.中枢减震轴;4.电机减震板;5.UWB基站;6.365直流微型隔膜泵;7.鱼眼摄像头;8.激光雷达;9.双目摄像头。

具体实施方式

[0024] 下面结合实施例及附图对本发明作进一步详细的描述。
[0025] 如图1所示,一种基于ROS系统的灾后救援通道检测机器人,包括机器人本体、与ROS系统连接的远程计算机终端、设置在机器人上与ROS系统连接的UWB基站5、SLAM地形检测系统、激光雷达8、鱼眼摄像头7、双目摄像头9、MQ-135气体传感器、SHT3x传感器和365直流微型隔膜泵6;还包括减震设备和用于驱动机器人运动的前轮和后轮,前轮为硬质履带轮1,后轮为钢制链条包裹钢制内轮2;机器人本体分成上中下三层,中层、上层为不锈钢板,由锂电池供电;ROS系统本身具有驱动装置,通过驱动装置驱动硬质履带轮1和钢制链条包裹钢制内轮2运动。
[0026] 减震设备位于机器人本体下层,由中层支撑板、中枢轴承、中枢减震轴3、电机减震板4,以及前后减震组合组成。中层支撑板由5mm新型抗热材料切割而成;中枢轴承由四个支撑轴和一条15mm新型抗热高强度材料组成;中枢减震轴3由钢管和弹簧套组成;电机减震板4由5mm新型抗热材料切割而成;前后减震组合由钢制弹簧自制而成,连接电机减震板4与中层支撑板。中枢减震轴3左右各为两根减震弹簧,电机减震板4在前后分别设置,下方各有两根硬质钢管;前后减震组合前端采用双弹簧设计,后端采用单弹簧设计。
[0027] 步骤1:算法优化
[0028] 首先通过基于Open Slam开源项目建立的SLAM算法实现了在紧急环境下构建地图与定位功能,接着以ROS系统自带的导航模块为基础,通过A*算法替换其自身的Dijkstra的全局路径规划算法,加强了机器人的定位,导航,自主避障能力。
[0029] A*搜索的基本思想是把到达节点的代价和从该节点到目标的代价结合起来对接点进行评价:f(n)=g(n)+h(n)                           (1)
[0030] 因为g(n)给出了从起始节点到节点n的路径代价,而h(n)给出了从节点n到目标节点的最低代价路径的估计代价值,因此f(n)就是经过节点n到目标节点的最低代价解的估计代价。因此,如果想要找到最低代价解,首先尝试找到g(n)+h(n)值的最小节点是合理的。并且,倘若启发函数h(n)满足一定的条件,则A*搜索既是完备的又是最优的。
[0031] 步骤2:双目视觉识别搭载
[0032] 装载的双目摄像头对救灾环境进行分析,在基于人工智能机器学习对救灾现场的人员,消防设备进行识别,分析救灾通道的安全系数。识别确定内部人员,火情,安全通道标识,救灾消防栓位置,为后期救援提供参考依据。
[0033] (1)、坐标系转换
[0034] 在摄像机的成像过程中,存在着4个坐标系,分别为:像素坐标系,图像坐标系,相机坐标系以及世界坐标系。其中,像素坐标系以图像的左上方为原点,以图像矩阵的水平行做u轴,以图像矩阵的垂直列做v轴。相应的,图像坐标系以图像矩阵中心做原点,其y轴同像素坐标系的v轴平行,x轴同像素坐标系的u轴平行。两个坐标系之间的相互转换的常数系数为单位像素大小的倒数 与 与偏移量u0,v0
[0035]
[0036] 图像坐标系与像素坐标系
[0037] 令 这时图像坐标系与像素坐标系的矩阵关系可表示为
[0038]
[0039] 这时,令相机的光轴做z,相机的光轴则交图像坐标系于原点O,交相机坐标系于原点Oc,这时相机坐标系同图像坐标系的矩阵关系可表示为
[0040]
[0041] 世界坐标系映射到相机坐标系的矩阵关系为
[0042]
[0043] 其中,R为旋转矩阵,T为平移矩阵
[0044] (2)、深度矩阵计算
[0045] 通过如上的坐标变换,将像素坐标系成功映射到了世界坐标系。这时,使用2个摄像头,将2个摄像头的光轴配置为平行,这时两个相机的像素坐标的关系如下图所示[0046]
[0047] 可通过 标定出左相机的图像与右相机的图像同相机坐标系之间的关系。
[0048] 令D=xL+xR
[0049] 这时,可以通过如上矩阵求逆获得相机坐标系下对应的z的数值。
[0050] (3)、景深图像的获取方法
[0051] 通过上文在求出像素坐标系与相机坐标系之间的关系后,只需要知道两个摄像头光轴的距离B,焦距f,以及每一个点对应的左右相机的像素坐标(xL,y),(xR,y),即可求出相机坐标系下的深度信息z
[0052] 其中,光轴距离,焦距可通过物理测量得知。这时,还不能直接将数据导入Opencv当中进行双目视觉的测量。
[0053] 因为因为摄像机安装误差与镜头畸变的关系,左右摄像机的光轴并非平行。这时如果直接导入OpenCV进行景深的测量将会导致一个错误的结果。首先需要对摄像机进行标定,目的是为了通过标定产生一个旋转矩阵与一个平移矩阵,将图像的通过旋转平移调整至与光轴平行产生的图像相同。
[0054] 将通过Matlab的Bouguet工具箱进行立体标定从而产生正确的旋转矩阵与平移矩阵。这时,在通过OpenCV当中的createStereoBM函数可以直接将图像矩阵转化为深度图矩阵,得到识别效果。
[0055] 步骤3:气体收集检测
[0056] 气体收集采用365直流微型隔膜泵,这种泵的用途十分广泛,在家电,医疗,模型DIY,水族器材等方面都得以应用,主要实现抽水,空气循环等功能,该项目使用其强大的抽吸功能来实现气体回收以用来进一步分析。气体收集检测,实时回传与检测,对稀有气体进行收集。确定灾害环境下易燃易爆有毒气体的分布情况,结合内部图像处理分析,防止救灾过程中二次灾害的发生。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈