技术领域
[0001] 本
发明涉及矿山智能
机器人技术领域，尤其涉及基于井下采煤工作面的环式轨道智能巡检机器人及其应用。
背景技术
[0002] 随着
人工智能深入发展，已经涉及到了各行各业。将人工智能技术应用在矿山建设中，使得矿山具有人类般的思考、反应和行
动能力，实现物物、物人、人人的全面信息集成和响应能力，主动
感知、分析、并快速做出正确处理的矿山系统，人为的因素将降低最低程度，矿山企业的人财物产销存等能协同、自动运作，实现矿山企业的集约、高效、可持续发展。新一代互联网、
云计算、智能传感、通信、遥感、卫星
定位、
地理信息系统等各项技术的成熟与融合，实现数字化、智能化的管理与反馈机制，为智慧矿山发展提供了技术
基础。
[0003] 采煤工作面作为矿山第一生产现场，具有作业空间狭小、机械设备多、视觉环境差、
温度高的特点，是矿井事故的多发地点。煤矿顶板事故、透
水事故、煤炭自燃事故、瓦斯爆炸事故、煤尘爆炸事故以及职业病在采煤工作面的发生都占有相当大的比例。因此，对采煤工作面进行
风险评价研究，成为煤矿安全管理迫切需要解决的问题。
[0004] 目前，在采煤过程中，综采工作面由于受到
煤层环境、地质条件、片帮等诸多因素的影响设备振动剧烈，且根据《煤矿安全规程》规定，“
支架要排成一条直线，50m进行拉线，直线性偏差不超过±50㎜”，液压支架总是出现倾斜，甚至倒塌现象，很难保证直线度。这就导致了综采工作面每进几刀就需要停机，严重影响了工作面的工作效率，尤其是产生了一定的安全生产隐患。如何排查支架的安全隐患，我们依据液压支架在井下恶劣环境工作运转分析得出：设备受诸多因素的影响，长时间运作，它的
位置会有一定偏移且分为前后未对齐偏移和不垂直于刮板
输送机偏移2种类型，一般地，可通过液压支架底座的
位姿及直线度检测来进行位置纠偏。传统的液压支架位姿与直线度检测方法多数是利用
角度
传感器、位移传感器对液压支架各组成元件间的相对位姿进行测量，或是借助激光、红外线、电磁式传感器通过判断液压支架间相对距离来实现局部位姿检测。传统检测方法实施成本较高，且很难实现两物体的全位姿检测，在煤炭行业，机械设备的识别和故障设备定位对煤炭的安全生产具有重要的意义。
[0005] 煤炭工业监控视频图像具有以下特性：①照度低，虽然井下备有照明设备，但与自然光成像相比，照度明显不足；②光照分布不均匀，同一监控场景中，靠近
光源处照度强，甚至发生
镜面反射，图像呈现一片白，远离光源处，照度不足，物体难以分辨；③几乎没有色彩，除个别
颜色较为醒目的设备外，所有图像均以黑、灰、白颜色为主，处理图像时没有颜色可以利用。因而井下特殊复杂的环境造成视频
质量较差，图像的分辨性能不高。
发明内容
[0006] 针对上述存在的问题，本发明旨在提供基于井下采煤工作面的环式轨道智能巡检机器人及其应用，该机器人通过分析图像发现异常点、感知器感知有害气体浓度以及井下温湿度，当某一指标达到预警状态，可以及时将预警信息通过远程传输装置传送至调度室，使得调度控制人员可以及时采取措施避免灾害发生，这项设计可以极大提高井下安全系数，降低人工劳力。
[0007] 为了实现上述目的，本发明所采用的技术方案如下：
[0008] 基于井下采煤工作面的环式轨道智能巡检机器人，所述智能巡检机器人包括
图像采集模
块、温湿度检测模块、有害气体检测模块、
无线通信模块、报警模块、LED显示模块、动力模块、电源模块、控
制模块以及自动
控制模块；其中，
[0009] 所述图像采集模块是通过相机对被测目标进行采集，采集到的图像经系统平台进行清晰化处理，最后验证并定位故障目标物；
[0010] 所述温湿度检测模块包括温度传感器和
湿度传感器，通过控制模块采集温湿度传感器以及湿度传感器的信息，通过无线通信模块将数据发送到系统平台上，经过控制模块设定好的程序对该信息进行运算和处理，得到煤矿井下温湿度值，进而通过LED显示模块进行数据实时显示，或者通过报警模块及时进行报警提示；
[0011] 所述有害气体检测模块包括
气体传感器，通过气体传感器对甲烷浓度和一
氧化
碳浓度进行采集后，通过无线通信模块将数据发送到系统平台上，经控制模块设定的程序进行对比，如果超出报警限，则通过报警模块报警；
[0012] 所述动力模块为智能巡检机器人提供动力输出；
[0013] 所述电源模块包括蓄电装置以及充电孔，通过充电孔将蓄电装置与充电桩电连接，实现自主充电；
[0014] 所述自动控制模块包括
机身转向装置，通过机身转向装置将机身始终面向的是液压支架方向。
[0015] 作为优选，所述温湿度检测模块还包括温湿度采集
电路、通讯电路、电源电路、显示电路、报警电路，通过温湿度采集电路分别采集井下的温度和湿度参数，采集到的信息经控制模块处理后，通过通讯电路传输给无线通信模块，通过显示电路传输给LED显示模块，通过报警电路将
信号传输给报警模块，通过电源电路与电源模块连接。
[0016] 作为优选，所述图像采集的清晰化处理包括图像预处理单元、图像特征提取单元、位姿检测单元以及直线度确定单元；其中，
[0017] 所述图像预处理单元是对消除采集图像中的无关信息，对图像进行降噪和增强处理；
[0018] 所述图像特征提取单元是通过目标物体上的n个特征点在相机
坐标系下的坐标，精确提取出目标物在图像的特征点；
[0019] 所述位姿检测单元是确定目标物体上的n个特征点在相机坐标系下的坐标，根据标定完成的相机内外部参数与特征点在世界坐标系下的坐标值，最终算出目标的运动位置和位姿参数；
[0020] 所述直线度确定单元是利用每一液压支架上同一特征点进行三轴方向上的坐标拟合，获得液压支架多个方向的直线度。
[0021] 基于井下采煤工作面的环式轨道智能巡检机器人的应用，包括以下步骤：
[0022] S1：图像采集与处理
[0023] 将智能巡检机器人置于井下，开启电源
开关，开始进行巡检操作，通过相机摄像头对井下的综采工作面进行图像采集，采集的图像信息传输至系统平台进行处理、存储以及显示，
图像处理包括图像预处理、图像特征提取、位姿检测计算以及直线度计算；
[0024] a、图像预处理包括图像降噪和图像增强，首先进行的是图像降噪处理，后进行图像增强处理；
[0025] 图像降噪：采用双边
滤波器对图像进行降噪处理；
[0026] 图像增强：通过MSR
算法对对综采工作面图像实现增强；
[0027] b、图像的特征提取
[0028] 确定目标物体上的n个特征点在相机坐标系下的坐标，精确提取出目标物在图像的特征点，针对井下图像的特性与井下实时性需求分析得出使用SIFT特征表征目标物；
[0029] c、位姿检测计算
[0030] 确定目标物体上的n个特征点在相机坐标系下的坐标，根据标定完成的相机内外部参数与特征点在世界坐标系下的坐标值，最终算出目标的运动位置和位姿参数；
[0031] d、由上述步骤得出的液压支架的空间位置坐标，选择其中任意一个特征点来解算液压支架横向和纵向的直线度。利用每一液压支架上同一特征点进行三轴方向上的坐标拟合，获得液压支架多个方向的直线度，最后对数值进行实验仿真；
[0032] S2：有害气体检测
[0033] 通过在智能巡检机器人上设置有害气体检测模块，采集井下有害气体数据，对比控制模块中存储的各参数
阈值，如果超出报警限，则发出声光报警，同时通过无线通信模块向系统平台发送数据；
[0034] 矿井有害气体是指矿内对人体有害的气体，我们把井下采掘过程中从煤岩中涌出的有害气体总称为瓦斯。瓦斯能燃烧或爆炸，瓦斯爆炸是煤矿主要灾害之一。瓦斯的主要成分是CO、H2S、CH4等
烃类化合物，其中CH4是瓦斯的主要成分，占混合气体的90％以上。在井下作业的过程中，瓦斯经常从煤岩裂缝中喷出来，由于CH4属于易燃易爆气体，在煤矿井下复杂的环境中遇到火源就会迅速燃烧起来，甚至会发生瓦斯爆炸，对井下工作人员的生命安全和财产安全造成一定程度的威胁。表4-4列出了井下有害气体的爆炸范围。
[0035] 表4-4检测气体的爆炸范围
[0036]
[0037] 矿井中当易燃易爆气体处于LEL和UEL之间时，遇到明火，会造成爆炸，导致重大灾害。甲烷气体不易被人发现，它自身是无色无味的，当其浓度变大时，易发生窒息事故，当超过40％时，会让人立刻死亡；同时甲烷气体的爆炸极限是5.3％～14％，即甲烷气体低于5％或超过14％时，遇到明火可以燃烧但是不会造成爆炸，但高于5.3％时，在空气中遇到明火就会发生爆炸。
[0038] S3：温湿度检测
[0039] 通过在智能巡检机器人上设置温湿度检测模块，采集温湿度检测模块的信息，经过控制模块对采集的数据进行运算和处理，得到井下的温度值和湿度值，经驱动显示电路进行数据实时显示，同时通过无线通信模块将数据发送到系统平台。
[0040] 作为优选，所述步骤S1中的图像降噪所采用的双边滤波是对权值的设定加入了两个
像素之间的
空域信息以及灰度相似信息，其加权系数是由两部分因子相乘构成，一部分由像素间的空间距离决定，另一部分则由像素间的
亮度值之差决定，双边滤波器的定义如式(4-5)所示：
[0041]
[0042] 其中：Wp是一个标准量。
[0043]
[0044] 参数σd和σr表示图像I的噪声去除量，式(3.6)表示邻域内像素的归一加权平均值，其中 是一个空间函数，它随着像素点与中心点之间的欧几里得距离的增加而减少，是一个范围函数，它随着两个像素亮度值之差的增大而减少；双边滤波器的空间近邻函数和灰度相似函数 都取两像素间的距离作为参数的高斯函数，定义如式(4-7)、式(4-8)所示：
[0045]
[0046]
[0047] 其中d(p,q)和δ(I(p),I(q))分别为图像两个像素点的距离差及像素的灰度差，σd和σr是高斯函数的标准差。
[0048] 作为优选，所述步骤S1中的图像增强中的MSR算法是
[0049] 根据land理论，设理想图像为I(x,y)为：
[0050] I(x,y)＝R(x,y)×L(x,y) (4-14)
[0051] 即图像f(x,y)可以表示为环境亮度函数L(x,y)和景物反射函数R(x,y)的乘积，MSR增强方法描述如下：
[0052]
[0053] 其中i表示第i个
光谱带，N表示光谱带的个数，N＝1表示灰度图像，N＝3表示彩色图像，Ri(x,y)是输出图像函数，Ii(x,y)是输入图像函数的分布函数，*表示卷积操作，log为自然对数，Fk(x,y)表示环境函数，环境函数的选择可以有很多种，这里选择高斯函数作为环境函数，k表示多尺度的个数，根据不同的标准偏差σk，环境函数Fk(x,y)选择控制高斯函数的尺度。Wk表示和Fk相关的权重系数；MSR算法根据场景处理的需要选择三个不同层次的尺度，然后将三者以不同的权重系数相融合以实现图像增强。
[0054] 作为优选，所述图像增强还包括负像素点修正，采用gain/offset方法对图像中负像素点进行修正，再将修正后的灰度值根据式(4-17)映射到显示器显示的灰度范围内；
[0055] R0(x,y)＝G×Ri(x,y)+offset (4-16)
[0056]
[0057] 其中Ri(x,y)和R0(x,y)分别表示图像的输入和输出灰度值，G表示增益系数，offset表示偏移量。
[0058] 作为优选，所述步骤S1中的图像增强中的MSR算法步骤是是：
[0059] ①读入
视频帧图像I，并对其图像函数取对数；
[0060] ②计算在不同标准偏差σk下高斯滤波器的滤波系数；
[0061] ③选择3种σk尺度，本文实现时选择15，80，250，使用在这三种不同的高斯滤波系数对图像进行卷积操作；
[0062] ④根据式(4-15)计算三种尺度下所得结果的加权平均，这里权值均选择1/3，将图像分为照度分量L和反射分量R；
[0063] ⑤根据式(4-16)和式(4-17)对反射分量R结果进行调整；然后在对R进行直方图均衡化，得到新的反射分量R'；
[0064] ⑥新的反射分量R'与照度分量L相加得到新的图像I'，然后对exp得到增强后的图像。
[0065] 作为优选，所述步骤S1中位姿检测计算是建立Oc-xcyczc为相机坐标系，O-xy为图像坐标系，P1-P4为4个共面特征点，构成正方形，4个特征点在图像坐标系下的坐标为C1-C4，根据几何关系，可以得到：
[0066]
[0067] 其中式中：S1为ΔP1P2P3的面积；S2为ΔP1P2P4的面积；S3为ΔP1P3P4的面积；S4为ΔP2P3P4的面积；h为相机
光心到Pi点(i＝1，2，3，4)构成平面的距离。同时有，[0068]
[0069] 其中，(xi,yi)是Ci的坐标，di为相机的光心Oc点到Pi点的距离，Mi为相机的光心Oc点到Ci点的距离，f为相机的有效焦距，(xi,yi)、f与Mi可通过坐标系转换与相机内参数标定得到，为已知量，通过求解di，即可得到相机坐标系下特征点Pi的坐标，根据相机坐标和图像坐标、目标物坐标可知：
[0070]
[0071]
[0072] 其中特征点P在被测目标物体坐标系Ow-xwywzw中的坐标为(Xw,Yw,Zw)，在相机坐标系Oc-xcyczc的坐标为(Xw,Yw,Zw)；R为旋转矩阵；T为平移向量；
[0073] 旋转矩阵和平移向量决定了相机相对于被测目标物体坐标系的方向和位置；其中旋转矩阵为
正交矩阵，由3个旋转角表示，即
俯仰角α、
偏航角β、翻滚角γ；利用三维坐标空间转换和非
迭代方法对式进行求解，可求得旋转矩阵R和T平移向量和P，即相机相对于被测目标物体的位姿。
[0074] 作为优选，由位姿计算得出的液压支架的空间位置坐标Pi＝(Xi,Yi,Zi)，选择其中任意一个特征点来解算液压支架横向和纵向的直线度；利用每一液压支架上同一特征点进行三轴方向上的坐标拟合，获得液压支架多个方向的直线度，最后对数值数据进行实验仿真。
[0075] 本发明的有益效果是：
[0076] 该机器人具备自主移动、定位、图像采集、气体传感、温度传感、数据传输等功能，可以实现对液压支柱、有害气体、温湿度等检测。通过分析图像发现异常点、感知器感知有害气体浓度以及井下温湿度，当某一指标达到预警状态，可以及时将预警信息通过远程传输装置传送至调度室，使得调度控制人员可以及时采取措施避免灾害发生。
附图说明
[0077] 图1为本发明机器人结构示意图；
[0079] 图3a为本发明蓄电装置的示意图；
[0080] 图3b为本发明巡检机器人自动充电
流程图；
[0081] 图4a为本发明巡检机器人机身转向后的示意图；
[0082] 图4b为本发明巡检机器人自动转动机身流程框图；
[0083] 图5为本发明巡检机器人图像采集的流程框图；
[0084] 图6a为本发明巡检机器人在实施过程中某矿的综采工作面的原图像；
[0085] 图6b为本发明巡检机器人在实施过程中某矿的综采工作面原图像对应的灰度直方图；
[0086] 图7a、7b、7c、7d分别为采用中值滤波、均值滤波、高斯滤波以及双边滤波的图像降噪结果图；
[0088] 图9为本发明位姿检测算法的坐标图；
[0089] 图10为本发明有害气体检测模块的功能图。
[0090] 图11为MQ-5结构图；
[0091] 图12为瓦斯浓度检测电路；
[0092] 图13为瓦斯气体检测流程图；
[0093] 图14为SHT11电路原理图；
[0094] 图15为温湿度监测模块流程图；
[0095] 图16为Zigbee网络拓扑结构；
[0096] 图17为报警流程图。
[0097] 其中：1-图像采集模块，2-温湿度检测模块，3-有害气体检测模块，31-气体传感器，4-无线通信模块，5-报警模块，6-LED显示模块，7-电源开关，8-动力模块，9-电源模块，10-控制模块，11-蓄电装置，12-充电孔，13-机身与电源结合部，14-电源与机身结合部。
具体实施方式
[0098] 为了使本领域的普通技术人员能更好的理解本发明的技术方案，下面结合附图和
实施例对本发明的技术方案做进一步的描述。
[0099] 实施例：参照附图1、10所示，基于井下采煤工作面的环式轨道智能巡检机器人及其应用，基于井下采煤工作面的环式轨道智能巡检机器人，所述智能巡检机器人包括图像采集模块、温湿度检测模块、有害气体检测模块、无线通信模块、报警模块、LED显示模块、动力模块、电源模块、控制模块以及自动控制模块；其中，
[0100] 在数据反馈这部分，采用Zigbee无线通信技术，Zigbee不仅拥有低功耗，低成本的特点，同时由于它的组网能力强，安全性优良。Zigbee由多个通讯
节点组成，在一定通信范围内，系统的各个通信节点能够自动组网，自组网内的任意两个节点能够实现文字、图片及语音等形式的通讯。
[0101] 采集节点由各类传感器、Zigbee芯片如CC2530、供电模块、
微处理器。传感器模块包括气体传感器、温湿度传感器和图像采集设备。图16为Zigbee网络拓扑结构图。
[0102] 首先将一块Zigbee无线模块配置参数,建立Zigbee网络,成为整个系统的协调器,作为整个网络信息交流的集散地。当Zigbee网络建成以后,对各个子系统节点进行终端节点的参数配置,当终端节点检测到协调器建立的网络以后,会主动加入网络,并向控制终端发送自己的当前状态和采集到的数据信息。
[0103] 控制终端信息处理芯片采用的是STC89C52。协调器从各个终端节点收集到的信息通过串口通信将其发送到
单片机上,进行信息的集中处理,同时处理以后对下面的各个节点进行命令的集中发布,通过协调器将所要发布的命令发布到终端节点上。
[0104] 本发明中的通信协议适用于所生产的所有无线通信模块，实现数据在模块之间的传递。Zigbee协议栈实在IEEE 802.15.4标准上建立的，定义了MAC和PHY层。本协议对无线模块内的参数和
硬件资源标准化，从而可以采用相同的方法来
访问和控制模块内部的资源；串口控制协议为用户提供了对模块的控制访问通道，用户设备可以通过串口对无线通信进行控制，完成传递，参数的访问等。
[0105] 报警模块的设计：采集的液压支架位姿、有害气体浓度数据以及温湿度数据，当其达到预警值时，会通过蜂鸣器产生报警，同时通过Zigbee将报警信息(包括机器人运行位置、液压支架位姿报警图片、有害气体报警浓度、温湿度报警数据)传送至控制台。控制台工作人员可以通过报警信息及时做出有效措施防止灾害发生。报警流程图如图17所示。
[0106] 所述图像采集模块是通过相机对被测目标进行采集，采集到的图像经系统平台进行清晰化处理，最后验证并定位故障目标物；
[0107] 所述温湿度检测模块包括温度传感器和湿度传感器，通过控制模块采集温湿度传感器以及湿度传感器的信息，通过无线通信模块将数据发送到系统平台上，经过控制模块设定好的程序对该信息进行运算和处理，得到煤矿井下温湿度值，进而通过LED显示模块进行数据实时显示，或者通过报警模块及时进行报警提示；
[0108] 所述有害气体检测模块包括气体传感器，通过气体传感器对甲烷浓度和
一氧化碳浓度进行采集后，通过无线通信模块将数据发送到系统平台上，经控制模块设定的程序进行对比，如果超出报警限，则通过报警模块报警；
[0109] 所述动力模块为智能巡检机器人提供动力输出；
[0110] 所述电源模块包括蓄电装置以及充电孔，通过充电孔将蓄电装置与充电桩电连接，实现自主充电；
[0111] 为了便于采煤工作面管理，设计出带有自动充电功能的巡检机器人，该机器人每次回到巡检起点判断电量是否满足继续巡检的条件，如果不满足则进入充电桩进行自主充电。该巡检机器人的蓄电装置；
[0112] 如图3a、3b、所示为采煤工作面智能巡检机器人的蓄电装置以及自动充
电流程图，具体步骤如下：
[0113] step 1：初始化路径为巡检起点，进行判断是否电量充足；
[0114] step2：电量充足，继续巡检，否则进行step3；
[0115] step3：电量不充足，准备充电；
[0116] step4：判断是否到达充电位置，如果达到进行充电，未到达进行step5；
[0117] step5：调整机器人位置至充电位置，返回step4；若到达则进行充电。
[0118] step6：判断是否充电完成，如果完成返回step1；如果未完成则继续充电直至充电结束返回step1。
[0119] 由此可以完成机器人井下自动充电环节，减少了因电量不足需要操作人员进行充电的环节。
[0120] 参照附图4a、4b，所述自动控制模块包括机身转向装置，通过机身转向装置将机身始终面向的是液压支架方向。
[0121] 进一步的，参照附图5、图6a、6b所示，在弯道转弯过程中，LED面板不可避免的会朝向操作人员不便观察的方向，为此设计出机身始终面向的是液压支架方向(人行道方向)，便于操作人员或巡检人员的查看；
[0122] Step 1：初始化巡检机器人机身朝向；
[0123] Step2：判断是否进行直线行驶，如果是则继续巡检，否则进行机身调整；
[0124] Step3：判断机身是否面向液压支架，如果是则继续巡检，否则进行机身调整；
[0125] 该功能可以将LED显示屏保持面向操作人员方便查看的方向，方便井下操作人员对巡检机器人收集数据的随时查看。
[0126] 参照附图2所示的系统平台设计框图，包括：
[0127] 1)展现层：直接面向控制人员呈现系统的各类信息；
[0128] 2)业务层：采用模块化设计，根据巡检的需求扩充模块；
[0129] 3)数据层：具有采集数据、存储数据、分析数据等功能；
[0130] 4)监控层：负责监控采煤工作面的机器情况、温度高低、瓦斯浓度，并向控制台发送预警信息。
[0131] 本发明的巡检机器人的操作步骤如下：
[0132] 一、图像采集
[0133] 参照附图5所示，为该巡检机器人图像采集流程框图，
[0134] 液压支架为被测目标，利用基于多个共面特征点的视觉测量算法进行
姿态解算。用相机对被测目标进行采集，采集到的图像用计算机进行处理。图像处理的主要步骤为图像预处理、图像特征提取、位姿解算、直线度解算。
[0135] 本发明技术方案中，
机器视觉的液压支架位姿检测进行检测前，需要要对采集到的图像进行预处理以提高图像的质量，消除无关信息，增强目标区域的可检测性和判断故障目标的精确性。由于矿井下环境较为恶劣，光线差，照度低，同时
信号传输中由于各种噪声信息的干扰造成工业监控图像画面
分辨率不清，因而在目标检测前对图像进行预处理。首先介绍常用的图像预处理处理方法，包括图像降噪和图像增强。其次图像特征提取，再者利用相机模型和已提取目标物特征点进行目标物和相机相对位姿的解算，然后任意一个特征点来解算液压支架横向和纵向的直线度，最后进行验证，定位故障目标物。
[0136] (1)图像降噪
[0137] 图像降噪的目的是减少噪声对于目标检测的影响从而减少目标误判的概率。
[0138] 分别采用邻域平均法、中值滤波、高斯滤波、双边滤波来对本发明机器人采集的图像进行预处理；
[0139] 邻域平均法
[0140] 邻域平均法是在空间域进行降噪处理。假设给定的图像[f(i,j)]N×N，其每个像素点设为(m,n)，假设邻域为S，S中含有M个像素，邻域内平均值为：
[0141]
[0142] 将 作为邻域平均后点(m,n)处的灰度，即用像素领域内均值取代该像素的原灰度值。根据图像的特征邻域S的形状和大小可自行选择，一般以正方形居多。邻域平均法包括简单平均法、灰度差值
门限法、加权平均法等，其中加权平均法的平滑效果好于其他两种。邻域平均法的特点是实现简单，计算速度快，但缺点是削弱了图像的边缘，造成图像一定程度的模糊。
[0143] 中值滤波
[0144] 中值滤波与邻域平均类似，但其是一种的非线性降噪方法。由于噪声相对于周围的像素反差比较大，噪声像素点要么偏亮，要么偏暗。如果在一个邻域内将像素点按照灰度大小顺序排列，那么噪声点肯定位于这个序列的两端，此时去中间值作为输出，就可以消除噪声的影响，这就是中值滤波的思想。具体实现方法是：确定邻域A，对邻域内的像素点的灰度值进行排序，取该序列的中值作为该像素点的灰度值。[x(i,j)]M×N表示序列，AN为窗口，则中值滤波后，像素点(i,j)为
[0145]
[0146] 中值滤波的降噪效果依赖于邻域空间范围及邻域内像素的个数，对于图像内部平坦区域
叠加脉冲噪声中值滤波较好，同时随着中值滤波邻域窗口的增大，图像损失越严重。
[0147] 高斯滤波
[0148] 高斯滤波是通过高斯函数与灰度图像之间进行卷积操作来实现降噪，其定义如式(4-3)所示：
[0149]
[0150] 其中Gσ(x)指二维高斯核函数：
[0151]
[0152] 由以上公式可知，高斯滤波实质上式计算该像素点邻域内邻近位置的加权平均值。而每个像素点的权值随着到中心点P的距离而递减，Gσ(||p-q||)表示邻域内任意点q和中心点p之间的距离，而其中σ则是表示邻域大小的参数，根据式(4-3)、(4-4)可以看到，高斯函数的最佳逼近取决于其二项式展开的系数，但对于图像滤波而言，按定义计算过慢，因而可以直接采用根据离散的高斯分布计算的高斯模板。实验证明高斯滤波适用于去除具有正态分布特性的噪声。但由于高斯滤波器仅考虑到图像中像素之间的距离而忽略掉像素之间的灰度值，图像的边缘易产生模糊现象。
[0153] 双边滤波
[0154] 双边滤波是在高斯滤波算法的基础上提出的非
线性滤波器。不同之处在于在高斯滤波的基础上，双边滤波也是对权值的设定加入了两个像素之间的空域信息以及灰度相似信息。其加权系数是由两部分因子相乘构成，一部分由像素间的空间距离决定，另一部分则由像素间的亮度值之差决定。双边滤波器的定义如式(4-5)所示：
[0155]
[0156] 其中：Wp是一个标准量。
[0157]
[0158] 参数σd和σr表示图像I的噪声去除量，式(3.6)表示邻域内像素的归一加权平均值，其中 是一个空间函数，它随着像素点与中心点之间的欧几里得距离的增加而减少，是一个范围函数，它随着两个像素亮度值之差的增大而减少。一般情况下，双边滤波器的空间近邻函数 和灰度相似函数 都取两像素间的距离作为参数的高斯函数，定义如式(4-7)、式(4-8)所示：
[0159]
[0160]
[0161] 其中d(p,q)和δ(I(p),I(q))分别为图像两个像素点的距离差及像素的灰度差，σd和σr是高斯函数的标准差。
[0162] 降噪评价
[0163] 图像降噪后，可通过主客观标准对其进行评价，人眼观察是一种有效的主观图像质量评价标准，同时为了更确定性的说明图像降噪的效果，本文采用以下客观质量评价标准来检验各种降噪算法的有效性。
[0164] 准则一：均方根误差(RMSE)
[0165] 假设图像为f(x,y)，降噪后图像为g(x,y)，其中0≤x≤M-1，0≤y≤N-1。对于任意x和y，f(x,y)和g(x,y)之间的均方根误差可表示为：
[0166]
[0168] 同上分别定义f(x,y)和g(x,y)为原始图像和降噪后输出图像，f(x,y)和g(x,y)之间的均方信噪比为可表示为：
[0169]
[0170] 实际应用时，常将SNR归一化并用分贝(dB)表示，令
[0171]
[0172] 则有：
[0173]
[0175] 如果令fmax＝max{f(x,y),x＝0,1,...,M-1,y＝0,1,...,N-1}，则峰值信噪比PSNR：
[0176]
[0177] 根据以上准则可以看到均方根误差越小，均方信噪比和峰值信噪比越大说明图像降噪质量越好。
[0178] 对以上几种常见的降噪方法进行实验，并且分别根据所描述的客观标准对于降噪后的图像进行评价，实验结果表明，双边滤波对图像降噪较好，因此最终
选定双边滤波进行图像降噪。
[0179] 参照附图7a、7b、7c、7d所示分别为上述四种滤波的降噪结果图；由于矿井下图像较暗，对于降噪效果仅从主观来看，中值滤波、均值滤波降噪造成图像不同程度的模糊，而高斯滤波和双边滤波的使得图像更加清晰一些，效果更好。
[0180] 表4-1多种降噪方法的比较表
[0181]
[0182] 除了主观评价外，本发明技术方案对以上方法的均方根误差(RMSE)，均方信噪比(SNR)以及峰值信噪比(PSNR)进行比较。其结果如表4-1所示。由经验可知RMSE越小，SNR、PSNR越大说明图像降噪质量越好。
[0183] 如上表所对比的数据，双边滤波后图像的RMSE最低、SNR和PSNR最高，因此说明经过降噪后图像的质量最好，因而本发明技术方案中采用双边滤波方法对图像进行去噪。
[0184] (2)图像增强
[0185] 本发明采用Retinex理论将图像分为亮度图像和反射图像，其中亮度图像是图像的低频部分，而反射图像是图像的高频信息，基于Retinex的增强是通过改变亮度图像和反射图像在原图像中的比例以达到增强的，多尺度Retinex方法(MultiScaleRetinex，MSR)能够压缩图像的动态范围，因而在光照不均匀或不足的条件下，仍然能够有较好的处理效果。
[0186] (1)MSR算法
[0187] 根据land理论，设理想图像为I(x,y)为：
[0188] I(x,y)＝R(x,y)×L(x,y) (4-14)
[0189] 即图像f(x,y)可以表示为环境亮度函数L(x,y)和景物反射函数R(x,y)的乘积。MSR增强方法描述如下：
[0190]
[0191] 其中i表示第i个光谱带，N表示光谱带的个数，N＝1表示灰度图像，N＝3表示彩色图像。Ri(x,y)是输出图像函数，Ii(x,y)是输入图像函数的分布函数，*表示卷积操作，log为自然对数，Fk(x,y)表示环境函数，环境函数的选择可以有很多种，这里选择高斯函数作为环境函数，k表示多尺度(即高斯函数)的个数，根据不同的标准偏差σk，环境函数Fk(x,y)选择控制高斯函数的尺度。Wk表示和Fk相关的权重系数。MSR算法根据场景处理的需要选择尺度个数，一般选择三个不同层次的尺度，然后将三者以不同的权重系数相融合以实现图像增强。
[0192] MSR增强后图像得到的灰度值可能会出现负值，因而需要采用gain/offset方法对图像中负像素点进行修正，再将修正后的灰度值根据式(4-17)映射到显示器显示的灰度范围内。
[0193] R0(x,y)＝G×Ri(x,y)+offset (4-16)
[0194]
[0195] 其中Ri(x,y)和R0(x,y)分别表示图像的输入和输出灰度值，G表示增益系数，offset表示偏移量。
[0196] (2)MSR算法及实现步骤
[0197] 在对井下图像采用MSR进行图像增强后，图像的细节信息有所提高，但是图像增强后图像过亮，不适于主观观测，因此本文在MSR图像增强算法过程中加入直方图均衡化，减少图像过亮现象并且提高图像局部细节信息，增强
对比度。改进方法原理：
[0198] 如图8所示，MSR方法算法步骤：
[0199] ①读入视频帧图像I，并对其图像函数取对数；
[0200] ②计算在不同标准偏差σk下高斯滤波器的滤波系数；
[0201] ③选择3种σk尺度，本文实现时选择15，80，250，使用在这三种不同的高斯滤波系数对图像进行卷积操作；
[0202] ④根据式(4-15)计算三种尺度下所得结果的加权平均，这里权值均选择1/3，将图像分为照度分量L和反射分量R；
[0203] ⑤根据式(4-16)和式(4-17)对反射分量R结果进行调整；然后在对R进行直方图均衡化，得到新的反射分量R'；
[0204] ⑥新的反射分量R'与照度分量L相加得到新的图像I'，然后对exp得到增强后的图像。
[0205] 图像增强结果：图像降噪后，采用MSR方法对综采工作面图像实现增强。MSR增强综合以上两种方法的优点，在整体灰度值有所提高，同时也避免过度增强现象且过亮的像素值有所减少，使得图像更加清晰，图像中低亮度区域得到增强，而高亮度区域得到抑制。实验表明该方法适用于井下低照度视频的图像增强，算法实现简单，并且经过图像预处理后使得
胶带机上的支架目标更加清晰，有利于故障目标检测和定位。
[0206] 二、图像特征提取
[0207] 由于PNP(Perspective-N-Point)是一种基于单幅图像的定位解算方法，该方法由于不需要建立图像点之间的对应关系，所以在目标位置定位和姿态解算上得到了广泛应用。它可以确定目标物体上的n个特征点在相机坐标系下的坐标，因此精确提取出目标物在图像的特征点是有必要。针对井下图像的特性与井下实时性需求分析得出使用SIFT特征表征目标物。由于sift特征存在以下优点：①基于物体上的一些局部外观的兴趣点而与影像的大小和旋转无关；②对于光线、噪声、微视角改变的容忍度也相当高。基于这些特性，它们是高度显著而且相对容易撷取，在母数庞大的特征
数据库中，很容易辨识物体而且鲜有误认；③使用SIFT特征描述对于部分物体遮蔽的侦测率也相当高，甚至只需要3个以上的SIFT物体特征就足以计算出位置与方位。在现今的电脑硬件速度下和小型的特征数据库条件下，辨识速度可接近即时运算。
[0208] 三、位姿检测计算
[0209] 参照图9所示的坐标系，目标物的位姿计算，即目标坐标系与摄像机坐标系之间的变换矩阵，即包含三个旋转参数和三个平移参数的摄像机外参数矩阵。PNP(Perspective-N-Point)是一种基于单幅图像的定位解算方法，该方法由于不需要建立图像点之间的对应关系，所以在目标位置定位和姿态解算上得到了广泛应用。它可以确定目标物体上的n个特征点在相机坐标系下的坐标，根据标定完成的相机内外部参数与特征点在世界坐标系下的坐标值，最终算出目标的运动位置和位姿参数。被测目标物体坐标系上的坐标为已知，利用基于多个共面特征点的算法解算出特征点在相机坐标系下的坐标，根据三维坐标空间转换，即可解算出相机相对于被测目标物体的位姿。基于多个共面特征点的算法原理如图9所示。图中Oc-xcyczc为相机坐标系，O-xy为图像坐标系。P1-P4为4个共面特征点，构成正方形。4个特征点在图像坐标系下的坐标为C1-C4。
[0210] 根据图9中的几何关系，可以得到：
[0211]
[0212] 其中式中：S1为ΔP1P2P3的面积；S2为ΔP1P2P4的面积；S3为ΔP1P3P4的面积；S4为ΔP2P3P4的面积；h为相机光心到Pi点(i＝1，2，3，4)构成平面的距离。同时有，[0213]
[0214] 其中，(xi,yi)是Ci的坐标，di为相机的光心Oc点到Pi点的距离，Mi为相机的光心Oc点到Ci点的距离，f为相机的有效焦距。(xi,yi)、f与Mi可通过坐标系转换与相机内参数标定得到，为已知量，通过求解di，即可得到相机坐标系下特征点Pi的坐标。根据相机坐标和图像坐标、目标物坐标可知：
[0215]
[0216]
[0217] 其中特征点P在被测目标物体坐标系Ow-xwywzw中的坐标为(Xw,Yw,Zw)，在相机坐标系Oc-xcyczc的坐标为(Xw,Yw,Zw)。R为旋转矩阵；T为平移向量。
[0218] 旋转矩阵和平移向量决定了相机相对于被测目标物体坐标系的方向和位置。其中旋转矩阵为正交矩阵，由3个旋转角表示，即俯仰角α、偏航角β、翻滚角γ。利用三维坐标空间转换和非迭代方法对式进行求解，可求得旋转矩阵R和T平移向量和P，即相机相对于被测目标物体的位姿。
[0219] 由上述得出的液压支架的空间位置坐标Pi＝(Xi,Yi,Zi)，可以选择其中任意一个特征点来解算液压支架横向和纵向的直线度。利用每一液压支架上同一特征点进行三轴方向上的坐标拟合，获得液压支架多个方向的直线度。最后对数值数据进行实验仿真。
[0220] 表4-2液压支架位姿测量结果
[0221]
[0222] 表4-3液压支架横向直线度测量值与实际值对比
[0223]
[0224] 《煤矿安全规程》中明确规定：液压支架(支柱)排成一条直线，相邻两液压支架之间的偏差不超过50mm，从表4-3看出，2号支架为故障支架。
[0225] 四、有害气体检测
[0226] 控制模块采用Arduino MEGA2560
主板，它是采用USB
接口的核心
电路板，具有54路数字输入输出口，16路模拟输入和4路UART接口，适合需要大量IO接口的设计，可以满足本设计的需求。
数据采集单元是由传感器检测模块组成，传感器检测模块是采用MQ-5气体传感器。报警模块和LED显示模块是由
液晶显示屏和蜂鸣器两部分组成，液晶显示屏用来显示甲烷浓度与一氧化碳浓度，蜂鸣器则用来发出鸣笛产生报警。无线通信单元是选用串口Wi-Fi通信，将产生的报警发送给
主控台。
[0227] 瓦斯气体检测电路
[0228] 在有害气体检测设计中，主要检测的气体为瓦斯气体的浓度，并且瓦斯爆炸浓度范围是5％-16％，MQ-5测量的浓度范围是2％-50％，所以选择MQ-5气体传感器可以很好的检测出气体的浓度。MQ-5气体传感器所使用的气敏材料是清洁空气中电导率较低的二氧化
锡(SnO2)，当传感器所处环境中存在可燃气体时，传感器的电导率随着空气中可燃气体浓度的增大而增大。使用简单的电路即可将电导率的变转化为与该气体浓度相对应的
输出信号。
[0229] MQ-5气体传感器对
丁烷、丙烷、甲烷的灵敏度高，对
乙醇烟雾基本不影响，对甲烷和丙烷可较好的兼顾。这种传感器可检测多种可燃性气体，特别是
天然气，并且有快速的恢复相应、长期的使用寿命、可靠的
稳定性、测试电路简单等特性，是一款适合多种应用的低成本传感器。
[0230] MQ-5气敏元件的结构和外形如图11所示，由微型AL203陶瓷管，SnO2敏感层，测量
电极和加热构成的敏感元件固定在塑料或不锈
钢制成的腔体内，加热器为气敏元件提供了必要的工作条件。封装好的气敏元件有6只针状管脚，其中4个用于信号取出，2个用于提供加热电流。
[0231] 由于MQ-5传感器对不同种类、不同浓度的气体有不同的
电阻值。因此在使用此类传感器时，灵敏度的调整很重要，对于此类传感器选用1000ppm异丁烷或氢气来校准。设计的电路图如图12所示。
[0232]
软件设计使用Arduino IDE编写，系统主程序包括初始化程序，数据采集及
数据处理程序、Wi-Fi通讯程序、数据显示程序和报警程序等。程序首先进行串口初始化、端口初始化、I2C初始化和Wi-Fi模块初始化等，数据采集程序包括甲烷浓度采集和一氧化碳采集，之后对比EEPROM中存储的各参数阈值，如果超出报警限，则发出声光报警。主程序流程图如图13所示。
[0233] 五、温湿度检测
[0234] 为了提高系统的测量
精度和可靠性，选用瑞士EDNSIRION公司SMD形式贴片封装SHT11为煤矿井下温湿度监测系统温湿度传感器。SHT11将传感原件和
信号处理电路集中在微型电路板上，输出信号为完全标定
数字信号。SHT11采用COMSensR
专利技术确保传感器的长期稳定性好及可靠性高。SHT11包括一个
能隙材料测温元件和电容性聚合体测湿元件，能够与14位的A/D转换芯片及串行接口电路实现完美配合。
[0235] 煤矿井下温湿度监测环境条件恶劣，潮湿、多瓦斯、粉尘等易燃易爆性气体，对于测量设备的可靠性和安全性要求较高。SHT11具有结构简单、灵敏度好、响应迅速、抗干扰能力强等优点，能够满足煤矿井下对温度和湿度参数进行测量的技术需求。煤矿井下温湿度监测系统将SHT11设置在电路板上，通过单片机进行控制，电路原理图如图14所示。SHT11的SCK引脚用于单片机与SHT11之间通讯过程的同步
时钟信号，DATA引脚用于读取SHT11测量数据信息。
[0236] 煤矿井下温湿度监测模块软件程序流程如图15所示。系统复位和SHT11初始化，调用启动SHT11子程序进行温湿度数据采集，采集到的数据经过设定的阈值判断是否存在危险，生产矿井采掘工作面空气温度不能超过26℃，如果超过设定的阈值，则通过蜂鸣器产生报警。在整个温湿度测量过程中假如发生错误，系统将重新进行温湿度测量。
[0237] 综上所述，采煤工作面智能巡检机器人设计，包含自动控制、机器视觉、传感器原理等方法理论。可以有效的利用该智能巡检机器人在采煤工作面进行巡检工作，在一定程度上减少了人工巡检的失误。该款机器人的设计总结如下：
[0238] 1)利用自动控制理论，满足机器人的自动充电功能和身姿调整功能；
[0239] 2)利用机器视觉理论，满足机器人在井下图像采集、处理，对液压支柱的监测功能；
[0240] 3)利用传感器理论，满足机器人在采煤工作面对有害气体、温湿度的检测功能；
[0241] 4)利用单片机理论，满足机器人在采煤工作面对检测超标值进行报警功能；
[0242] 5)利用Zigbee对超标数据进行远程传输功能，这可以使控制室操作人员对采煤工作面进行有效的管理。
[0243] 因此，矿山智能机器人的研究与发展是建立智慧矿山中必不可少的一部分，其中井下采煤工作面智能巡检机器人的设计可以替代现有人工巡检，避免人工巡检中存在的弊端，可以大幅度提高巡检质量，同时也可以提高矿井的安全质量。设计适用于井下采煤工作面的智能巡检机器人，该机器人具备自主移动、定位、图像采集、气体传感、温度传感、数据传输等功能，可以实现对液压支柱、有害气体、温湿度等检测。通过分析图像发现异常点、感知器感知有害气体浓度以及井下温湿度，当某一指标达到预警状态，可以及时将预警信息通过远程传输装置传送至调度室，使得调度控制人员可以及时采取措施避免灾害发生。
[0244] 以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和
说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的
权利要求书及其等效物界定。
