技术领域
[0001] 本
发明属于轨道交通安全保障领域，涉及一种基于机器视觉的轨道交通站台门与列车间异物监测装置。
背景技术
[0002] 目前地
铁、轻轨、动车和高铁等轨道交通已普遍或开始设置站台门，然而站台门与列车之间的间隙(
风险空间)常会发生一些影响安全的事件，已造成多起死人事件和重大延误。风险空间是指列车在站台停靠期间，站台门与列车之间为前后面、站台
踏板所在平面与列车车门顶部所在平面为下上面的立体区域。异物是指站台门与列车门关好后，列车离站之前，风险空间新增的影响地铁设施、乘客安全和列车正常运营的人体部位或物品。风险空间发生的异物事件包括在站台门与列车之间的站台踏板上、防踏空胶条上和防踏空胶条与列车之间空隙上的间隙异物，站台
滑动门门缝和列车门门缝所夹的异物，以及站台固定门与列车之间的间隙异物。因而异物检测装置需检测列车是否在站；建立每一趟列车进站停稳未开门时风险空间中的图像(即背景模型)、判断站台滑动门与列车门
开关状态及门缝
位置；以及站台滑动门与列车门关好后，在列车离站之前时刻，与背景模型比较，判断风险空间是否新增人体部位或物品等异物；测量异物三维尺寸，评估异物对行车与乘客危害程度，给出是否可发车
信号和异物存在位置。
[0003] 为了确保行车安全，地铁设计规范(GB50157-2003)中要求各设备设计和安装不能超出限界要求。关闭后的地铁直线站台门与关闭后的列车门之间存在可能190mm的间隙，曲线站台门可能存在270mm间隙，而且每个站台滑动门位置的间隙不同，即使同一个站台因运行车型不同间隙也有较大差别；如果是动车或高铁的站台门，站台门与列车间隙将达到 60cm～100cm左右。该风险空间足以容纳危害乘客、各种危害或不影响行车安全的物体，如常见有乘客、雨伞、钱包、手机、
水瓶、塑料袋和纸屑等。按《站台屏蔽门系统技术规范》和地铁列车塞拉门设计技术规范，当滑动站台门所夹异物尺寸<5mm*40mm(厚*高)，或地铁列车塞拉门的门缝所夹异物尺寸<25mm*60mm(厚*高)时，站台门与列车门的安全系统将不会报警，认为站台滑动门与列车门已关好，因而常会出现人体
手指、头发和衣
角、背包带、塑料袋等异物体悬挂在列车门门缝或站台滑动门门缝上，这些异物可能会影响行车安全和乘客安全，也可能不影响。此外，由于地铁发车
频率高、发车间隔短(最短90s)、在站时间短(25s～
40s)、车门多(六编组30门，八编组40门)、上下客流量大，异物发生位置的随机性，因此风险空间异物事件的发生概率及司机无法发现的概率都大大增加，同时因异物位置确认和处理时间而造成的列车延误也大大增加。
[0004] 目前异物自动检测技术主要有设有3～6个光轴的红外光幕、2～3光轴的激光光幕两种，也有人工瞭望灯带+红外光幕、激光光幕方式。但
现有技术受震动、灰尘、环境照度和气流干扰影响较大，存在着检测盲区大、漏检率高、误报率高和检测时间长等
缺陷，只能检测人和大异物，无法判断异物是否对行车安全产生影响，又无现场视频图像存档，无法事后追责，且增加了列车在站时间。现有异物检测技术无法满足地铁市场运营和未来地铁自动驾驶需求。
[0005] 目前针对地铁站台门与列车之间异物检测成果有CN108089202A(于2018年5月29日公开)、CN108001461A(于2018年5月8日公开)，采用
单层激光扫描光幕的测量方式，因没有机械旋转部分，可靠性相对较高；通过激光发射模
块发射的线形光斑投射在站台门与列车之间的中心线上，激光检测模块检测反射线形光斑，计算出线形光斑在限界区的各反射点与激光发射模块的距离，比较实时距离与预设距离的差值大小判断是否有异物。但此检测方式的检测区间仅为一个面，盲区很大，也存在激光测量的普遍缺陷，例如因探测物(如表面比较光滑的列车门、站台门、不锈
钢踏板)的折射率和反射率极低(如黑色等吸光物体)而漏检物体。
[0006] 发明
专利申请CN106864463A(于2017年6月20日公开)，采用安装在站台门与列车之间
混凝土顶梁下部的四层激光扫描光幕(即四层激光扫描
传感器，层与层之间的角度为2°) 进行异物检测，能有效检测落在四层角度为0°、2°、4°和6°扫描面上的异物，可较精确获得落在扫描面上的障碍物形状大小以及位置信息，因激光透性过强，可以有效避免外界光照的干扰，但因站台门与列车门存在大面积的玻璃，也存在激光透过玻璃导致目标误判的缺点和激光测量的普遍缺陷，例如因探测物(如表面比较光滑的列车门、站台门、
不锈钢踏板) 的折射率和反射率极低(如黑色等吸光物体)而漏检物体。同时，在安装高度2.4m位置，在站台门踏板处层与层的间距为84mm，第一层与第四层间距为250mm，检测范围是固定的，不能扫描到站台门与列车门之间所有可能存在异物的位置，只能检测较大异物，检测盲区较大，也不能视频确认异物种类和判定异物是否会影响行车安全。
[0007] 发明专利CN108520243A(于2018年9月11日公开)，采用站台门与列车车门之间不存在任何障碍物的情况下对站台门与列车车门之间提前拍摄的整幅彩色图像(基准图像)与待分析整幅彩色图像匹配的方式确定是否有异物。其中彩色图像分解成CMYK
颜色空间的C、 M、Y三通道数据，对整幅图像各通道成分进行独立分析，可提高准确性。但因站台门与列车门存在大面积的玻璃，站台侧和轨道侧照度差异较大，二维彩色图像易受到站台门与列车门玻璃、站台门外和列车车厢内人的多少和排布位置等环境照度改变和阴影影响而产生误报问题，且站台门关闭后风险空间照度低，颜色通道信息量少，整幅图像比较容易淹没小异物检测。
[0008] 专利申请CN104777521A(于2015年7月15日公开)、CN108001460A(于2018年5月 8日公开)，采用
双目视觉(双可见光摄像头)进行列车车门与站台门之间异物检测，虽能获得
检测区域中的物体距离信息，能提高检测
精度和可靠性，但仍不能解决二维彩色图img(x,y) 易受环境照度和阴影影响而误报率较大的问题。
[0009] 将RGB图像和单层激光扫描光幕融合的复合异物检测方法(CN104777522A，于2015 年7月15日公开)，通过拍摄区风险空间二维彩色图img(x,y)和扫描到风险空间一个面的一维距离信息Dis(x)，与标准图像(无异物时风险空间)的ImgB(x,y)和一维距离信息DisB(x)进行绝对值(色彩分布差异和一个面上距离差)比较，采用通用的多项式展开形式作为判断函数，当门限大于设定值就判为异物。该方法实际融合了激光扫描平面的彩色图像信息与激光扫描的距离信息，能大大提高落在激光扫描面上的异物检测精度，如人等大异物，但对非落在扫描面的异物检测精度和减少误报率没有任何改善，也存在激光测量的普遍缺陷，仍存在二维彩色图img(x,y)易受到站台门与列车门玻璃，站台门外和列车车厢内人的多少和排布位置等环境照度改变和阴影影响而产生误报问题，整幅图像比较容易淹没小异物检测。
[0010] 为解决二维彩色图img(x,y)易受环境照度影响而误报率较大问题，发明专利 CN104049281A(于2014年9月17日公开)在站台门与列车之间站台踏板高度位置设置与周围环境色彩对比鲜明的条带状物品，通过设置在站台门之上站台门与列车之间上方的摄像头拍摄条状物的完整性判断有无异物，误报率极低，能有效检测人和较大异物，也能把每个风险空间实时图像上传，但没有解决夹在站台门和列车门门缝的异物因没有投影到条状物品上而影响拍摄条状物品的完整性时的问题。
[0011] 综合上述，目前已有研究和技术方案的缺陷主要有：
[0012] 1)可见光摄像头可提供
覆盖风险空间丰富颜色与
亮度信息图像，可视性好，信息量大。但因列车门与站台门存在大量玻璃，车厢内与站台候车的人数多少和排布对风险空间图像产生很大影响，基于可见光的异物识别系统易受环境光和阴影影响，特别是站台滑动门与列车门玻璃处图像，无法测量异物三维尺寸。
[0013] 2)单层和四层激光扫描光幕受外界光线影响小，能测量落在扫描平面的物体大小，但可视性差，因检测盲区大，只能检测风险空间内人和较大的异物，同时也存在激光会透过玻璃导致目标误判的缺点和激光测量的普遍缺陷。
[0014] 3)基于可见光摄像头和激光扫描光幕复合的方式对减少对人和大异物(一定能落在扫描平面上)检测上的误报率和提高准确率有很大改善，但对其它情况并没有什么作用。
[0015] 4)现有站台门与列车间异物检测技术或装置只涉及有无异物检测功能，功能单一，无法准确测量异物三维尺寸和
物体识别，评估是否对行车和安全有影响，还需要站台门系统提供站台滑动门开关信号，列车系统提供列车门开关信号，信号系统提供列车是否在站信号。
[0016] 5)RGB图像的获取受外界环境光照影响较大，当夜晚或阴雨天、雾天外界光照强度不足时就可能导致RGB
图像采集出现问题，不适合地面与高架站台工作环境。红外二维图像和
深度图像受环境光线影响小，可用作户外目标识别，同时人眼看不到，安全性好，特征也稳定，但信息量相对少。
[0017] 6)整幅图像比较，容易淹没小异物检测。
[0018] 深度图像传感器由红外
激光器和红外摄像头组成，主要分基于飞行时间和基于结构光两类，是近几年面世的无机械运动部件的三维激光测量设备。
[0019] 深度图像传感器拍摄视角H和V两个方向都能大于45°，
分辨率高达320x240
像素、 680x480像素、1280x720像素或更高，其优点是可精确获得障碍物形状大小、亮度以及位置信息，无机械运动部件，可靠性高，抗震高。由于主动发射红外激光，可以有效避免外界光照的干扰，可精细化测量距离较近(一般不超过10m)目标三维尺寸，价格便宜、可靠性高和体积小。由于红外光人眼不可见，探测私密性好，适合于近距离(一般不超过8m)、大空间的检测环境，因安全性好(采用安全等级Ⅰ类激光，不会伤害眼睛)，常用于
人脸识别，人流量检测等场合。
[0020] 深度图像传感器也有基于机械光学旋转结构的多层激光扫描传感器，目前已有4层或8 层或16层或32层或64层或更高，广泛应用于移动目标远距离测量、目标识别与三维目标重建，广泛用于
汽车自动驾驶中的障碍检测，但价格较高，可靠性相对较低。
发明内容
[0021] 为了解决现有技术所存在的问题，本发明提出基于机器视觉的轨道交通站台门与列车间异物监测装置，实现在检测区域内无死角、全覆盖、全区域检测，不受车型、间隙空间大小和环境照度影响；能集成红外图像、可见光图像和深度图像的技术优势，克服单一传感器技术的弱点，以每一趟列车进站停稳且未开过门时的列车与站台门之间图像为背景模型，剔除易受外界影响的站台门与列车门玻璃部分，进行列车是否在站、列车门与站台门开关状态、有无异物、异物大小及性质等目标识别和现场图像展示，以及轨行区是否有异物，能大大提升异物检测系统的识别率、适应性和可靠性，适用于地下、地面和地上站台环境。
[0022] 本发明采用如下技术方案实现：基于机器视觉的轨道交通站台门与列车间异物监测装置，包括：
[0023] 视觉传感器(1)：视觉传感器包括主动成像的红外深度图像传感器，红外深度图像传感器获得深度图像D(x,y)和红外视频图像IR(x,y)；
[0024]
图像处理单元(2)：具有
多核处理器和存储单元，用于对视觉传感器(1)获取的图像进行存储、处理与识别，得出判断结果；
[0025] 控制与输入输出单元(3)：分别与视觉传感器(1)、图像处理单元(2)连接，协调它们之间的工作，并与上位机进行双向通信；
[0026] 所述视觉传感器(1)安装在站台每个滑动门与列车门之间的上方，用于在列车站停靠期间采集对应站台滑动门区域图像、列车门区域图像和站台滑动门与列车门之间的间隙图像，以及列车不在站时采集与站台相接轨行区的图像；
[0027] 所述视觉传感器(1)还安装在站台固定门或应急门与列车之间的上方，用于在列车站停靠期间采集站台固定门或应急门与列车之间的间隙图像，以及列车不在站时采集与站台相接轨行区部分的图像信息；
[0028] 所述视觉传感器(1)采集的D(x,y)和IR(x,y)图像经图像处理单元(2)预处理与校正整合成三维图像IRD(x,y)，在此
基础上进行图像中的关键构造物区域的
图像分割，采用多源图像融合的方法得出以下判断结果：
[0029] 比较列车不在站时与列车在站时关键构造物区域图像的差异，判断列车是否进站、在站、出站、列车编组数和停靠站台位置；
[0030] 比较列车进站停稳且列车门、站台滑动门未开过时与列车在站时关键构造物区域图像的差异，判断列车的车门和站台滑动门的开关状态及其
门扇间的位置；
[0031] 比较列车进站停稳且列车门、站台滑动门未过开时与列车门、站台滑动门开门后关键构造物区域图像的差异，判断站台滑动门和列车门之间有无人与新增物，还判断站台固定门、应急门与列车之间有无人与异物；
[0032] 比较列车进站停稳且列车门、站台滑动门未开过时与列车门、站台滑动门开门又关门后关键构造物区域的图像差异，判断站台滑动门和列车门之间有无异物和人，还判断站台固定门、应急门与列车之间有无人与异物；
[0033] 比较列车不在站时轨行区关键构造物区域无异物背景模型与列车不在站时轨行区关键构造物区域图像的差异，判断轨行区是否有新增异物与人。
[0034] 优选地，视觉传感器还包括被动成像的视频图像传感器，视频图像传感器采集经周围环境光反射或外加
光源反射成像的视频图像RGB(x,y)；
[0035] 所述视觉传感器采集的D(x,y)、IR(x,y)和RGB(x,y)图像，经图像处理单元预处理与配准校正整合成三维图像RGBIRD(x,y)，在此基础上进行图像中的关键构造物区域的图像分割，采用多源图像融合的方法比较列车不在站与列车在站时图像中的关键构造物区域图像的差异，判断列车是否进站、在站、出站、列车编组数和停靠站台位置；比较列车在站且列车门、站台滑动门未开时与列车在站图像中的关键构造物区域图像的差异，判断列车的车门和站台滑动门的开关状态及其门扇间的位置；比较列车在站且列车门、站台滑动门未开时与列车门、站台滑动门开门后图像中的关键构造物区域图像的差异，判断站台滑动门和列车门之间有无人与新增物，还判断站台固定门、应急门与列车之间有无人与异物；比较列车在站且列车门、站台滑动门未开时与列车门、站台滑动门开门又关门后图像中的关键构造物区域的图像差异，判断站台滑动门和列车门之间有无异物和人，还判断站台固定门、应急门与列车之间有无人与异物；比较列车不在站时图像中的关键构造物区域无异物图像的差异，判断轨行区是否有新增异物与人。
[0036] 优选地，如果不需检测异物三维尺寸，视觉传感器采集经周围环境光反射的可见光视频图像RGB(x,y)和外加红外光源反射成像红外光视频图像IR(x,y)；
[0037] 所述视觉传感器采集的IR(x,y)和RGB(x,y)图像，经图像处理单元预处理与配准校正整合成二维图像RGBIR(x,y)，在此基础上进行图像中的关键构造物区域的图像分割，采用多源图像融合的方法比较列车不在站与列车在站时图像中的关键构造物区域图像的差异，判断列车是否进站、在站、出站、列车编组数和停靠站台位置；比较列车在站且列车门、站台滑动门未开时与列车在站图像中的关键构造物区域图像的差异，判断列车的车门和站台滑动门的开关状态及其门扇间的位置；比较列车在站且列车门、站台滑动门未开时与列车门、站台滑动门开门后图像中的关键构造物区域图像的差异，判断站台滑动门和列车门之间有无人与新增物，还判断站台固定门、应急门与列车之间有无人与异物；比较列车在站且列车门、站台滑动门未开时与列车门、站台滑动门开门又关门后图像中的关键构造物区域的图像差异，判断站台滑动门和列车门之间有无异物和人，还判断站台固定门、应急门与列车之间有无人与异物；比较列车不在站时图像中的关键构造物区域无异物图像的差异，判断轨行区是否有新增异物与人。
[0038] 红外深度图像传感器为基于结构光的深度图像传感器、基于飞行时间的深度图像传感器或多层激光扫描传感器，视角H方向大于50°、V方向视角大于30°，
采样频率大于10
帧/s；基于飞行时间的深度图像传感器用在地面站台或高架站台时，抗环境光干扰大于10klx；
[0039] 多层激光扫描传感器的扫描线与线之间的夹角为0.18°或0.36°或0.5°或1°，最大扫描角度为96°或180°或270°或360°；扫描层数为4层或8层或16层或32层或64层或128层，扫描层与层之间角度为0.5°或1°或2°或3°或3.5°，扫描频率大于10帧/s。
[0040] 与现有技术相比，本发明的有益效果包括：
[0041] 1)可见光视频图像包含物体表面丰富的颜色信息和纹理信息，分辨率高，便于人眼识别，但易受环境光变化影响；红外图像和红外深度图像不随环境光照度和颜色的变化而变化，光线不可见，私密性高，深度图像包含物体的空间形状信息，但可视性不如可见光视频图像。两类图像对彼此是一种有效的补充，对融合图像的物体识别，可测量异物三维形状、颜色与纹理，可辨识异物种类，可明显提高物体识别的准确率，可合理评估异物对行车和乘客安全的影响大小，可优化列车离站条件，减少列车在站时间。适合地下、地上和高架站台，也适合太阳光直射、能见度低、灰尘大和雨
雪天等恶劣天气条件。
[0042] 2)可独立精确检测列车是否在站、停靠位置、列车编组数、每个列车门与站台滑动门间隙位置、每个列车门与站台滑动门门缝位置、每个列车门与站台滑动门开关时刻等信息，不需站台门系统和信号系统提供信息，不会因为某扇门故障而影响系统的检测任务。
[0043] 3)通过多源图像融合方法，提取站台门与列车之间的关键构造物区域图像，剔除站台门与列车门玻璃区域，极大提高了检测装置抗环境干扰的能
力，同时也极大减少了图像比较与特征提取的运算时间。
[0044] 4)采用多源图像融合方法，通过分区域识别站台滑动门的门缝区图像、站台滑动门门缝图像、列车与站台门间隙图像变化，判定是否有异物和异物大小，提高了检测灵敏度和准确性，避免了现有方法对全局图像比较而可能丢失较小异物的检测和巨大的计算工作量。可精确自动调整站台门与列车之间检测的风险空间尺寸，不会受车型、站台与列车间隙大小、震动和检测设备安装位置的影响，可检测站台门与列车门之间，站台平面至距站台地面高2m 的立体空间。适合轨道交通的直线站台、曲线站台和大间隙的曲线站台，包括动车和高铁的宽间隙站台。
[0045] 5)可实时记录列车进站、开门和关门之后的风险空间视频图像，可用于事后追责；可实时将风险空间图像传输给司机、站务员和远程控制室，可
定位到车门，能大大减少异物确认和清除时间。特别适合无人驾驶等要求高的环境。
[0046] 6)采用两种异质传感器，可独立工作，也可融合工作，提高了准确性和可靠性。适用于列车全自动运行场景，支持司机瞭望确认和远程确认两种模式，具备系统旁路功能。可与站台门系统进行联合设计，通过嵌入式安装，实现站台侧维护。
[0047] 7)因以每次列车进站未开门时为无异物实时模型，装置会自动根据当时检测环境变化修正检测区和背景模型，不会因设备长期运行后传感器安装位置与性能有些变动、环境照度变化和车型不同影响检测装置的检测精度和准确性。
[0048] 8)还可以实时检测列车不在站时站台轨行区是否有新增异物，提高装置的使用范围。
附图说明
[0049] 图1为本发明异物监测装置的结构
框图；
[0050] 图2为站台门区的结构示意图；
[0051] 图3为列车区的结构示意图；
[0052] 图4为列车在站时列车门与站台滑动门的间隙部分示意图；
[0053] 图5为列车不在站时轨行区的示意图；
[0055] 各图中标号如下：视觉传感器1、图像处理单元2、控制与输入输出单元3、电源单元4、机箱5、轨行区6、站台门7、列车8、视频图像传感器11、红外深度图像传感器12、站台门与轨行区间的边缘61、轨道62、防踏空胶条与列车门之间的空隙63、踏板与列车之间的空隙
64、滑动门71、滑动门的门扇711、滑动门门扇的边框7112、滑动门门扇前端胶条7113、踏板
72、防踏空胶条73、站台门后封板74、固定门75、应急门76、列车车门门扇81、门扇的边框
811、门扇前端的护指胶条812、车门
门框顶梁82、车门
门槛83。
具体实施方式
[0056] 下面通过附图1-6和
实施例进一步说明本发明，但本发明的具体实施方式并不限于此。
[0057] 本实施例中，基于机器视觉的轨道交通站台门与列车间异物监测装置如图1所示，包括视觉传感器1、控制与输入输出单元3、图像处理单元2及电源单元4，异物监测装置的各单元组装在机箱5内。视觉传感器1包括视频图像传感器11和红外深度图像传感器12，采集视频图像RGB(x,y)、深度图像D(x,y)和红外图像IR(x,y)并通过控制与输入输出单元3输入给图像处理单元2。深度图像D(x,y)即视觉传感器到场景中表面的距离图像。
[0058] 图像处理单元2具有多核处理器和存储单元，能实现数字图像存储、处理与识别功能。控制与输入输出单元3协调装置各单元工作，具有网络的电
接口或光接口功能，实现与上位机之间的数据、图片与图像通信；具有
数字量I/O和继电器接口，能采集与输出数字量的0 与1信号，能驱动继电器闭合与断开，能采集继电器闭合与断开信号；能将采集到的信号传送给图像处理单元2，并能提取图像处理单元处理后的结果。电源单元4为视觉传感器1、图像处理单元2、控制与输入输出单元3提供所需的直流电源；机箱5具有安装与保护各单元功能，具有满足现场需求的防护等级IP54要求。
[0059] 控制与输入输出单元3接受上位机的指令，将判定结果和采集的图像传输给上位机，驱动异物报警信号继电器断开与吸合，也可驱动异物报警门头灯亮与灭。
[0060] 根据成本的考量，本实施案例的视觉传感器也可仅为红外深度图像传感器。下面分别从监测装置的视觉图像传感器的选择、装置的安装方式和监测方法分别叙述实施方案：
[0061] 一、视觉传感器的选择及监测装置的安装
[0062] 在不侵设备限界的前提下，视觉传感器1安装在站台门后封板74与列车门门扇81之间间隙的上方位置，还可根据列车与站台门之间的间隙大小安装在站台固定门75或应急门76 与列车8之间间隙的上方，能清晰拍摄到站台门7、列车8、列车与站台门之间的间隙图像，如图2、3所示。安装高度为2m～3m，优选2.5m。
[0063] 视觉传感器1的视角要根据视觉传感器的分辨率、检测功能、最小异物检测尺寸和站台门与列车间隙大小综合确定，应同时满足最小检测异物尺寸和检测区大小的要求。视觉传感器的V方向视角要大于45°，要能实时采集到列车在站停靠期间，以站台滑动门的踏板72 水平面及防踏空胶条73水平面为等低水平面为底面，以列车车门的门框顶梁82等高水平面为顶面，以站台滑动门7、站台边缘61与列车门门扇81为前后面所形成空间的图像信息。
[0064] 视觉传感器1的红外深度图像传感器12可以选基于结构光的深度图像传感器或基于飞行时间的深度图像传感器。视频图像传感器11、深度图像传感器的分辨率可选640x480、 1280x720或更高，
采样频率大于20帧/s。由于检测距离近，一般检测距离不超过
5m，也为降低检测装置的成本，本实施方案为每个滑动门与站台门之间上方设置一套视频图像传感器和深度图像传感器，分辨率为640x480，H与V方向视角分别为70°与45°，采样频率为 30帧/s；因基于结构光的深度图像传感器或基于飞行时间的深度图像传感器视角大、分辨率高，可根据列车车型不同以及间隙大小
自动调节检测范围，该实施方案适合直线站台、曲线站台及自动驾驶线路，可用于列车是否在站，站台滑动门与列车门的开关状态，列车门与站台滑动门的门缝位置，列车与站台门之间是否有异物入侵检测，轨行区是否有异物入侵，判定异物大小和异物是否影响行车安全等主要事件。对于采用基于飞行时间的深度图像传感器，其抗环境光可达120klx，本实施方案可在地下站、地面站台或高架站台使用。
[0065] 视觉传感器1中的红外深度图像传感器12也可采用4层或8层或16层或32层或64层或更高层数的激光扫描传感器。扫描的层与层之间角度可选0.5°或1°或2°或3°或3.5°，可以等角度，也可不等角度；扫描线间角度可选0.18°或0.36°或0.5°或1°，最大描角可选96°或180°或270°或360°，扫描频率要求大于15帧/s；因传感器有机械
旋转机构，相对成本较高、可靠性差和体积较大，但检测距离远比深度传感器大许多。
[0066] 本实施例可根据成本、检测异物大小和检测距离要求，选择多层扫描传感器的具体参数，因扫描线与线的角度和扫描层与层之间角度大，且层数小，成本高，适合被检测异物较大的情形；y方向检测范围仅为10cm～30cm，适合站台固定门、应急门与列车之间异物检测，异物发生的位置仅为列车与站台门间的踏板72、防踏空胶条与列车门之间的空隙63部分，且主要是人，发生的频率极低；多层激光扫描传感器的目标可视性差，不建议单独用于异物检测，可用视频监控图像进行异物现场人工确认，也可和视频图像传感器11融合解决检测盲区大和目标可视性差的问题。同时，多层激光扫描传感器采用点光源测距原理通过旋转机械结构获得扫描面和扫描层进行目标深度测量，可检测目标的距离相对更远，可以达到20m～60m 距离，能同时兼顾相邻的固定门、应急门和滑动门。
[0067] 因此，采用多层激光扫描传感器的本异物检测实施方案，主要是用于较大异物检测，最佳和视频图像传感器融合一起使用在直线站台的滑动门、固定门、应急门位置，特别固定门、应急门位置，特别是动车站、高铁站等每节车厢列车门数较少的站台；对于每节车厢有4到 6个列车门的地铁站直线站台，基于多层激光扫描传感器的异物检测实施方案可同时对多个站台滑动门与列车门间、站台固定门(含应急门)与列车间的大异物检测，也可和多个相邻滑动门位置设置的基于结构光的深度图像传感器或基于飞行时间的深度图像传感器的异物检测装置配合一起使用。双检测装置的融合，提高了系统的可靠性，同时也减少了应设置在固定门与应急门位置的设备数量和成本。
[0068] 采用多层激光扫描传感器的本异物检测实施方案，为4层激光扫描传感器，扫描线间角度为0.18°，扫描角度为96°或180°，层与层之间角度为2°、3.5°和3.5°，扫描频率 20帧/s，最大检测距离为30m，可一套装置负责一节车厢与站台门间的人检测。
[0069] 视觉传感器1中的视频图像传感器11和红外深度图像传感器12可以安装在站台门与列车之间不同位置，也可安装在同一机箱内。但为了方便两类
图像配准以实现信息融合，本实施例将视频图像传感器11和红外深度图像传感器12固定在一个机箱内。
[0070] 本实施方案也可采用集中处理方式，视觉传感器1、控制与输入输出单元3和电源单元4 安装在一个机箱5内，站台所有异物监测装置共用一套图像处理单元2，图像处理单元2带有高性能GPU处理器和
大容量存储单元，集中设置在站台门机房或站台控制中心，通过各异物监测装置的控制与输入输出单元3与安装在站台门与列车之间上所有的视觉传感器1相连。
[0071] 二、图像配准与几何校正
[0072] 为了提高异物识别装置的适应性、可靠性和准确性，实现多源图像融合，以及解决因视觉传感器安装位置造成图像的几何失真，需将视觉传感器采集的视频图像RGB(x,y)、深度图像D(x,y)和红外图像IR(x,y)，配准校正整合成在一个三维坐标体系的RGBIRD(x,y)，配准可在装置出厂时配准，也可安装到现场后再配准。因深度图像D(x,y)和红外图像IR(x,y)是由同一套光学系统获得，它们之间不需配准。在现场配准实施方案过程如下：
[0073] 步骤1：同时采集多帧视频图像RGB(x,y)和深度图像D(x,y)，并进行预处理，如中值滤波、双边滤波和多帧平均等，获得RGBav(x,y)和Dav(x,y)，任意选择一类图像为基准图像，如Dav(x,y)，并选择两种图像共有的不变性关联特征作为空间配准的依据，如固定结构物的直线、角点等。基于轨道交通站台门图像存在多条水平平行直线，如站台滑动门71的边缘、防踏空胶条73的边缘、踏板72的边缘、站台滑动门71与列车门81的门扇上下边框；多条垂直的直线，如站台滑动门71的边梃，列车门前端护指胶条812，且有些边的长度和边框宽度已知特点，如防踏空胶条73的长度与宽带，踏板72的长度、滑动门门扇711的边长，列车门前端护指胶条812的长度与宽带。本实施方案采用Hough变换
抽取两类图像的多条水平直线与垂直直线。
[0074] 步骤2：对检测出的多条直线，按直线的斜率方向分组，分别计算这两幅图像的水平主方向与垂直主方向，进而得到配准图像与基准图像的两个旋转参数α1和α2，本实施例用两个角度的平均值α对RGBav(x,y)进行旋转成RGBavr(x,y)。
[0075] 步骤3：以Dav(x,y)水平主方向两个端点，垂直主方向两个端点，对两类图像对应的像素点及邻域像素进行基于超像素区域的相似度量，通过找到匹配的特征点对(即相似度最高的特征点对)，进而实现两幅图像之间的坐标平移、水平主方向与垂直主方向比例拉伸，从而进行配准，以达到将两类图像像素点统一于同一个坐标。
[0076] 步骤4：以水平主方向与垂直主方向交点为原点，将图像旋转到垂直主方向，进行因视觉传感器安装位置造成的图像几何失真校正，获得配准后的RGBIRD(x,y)图像。配准后的RGBIRD(x,y)图像以x方向为平行站台滑动门方向，y方向垂直站台门方向，以轨行区轨道平面深度值为基准高度值0，每个像素点有可见光图像的颜色与亮度值、三维位置值和有红外光图像的亮度值。
[0077] 对于仅有深度图像传感器的实施方案，仅需对因视觉传感器安装位置造成的图像几何失真校正即可。
[0078] 三、关键构造物区域图像分割及无异物背景模型获得
[0079] 为了减少背景(站台滑动门71与列车门门扇81的玻璃)对目标的影响和减少计算工作量，图像处理单元2对配准后的RGBIRD(x,y)图像进行关键构造物区域分割，本实施方案可采用基于边缘的图像分割方法、基于小波变化的图像分割方法、基于神经网络的图像分割方法或基于聚类的图像分割方法。
[0080] 本实施案例以基于Canny算子和基于Hough变换的直线检测方法实现关键构造物区域图像分割为例。具体的步骤为：
[0081] (1)将RGBIRD(x,y)中的RGB图像转换为灰度图像；
[0082] (2)用高斯滤波模板进行卷积以平滑图像；
[0083] (3)利用微分算子，计算梯度的幅值和方向；
[0084] (4)对梯度幅值进行非极大值抑制；
[0085] (5)使用双
阈值算法检测和连接边缘；
[0086] (6)利用先验知识，进一步利用Hough变换把水平直线中和垂直直线中的不连续边界像素点连接在一起，其它边缘及边缘点去掉，获得RGBIRD(x,y)中关键构造物图像的
边缘图像；同时以这些边缘点为先验知识对深度图像边缘区(空洞)修复。
[0087] (7)基于边缘图像，获得RGBIRD(x,y)中的站台滑动门关键构造物区域图像 RGBIRDPSD(x,y)、列车门关键构造物区域图像RGBIRDRLA(x,y)和站台滑动门与列车门之间间隙关键构造物区域图像RGBIRDGAP(x,y)。列车不在站检测出轨行区无异物，由此时站台滑动门与轨行区之间的边缘图像IRDRLA1O(x,y)和轨道图像IRDRLA2O(x,y)组成下趟列车不在站时的轨行区关键构造物区无异物背景模型IRDRLAO(x,y)；列车进站停稳且站台滑动门与列车门未开过时，由站台滑动门扇的边框图像RGBIRDPSD1If(x,y)和站台滑动门门扇前端边梃内侧边与相邻门扇前端边梃内侧边间的图像RGBIRDPSD2If(x,y)组成的站台滑动门关键构造物图像RGBIRDPSDIf(x,y)，由列车车门门扇边框图像RGBIRDRLA1If(x,y)、门扇前端的护指胶条内侧边缘及相邻护指胶条内侧边缘间图像RGBIRDRLA2If(x,y)构成的列车门区关键构造物图像 RGBIRDRLAIf(x,y)，站台滑动门与列车之间的踏板图像RGBIRDGAP1If(x,y)、防踏空胶条图像 RGBIRDGAP2If(x,y)和防踏空胶条与列车之间的空隙图像RGBIRDGAP3If(x,y)组成的间隙关键构造物图像RGBIRDGAPIf(x,y)，为列车在站时滑动门区域图像RGBIRDPSDIf(x,y)、列车门区域图像RGBIRDRLAIf(x,y)和间隙区域图像RGBIRDGAPIf(x,y)的无异物背景模型。
[0088] 为了减少噪声影响，需对采集的多帧数据进行平均后的图像为无异物背景模型。多帧平均一般采用5～10帧，本实施案例为5帧。
[0089] 对于IRD(x,y)图像情景的关键构造物区域图像分割方法同上，差别是直接在IR(x,y)和 D(x,y)进行。
[0090] 四、列车进站、在站、出站、列车停靠位置、列车编组数及轨行区有无异物检测[0091] 为了提取轨行区有无异物及运动目标列车是否在站离站和轨行区是否有异物，可采用帧间差(含多帧间差)、光流法、背景减除法获得前景目标(列车)进行判断；也可采用抽取轨行区图像特征，设置评价函数f(x,y)，比较轨行区图像的序列图像差别判断。
[0092] 考虑每趟列车在站时间短，以及多源图像、抗环境光干扰强的红外深度图像、检测准确率和图像处理单元的成本，本实施例采用背景减除法，以列车不在站时轨行区无异物时的多帧图像RGBIRDRLAO(x,y)平均值为无异物背景模型，采用多源图像融合的方法实现当前检测帧RGBIRDRLA(x,y)与无异物背景模型减除方式获得前景图像，进行列车进站、在站、出站、列车停靠位置和列车编组数检测，以及轨行区有无异物检测。背景模型也可采用混合高斯模型和Vibe法进行背景建模。
[0093] 轨行区无异物模型建立方法是采用每天经人工确认或运营前头车经过后确认轨行区无异物时轨行区多帧图像的平均值为初始值，实时比较列车离站后轨行区图像差异，判断列车离站后是否有遗留异物或新入侵的人和异物，直至下趟列车进站为止。如果没有检测到异物，则利用这趟列车离站到下趟列车进站之间的轨行区图像对无异物背景模型更新，获得下趟列车离站轨行区无异物背景模型，以适应轨行区环境变化，提高检测准确性。如果有异物，则对清除异物后轨行区的图像对无异物轨行区背景模型更新。
[0094] 列车进站、在站和离站的判定方法同轨行区是否有新增异物和遗留异物判定方法相同，差异为异物的大小的门限而已。
[0095] 本实施例采用背景减除方法，实施判定方法步骤如下：
[0096] 步骤1：在列车停运或基于列车运行时刻表或其它方法确认列车不在站且轨行区无异物时间，计算n帧轨行区关键构造物区域图像RGBIRDRLA(x,y)的平均值为列车不在站和轨行区无异物背景图像RGBIRDRLAO(x,y)＝RGBRLAO(x,y)+IRRLAO(x,y)+DRLAO(x,y)，n取值为 10～100帧即可，本实施例n取10。
[0097] 步骤2：输入新一帧或多帧图像RGBIRDRLA(x,y)的平均值与RGBIRDRLAO(x,y)减除，采用门限方法分别获得视频图像前景二值图像RGBIRDRLAQB(x,y)、红外图像前景二值图像 IRRLAQB(x,y)和深度图像前景二值图像DRLAQB(x,y)；
[0098] 步骤3：采用数学形态方法的
腐蚀与膨胀运算，分别去除步骤2所获得的各前景图像的小噪声；
[0099] 步骤4：把视频图像、红外图像和深度图像的前景图像融合为新的前景图像：
[0100] RGBIRDRLAQB(x,y)＝α*RGBRLAQB(x,y)+β*IRRLAQB(x,y)+γ*DRLAQB(x,y)[0101] 其中α+β+γ＝1，α、β、γ为设定常数，取值范围0～1，可根据实际情况标定。
[0102] 步骤5：测量在x-y平面的各位置的物体(前景)图像面积和该区域深度图像区域平均高度，如果某个异物监测装置监测到物体图像面积和高度均大于设定门限，如前景图像二值面积门限为大于4m2，且高度门限大于1m，则判定该位置列车在站；如前景图像二值面积门限为大于40cm2，且高度门限大于5cm，则判定该位置列车不在站，但有异物；否则，该位置列车不在站，无异物；
[0103] 步骤6：根据输入序列图像判断有无列车在站的变化顺序，判断列车是进站、在站、出站，根据所占据站台位置及位置多少可判定列车停放站台位置和列车编组数。
[0104] 对于IRDRLA(x,y)图像处理方法同上。
[0105] 五、列车停稳检测
[0106] 通过设置评价函数，评价当列车进站时，图像的变化情况判断图像列车是否停稳，如采用多帧图像RGBIRDRLA(x,y)的帧间差绝对值平均值判定，也可通过光流方法判定列车是否已停稳。本实施例采用多帧图像RGBIRDRLA(x,y)的相邻帧间差绝对值平均值判定：
[0107] 步骤1：将RGBIRDRLA(x,y)中的RGBRLA(x,y)图像转换为灰度图像后计算n帧图像所有前后帧差绝对值的均值图像RGBRLAD(x,y)，计算n帧IRRLA(x,y)图像所有前后帧图像差绝对值的均值图像IRRLAD(x,y)，计算n帧DRLAD(x,y)图像所有前后帧图像差绝对值的均值图像 DRLAD(x，y)。
[0108] 步骤2：计算评价函数：
[0109] FTRAW(x,y)＝α*RGBRLAD(x,y)+β*IRRLAD(x,y)+γ*DRLAD(x，y)
[0110] 其中α+β+γ＝1，α、β、γ为设定常数，取值范围0～1，可根据实际情况标定。
[0111] 步骤3：判断评价函数FTRAW(x,y)是否小于设定门限，如果是，评定为列车停稳。
[0112] 六、列车门与站台滑动门开关状态及两扇门扇间门缝位置检测
[0113] 1、通过测量两扇门扇前端边梃间的距离实施案例为：
[0114] 1)、滑动门两扇门扇间的门缝位置和开门的检测
[0115] 步骤1：在列车进站停稳开始，对序列图像RGBIRDPSDI2(x,y)进行
边缘检测，基于Hough 变换，检测出实际长度大于1m以上的最长的几条垂直直线，并记录其位置；
[0116] 步骤2：计算垂直直线之间的相对位置，测量它们之间距离变化情况，将RGB、IR和D 图像检测的结果融合后判断出两扇门扇前端的两条边梃内侧边线；
[0117] 步骤3：计算两条边梃内侧边线间的中心线，为两扇门扇间的门缝位置；
[0118] 步骤4：测量两条边梃内侧边线的间距，记录间距值最小时的位置和时刻，记录此时的间距为关门门限，记录此时两条边梃内侧边线位置为关门两条边线检测线；
[0119] 步骤5：测量两条边梃内侧边线的间距，当间距大于关门门限值一定比例时，则判定此时滑动门已打开；
[0120] 2)、滑动门开了又关门的检测
[0121] 因站台滑动门开后又关时，可能门扇间隙缝夹有异物，可能异物会干扰边梃外边缘线，故只要检测到门扇部分位置关好就代表滑动门已关闭，实施例为：
[0122] 步骤1：对序列图像RGBIRDPSDI2(x,y)进行边缘检测，基于Hough变换，检测出多条长度大于一定门限的垂直直线，如大于10cm长的垂直直线；
[0123] 步骤2：测量这些直线中，是否有两条或多条与两条关门时边梃外边线的距离分别小于设定门限值，如果小于设定门限值，表明此时滑动门已关闭。
[0124] 2、比较两扇门前端边梃间图像变化检测的方法为：通过判断两扇门扇间中心线位置的图像与两扇门扇前端边梃位置图像差异，判断滑动门是否开门、两扇门扇间隙缝位置、是否关门，本实施例仅基于深度图像DPSD2(x,y)判断，也可基于RGBIRDPSD2(x,y)图像判断，或采用复合检测方式判断。实施步骤具体为：
[0125] 步骤1：在列车进站停稳开始，输入两扇滑动门前端边梃内侧边之间的图像 RGBIRDPSD2(x,y)中的DPSD2(x,y)序列图像；
[0126] 步骤2：计算每一行的前后像素的差值绝对值大小，当所有的差值大小都小于某一门限，表示列车门还处于关闭状态，并记录此时两扇滑动门前端边梃内侧边之间的中间位置 DPSD2m(i,l)为关门时背景模板图像DPSD2mB(i,l)，位置为列车门关门时两扇门扇间的门缝位置；
[0127] 步骤3：计算两扇滑动门前端边梃内侧边之间的中间位置的每行图像DPSD2m(x,y)是否大于DPSD2mB(i,l)设定值，当有连续m行图像都大于设定值时，表示此时列车门已打开。例如连续m行为15cm，高度差门限值的设定值如为3cm，则判断列车门打开；
[0128] 步骤4：计算两扇滑动门前端边梃内侧边之间的中间位置的每行图像DPSD2m(i,l)与 DPSD2mB(i,l)差值绝对值大小，当有连续n行图像的差值小于设定门限，表示此时列车门已关闭。如连续n行图像的差值为10cm，设定的高度差门限如为3cm，则判断列车门未关闭；
[0129] 对于列车门的开关和两扇门间的门缝检测同滑动门检测实施例原理相同。
[0130] 七、站台滑动门与列车门之间的异物、异物大小的检测和种类判断[0131] 为了检测是否有异物，可采用帧间差(含多帧间差)、光流法、背景减除法获得前景目标 (异物)判断，也可采用抽取轨行区图像特征，设置评价函数f(x,y)，比较轨行区
图像序列图像差别判断。
[0132] 考虑每趟列车在站时间短，多源图像、抗环境光干扰强的红外深度图像、检测准确率和图像处理单元的成本，本实施例采用背景减除法，分别以列车进站停稳且站台滑动门与列车门未开过时的站台滑动门区、列车门区和间隙区的多帧图像RGBIRDGAP(x,y)平均值为背景模型，或将组合成各区的关键构造物图像平均值做为各关键构造物区背景模型，采用多源图像融合的方法实现当前检测帧RGBIRDGAP(x,y)与背景模型减除方式获得前景图像，并分区或分关键构造物区进行异物、异物尺寸和异物种类判定，进一步融合评估异物是否影响行车安全，发出检测结果和驱动各外设。背景模型也可采用混合高斯模型和Vibe法建模。
[0133] 本实施例基于RGBIRDGAP(x,y)图像，采用背景减除方法，以间隙区域异物检测为例，说明异物检测方法，其它区域异物检测和基于IRDGAP(x,y)图像异物检测方法类似。步骤如下：
[0134] 步骤1：在列车进站停稳且没有开过站台滑动门与列车门时，计算n帧序列图像 RGBIRDGAP(x,y)的平均值为列车在站且无异物背景图像 RGBIRDGAPIf(x,y)＝RGBGAPIf(x,y)+IRGAPIf(x,y)+DGAPIf(x，y)；
[0135] 步骤2：输入新一帧图像RGBIRDGAP(x,y)与RGBIRDGAPIf(x,y)减除并使用二值化门限技术，分别获得视频图像前景二值图像RGBGAPQB(x,y)、红外图像前景二值图像IRGAPQB(x,y)和深度图像前景二值图像DGAPQB(x,y)，其中属于前景图像值为255，
背景像素值为0；
[0136] 步骤3：采用数学形态方法，分别去除各前景图像干扰部分；
[0137] 步骤4：把视频图像、红外图像和深度图像的前景图像融合为新的前景二值图像：
[0138] RGBIRDGAPQB(x,y)＝α*RGBGAPQB(x,y)+β*IRGAPQB(x,y)+γ*DGAPQB(x,y)[0139] 其中α+β+γ＝1，α、β、γ为设定常数，取值范围0～1，可根据实际情况标定。
[0140] 步骤5：测量在x-y平面的各位置的异物(前景)图像面积和该区域深度图像平均高度，可获得异物大小尺寸，并根据设定门限，判断是否影响行车安全和是否发出警报；
[0141] 步骤6：以RGBIRDGAPQB(x,y)确定的图像边界，分别对RGBGAP(x,y)、IRGAP(x,y)和 DGAP(x,y)区域基于SIFT算法抽取不变的特征，与常见异物SIFT特征
数据库作描述子
配对，判断异物种类，进一步优化判断是否影响行车安全和是否发出警报。如异物种类为口香糖、纸、纸杯等异物为不会影响影响行车安全。
[0142] 八、站台固定门、应急门与列车之间的异物检测
[0143] 在地铁站台固定门、应急门与列车门之间的异物一般极少发生，主要发生在列车与站台门之间宽间隙的情况，如曲线站台、城轨和动车高铁站台，此时需在列车与站台固定门、应急门之间上方设置视觉传感器，仅需检测站台门踏板、站台门踏板与列车之间空隙部分区域图像就可，检测方法可采用上述站台滑动门与列车门之间间隙图像检测方法。
[0144] 九、站台滑动门与列车门开时的列车门与站台门之间人、物及门槽异物检测[0145] 同异物检测实现案例，列车在站且列车门与站台滑动门已打开，比较列车进站停稳且列车门与站台门未开过时的间隙图像RGBIRDGAPIf(x,y)这一背景图像，与列车在站且列车门与站台滑动门开门后的间隙图像RGBIRDGAP(x,y)的差别，判断是否有人与物进出站台滑动门与列车门，包括站台滑动门与列车门的门槽异物，并可以将检测信息发送给站台门系统和列车系统，为控制列车与站台滑动门的关闭时刻和力度提供检测数据。
[0146] 判定新增物与人的方法是抽取关键构造物区域的图像
特征向量，设置评价函数，比较采集图像与背景图像特征向量差异进行判断有无新增人与物。也可采用背景图像减除方法获取前景图像判定有无新增物与人，根据前景图像边缘和高度信息，计算新增物体(异物)的最小外接立方体，还可根据设定值大小优化判断是否可以关门及关门力度大小条件。
[0147] 基于IRDGAP(x,y)的实施案例原理同上，仅对IRGAP(x,y)和DGAP(x,y)两类图像检测。
[0148] 以上对本发明实施案例所提供的基于机器视觉的轨道交通站台门与列车间异物监测装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本
说明书内容不应理解为对本发明的限制。
