技术领域
[0001] 本
发明属于煤炭自动化设备领域，特别是涉及到一种分拣煤与煤矸石的设备与方法。
背景技术
[0002] 煤矸石是煤生产加工过程中排放的固体废物，是一种含
碳量较低、比煤坚硬的
岩石。为了提高煤的品质，煤矸石分拣是煤矿生产中不可或缺的一个环节。
[0003] 目前煤矸石分拣主要有湿选法、干选法和人工分拣法。湿选法包括跳汰法、重介法，其特点是利用煤与煤矸石
密度不同，将原煤置入溶液中，实现煤与煤矸石的分离。此种方法所需设备庞大，工艺复杂且分拣效率地下，造成严重的环境污染。干选法包括利用煤与煤矸石两者强度不同而采用滚筒碎选，或利用两者对光透射率不同采用双能γ射线投射识别分拣，前者破坏了煤
块外形，分拣率较差，设备庞大，后者设施昂贵，且存在
辐射。此外，人工筛选工作环境恶劣，劳动强度大，易误选和漏选。
发明内容
[0004] 本发明提供了一种分拣煤与煤矸石的设备与方法，实现煤与煤矸石的自动化筛选，降低成本，提高筛选
精度，避免环境污染。
[0005] 为达到上述目的，本发明的技术方案是这样实现的：
[0006] 一种分拣煤与煤矸石的设备，包括输送线、排队机构、摄像快
门触发器、测量台、分拣执行机构、
中央处理器；所述排队机构、摄像快门触发器、测量台、分拣执行机构依次设置在输送装置上，并与中央处理器
信号连接。
[0007] 进一步的，所述输送线为若干条，每条输送线包括依次设置的上料输送线、差速输送线、分流输送线、汇流输送线；所述排队机构设置在并列的上料输送线上方；所述差速输送线用于扩大物料之间的间距；所述测量台设置于分流输送线上；所述摄像快门触发器(摄像触发器为一对对射式光电
传感器)设置于测量台入口处边缘的
位置；所述分拣执行机构设置于测量台上。
[0008] 更进一步的，所述排队机构由龙门架、摄像机以及
拨片机构及物料
挡板组成；龙门架置于输送线上方；摄像机置于龙门架横梁中间处，拨片机构位于龙门架横梁下方；摄像机通过线路连接中央处理器，中央处理器对摄像机获取的物料画面进行视觉
算法处理，针对煤矸石的
颜色特征，利用自适应二值化算法将图像二值化处理，然后统计图像
像素非零值的数量比例，用以衡量物料密集程度，并控制调整拨片机构的运行速度，将输送线上的密集煤块分离开来。
[0009] 更进一步的，所述拨片机构由伺服
电机、
导轨、
丝杠及拨片组成，所述导轨设置于龙门架横梁下端面，所述拨片设置于导轨上，所述
伺服电机设置于龙门架，通过丝杠控制拨片移动。
[0010] 进一步的，所述测量台包括视觉摄像单元、动态称重传感器；所述视觉摄像单元主要由位于对准摄像区域多个
角度的
深度相机组成；所述深度相机均与中央处理器连接；动态称重传感器置于摄像区域内的输送线下方，采集重量数据发送到中央处理器。
[0011] 更进一步的，所述深度相机在待测物周围360度区域内均匀分布。
[0012] 进一步的，所述设置在测量台上的分拣执行机构包括推料板和料斗，其中推料板设置在测量台上，与中央处理器连接；所述料斗设置在推料板推料方向的测量台侧。
[0013] 本发明的另一方面，还提供了一种分拣煤与煤矸石的方法，包括：
[0014] S1、队形排列：首先将输送线无序杂乱的煤石经过排队机构排序，块状物料依次排列并留有间隙；其次利用差速输送线，扩大煤石之间的间距；
[0015] S2、获取目标物
深度图像信息：待排列好的煤与煤矸石进入摄像区域，摄像单元由触发信号驱动拍照，通过在目标物料的不同角度对物料进行拍照，得到目标物料在各个角度上的深度图像信息；
[0016] S3、体积测量：通过对深度图像信息进行处理，根据点
云数据，拟合目标物料在一个维度下的切片轮廓，进而对目标物料的一个维度的切片面积积分求其体积；
[0017] S4、密度计算：通过称重传感器获取目标物料的重量，根据公式密度ρ＝
质量m/体积V计算目标物密度；
[0018] S5、分拣执行：根据计算得到的目标物料密度，对比密度
阈值，判定物料是煤或煤矸石；若判定为煤矸石，分拣执行机构通过推料板将煤矸石推到料斗中；若判定为煤，分拣执行机构无动作，煤沿着输送线进入汇流输送线中。
[0019] 更进一步的，步骤S3所述体积测量的具体步骤为：
[0020] S3.1、单个深度相机的标定：包括深度相机所包含的RGB摄像头和红外摄像头内参的标定以及两个摄像头之间的外参标定；
[0021] S3.2、多个深度相机的标定：通过步骤3.1的标定方法得到单个相机的内参数矩阵和外参数矩阵，相机的外参数矩阵表征的是相机相对于某一个标定板的
位姿；多个相机的标定则根据这一原理，通过获取多个相机相对于同一标定板的外参数矩阵，从而得到各个深度相机之间的
坐标系变换矩阵；
[0022] S3.3、物体深度信息获取：不同角度的深度相机需设定时间间隔启动拍摄采图，根据各个深度相机之间的标定结果，将各个相机采集的深度信息转换到同一坐标系下，进而得到物体的全景深度信息；
[0023] S3.4、深度信息预处理：借助维度
滤波器将背景数据提出；之后根据点云之间的分布和相对几何关系进行高斯平滑滤波将噪声数据提出；即构建描述点云空间位置关系的octree，以便对点云的快速检索；根据最近邻K个点之间的分布和相对几何关系，计算高斯混合模型的均值和方差，进行高斯平滑滤波将噪声数据提出；
[0024] S3.5、被测物体体积测量：借鉴多重积分的思想，将不规则物体按照一个维度进行切片，将不规则体积计算转化为不规则几何图形面积进行计算。
[0025] 更进一步的，步骤S3.5的具体方法为：
[0026] 首先利用局部多项式拟合方法获得物体特定切片的连续轮廓：假定有N个离散轮廓点Pi(xi,yi),i＝1,2,…,N,由这些轮廓点拟合出的多项式函数为：
[0027] y(x)＝a0+a1x+a2x2+a3x3；
[0028] 其中a为多项式系数；
[0029] 构造拟合的目标函数为N个离散轮廓点到上述多项式曲线的距离之和，公式如下：
[0030]
[0031] 其中yi为离散轮廓点的纵坐标；
[0032] 通过广义矩阵逆，可直接求出拟合的多项式函数y(x)的最优解；
[0033] 然后利用积分的方法计算物体特定切片的面积，即拟合的多项式函数y(x)与x轴在[xmin，xmax]区间段包围的面积，积分求面积公式如下：
[0034]
[0035] 最后利用积分的方法，计算待测物的体积。待测物的体积为物体切片面积在z轴上的积分，计算公式如下：
[0036]
[0037] 与
现有技术相比，本发明具有如下的有益效果：
[0038] (1)本发明实现煤与煤矸石的自动化筛选，降低成本，提高筛选精度，避免环境污染；
[0039] (2)本发明借助多深度相机标定技术以及点云匹配技术，可融合多个视角的深度数据，重构不规则物体的三维空间尺寸信息，提高了测量单元的
稳定性、鲁棒性及测量精度；
[0040] (3)利用切片法将不规则物体的三维空间尺寸切成n片不规则的图形，借助积分法求取不规则物体的体积，极大的提高了体积计算精度，以及对不规则程度的适应性；
[0041] (4)采用深度相机拍摄目标物，获取目标物体积，排除了自然光照的影响，
图像采集过程中不需加辅助
光源；
[0042] (5)被测量物体不需要360度旋转，提高了多测量环境和装备的适应性，对图像采集单元装置结构变得更简易；
[0043] (6)测量仅需要3
帧深度相机数据，提高了测量的实时性，满足流
水线在线测量的要求。
附图说明
[0045] 图2是本发明实施例的排队机构的结构示意图；
[0046] 图3是本发明实施例的测量台的结构示意图一；
[0047] 图4是本发明实施例的测量台的结构示意图二；
[0048] 图5是本发明实施例的体积测量步骤流程示意图。
[0049] 其中：
[0050] 1、上料输送线； 2、排队机构； 3、差速输送线；
[0051] 4、分流输送线； 5、测量台； 6、汇流输送线；
[0052] 7、拨片； 8、物料挡板； 9、龙门架；
[0053] 10、导轨； 11、摄像机； 12、丝杠；
[0054] 13、对射式
光电传感器； 14、深度相机；
[0055] 15、推料板； 16、料斗。
具体实施方式
[0056] 需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
[0057] 本发明的设计原理是利用煤与煤矸石两者密度不同的特点，结合智能视觉及
图像处理算法，获取煤与煤矸石体积，再根据滚装线上安装的动态称重传感器获取质量，利用密度不同的特点将两者分开。
[0058] 如图1、图2所示，本发明由输送装置、排队机构2、摄像快门触发器、测量台5、分拣执行机构、中央处理器组成；
[0059] 其中输送装置包括上料输送线1、差速输送线3、分流输送线4、煤汇流输送线6；
[0060] 排队机构2由龙门架9、摄像机11以及拨片机构及物料挡板8组成；
[0061] 龙门架9置于输送装置上方；摄像机11置于龙门架9横梁中间处，与中央处理器连接，中央处理器对摄像机11获取的物料画面进行视觉算法处理，针对煤矸石的颜色特征，利用自适应二值化算法将图像二值化处理，然后统计图像像素非零值的数量比例，用以衡量物料密集程度，并控制调整拨片机构的运行速度，将输送线上的密集煤块分离开来。
[0062] 拨片机构位于龙门架9横梁下方，由伺服电机、导轨10、丝杠12及拨片7组成；所述导轨10设置于龙门架9横梁下端面，所述拨片7设置于导轨10上，所述伺服电机设置于龙门架9，通过丝杠12控制拨片7移动。
[0063] 摄像快门触发器为一对对射式光电传感器13，置于测量台5接近拍摄区域边缘的滚装线上；所述对射式光电传感器13连接中央处理器；
[0064] 测量台5由拍摄区域的视觉摄像单元、动态称重传感器组成；
[0065] 视觉摄像单元由位于待测物体多个角度的深度相机14组成，深度相机14可以选择TOF相机，Kinect相机；深度相机14均与中央处理器连接，受中央处理器控制；
[0066] 当样品进入测量台5拍摄区域内，对射式光电传感器13发送触发信号至中央处理器，中央处理器控制深度相机14采集图像，为避免相机拍照互相干扰，不能同时拍摄，需要间隔一定时间让深度相机14分别拍照
[0067] 动态称重传感器置于摄像区域内的输送线下方，采集的重量数据发送到中央处理器；
[0068] 分拣执行机构设置在测量台5，包括推料板15和料斗16，其中推料板15设置在测量台5上，与中央处理器连接；所述料斗16设置在推料板15推料方向的测量台5侧。
[0069] 本发明所述分拣煤与煤矸石步骤：
[0070] 1、队形排列：首先利用龙门架9上方摄像机11上的视觉识别，将流水线无序杂乱的煤石经过排队装置排序，块状物料依次排列并留有间隙；其次利用差速输送线3，扩大煤石之间的间距，便于对煤石进行逐个检测测量；
[0071] 2、获取目标物深度图像信息：待排列好的煤与煤矸石进入摄像区域，摄像机11由触发信号驱动拍照，通过在目标物体的不同角度对物体进行拍照，得到目标物体在各个角度上的深度图像信息；
[0072] 3、体积测量：通过对深度图像信息进行处理，根据点云数据，拟合目标物体在一个维度下的切片轮廓，进而对目标物的一个维度的切片面积积分求其体积。
[0073] 4、密度计算：通过称重传感器获取目标物体的重量，根据公式密度ρ＝质量m/体积V计算目标物密度。
[0074] 5、分拣执行：中央处理器依据设定的密度阈值，判定物料是煤或煤矸石；若判定为煤矸石，分拣执行机构根据
控制器的指令，用推料装置将煤矸石推到料斗16。若判定为煤，执行机构无动作，煤沿着输送线进入汇流输送线6中。
[0075] 其中，体积测量步骤为：
[0076] (一)单个深度相机14的标定
[0077] 商用的深度相机14(以TOF相机Microsoft Kinect为例)，一般都包含一个RGB摄像头和一个
感知深度的红外摄像头，因此单个深度相机14之间的标定涉及到RGB摄像头和红外摄像头内参的标定以及以及两个摄像头之间的外参标定。
[0078] 内参标定采用著名的张正友标定法，固定相机位置采集多张不同位姿的黑白棋盘格标定板的图像(注意红外摄像头采集时需要遮挡住深度相机14的主动红外光源)，利用如下公式计算相机的内参数矩阵：
[0079]
[0080] 其中，M是相机的内参数矩阵，维度为3×3；R是相机的外参数旋转矩阵，维度为3×3；T为相机的外参数平移向量，维度为3×1，[X Y Z]T为世界坐标系下的点坐标；[u v]T为图像坐标系下的点坐标；s为缩放系数，一般等于相机坐标系下的深度信息。
[0081] 外参标定实际上是RGB摄像头和红外摄像头之间的相对位姿标定，RGB摄像头和红外摄像头之间的位姿关系可以表示为：
[0082]
[0083] 其中Pir为红外摄像头坐标系下的点坐标，维度为3×1；Prgb为RGB摄像头坐标系下的点坐标，维度为3×1； 为红外摄像头坐标系到RGB摄像头坐标系的旋转矩阵，维度为3×3； 为红外摄像头坐标系到RGB摄像头坐标系的平移矩阵，维度为3×1。
[0084] 同理，世界坐标系下的点到RGB摄像头坐标系和红外摄像头坐标系的转换关系可以表示为：
[0085]
[0086]
[0087] 其中 为世界坐标系到RGB摄像头坐标系的旋转矩阵，维度为3×3；Pw为世界坐标系下的点坐标，维度为3×1； 为世界坐标系到RGB摄像头坐标系的平移矩阵，维度为3×1； 为世界坐标系到红外摄像头坐标系的旋转矩阵，维度为3×3； 为世界坐标系到红外摄像头坐标系的平移矩阵，维度为3×3。
[0088] 假定RGB摄像头和红外摄像头看到的为相同的点，则将公式(3)(4)带入公式(2)可以得到：
[0089]
[0090] 展开后得到：
[0091]
[0092] 由等式(6)可进一步得到：
[0093]
[0094]
[0095] RGB摄像头和红外摄像头同时观测同一个标定板，利用张正友标定算法可以估算出RGB摄像头和红外摄像头相对于当前标定板定义的世界坐标系的外参数矩阵，即将多帧的观测结果带入公式(8)即可最优估算出 和 即RGB摄像头和红外摄像头之间的旋转平移矩阵。
[0096] 由公式(1)可知，RGB摄像头坐标系下的点坐标Prgb映射到图像坐标系的可由以下公式得到：
[0097]
[0098] 其中，srgb为RGB摄像头提供的深度信息。
[0099] 同理可以得到：
[0100]
[0101]
[0102] 其中sir为红外摄像头提供的深度信息。
[0103] 将公式(11)带入公式(2)，可以得到：
[0104]
[0105] 将(12)代入(9)中可得，
[0106]
[0107] 此公式为深度信息注册到RGB图像的公式，即重投影公式。利用多帧观测结果进行重投影优化可进一步提高深度相机14的标定精度。
[0108] (二)多个深度相机14的标定
[0109] 多个深度相机14标定的目标是通过标定方法得到各个深度相机14之间的坐标系变换矩阵。在完成单个深度相机14标定的前提下，多深度相机14标定的本质为标定多个深度相机14的RGB摄像头坐标系之间的变换矩阵，其标定方法与上述推导类似，同样可以使用重投影优化提高多个相机之间的标定精度；
[0110] 所述变换矩阵的具体方法为：
[0111] 相机的外参数矩阵表征的是相机相对于某一个标定板的位姿；多个相机的标定则根据这一原理，通过获取多个相机相对于同一标定板的外参数矩阵，从而得到各个深度相机14之间的坐标系变换矩阵；
[0112] (三)物体深度信息获取
[0113] 本方法为了实现对不规则物体的体积测量，需要得到被测量物体360°全景范围内的深度信息。为满足上述要求以及避免多个深度相机14之间相互干扰，实现传送带物体动态测量，位于待测物体周围不同角度的深度相机14需设定时间间隔启动拍摄。
[0114] 当传送带上物体经过拍摄区域时，快门触发器检测到物体后触发相应的深度相机14采图。然后根据多个深度相机14之间的标定结果，可将各个相机采集的深度信息转换到同一坐标系下，进而得到了物体的全景深度信息。
[0115] 本实施例中，物体深度信息获取的具体方法为：不同角度(0°，120°，240°)的3个深度相机需设定时间间隔启动拍摄采图，然后根据各个深度相机之间的标定结果(坐标系转换矩阵)，将3个相机采集的3张深度图转换到同一坐标系下，进而得到物体的全景深度信息；
[0116] (四)深度信息预处理
[0117] 通过多个深度相机14获取的深度数据既包含了物体数据，又包含了传送带等背景数据，同时还包含了环境干扰或者设备自身精度原因造成的噪声数据。因此预处理的目标为通过有效的方法剔除背景数据和噪声数据，获取有效的被测物体深度信息数据。相对于物体数据，背景数据基本为特定深度的数据，例如传送带平面。因此借助维度滤波器可以将大部分背景数据提出。之后根据点云之间的分布和相对几何关系进行高斯平滑滤波则可将大部分噪声数据提出。即构建描述点云空间位置关系的octree，以便对点云的快速检索；根据最近邻K个点之间的分布和相对几何关系，计算高斯混合模型的均值和方差，进行高斯平滑滤波将噪声数据提出；
[0118] (五)被测物体体积测量
[0119] 本方法针对的是不规则物体的体积测量，不能使用简单的长宽高相乘的方法计算体积。一般而言获取的点云都是稀疏的，为了计算体积必须获取物体的连续轮廓边缘，需要采用拟合的方法获得。因为物体表面的不规则性，用平面或者曲面拟合的方法必然会产生较大的误差且计算效率比较低下。本方法借鉴多重积分的思想，将不规则物体按照一个维度进行切片，将不规则体积计算转化为不规则几何图形面积的计算。考虑到点云数据的稀疏性，本方法首先利用局部多项式拟合方法获得物体特定切片的连续轮廓：假定有N个离散轮廓点Pi(xi,yi),u＝1,2,…,N,由这些轮廓点拟合出的多项式函数为：
[0120] y(x)＝a0+a1x+a2x2+a3x3；
[0121] 其中a为多项式系数；
[0122] 构造拟合的目标函数为N个离散轮廓点到上述多项式曲线的距离之和，公式如下：
[0123]
[0124] 其中yi为离散轮廓点的纵坐标；
[0125] 通过广义矩阵逆，可直接求出拟合的多项式函数y(x)的最优解；
[0126] 然后利用积分的方法计算物体特定切片的面积，即拟合的多项式函数y(x)与x轴在[xmin，xmax]区间段包围的面积，积分求面积公式如下：
[0127]
[0128] 最后利用积分的方法，计算待测物的体积。待测物的体积为物体切片面积在z轴上的积分，计算公式如下：
[0129]
[0130] 以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员，在不脱离本发明构思的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明保护范围内。
