首页 / 专利库 / 物理 / 剪切速率 / 基于单摄像机等效双目立体视觉模型的泡沫立体特征提取方法

基于单摄像机等效双目立体视觉模型的泡沫立体特征提取方法

阅读:381发布:2022-11-01

专利汇可以提供基于单摄像机等效双目立体视觉模型的泡沫立体特征提取方法专利检索,专利查询,专利分析的服务。并且本 发明 公开了一种基于单摄像机等效双目 立体视觉 模型提取浮选 泡沫 立体特征的方法。在单摄像机获取浮选生产现场泡沫视频的 基础 上,利用视频中相邻两 帧 图像因泡沫流动而产生的差异信息,将一台摄像机从一个方位在不同时刻拍摄的流动泡沫的两帧图像,看作两台摄像机从不同方位在同一时刻拍摄的同一场景下的两幅泡沫图像,等效构建模拟人眼成像过程的双目立体视觉模型,获得泡沫图像中气泡的深度信息,进而提取气泡的立体特征,以用于有效识别有色金属浮选工况,实现对有色金属浮选过程的优化控制。,下面是基于单摄像机等效双目立体视觉模型的泡沫立体特征提取方法专利的具体信息内容。

1.一种基于单摄像机等效双目立体视觉模型的泡沫立体特征提取方法,其特征在于包括以下步骤:
步骤一:获取有色金属浮选工业现场浮选槽内浮选工矿泡沫视频;
步骤二:利用视频中图像因泡沫流动而产生的图像变化,将步骤一视频中相邻两泡沫图像,看作由两台摄像机从不同方位在同一时刻拍摄的同一场景下的两幅泡沫图像;采用宏搜索策略获得两帧泡沫图像中最为匹配的宏块,并获得宏块在x、y方向上的偏移量;利用所获得的偏移量来分别获取两帧图像的重叠部分并构建可重叠视场,得到模拟人眼双目成像过程的等效左眼和右眼图像;
步骤三:分别对步骤二得到的等效左眼和右眼图像进行图像分割,得到气泡连通区域;
对分割后的气泡连通区域进行预处理,去除非气泡连通区域以得到气泡区域;然后对气泡区域进行标记以区分相同或不同气泡;对已完成标记的气泡区域,先进行气泡匹配,通过计算得到各个气泡的质心和面积,然后取质心距离最短且面积差异最小时的气泡作为等效左右眼两幅图像中最为匹配的气泡对;再在最为匹配的气泡对上进行气泡宏块匹配,取包含单个气泡质心且余弦相似度最大时的宏块作为等效左右眼图像中最为匹配的气泡宏块,并获得该气泡在x、y方向上的局部偏移量;进而得到每个气泡的等效左、右摄像机基线距离,并求取相应每个气泡的深度;
步骤四:由步骤三得到气泡深度,计算气泡的高度和体积;再根据步骤三得到的左、右眼图像中的气泡匹配对来获取左、右眼图像中的相对红色分量,通过求相对红色分量的均值用来表征气泡的立体颜色特征,然后根据步骤二中得到的宏块在x、y方向上的偏移量求出泡沫的平均流动速度,最后根据步骤三中气泡匹配结果得出泡沫的平均破碎率,即得到浮选工矿泡沫图像的立体泡沫特征。
2.根据权利要求1所述的基于单摄像机等效双目立体视觉模型的泡沫立体特征提取方法,其特征在于,所述步骤一中获取泡沫视频包括以下步骤:
构建浮选泡沫图像获取平台:将一个摄像机垂直安装于有色金属浮选工业现场的浮选槽上方,距离泡沫层的高度为90-125cm,摄像机通过光纤连接图像采集卡,图像采集卡连接计算机,摄像机拍摄泡沫层视频信号并由图像采集卡转换为数字视频信号送往计算机即获得泡沫视频。
3.根据权利要求1所述的基于单摄像机等效双目立体视觉模型的泡沫立体特征提取方法,其特征在于,所述步骤二包括以下子步骤:
(1)当一台摄像机从一个固定方位拍摄的流动泡沫视频满足以下条件时:
①摄像机所摄视频中相邻两帧图像间隔时间τ足够小;要求摄像机每秒拍摄视频大于等于15帧,则τ≤0.0667秒;
②在时间τ内,流动的气泡可看做是不可压缩的理想流体,也就是说,气泡内部液体的质量不会导致气泡内部的压变化,即 其中 为泡沫流动速度向量, 为散
度算子;
③在时间τ内,气泡流动可看做是无旋运动,也就是说,气泡内某点的剪切力为常数,即 其中 为旋度算子;
④在时间τ内,气泡流动的速率恒定且方向不变;
⑤在时间τ内,气泡保持其形状结构不变;
根据运动相对性原理,一台摄像机在间隔时间τ内平移所拍摄的静止泡沫的两幅图像,可以等同于泡沫静止而这台摄像机向泡沫流动方向相反移动拍摄的相邻两帧图像,也即由两台摄像机从不同方位在同一时刻拍摄的同一场景下的两幅泡沫图像,满足了用一台摄像机从一个方位拍摄的相邻两帧流动泡沫图像来构建模拟人的左右眼视觉图像的要求;
(2)对相邻两帧泡沫图像进行宏块搜索,取余弦相似度最大时的宏块作为两帧图像中最为匹配的宏块,并获得其在x、y方向上的偏移量;进而分别获取两帧图像的可重建视场,用以构建模拟人眼双目成像过程的等效左右眼图像;具体步骤如下:
1)取前1帧图像的一个中心矩形宏块,计算投影向量;
在获取的泡沫视频中任取相邻两帧泡沫图像,设前1帧即第i帧泡沫图像为
TM×N(u,v),后1帧即第i+1帧泡沫图像为T′M×N(u,v),其中M×N为图像的分辨率,u=
0,1,…,M-1,v=0,1,…,N-1,分别用g(u,v)、g′(u,v)表示图像TM×N(u,v)、T′M×N(u,v)在坐标(u,v)处像素的灰度值,其中M、N取偶数。
以图像TM×N(u,v)的中心点 为中心,取一个大小为m×n的矩形宏
块Bm×n(i,j),其坐标原点(i=0,j=0)位于图像TM×N的坐标
处。将宏块Bm×n(i,j)分别按第i行、第j列投影,即分别求Bm×n(i,j)第i行、第j列所有像素的灰度值之和,得到第i行、第j列的投影分别为:
公式1
公式2
将m个行投影构成一个行向量Rm=[R(0),…,R(i)…,R(m-1)],将n个列投影也构成一个行向量Cn=[C(0),…,C(j)…,C(n-1)],将行、列投影一起构成前1帧泡沫图像TM×N(u,v)中宏块Bm×n(i,j)的投影向量P=[Rm,Cn],其中m、n取偶数,
2)取后1帧图像中所有矩形宏块,分别计算其投影向量;
以后1帧图像T′M×N(u,v)的中心点为中心,取一个与前1帧Bm×n(i,j)大小相同的矩形宏块B′m×n(i,j)。
在T′M×N(u,v)中将宏块B′m×n(i,j)的坐标原点分别沿x方向和y方向逐点移动到(i=i′+sx,j=j′+sy),其中i=0,j=0,sx=-sx,B,…,-1,0,1,…,sx,B,
sy=-sy,B,…,-1,0,1,…,sy,B, 得到4sx,Bsy,B+1个坐标原点在的宏块
其中i′=0,j′=0;
将T′M×N(u,v)中所有宏块 分别按第i′行、第j′列投影,即分别求
第i′行、第j′列所有像素的灰度值之和,得到第i′行、第j′列的投影分别
为:
公式3
公式4
将每一个宏块的m个行投影构成一个行向量R′m=[R′(0),…,R′(i′)…
,R′(m-1)],将n个列投影也构成一个行向量C′n=[C′(0),…,C′(j′)…,C′(n-1)],行、列投影一起构成该宏块 的投影向量P′=[R′m,C′n];
3)搜索T′M×N(u,v)中所有的宏块 寻找与TM×N(u,v)中Bm×n(i,j)最为
匹配的宏块,并获得其在x、y方向上的偏移量;
计算前1帧图像中心宏块Bm×n(i,j)的投影向量P与后1帧图像各宏块 的
投影向量P′的内积,得到前后2帧图像的两宏块间余弦相似度,公式为:
公式5
其中,“·”表示向量点积, ‖(□)‖表示向量(□)的长度;
搜索TM′×N(u,v)中所有的宏块 取余弦相似度最大时对应的
作为与前1帧图像TM×N(u,v)中Bm×n(i,j)最为匹配的宏块,记为
记录此时的sx,match和sy,match,作为宏块B′m×n(i,j)在x、y方向上的偏移量;
4)分别获取相邻两帧图像的可重建视场,用以构建模拟人眼双目成像过程的等效左右眼图像:
提取前1帧图像TM×N(u,v)的第|min(0,sy,match)|行到第M-|max(0,sy,match)|-1行、第|min(0,sx,match)|列到第N-|max(0,sx,match)|-1列的一个大小为(M-|sy,match|)×(N-|sx,match|)的子 图,作 为可重 建视 场,记 为 uR=0,1,…,M-|sy,match|-1,vR =
0,1,…,N-|sx,match|-1;提取后1帧图像T′M×N(u,v)的第|max(0,sy,match)|行到第M-|min(0,sy,match)|-1行、第|max(0,sx,match)|列到第N-|min(0,sx,match)|-1列的一个大小为(M-|sy,match|)×(N-|sx,match|)的子图,作为可重建视场,记为 uL=
0,1,…,M-|sy,match|-1,vL=0,1,…,N-|sx,match|-1。
分别用可重建视场 和 作为模拟人眼双目成像过程的等效左
眼图像和右眼图像。
4.根据权利要求1所述的基于单摄像机等效双目立体视觉模型的泡沫立体特征提取方法,其特征在于,所述步骤三包括以下子步骤:
(1)对步骤二得到的等效左、右眼图像采用分算法分别进行分割,得到不同气泡连通区域并计算各气泡连通区域的像素面积;
(2)对分割后的等效左、右眼图像气泡连通区域分别进行预处理为:去除像素面积小于500且灰度方差大于80的非气泡像素连通区域,得到预处理后的气泡区域。
(3)对预处理后的等效左、右眼图像气泡区域采用四邻域扫描标号方法分别进行标记,即对图像中相互连通的像素赋予同样的标号,表示该连通区域为同一气泡;对图像中不同连通区域内像素赋予不同的标号,表示不同气泡;像素值为0的像素连线表示分割线;记左、右眼图像中气泡标号分别为k、l,k=1,2,…,kL,l=1,2,…,lR,kL为左眼图像中标记气泡的总数,lR为右眼图像中标记气泡的总数;
(4)对等效左、右眼图像中已标记了的气泡区域,进行气泡匹配,取质心距离最短且面积差异最小时的气泡作为左、右眼图像中最为匹配的气泡,具体步骤如下:
1)计算等效左、右眼图像中气泡k、l的(p+q)阶矩Mpq、M′pq,公式为:
公式6
其中,气泡k/l在标号为k/l的区域中取1、在其他区域中取0;
2)计算等效左、右眼图像中气泡k、l的质心坐标(uL,k0,vL,k0)、(uR,l0,vR,l0),计算公式分别为:
公式7
公式8
式中M10(k)、M01(k)和M00(k),M′10(l)、M′01(l)和M′00(l)分别为左、右眼图像中气泡k、l的1阶矩和零阶矩;
3)逐个计算左眼图像中标号为k的气泡质心(uL,k0,vL,k0)与右眼图像中标号为l的气泡质心(uR,l0,vR,l0)间距离Dk0,l0以及气泡k与气泡l间的像素面积差Ak,l,公式为:
公式9
Ak,l=|Ak-A′l| 公式10
其中Ak、A′l分别为气泡k、l的像素面积;
4)取质心距离最短且面积差异最小时的气泡作为等效左、右眼图像中最为匹配的气泡,记为气泡匹配对(k,l),l=1,2,…,kL与等效左眼图中标号k一一对应,并重新标记在等效右眼图中,此时等效左眼图像中气泡k与等效右眼图像中气泡l对应现实三维空间中同一气泡实体;
(5)对气泡匹配对(k,l),进行局部宏块搜索,取包含单个气泡质心且余弦相似度最大时的宏块作为等效左、右眼图像中最为匹配的气泡宏块,并获得其在x、y方向上的局部偏移量;具体步骤如下:
1)分别计算等效左、右眼图像中气泡匹配对(k,l)的长、短轴,计算公式为:
公式11
其中M(k)、M′(l)分别为等效左、右眼图像中气泡k、l的极惯性矩,计算公式为:
公式12
2)在等效左眼图像 中,以标号为k的气泡质心(uL,k0,vL,k0)为中心,取一个
大小为m×m的宏块 m=ak+10,按步骤二所述方法,计算其投影向量Pk;
3)在等效右眼图像 中,以标号为l=k的气泡质心(uR,l0,vR,l0)为中心,
取一个与左眼图像中 大小相同的宏块 将 的坐标原点(i=
0,j=0)分别沿x方向和y方向逐点移动到(i=i′+dx,j=j′+dy),其中dx=-30,…,-1,0,1,…,30,dy=-30,…,-1,0,1,…,30,得到坐标原点在(i′=0,j′=0)的宏块计算宏块 中所有的投影向量
4)应用公式5计算 与所有 的两宏块间余弦相似度,取余弦相似
度最大时对应的宏块,作为与等效左眼图像中气泡k的宏块 最为匹配的宏块,记为记录此时的dxmatch和dymatch,作为气泡l在x、y方向上的偏移量;
(6)计算每个实体气泡r的等效左、右摄像机基线距离,计算公式为:
Br=sx,match+dxmatch 公式13
(7)计算每个实体气泡r质心、边缘点Pri的深度zri,i=0,1,2,3,4,公式为:
公式14
其中, f为摄像机镜头的焦距。
5.根据权利要求1所述的基于单摄像机等效双目立体视觉模型的泡沫立体特征提取方法,其特征在于,所述步骤四包括以下子步骤:
(1)由步骤三得到气泡深度,计算气泡的高度和体积;
将二维平面单个气泡近似为椭圆,三维空间中气泡近似为半椭球,可求取三维空间中气泡实体r的高度cr和体积Vr,计算公式为:
公式15
其中,ar=(ak+a′l)/2和br=(bk+b′l)/2为气泡r的长、短轴;
(2)对步骤三得到的左、右眼图像中的气泡匹配对,获取其在左、右眼图像中的相对红色分量,求其均值用来表征气泡的立体颜色特征;
对步骤三得到的气泡匹配对(k,l),分别从RGB颜色空间中提取相对红色分量,用来表征三维空间中气泡实体r的颜色特征,公式为:
公式16
其中,Rr为气泡实体r的相对红色分量,Rk和R′l分别为左、右眼图像中气泡k和l的相对红色分量,(uL,k0,vL,k0)和(uR,l0,vR,l0)分别表示同一气泡实体r在等效左、右眼图像中气泡匹配对k和l的质心坐标,red(uL,k0,vL,k0)和g(uL,k0,vL,k0)、red(uR,l0,vR,l0)和g′(uR,l0,vR,l0)分别表示气泡k、l质心像素的红色分量和灰度;
(3)求取泡沫的平均流动速度;
对步骤二得到的宏块在x、y方向上的偏移量,可以计算得到相邻两帧间隔时间段τ内泡沫流动速度 为避免单帧图像的随机误差,连续计算15帧泡沫图像的泡沫速度,取其均值作为泡沫的平均移动速度 计算公式为:
公式17
其中, 表示第i帧和第i+1帧间隔时间段τ内泡沫流动速度;
(4)求取泡沫的平均破碎率:
在步骤三气泡匹配的过程中,若左眼泡沫图像中的大气泡,在右眼泡沫图像中找不到匹配的气泡,则可认为该气泡破碎,连续记录15帧泡沫图像中气泡破碎的数目,即为泡沫的破碎率,计算公式为:
公式18
其中,ni表示第i帧中像素面积大于1000的气泡l在第i+1帧中找不到相匹配的气泡的个数。

说明书全文

基于单摄像机等效双目立体视觉模型的泡沫立体特征提取

方法

技术领域

[0001] 本发明涉及一种有色金属选矿过程中基于单摄像机等效双目立体视觉原理提取泡沫立体特征的方法,具体为浮选泡沫图像的关键特征的提取方法,属于图像处理技术和模式识别等领域。

背景技术

[0002] 人主要是通过视觉系统来获取、处理与理解外界信息。矿物浮选生产过程主要是通过人工肉眼观察浮选槽表面泡沫的特征来判断工况,进行浮选过程操作。目前,尽管国内外研究人员提出了众多的描述泡沫图像表观结构的特征,如颜色、纹理、大小等,但这些特征的提取都是采用基于二维图像的处理方法,因摄像机从三维世界向二维平面投影的过程中,丢失了被摄对象的深度信息,故二维图像不能全面反映出人眼对泡沫结构特征的客观感知。为此,需要研究如何应用立体视觉原理,利用泡沫视频中相邻两图像因泡沫流动而产生的差异获取图像表观的深度信息,并将其与传统的二维图像特征相结合,获取更加丰富多样的工况特征信息,结合这些特征智能识别工况,可及时调整生产参数,使浮选生产过程始终保持在最优状态。
[0003] 立体视觉是计算机视觉中一个重要的研究领域,其研究目的就是让计算机通过两幅或者多幅同一场景、不同度的二维图像,恢复出三维场景,并认知三维世界。图像深度信息的提取,一般基于双目立体视觉原理,需要两个摄像机,而泡沫浮选的工业现场由于场地、成本等原因,粗选槽、精选槽和扫选槽上方一般都只安装一个摄像机,利用单摄像机采集到生产现场的浮选泡沫流动的视频,可以将同一台摄像机从一个方位拍摄的视频中相邻两帧(不同时刻)的泡沫图像,看做两台摄像机(左右眼摄像机)从不同方位在同一时刻所拍摄的同一场景下的两幅泡沫图像,从而可以等效构建模拟人眼成像过程的双目立体视觉模型。

发明内容

[0004] 本发明的目的在于解决传统有色金属泡沫浮选特征的提取方法都是基于二维图像,难以全面表征符合人眼立体视觉特征特点的问题;在不增加硬件成本的基础上,利用生产现场已安装的现有设备,提供一种基于单摄像机等效双目立体视觉原理提取泡沫立体特征的方法,该方法易于实施,不增加成本,从立体视觉的角度表征浮选泡沫特征,为有色金属矿物浮选过程中的图像分析及指标预测提供了更为全面有效的信息,结合浮选泡沫的立体特征进行智能识别工况的工作,可以快速准确地识别浮选现场的工况类别。
[0005] 为了实现上述技术目的,本发明的技术方案是:
[0007] 步骤一:获取有色金属浮选工业现场浮选槽内浮选工矿泡沫视频;
[0008] 步骤二:利用视频中图像因泡沫流动而产生的图像变化,将步骤一视频中相邻两帧泡沫图像,看作由两台摄像机从不同方位在同一时刻拍摄的同一场景下的两幅泡沫图像;采用宏搜索策略获得两帧泡沫图像中最为匹配的宏块,并获得宏块在x、y方向上的偏移量;利用所获得的偏移量来分别获取两帧图像的重叠部分并构建可重叠视场,得到模拟人眼双目成像过程的等效左眼和右眼图像;
[0009] 步骤三:分别对步骤二得到的等效左眼和右眼图像进行图像分割,得到气泡连通区域;对分割后的气泡连通区域进行预处理,去除非气泡连通区域以得到气泡区域;然后对气泡区域进行标记以区分相同或不同气泡;对已完成标记的气泡区域,先进行气泡匹配,通过计算得到各个气泡的质心和面积,然后取质心距离最短且面积差异最小时的气泡作为等效左右眼两幅图像中最为匹配的气泡对;再在最为匹配的气泡对上进行气泡宏块匹配,取包含单个气泡质心且余弦相似度最大时的宏块作为等效左右眼图像中最为匹配的气泡宏块,并获得该气泡在x、y方向上的局部偏移量;进而得到每个气泡的等效左、右摄像机基线距离,并求取相应每个气泡的深度;
[0010] 步骤四:由步骤三得到气泡深度,计算气泡的高度和体积;再根据步骤三得到的左、右眼图像中的气泡匹配对来获取左、右眼图像中的相对红色分量,通过求相对红色分量的均值用来表征气泡的立体颜色特征,然后根据步骤二中得到的宏块在x、y方向上的偏移量求出泡沫的平均流动速度,最后根据步骤三中气泡匹配结果得出泡沫的平均破碎率,即得到浮选工矿泡沫图像的立体泡沫特征。
[0011] 所述的基于单摄像机等效双目立体视觉模型的泡沫立体特征提取方法,所述步骤一中获取泡沫视频包括以下步骤:
[0012] 构建浮选泡沫图像获取平台:将一个摄像机垂直安装于有色金属浮选工业现场的浮选槽上方,距离泡沫层的高度为90-125cm,摄像机通过光纤连接图像采集卡,图像采集卡连接计算机,摄像机拍摄泡沫层视频信号并由图像采集卡转换为数字视频信号送往计算机即获得泡沫视频。
[0013] 所述的基于单摄像机等效双目立体视觉模型的泡沫立体特征提取方法,所述步骤二包括以下子步骤:
[0014] (1)当一台摄像机从一个固定方位拍摄的流动泡沫视频满足以下条件时:
[0015] ①摄像机所摄视频中相邻两帧图像间隔时间τ足够小;要求摄像机每秒拍摄视频大于等于15帧,则τ≤0.0667秒;
[0016] ②在时间τ内,流动的气泡可看做是不可压缩的理想流体,也就是说,气泡内部液体的质量不会导致气泡内部的压变化,即 其中 为泡沫流动速度向量,为散度算子;
[0017] ③在时间τ内,气泡流动可看做是无旋运动,也就是说,气泡内某点的剪切力为常数,即 其中 为旋度算子;
[0018] ④在时间τ内,气泡流动的速率恒定且方向不变;
[0019] ⑤在时间τ内,气泡保持其形状结构不变;
[0020] 根据运动相对性原理,一台摄像机在间隔时间τ内平移所拍摄的静止泡沫的两幅图像,可以等同于泡沫静止而这台摄像机向泡沫流动方向相反移动拍摄的相邻两帧图像,也即由两台摄像机从不同方位在同一时刻拍摄的同一场景下的两幅泡沫图像,满足了用一台摄像机从一个方位拍摄的相邻两帧流动泡沫图像来构建模拟人的左右眼视觉图像的要求;
[0021] (2)对相邻两帧泡沫图像进行宏块搜索,取余弦相似度最大时的宏块作为两帧图像中最为匹配的宏块,并获得其在x、y方向上的偏移量;进而分别获取两帧图像的可重建视场,用以构建模拟人眼双目成像过程的等效左右眼图像;具体步骤如下:
[0022] 1)取前1帧图像的一个中心矩形宏块,计算投影向量;
[0023] 在获取的泡沫视频中任取相邻两帧泡沫图像,设前1帧即第i帧泡沫图像为TM×N(u,v),后1帧即第i+1帧泡沫图像为T′M×N(u,v),其中M×N为图像的分辨率,u=0,1,…,M-1,v=0,1,…,N-1,分别用g(u,v)、g′(u,v)表示图像TM×N(u,v)、T′M×N(u,v)在坐标(u,v)处像素的灰度值,其中M、N取偶数。
[0024] 以图像TM×N(u,v)的 中心点 为中心,取一个大 小为m×n的矩形宏块Bm×n(i,j),其坐标原点(i=0,j=0)位于图像TM×N的坐标
处。将宏块Bm×n(i,j)分别按第i行、第j列投影,即分别求
Bm×n(i,j)第i行、第j列所有像素的灰度值之和,得到第i行、第j列的投影分别为:
[0025] 公式1
[0026] 公式2
[0027] 将m个行投影构成一个行向量Rm=[R(0),…,R(i)…,R(m-1)],将n个列投影也构成一个行向量Cn=[C(0),…,C(j)…,C(n-1)],将行、列投影一起构成前1帧泡沫图像TM×N(u,v)中宏块Bm×n(i,j)的投影向量P=[Rm,Cn],其中m、n取偶数,
[0028] 2)取后1帧图像中所有矩形宏块,分别计算其投影向量;
[0029] 以后1帧图像T′M×N(u,v)的中心点为中心,取一个与前1帧Bm×n(i,j)大小相同的矩形宏块B′m×n(i,j)。
[0030] 在T′M×N(u,v)中将宏块B′m×n(i,j)的坐标原点分别沿x方向和y方向逐点移动到(i=i′+sx,j=j′+sy),其中i=0,j=0,sx=-sx,B,…,-1,0,1,…,sx,B,sy=-sy,B,…,-1,0,1,…,sy,B, 得到4sx,Bsy,B+1个坐标原点在的宏块 其中i′=0,j′=0;
[0031] 将T′M×N(u,v)中所有宏块 分别按第i′行、第j′列投影,即分别求第i′行、第j′列所有像素的灰度值之和,得到第i′行、第j′列的投影分别
为:
[0032] 公式3
[0033] 公式4
[0034] 将每一个宏块的m个行投影构成一个行向量R′m=[R′(0),…,R′(i′)…,R′(m-1)],将n个列投影也构成一个行向量C′n=[C′(0),…,C′(j′)…,C′(n-1)],行、列投影一起构成该宏块 的投影向量P′=[R′m,C′n];
[0035] 3)搜索T′M×N(u,v)中所有的宏块 寻找与TM×N(u,v)中Bm×n(i,j)最为匹配的宏块,并获得其在x、y方向上的偏移量;
[0036] 计算前1帧图像中心宏块Bm×n(i,j)的投影向量P与后1帧图像各宏块的投影向量P′的内积,得到前后2帧图像的两宏块间余弦相似度,公式为:
[0037] 公式5
[0038] 其中,“·”表示向量点积, ‖(□)‖表示向量(□)的长度;
[0039] 搜索 中所有的宏块 取余弦相似度最大时对应的作为与前1帧图像TM×N(u,v)中Bm×n(i,j)最为匹配的宏块,记为
记录此时的sx,match和sy,match,作为宏块B′m×n(i,j)在x、y方向上的偏移量;
[0040] 4)分别获取相邻两帧图像的可重建视场,用以构建模拟人眼双目成像过程的等效左右眼图像:
[0041] 提取前1帧图像TM×N(u,v)的第|min(0,sy,match)|行到第M-|max(0,sy,match)|-1行、 第 |min(0,sx,match)| 列 到 第 N-|max(0,sx,match)|-1 列 的 一 个 大 小 为(M-|sy,match|)×(N-|sx,match|)的子 图,作为 可重 建视 场,记为 uR =0,1,…,M-|sy,match|-1,vR=0,1,…,N-|sx,match|-1;提 取后1帧 图像T′M×N(u,v) 的第 |max(0,sy,match)| 行 到 第 M-|min(0,sy,match)|-1 行、第 |max(0,sx,match)| 列 到 第N-|min(0,sx,match)|-1列的一个大小为(M-|sy,match|)×(N-|sx,match|)的子图,作为可重建视场,记为 uL=0,1,…,M-|sy,match|-1,vL=0,1,…,N-|sx,match|-1。
[0042] 分别用可重建视场 和 作为模拟人眼双目成像过程的等效左眼图像和右眼图像。
[0043] 所述的基于单摄像机等效双目立体视觉模型的泡沫立体特征提取方法,所述步骤三包括以下子步骤:
[0044] (1)对步骤二得到的等效左、右眼图像采用分算法分别进行分割,得到不同气泡连通区域并计算各气泡连通区域的像素面积;
[0045] (2)对分割后的等效左、右眼图像气泡连通区域分别进行预处理为:去除像素面积小于500且灰度方差大于80的非气泡像素连通区域,得到预处理后的气泡区域。
[0046] (3)对预处理后的等效左、右眼图像气泡区域采用四邻域扫描标号方法分别进行标记,即对图像中相互连通的像素赋予同样的标号,表示该连通区域为同一气泡;对图像中不同连通区域内像素赋予不同的标号,表示不同气泡;像素值为0的像素连线表示分割线;记左、右眼图像中气泡标号分别为k、l,k=1,2,…,kL,l=1,2,…,lR,kL为左眼图像中标记气泡的总数,lR为右眼图像中标记气泡的总数;
[0047] (4)对等效左、右眼图像中已标记了的气泡区域,进行气泡匹配,取质心距离最短且面积差异最小时的气泡作为左、右眼图像中最为匹配的气泡,具体步骤如下:
[0048] 1)计算等效左、右眼图像中气泡k、l的(p+q)阶矩Mpq、M′pq,公式为:
[0049] 公式6
[0050] 其中,气泡k/l在标号为k/l的区域中取1、在其他区域中取0;
[0051] 2)计算左、右眼图像中气泡k、l的质心坐标(uL,k0,vL,k0)、(uR,l0,vR,l0),计算公式分别为:
[0052] 公式7
[0053] 公式8
[0054] 式中M10(k)、M01(k)和M00(k),M′10(l)、M′01(l)和M′00(l)分别为左、右眼图像中气泡k、l的1阶矩和零阶矩;
[0055] 3)逐个计算左眼图像中标号为k的气泡质心(uL,k0,vL,k0)与右眼图像中标号为l的气泡质心(uR,l0,vR,l0)间距离Dk0,l0以及气泡k与气泡l间的像素面积差Ak,l,公式为:
[0056] 公式9
[0057] Ak,l=|Ak-A′l| 公式10
[0058] 其中Ak、A′l分别为气泡k、l的像素面积;
[0059] 4)取质心距离最短且面积差异最小时的气泡作为左、右眼图像中最为匹配的气泡,记为气泡匹配对(k,l),l=1,2,…,kL与等效左眼图中标号k一一对应,并重新标记在等效右眼图中,此时等效左眼图像中气泡k与等效右眼图像中气泡l对应现实三维空间中同一气泡实体;
[0060] (5)对气泡匹配对(k,l),进行局部宏块搜索,取包含单个气泡质心且余弦相似度最大时的宏块作为等效左、右眼图像中最为匹配的气泡宏块,并获得其在x、y方向上的局部偏移量;具体步骤如下:
[0061] 1)分别计算左右眼图像中气泡匹配对(k,l)的长、短轴,计算公式为:
[0062] 公式11
[0063] 其中M(k)、M′(l)分别为左、右眼图像中气泡k、l的极惯性矩,计算公式为:
[0064] 公式12
[0065] 2)在等效左眼图像 中,以标号为k的气泡质心(uL,k0,vL,k0)为中心,取一个大小为m×m的宏块 按步骤二所述方法,计算其投影向量Pk;
[0066] 3)在等效右眼图像 中,以标号为l=k的气泡质心(uR,l0,vR,l0)为中心,取一个与左眼图像中 大小相同的宏块 将 的坐标原点
(i=0,j=0)分别沿x方向和y方向逐点移动到(i=i′+dx,j=j′+dy),其中dx
=-30,…,-1,0,1,…,30,dy=-30,…,-1,0,1,…,30,得到坐标原点在(i′=0,j′=
0)的宏块 计算宏块 中所有的投影向量
[0067] 4)应用公式5计算 与所有 的两宏块间余弦相似度,取余弦相似度最大时对应的宏块,作为与左眼图像中气泡k的宏块 最为匹配的宏块,记为记录此时的dxmatch和dymatch,作为气泡l在x、y方向上的偏移量;
[0068] (6)计算每个实体气泡r的等效左、右摄像机基线距离,计算公式为:
[0069] Br=sx,match+dxmatch 公式13
[0070] (7)计算每个实体气泡r质心、边缘点Pri的深度zri,i=0,1,2,3,4,公式为:
[0071] 公式14
[0072] 其中, f为摄像机镜头的焦距。
[0073] 所述的基于单摄像机等效双目立体视觉模型的泡沫立体特征提取方法,所述步骤四包括以下子步骤:
[0074] (1)由步骤三得到气泡深度,计算气泡的高度和体积;
[0075] 将二维平面单个气泡近似为椭圆,三维空间中气泡近似为半椭球,可求取三维空间中气泡实体r的高度cr和体积Vr,计算公式为:
[0076] 公式15
[0077] 其中,ar=(ak+a′l)/2和br=(bk+b′l)/2为气泡r的长、短轴;
[0078] (2)对步骤三得到的左、右眼图像中的气泡匹配对,获取其在左、右眼图像中的相对红色分量,求其均值用来表征气泡的立体颜色特征;
[0079] 对步骤三得到的气泡匹配对(k,l),分别从RGB颜色空间中提取相对红色分量,用来表征三维空间中气泡实体r的颜色特征,公式为:
[0080] 公式16
[0081] 其中,Rr为气泡实体r的相对红色分量,Rk和R′l分别为左、右眼图像中气泡k和l的相对红色分量,(uL,k0,vL,k0)和(uR,l0,vR,l0)分别表示同一气泡实体r在等效左、右眼图像中气泡匹配对k和l的质心坐标,red(uL,k0,vL,k0)和g(uL,k0,vL,k0)、red(uR,l0,vR,l0)和g′(uR,l0,vR,l0)分别表示气泡k、l质心像素的红色分量和灰度;
[0082] (3)求取泡沫的平均流动速度;
[0083] 对步骤二得到的宏块在x、y方向上的偏移量,可以计算得到相邻两帧间隔时间段τ内泡沫流动速度 为避免单帧图像的随机误差,连续计算15帧泡沫图像的泡沫速度,取其均值作为泡沫的平均移动速度 计算公式为:
[0084] 公式17
[0085] 其中, 表示第i帧和第i+1帧间隔时间段τ内泡沫流动速度;
[0086] (4)求取泡沫的平均破碎率:
[0087] 在步骤三气泡匹配的过程中,若左眼泡沫图像中的大气泡,在右眼泡沫图像中找不到匹配的气泡,则可认为该气泡破碎,连续记录15帧泡沫图像中气泡破碎的数目,即为泡沫的破碎率,计算公式为:
[0088] 公式18
[0089] 其中,ni表示第i帧中像素面积大于1000的气泡l在第i+1帧中找不到相匹配的气泡的个数。
[0090] 有益效果:
[0091] 考虑到泡沫浮选工业现场的粗选槽、精选槽上方一般只安装一个摄像机,构造了基于单摄像机等效双目成像模型,提取泡沫图像表观的立体特征。根据泡沫的立体特征来识别浮选生产工况,对于稳定铜浮选工况,实现铜浮选过程的优化控制有重要的意义。
[0092] 本发明的基于单摄像机等效双目立体视觉原理提取泡沫立体特征的方法,考虑到泡沫浮选工业现场的粗选槽、精选槽和扫选槽上方一般都只安装一个摄像机的情况,在不增加任何硬件设备和成本的基础上,构建基于单摄像机等效双目成像模型,提取泡沫图像表观的立体特征。实验证明,本发明所提取的泡沫立体特征量具有比二维图像的平面特征更好的模式可分性,可以很好地用于识别浮选生产工况,对于指导浮选生产操作,实现对有色金属浮选过程的优化控制有重要的意义,且这种方法可以直接在计算机上实现,成本低,效率高,易于实施。
[0093] 本发明的技术构思:
[0094] 矿物浮选生产过程主要是通过人工肉眼观察浮选槽表面泡沫的特征来判断工况,进行浮选过程操作。目前,尽管国内外研究人员提出了众多的描述泡沫图像表观结构的特征,如颜色、纹理、大小等,但这些特征的提取都是采用基于二维图像的处理方法,因摄像机从三维世界向二维平面投影的过程中,丢失了被摄对象的深度信息,故二维图像不能全面反映出人眼对泡沫结构特征的客观感知。
[0095] 立体视觉是计算机视觉中一个重要的研究领域,其研究目的就是让计算机通过两幅或者多幅同一场景、不同角度的二维图像,恢复出三维场景,一般基于双目立体视觉原理,需要两个摄像机,而泡沫浮选的工业现场由于场地、成本等原因,粗选槽、精选槽和扫选槽上方一般都只安装一个摄像机。
[0096] 为此,本发明针对传统基于二维图像的泡沫浮选特征提取方法难以全面表征符合人眼立体视觉特征特点的问题,而工业现场只安装一个摄像机的实际情况,不增加任何硬件设备和成本,在单摄像机获取浮选生产现场泡沫视频的基础上,利用视频中相邻两帧图像因泡沫流动而产生的差异信息,将一台摄像机从一个方位在不同时刻拍摄的流动泡沫的两帧图像,看作两台摄像机从不同方位在同一时刻拍摄的同一场景下的两幅泡沫图像,等效构建模拟人眼成像过程的双目立体视觉模型,获得泡沫图像中气泡的深度信息,进而提取气泡的立体特征,以用于有效识别有色金属浮选工况,实现对有色金属浮选过程的优化控制。附图说明:
[0097] 图1泡沫图像分析系统硬件结构图;
[0098] 图2视频相邻帧图像与双目平行成像原理关系图;
[0099] 图3前后帧图像宏块匹配;
[0100] 图4图像标号分布图;
[0101] 图5前后帧图像中气泡匹配;

具体实施方式

[0102] 以下将结合附图和具体实施例对本发明做进一步详细说明:
[0103] 实施例1:
[0104] 第一步,首先通过泡沫图像采集系统获取泡沫视频,其硬件结构如图3所示:
[0105] 通过一系列硬件设备,如:彩色CCD摄像机1、照明系统2、计算机3和图像采集卡4构建浮选泡沫图像获取平台。摄像机1垂直安装于浮选槽7上方,距离泡沫层6的高度为
90-125cm,获取的泡沫层6视频信号经光纤5传至图像采集卡4,随之转换为数字视频信号送往计算机3,再由计算机对采集到的泡沫视频进行处理。
[0106] 第二步,将步骤一获得泡沫视频中的相邻两帧泡沫图像,看作由两台摄像机从不同方位在同一时刻拍摄的同一场景下的两幅泡沫图像;采用宏块搜索策略获得相邻两帧泡沫图像中最为匹配的宏块,并获得其在x、y方向上的偏移量;分别获取两帧图像的重叠部分构建可重叠视场,用以构建模拟人眼双目成像过程的等效左右眼图像,如图2所示;
[0107] (1)取泡沫视频中的某相邻两帧泡沫图像,前1帧(第i帧)泡沫图像为T800×600(u,v),后1帧(第i+1帧)泡沫图像为T′800×600(u,v),将其看作由两台摄像机从不同方位在同一时刻拍摄的同一场景下的两幅泡沫图像;
[0108] (2)对相邻两帧泡沫图像进行宏块搜索,取余弦相似度最大时的宏块作为两帧图像中最为匹配的宏块,并获得其在x、y方向上的偏移量;进而分别获取两帧图像的可重建视场,用以构建模拟人眼双目成像过程的等效左右眼图像;具体步骤如下:
[0109] 1)以T800×600(u,v)的中心点(uc=399,vc=299)为中心,取一个大小为400×300的矩形宏块B400×300(i,j),其坐标原点(i=0,j=0)位于图像T800×600的坐标(u0=199,v0=149)处,采用公式1、2,计算行、列投影向量R400、C300,构成其投影向量P=[R400,C300];
[0110] 2)以图像T′800×600(u,v)的中心点为中心,取宏块B′400×300(i,j),其坐标原点(i=0,j=0)位于图像T′800×600(u,v)的坐标(u0=199,v0=149)处,在T′800×600(u,v)中将宏块B′400×300的坐标原点(i=0,j=0)分别沿x方向和y方向逐点移动到(i=i′+sx,j=j′+sy),其中sx=-sx,B,…,-1,0,1,…,sx,B,sx,B=199,sy=-sy,B,…,-1,0,1,…,sy,B,sy,B=149,得到4×199×149+1个坐标原点在(i′=0,j′=0)的宏块[0111] 采用公式3、4,计算T′800×600(u,v)中所有宏块 的行、列投影向量R′400、C′300,并构成其投影向量P′=[R′400,C′300]。
[0112] 3)采用公式5,计算T800×600(u,v)中心宏块B400×300(i,j)的投影向量P与T′800×600(u,v)中各宏块 的投影向量P′之间的余弦相似度。
[0113] 取余弦相似度最大时对应的 作为与前1帧图像T800×600(u,v)中心宏块B400×300(i,j)最为匹配的宏块,记录此时的sx,match和sy,match,作为宏块B′400×300(i,j)在x、y方向上的偏移量。
[0114] 4)取前1帧图像T800×600(u,v)的第|min(0,sy,match)|行到第799-|max(0,sy,match)|行、第|min(0,sx,match)|列到第599-|max(0,sx,match)|列的一个大小为(800-|sy,match|)×(600-|sx,match|)的子图,作为可重建视场,记为 uR=0,1,…,M-|sy,match|-1,vR=0,1,…,N-|sx,match|-1;提取后1帧图像T′M×N(u,v)的第|max(0,sy,match)|行到第799-|min(0,sy,match)|行、第|max(0,sx,match)|列到第599-|min(0,sx,match)|列的一个大小为(M-|sy,match|)×(N-|sx,match|)的子图,作为可重建视场,记为 uL=
0,1,…,M-|sy,match|-1,vL=0,1,…,N-|sx,match|-1。
[0115] 分别用可重建视场 和 作为模拟人眼双目成像过程的等效左眼图像和右眼图像,如图3所示。
[0116] 第三步:分别对步骤二得到的等效左右眼图像进行图像分割;对分割后的像素连通区域进行预处理,去除非气泡的像素连通区域;对气泡区域进行标记;对左右眼图像中标记了的气泡进行匹配。
[0117] (1)对步骤二得到的等效左、右眼泡沫图像采用分水岭算法进行分割,得到不同气泡连通区域并计算其像素面积;
[0118] (2)对分割后的像素连通区域进行预处理,去除像素面积小于500且灰度方差大于80的非气泡像素连通区域,得到预处理后的气泡区域;
[0119] (3)对气泡区域采用四邻域扫描标号方法进行标记,如图4所示;
[0120] (4)对标记了的 和 进行气泡匹配;
[0121] 应用公式9、10逐个计算左眼图像中标号为k的气泡质心(uL,k0,vL,k0)与右眼图像中标号为l的气泡质心(uR,l0,vR,l0)间距离以及气泡k、l的像素面积差,取质心距离最短且面积差异最小时的气泡作为左、右眼图像中最为匹配的气泡,记为气泡匹配对(k,l),对应现实三维空间中同一气泡实体r,如图5所示。
[0122] (5)对气泡匹配对(k,l)进行局部宏块匹配;
[0123] 首先,采用公式11、12计算等效左、右眼泡沫图像中气泡k、l的长轴。
[0124] 其次,在等效左眼图像 中,以1号气泡为例,取一个大小为125×125的宏块 其中心为气泡1质心(uL,k0,vL,k0),按步骤二所述方法,计
算其投影向量Pk。
[0125] 然后,在等效右眼图像 中,以标号为l=k的气泡质心(uR,l0,vR,l0)为中心,取一个与左眼图像中 大小相同的宏块 将 的坐标原点(i=0,j=0)分别沿x方向和y方向逐点移动到(i=i′+dx,j=j′+dy),其中dx=-30,…,-1,0,1,…,30,dy=-30,…,-1,0,1,…,30,得到坐标原点在(i′=0,j′=
0)的宏块 计算宏块 中所有的投影向量
[0126] 最后,应用公式5计算 与所有 的两宏块间余弦相似度,取余弦相似度最大时对应的宏块,作为与左眼图像中气泡1的宏块 最为匹配的宏
块,记录此时的dxmatch和dymatch,作为气泡l在x、y方向上的偏移量;
[0127] (6)由公式13计算得到气泡r的等效左、右摄像机基线距离;
[0128] (7)采用公式14,计算得到气泡r质心和边缘点Pri的深度zri,i=0,1,2,3,4。
[0129] 第四步:提取浮选工矿泡沫图像的立体泡沫特征。
[0130] (1)采用公式15,计算气泡的高度和体积;
[0131] (2)对步骤三得到的左、右眼图像中的气泡匹配对,采用公式16,计算其相对红色分量,取其均值用来表征气泡的立体颜色特征;
[0132] (3)对步骤二得到的宏块在x、y方向上的偏移量,采用公式17,计算得到泡沫的平均移动速度;
[0133] (4)采用公式18,计算得到泡沫的破碎率。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈