专利汇可以提供基于单摄像机等效双目立体视觉模型的泡沫立体特征提取方法专利检索,专利查询,专利分析的服务。并且本 发明 公开了一种基于单摄像机等效双目 立体视觉 模型提取浮选 泡沫 立体特征的方法。在单摄像机获取浮选生产现场泡沫视频的 基础 上,利用视频中相邻两 帧 图像因泡沫流动而产生的差异信息,将一台摄像机从一个方位在不同时刻拍摄的流动泡沫的两帧图像,看作两台摄像机从不同方位在同一时刻拍摄的同一场景下的两幅泡沫图像,等效构建模拟人眼成像过程的双目立体视觉模型,获得泡沫图像中气泡的深度信息,进而提取气泡的立体特征,以用于有效识别有色金属浮选工况,实现对有色金属浮选过程的优化控制。,下面是基于单摄像机等效双目立体视觉模型的泡沫立体特征提取方法专利的具体信息内容。
1.一种基于单摄像机等效双目立体视觉模型的泡沫立体特征提取方法,其特征在于包括以下步骤:
步骤一:获取有色金属浮选工业现场浮选槽内浮选工矿泡沫视频;
步骤二:利用视频中图像因泡沫流动而产生的图像变化,将步骤一视频中相邻两帧泡沫图像,看作由两台摄像机从不同方位在同一时刻拍摄的同一场景下的两幅泡沫图像;采用宏块搜索策略获得两帧泡沫图像中最为匹配的宏块,并获得宏块在x、y方向上的偏移量;利用所获得的偏移量来分别获取两帧图像的重叠部分并构建可重叠视场,得到模拟人眼双目成像过程的等效左眼和右眼图像;
步骤三:分别对步骤二得到的等效左眼和右眼图像进行图像分割,得到气泡连通区域;
对分割后的气泡连通区域进行预处理,去除非气泡连通区域以得到气泡区域;然后对气泡区域进行标记以区分相同或不同气泡;对已完成标记的气泡区域,先进行气泡匹配,通过计算得到各个气泡的质心和面积,然后取质心距离最短且面积差异最小时的气泡作为等效左右眼两幅图像中最为匹配的气泡对;再在最为匹配的气泡对上进行气泡宏块匹配,取包含单个气泡质心且余弦相似度最大时的宏块作为等效左右眼图像中最为匹配的气泡宏块,并获得该气泡在x、y方向上的局部偏移量;进而得到每个气泡的等效左、右摄像机基线距离,并求取相应每个气泡的深度;
步骤四:由步骤三得到气泡深度,计算气泡的高度和体积;再根据步骤三得到的左、右眼图像中的气泡匹配对来获取左、右眼图像中的相对红色分量,通过求相对红色分量的均值用来表征气泡的立体颜色特征,然后根据步骤二中得到的宏块在x、y方向上的偏移量求出泡沫的平均流动速度,最后根据步骤三中气泡匹配结果得出泡沫的平均破碎率,即得到浮选工矿泡沫图像的立体泡沫特征。
2.根据权利要求1所述的基于单摄像机等效双目立体视觉模型的泡沫立体特征提取方法,其特征在于,所述步骤一中获取泡沫视频包括以下步骤:
构建浮选泡沫图像获取平台:将一个摄像机垂直安装于有色金属浮选工业现场的浮选槽上方,距离泡沫层的高度为90-125cm,摄像机通过光纤连接图像采集卡,图像采集卡连接计算机,摄像机拍摄泡沫层视频信号并由图像采集卡转换为数字视频信号送往计算机即获得泡沫视频。
3.根据权利要求1所述的基于单摄像机等效双目立体视觉模型的泡沫立体特征提取方法,其特征在于,所述步骤二包括以下子步骤:
(1)当一台摄像机从一个固定方位拍摄的流动泡沫视频满足以下条件时:
①摄像机所摄视频中相邻两帧图像间隔时间τ足够小;要求摄像机每秒拍摄视频大于等于15帧,则τ≤0.0667秒;
②在时间τ内,流动的气泡可看做是不可压缩的理想流体,也就是说,气泡内部液体的质量不会导致气泡内部的压力变化,即 其中 为泡沫流动速度向量, 为散
度算子;
③在时间τ内,气泡流动可看做是无旋运动,也就是说,气泡内某点的剪切力为常数,即 其中 为旋度算子;
④在时间τ内,气泡流动的速率恒定且方向不变;
⑤在时间τ内,气泡保持其形状结构不变;
根据运动相对性原理,一台摄像机在间隔时间τ内平移所拍摄的静止泡沫的两幅图像,可以等同于泡沫静止而这台摄像机向泡沫流动方向相反移动拍摄的相邻两帧图像,也即由两台摄像机从不同方位在同一时刻拍摄的同一场景下的两幅泡沫图像,满足了用一台摄像机从一个方位拍摄的相邻两帧流动泡沫图像来构建模拟人的左右眼视觉图像的要求;
(2)对相邻两帧泡沫图像进行宏块搜索,取余弦相似度最大时的宏块作为两帧图像中最为匹配的宏块,并获得其在x、y方向上的偏移量;进而分别获取两帧图像的可重建视场,用以构建模拟人眼双目成像过程的等效左右眼图像;具体步骤如下:
1)取前1帧图像的一个中心矩形宏块,计算投影向量;
在获取的泡沫视频中任取相邻两帧泡沫图像,设前1帧即第i帧泡沫图像为
TM×N(u,v),后1帧即第i+1帧泡沫图像为T′M×N(u,v),其中M×N为图像的分辨率,u=
0,1,…,M-1,v=0,1,…,N-1,分别用g(u,v)、g′(u,v)表示图像TM×N(u,v)、T′M×N(u,v)在坐标(u,v)处像素的灰度值,其中M、N取偶数。
以图像TM×N(u,v)的中心点 为中心,取一个大小为m×n的矩形宏
块Bm×n(i,j),其坐标原点(i=0,j=0)位于图像TM×N的坐标
处。将宏块Bm×n(i,j)分别按第i行、第j列投影,即分别求Bm×n(i,j)第i行、第j列所有像素的灰度值之和,得到第i行、第j列的投影分别为:
公式1
公式2
将m个行投影构成一个行向量Rm=[R(0),…,R(i)…,R(m-1)],将n个列投影也构成一个行向量Cn=[C(0),…,C(j)…,C(n-1)],将行、列投影一起构成前1帧泡沫图像TM×N(u,v)中宏块Bm×n(i,j)的投影向量P=[Rm,Cn],其中m、n取偶数,
2)取后1帧图像中所有矩形宏块,分别计算其投影向量;
以后1帧图像T′M×N(u,v)的中心点为中心,取一个与前1帧Bm×n(i,j)大小相同的矩形宏块B′m×n(i,j)。
在T′M×N(u,v)中将宏块B′m×n(i,j)的坐标原点分别沿x方向和y方向逐点移动到(i=i′+sx,j=j′+sy),其中i=0,j=0,sx=-sx,B,…,-1,0,1,…,sx,B,
sy=-sy,B,…,-1,0,1,…,sy,B, 得到4sx,Bsy,B+1个坐标原点在的宏块
其中i′=0,j′=0;
将T′M×N(u,v)中所有宏块 分别按第i′行、第j′列投影,即分别求
第i′行、第j′列所有像素的灰度值之和,得到第i′行、第j′列的投影分别
为:
公式3
公式4
将每一个宏块的m个行投影构成一个行向量R′m=[R′(0),…,R′(i′)…
,R′(m-1)],将n个列投影也构成一个行向量C′n=[C′(0),…,C′(j′)…,C′(n-1)],行、列投影一起构成该宏块 的投影向量P′=[R′m,C′n];
3)搜索T′M×N(u,v)中所有的宏块 寻找与TM×N(u,v)中Bm×n(i,j)最为
匹配的宏块,并获得其在x、y方向上的偏移量;
计算前1帧图像中心宏块Bm×n(i,j)的投影向量P与后1帧图像各宏块 的
投影向量P′的内积,得到前后2帧图像的两宏块间余弦相似度,公式为:
公式5
其中,“·”表示向量点积, ‖(□)‖表示向量(□)的长度;
搜索TM′×N(u,v)中所有的宏块 取余弦相似度最大时对应的
作为与前1帧图像TM×N(u,v)中Bm×n(i,j)最为匹配的宏块,记为
记录此时的sx,match和sy,match,作为宏块B′m×n(i,j)在x、y方向上的偏移量;
4)分别获取相邻两帧图像的可重建视场,用以构建模拟人眼双目成像过程的等效左右眼图像:
提取前1帧图像TM×N(u,v)的第|min(0,sy,match)|行到第M-|max(0,sy,match)|-1行、第|min(0,sx,match)|列到第N-|max(0,sx,match)|-1列的一个大小为(M-|sy,match|)×(N-|sx,match|)的子 图,作 为可重 建视 场,记 为 uR=0,1,…,M-|sy,match|-1,vR =
0,1,…,N-|sx,match|-1;提取后1帧图像T′M×N(u,v)的第|max(0,sy,match)|行到第M-|min(0,sy,match)|-1行、第|max(0,sx,match)|列到第N-|min(0,sx,match)|-1列的一个大小为(M-|sy,match|)×(N-|sx,match|)的子图,作为可重建视场,记为 uL=
0,1,…,M-|sy,match|-1,vL=0,1,…,N-|sx,match|-1。
分别用可重建视场 和 作为模拟人眼双目成像过程的等效左
眼图像和右眼图像。
4.根据权利要求1所述的基于单摄像机等效双目立体视觉模型的泡沫立体特征提取方法,其特征在于,所述步骤三包括以下子步骤:
(1)对步骤二得到的等效左、右眼图像采用分水岭算法分别进行分割,得到不同气泡连通区域并计算各气泡连通区域的像素面积;
(2)对分割后的等效左、右眼图像气泡连通区域分别进行预处理为:去除像素面积小于500且灰度方差大于80的非气泡像素连通区域,得到预处理后的气泡区域。
(3)对预处理后的等效左、右眼图像气泡区域采用四邻域扫描标号方法分别进行标记,即对图像中相互连通的像素赋予同样的标号,表示该连通区域为同一气泡;对图像中不同连通区域内像素赋予不同的标号,表示不同气泡;像素值为0的像素连线表示分割线;记左、右眼图像中气泡标号分别为k、l,k=1,2,…,kL,l=1,2,…,lR,kL为左眼图像中标记气泡的总数,lR为右眼图像中标记气泡的总数;
(4)对等效左、右眼图像中已标记了的气泡区域,进行气泡匹配,取质心距离最短且面积差异最小时的气泡作为左、右眼图像中最为匹配的气泡,具体步骤如下:
1)计算等效左、右眼图像中气泡k、l的(p+q)阶矩Mpq、M′pq,公式为:
公式6
其中,气泡k/l在标号为k/l的区域中取1、在其他区域中取0;
2)计算等效左、右眼图像中气泡k、l的质心坐标(uL,k0,vL,k0)、(uR,l0,vR,l0),计算公式分别为:
公式7
公式8
式中M10(k)、M01(k)和M00(k),M′10(l)、M′01(l)和M′00(l)分别为左、右眼图像中气泡k、l的1阶矩和零阶矩;
3)逐个计算左眼图像中标号为k的气泡质心(uL,k0,vL,k0)与右眼图像中标号为l的气泡质心(uR,l0,vR,l0)间距离Dk0,l0以及气泡k与气泡l间的像素面积差Ak,l,公式为:
公式9
Ak,l=|Ak-A′l| 公式10
其中Ak、A′l分别为气泡k、l的像素面积;
4)取质心距离最短且面积差异最小时的气泡作为等效左、右眼图像中最为匹配的气泡,记为气泡匹配对(k,l),l=1,2,…,kL与等效左眼图中标号k一一对应,并重新标记在等效右眼图中,此时等效左眼图像中气泡k与等效右眼图像中气泡l对应现实三维空间中同一气泡实体;
(5)对气泡匹配对(k,l),进行局部宏块搜索,取包含单个气泡质心且余弦相似度最大时的宏块作为等效左、右眼图像中最为匹配的气泡宏块,并获得其在x、y方向上的局部偏移量;具体步骤如下:
1)分别计算等效左、右眼图像中气泡匹配对(k,l)的长、短轴,计算公式为:
公式11
其中M(k)、M′(l)分别为等效左、右眼图像中气泡k、l的极惯性矩,计算公式为:
公式12
2)在等效左眼图像 中,以标号为k的气泡质心(uL,k0,vL,k0)为中心,取一个
大小为m×m的宏块 m=ak+10,按步骤二所述方法,计算其投影向量Pk;
3)在等效右眼图像 中,以标号为l=k的气泡质心(uR,l0,vR,l0)为中心,
取一个与左眼图像中 大小相同的宏块 将 的坐标原点(i=
0,j=0)分别沿x方向和y方向逐点移动到(i=i′+dx,j=j′+dy),其中dx=-30,…,-1,0,1,…,30,dy=-30,…,-1,0,1,…,30,得到坐标原点在(i′=0,j′=0)的宏块计算宏块 中所有的投影向量
4)应用公式5计算 与所有 的两宏块间余弦相似度,取余弦相似
度最大时对应的宏块,作为与等效左眼图像中气泡k的宏块 最为匹配的宏块,记为记录此时的dxmatch和dymatch,作为气泡l在x、y方向上的偏移量;
(6)计算每个实体气泡r的等效左、右摄像机基线距离,计算公式为:
Br=sx,match+dxmatch 公式13
(7)计算每个实体气泡r质心、边缘点Pri的深度zri,i=0,1,2,3,4,公式为:
公式14
其中, f为摄像机镜头的焦距。
5.根据权利要求1所述的基于单摄像机等效双目立体视觉模型的泡沫立体特征提取方法,其特征在于,所述步骤四包括以下子步骤:
(1)由步骤三得到气泡深度,计算气泡的高度和体积;
将二维平面单个气泡近似为椭圆,三维空间中气泡近似为半椭球,可求取三维空间中气泡实体r的高度cr和体积Vr,计算公式为:
公式15
其中,ar=(ak+a′l)/2和br=(bk+b′l)/2为气泡r的长、短轴;
(2)对步骤三得到的左、右眼图像中的气泡匹配对,获取其在左、右眼图像中的相对红色分量,求其均值用来表征气泡的立体颜色特征;
对步骤三得到的气泡匹配对(k,l),分别从RGB颜色空间中提取相对红色分量,用来表征三维空间中气泡实体r的颜色特征,公式为:
公式16
其中,Rr为气泡实体r的相对红色分量,Rk和R′l分别为左、右眼图像中气泡k和l的相对红色分量,(uL,k0,vL,k0)和(uR,l0,vR,l0)分别表示同一气泡实体r在等效左、右眼图像中气泡匹配对k和l的质心坐标,red(uL,k0,vL,k0)和g(uL,k0,vL,k0)、red(uR,l0,vR,l0)和g′(uR,l0,vR,l0)分别表示气泡k、l质心像素的红色分量和灰度;
(3)求取泡沫的平均流动速度;
对步骤二得到的宏块在x、y方向上的偏移量,可以计算得到相邻两帧间隔时间段τ内泡沫流动速度 为避免单帧图像的随机误差,连续计算15帧泡沫图像的泡沫速度,取其均值作为泡沫的平均移动速度 计算公式为:
公式17
其中, 表示第i帧和第i+1帧间隔时间段τ内泡沫流动速度;
(4)求取泡沫的平均破碎率:
在步骤三气泡匹配的过程中,若左眼泡沫图像中的大气泡,在右眼泡沫图像中找不到匹配的气泡,则可认为该气泡破碎,连续记录15帧泡沫图像中气泡破碎的数目,即为泡沫的破碎率,计算公式为:
公式18
其中,ni表示第i帧中像素面积大于1000的气泡l在第i+1帧中找不到相匹配的气泡的个数。
方法
标题 | 发布/更新时间 | 阅读量 |
---|---|---|
制造包含开孔纺织品载体和压敏胶粘剂的胶带的方法 | 2020-05-12 | 314 |
通过诱导高剪切速率变形的粘合 | 2020-05-11 | 862 |
用于评价电极混合物浆料的相稳定性的方法和设备 | 2020-05-12 | 900 |
一种利用膨润土粘性指数评价其造球性能的方法 | 2020-05-13 | 372 |
尺寸为100nm的苯乙烯颗粒的胶乳在用于造纸的涂料液中作为流变剂的用途、涂料液以及用于获得涂有该涂料液的纸的方法 | 2020-05-13 | 727 |
旋转剪切速率降速式粘度测量法及其装置 | 2020-05-11 | 773 |
挤压出且已冷却的细纤维的一剖面直径时,所述立体网状结构 的膨胀比率以D2/D1表示以对照剪切速率。 | 2020-05-12 | 647 |
求出流体的剪切速率的方法、其程序及装置 | 2020-05-11 | 696 |
高剪切速率下非牛顿流体表观黏度测量装置及测量方法 | 2020-05-11 | 755 |
一种基于剪切速率相等原理的固井冲洗液评价装置 | 2020-05-12 | 732 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。