首页 / 专利库 / 分销网络和设备 / 孤岛 / 类地重力场环境下单目视觉空间识别方法

类地重场环境下单目视觉空间识别方法

阅读:1023发布:2020-12-22

专利汇可以提供类地重场环境下单目视觉空间识别方法专利检索,专利查询,专利分析的服务。并且一种类地重 力 场环境下单目视觉空间识别方法,其特征是它包括以下步骤:首先,对图像进行基于 像素 的CIELAB色彩空间值L,a,b和x,y坐标值的超像素分割,以产生超像素图像;其次,采用基于超像素 颜色 特性、纹理 特征向量 距离及邻接关系的普聚类 算法 ,将分割形成的超像素图像 降维 并生成大图 块 ;第三,将代表天空、地面及立面物体的重力场模糊分布 密度 函数分别与所得的大图块像素相乘,并求出大图块的期望值,从而完成天空、地面及立面物体的初步分类;第四,通过 单层 小波 采样 和曼哈顿方向特征提取出天空、地面及立面物体的分类图;最后,基于小孔成像模型及地面线性透视信息生成空间深度 感知 图。本 发明 简单易行, 分辨率 高,应用范围广。,下面是类地重场环境下单目视觉空间识别方法专利的具体信息内容。

1.一种类地重场环境下单目视觉空间识别方法,其特征是它包括以下步骤:
首先,对图像进行基于像素的CIELAB色彩空间值L,a,b和x,y坐标值的超像素分割,以产生超像素图像;
其次,采用基于超像素颜色特性、纹理特征向量距离及邻接关系的普聚类算法,将分割形成的超像素图像降维并生成大图
第三,将代表天空、地面及立面物体的重力场模糊分布密度函数分别与所得的大图块像素相乘,并求出大图块的期望值,从而完成天空、地面及立面物体的初步分类;所述的期望值是通过对大图块中各像素在图像垂直方向上与地面模糊分布密度函数G、天空模糊分布密度函数S以及立面物体模糊分布密度函数V,在(-HG,HS)范围内相乘所得,其计算公式为:



其中:GE、SE、VE是对图像中的图块基于地面重力场模糊分布密度函数G、天空重力场模糊分布密度函数S和立面物体重力场模糊分布密度函数V求和所得的地面(ground)、天空(sky)、立面(vertical face)的数学期望值,ni为聚类图块在第i行的像素个数,rb为聚类图块的最下延,rt为图块的最上延,i∈(0,1,……,HZ),HZ为图像在高度方向上的最大像素值;
HI=HG+HS,HI为图像的高度、HG为图像视平线到图像底边的距离、HS图像视平线到图像顶端的距离;则图块的分类为:

第四,通过单层小波采样和曼哈顿方向特征提取出天空、地面及立面物体的分类图;
最后,基于小孔成像模型及地面线性透视信息生成空间深度感知图。
2.根据权利要求1所述的方法,其特征是所述的普聚类算法包括超像素聚类方法及在超像素的基础上的普聚类方法,所述的超像素聚类方法采用Achanta R提出的简单线性迭代聚类算法即SLIC(Simple Linear Iterative Clustering),该算法以像素的CIELAB色彩 空间的L、a、b值及像素的x,y轴坐标构建5维空间,具体定义如下:




其中:Ck=[lk,ak,bk,xk,yk]T为聚类的中心;[li,ai,bi,xi,yi]T为图像像素点的5维空间坐标;N为图像的像素数;K为期望获得的超像素的数目;S为超像素中心栅格间距;Ds为色彩lab距离dlab和dxy基于S的规范化距离;m为可控的超像素密度因子;
所述的基于超像素的普聚类方法为:
(1)将SLIC算法所产生的n个超像素作为无向权值图G的顶点V={v1,v2,…,vn};
(2)邻接矩阵构建,i=1,2…n;j=1,2…n,其中,n为超像素的个数;

(3)权值邻接矩阵的构建,i=1,2…n;j=1,2…n;

其中权值w(i,j)为相邻两个超像素之间的规范化CIELAB颜色直方图计算
Bhattacharyya系数,具体构建方法是将图像的色彩空间转换到CIELAB空间,并将L通道的取值范围划分为8级等分,a通道的取值范围划分为16等分,将b通道的取值范围划分成16个等级,其中将L通道取值范围划分为8级的目的是降低色彩亮度变化对权值的扰动;每个超像素在8×16×16=2048维度的空间计算直方图  其中hl
(i)为每个超像素在l=8×16×16=2048维度的空间计算的规范化直方图,l=2048,则当Ei,j=1时

对于权值w(i,j)的取值增加两个分别基于色彩距离和纹理能量距离的约束条件,分述如下:
①基于色彩距离约束条件:当w(i,j)≤WT时,则取w(i,j)=0,其中WT的取值范围为(0.7~1.0)之间;
②纹理能量距离的约束条件:采用l2范数计算各超像素图块的平均能量测度,即

其中rb为图块的最下延,rt为图块的最上延,cl为第i行图块最左边,cr为第i行图块最右边,R(i,j)为图像中(i,j)点处的小波采样值,根据公式(8)计算每个超像素块的四维小波特征向量,即e(i)=(ei(LL),ei(LH),ei(HL),ei(HH)),并求取其相邻超像素之间的Bhattacharyya系数值Be(i,j);

其中,
当Be(i,j)≤BT时,则取w(i,j)=0,其中BT的取值范围在(0.85~1.0)之间;
以上两个约束条件的目的是提高相邻超像素点的色彩及纹理的相似性阈值,以保护天空与立面物体间、立面物体与地面间的边界特征;
(4)度矩阵的构建,i=1,2…n;j=1,2…n;

(5)规范化Laplacian矩阵的构建,采用Normalized-cut准则来计算规范化的
Laplacian矩阵:
Lsym=I-D-1/2WD-1/2    (12)
其中:D为度矩阵,W为权值邻接矩阵;
(6)计算Lsym进行特征值分解,并取前K个最小特征值所对应的特征向量,V1,V2,…,Vk;
其中K=[0.1×n],即取n的10%作为图像聚类特征向量的维度,以实现降维目的;
(7)将V1,V2,…,Vk排列组成Rn×k矩阵并将矩阵中的每个元素取绝对值得矩阵U;
(8)对于i=1,2…n,令yi∈Rk为矩阵U的第i行向量,Rk是K维实向量;
k
(9)对非零的yi∈R 向量进行归一化,并用Bhattacharyya系数法进行聚类,其中
Bhattacharyya距离的BU阈值为(0.85~1.0)之间,即当BU大于等于阈值时,超像素间进行聚类;
(10)对每个聚类图块采用规范化CIELAB颜色直方图,并对相邻图块类采用式(7)进行Bhattacharyya距离w(i,j)计算,同时采用式(9)计算相邻图块的Be(i,j),当w(i,j)>WT且 Be(i,j)>BT时进行聚类;
(11)重复第(10)步,直到收敛。
3.根据权利要求1所述的方法,其特征是所述的大图块生成采用几何包含关系聚类方法,以消除孤岛图块,所谓的孤岛图块是指一个或多个图块被一个大图块完全包围的图块,几何包含关系的聚类算法可以将孤岛图块聚类成完全包围该孤岛的大图块,从而避免了几何上下文算法对孤岛图块空间分类所产生的奇异;具体方法为:
(1)寻找镂空图块,其判据为当Nb-nb>0时则图块为镂空图块,其中Nb为图块所有边界的像素值,nb为图块外边界的像素值,如果Nb-nb>0则进入下一步,否则图块不为镂空图块;
(2)以外边界为边界以原图块的标记值来填充图块;
(3)以填充图块代替原镂空图块。
4.根据权利要求1所述的方法,其特征是所述的采用单层小波采样提取天空和立面物体的分类图时采用l2范数计算各对象图块的平均能量测度,即

其中:Np为图块像素个数,rb为图块的最下延,rt为图块的最上延,cl为第i行图块最左边,cr为第i行图块最右边,其中R(i,j)为图像中(i,j)点处的小波采样值,在计算各图块平均能量测度时需要去除各图块边缘所产生的能量;
通过能量测度计算得到图块的四维小波特征向量,即(eLL,eLH,eHL,eHH),其中eLL表征的是图块整体亮度特性、eLH,eHL,eHH表征的是图块高频纹理特征,而白天室外天空在图像中的特性普遍表现在高亮度和低能量高频纹理特征上;
(1)如果eLL>mean(eLL1,eLL2,…eLLn)则为候选天空图块,其中
eLL1,eLL2,…eLLn∈天空和立面物体的eLL值,其中:mean()为均值函数;
(2)在满足上述条件下,当图块一层非下采样小波的能量测度
时,则图块为候选天空图块,如果没有满足此条件图块时,则判定图块不为天空图块,Ec的取值范围(0~7)之间;
(3)当存在满足上述图块时,再判断是否有以图像上延为边界的图块,如果有则判断存在天空图块,否则判定图像中无天空;
(4)在满足上述条件下如果出现的候选天空图块不唯一,则选取面积最大图块为天 空图块,并以色彩距离值dab以及亮度距离值dL为判据对天空进行聚类,公式如下:

其中as、bs分别为天空图块CIELAB色彩空间a、b色彩通道的均值,ai、bi分别为候选天空图块CIELAB色彩空间a、b色彩通道的均值,当候选天空图块dab≤C且dL≤L则为天空,否则为立面物体,其中,C的取值范围(0~30),L的取值范围(0~70);
(5)对聚类生成的天空面积进行计算如果其像素的个数小于图像象素的2‰,则将其归为立面物体;
(6)将所有非天空图块归为立面物体。
5.根据权利要求1所述的方法,其特征是所述的采用单层小波采样提取地面和立面物体的分类图时采用以下判别方法:
(1)根据地面的连续性及其重力场空间几何上下性质,将悬空于立面物体中的地面图块归为立面物体;
(2)通过对图像中被判别为立面物体图块进行Hough变换,并通过基于直线方向度的统计直方图,通过对其曼哈顿方向信息的强度,来判断图中是否存在大型近距离建筑物,如果不存在则结束对地面的修正,如果存在则进入下一步;
(3)以立面物体中建筑物的曼哈顿方向信息修正其与地面图块的连接边界。
6.根据权利要求1所述的方法,其特征是所述的天空、地面及立面物体的重力场模糊分布密度函数分别为:
(1)地面重力场模糊分布密度函数G:
当HG≥HS时:令 且
则得
式中HG为视平线距图像底边的距离;HS为视平线距图像顶边的距离;x为像素在图像高度方向的坐标;n为密度函数的阶数;
当HG<HS时:G(x)=-S(x)

其中:n=1,2,3……N,N∈正整数;
(2)天空重力场模糊分布密度函数S:
当HG<HS时:令 且
则得
当HG≥HS时:S(x)=-G(x)

其中:n=1,2,3……N,N∈正整数;
(3)立面物体重力场模糊分布密度函数V:

说明书全文

类地重场环境下单目视觉空间识别方法

技术领域

[0001] 本发明涉及一种图像处理方法,尤其是一种可以广泛应用于如机器人视觉导航、大空间的目标测量、目标追踪与定位等领域的能提高空间识别的图像处理方法,具体地说是一种类地重力场环境下单目视觉空间识别方法。

背景技术

[0002] 理解3D空间结构作为机器视觉的基本问题,长期以来被人们关注并研究着,早期的研究工作关注于立体视觉或通过视的运动来获得3D的线索。近年来,许多研究人员将关注点聚焦于从单目视觉图像中重构3D空间结构,目前大多数单目视觉3D空间识别方法多采用监督型机器学习方法,比如:尔可夫随机场(MRFs)、条件概率随机场(CRFs)以及动态贝叶斯网络(DBN)等。然而,这些方法常常依赖于其先验知识,即仅能学习训练集中所采集的图像环境。因此,当采样设备或采样环境发生变化时,单目视觉3D空间识别的结果将产生较大差异。为了解决这个问题,本发明提出将重力场因素添加到图像分析中,构建了一种新的非监督学习单目空间识别方法。

发明内容

[0003] 本发明的目的是针对现有的图像识别方法大都需要通过对图像的学习才能完成,这些方法存在数据处理量大、速度慢,适应性差,使用范围受限较多的问题,发明一种无需学习且能快速识别、同时准确度高、适用性广的类地重力场环境下单目视觉空间识别方法。
[0004] 本发明的技术方案是:
[0005] 一种类地重力场环境下单目视觉空间识别方法,其特征是它包括以下步骤:
[0006] 首先,对图像进行基于像素的CIELAB色彩空间值L,a,b和x,y坐标值的超像素分割,以产生具有一定密度的超像素图像;
[0007] 其次,采用基于超像素颜色特性、纹理特征向量距离及邻接关系的普聚类算法,将分割形成的超像素图像降维并生成大图
[0008] 第三,将代表天空、地面及立面物体的重力场模糊分布密度函数分别与所得的大图块像素相乘,并求出大图块的期望值,从而完成天空、地面及立面物体的初步分类;
[0009] 第四,通过单层小波采样和曼哈顿方向特征提取出天空、地面及立面物体的分类图;
[0010] 最后,基于小孔成像模型及地面线性透视信息生成空间深度感知图,从而完成由摄像设备获取的平面图像向立体图像的转换,实现类地重力场环境下单目视觉空间识别。
[0011] 本发明的有益效果是:
[0012] 本发明首次提出了将重力场因素添加到图像分析中,构建了一种新的非监督学习单目空间识别方法,模拟了人类视觉系统对地面连续表面集成处理方法,构建一个具有一定普适性类地重力场环境下单目视觉空间识别模式,它改变了传统的单目视觉系统3D重构及深度感知的算法模式。
[0013] 1.本发明模拟了人类视觉系统,构建一个具有一定普适性的类地重力场环境下单目视觉空间识别方法,需要指出的是该方法可以应用于对火星表面及月球表面等类地重力场环境下的视觉空间测量,如图15所示。
[0014] 2.当取消对图像中天空亮度的约束条件时,本发明还可以识别城市夜景环境,如图16所示。
[0015] 3.本发明无需对计算机进行先验知识的学习与训练就可以对类地重力场环境下的单目视觉图像进行有效识别与3D重构。
[0016] 4.本发明改变了传统的单目视觉系统3D重构及深度感知的算法模式,可以广泛应用于如机器人视觉导航、大空间的目标测量、目标追踪与定位等领域。附图说明
[0017] 图1是本发明的流程示意图。
[0018] 图2是本发明的基于超像素的普聚类过程及效果示意图。图2中:(a)为原图像、(b)为951个超像素分割图像、(c)145个谱聚类的图像、(d)3次迭代收敛的92个聚类的图像。
[0019] 图3是本发明的利用几何包含关系消除图块中孤岛的过程示意图。图3中:(a)为建筑物窗户聚类算法后留下孤岛图块、(b)为基于几何包含关系聚类算法消除图块孤岛的结果。
[0020] 图4是人类重力场视觉认知模型示意图。
[0021] 图5是本发明的视平线位置的确定示意图。
[0022] 图6是本发明的图像视平线位置确定等效原理图,图中:HI为图像的高度,HI=HS+HG。
[0023] 图7是经过本发明的基于重力场模糊分布密度函数所得的地面、天空、立面物体分类过程示意图。
[0024] 图8是本发明的立面物体与天空分类算法过程示意图。
[0025] 图9是本发明的重力场模糊函数判断中出现不符合重力场的结果示意图。图中(a)为原图、(b)为经过立面物体与地面区分计算后的结果。
[0026] 图10为经过本发明的模糊函数及立面物体与天空分类后的计算结果示意图。其中(a)为对不符合重力场图块重新归类、(b)为立面物体与地面区分后的聚类结果。
[0027] 图11为经过本发明立面物体与地面进一步区分后输出的结果。
[0028] 图12是本发明的视觉成像系统物理模型示意图。
[0029] 图13是本发明的深度投影角在Lab空间中的映射示意图。
[0030] 图14是对应图11的深度感知图。
[0031] 图15是利用本发明的方法对NASA火星图片进行空间识别及深度识别的结果示意图。
[0032] 图16是利用本发明的方法对城市夜景图片的空间识别及3D重构图。

具体实施方式

[0033] 下面结构实施例和附图对本发明作进一步的说明。
[0034] 如图1-14所示。
[0035] 一种类地重力场环境下单目视觉空间识别方法,它包括以下步骤:
[0036] (1)首先对图像进行基于像素色彩及空间位置的超像素图像分割,形成具有一定密度的超像素图像;
[0037] (2)通过运用基于超像素颜色空间距离、纹理特征向量距离及几何邻接关系的普聚类算法将超像素图像降维到10%以下的大图块聚类图像;
[0038] (3)代表天空、地面及立面物体的重力场模糊分布密度函数分别与这些大图块像素相乘,并求出这些大图块的期望值,从而产生天空、地面及立面物体的初步分类,通过进一步的一层小波采样、曼哈顿方向提取等特性分类算法,提取出较为准确的天空、地面和立面物体分类图;
[0039] (4)最后,基于小孔成像模型及地面线性透视信息生成空间深度感知图。
[0040] 详述如下:
[0041] 1.超像素聚类算法。
[0042] 可采用Achanta R提出的简单线性迭代聚类算法即SLIC(Simple  Linear Iterative Clustering),该算法以像素的CIELAB色彩空间的L、a、b值及像素的x,y轴坐标构建5维空间,并定义了规范化的距离Ds,具体定义如下:
[0043]
[0044]
[0045]
[0046]
[0047] 其中:Ck=[lk,ak,bk,xk,yk]T为聚类的中心;[li,ai,bi,xi,yi]T为图像像素点的5维空间坐标;N为图像的像素数;K为期望获得的超像素的数目;S为超像素中心栅格间距;Ds为色彩lab距离dlab和dxy基于S的规范化距离;m为可控的超像素密度因子。
[0048] 2.基于超像素的普聚类算法。
[0049] (1)将SLIC算法所产生的n个超像素作为无向权值图G的顶点V={v1,v2,…,vn};
[0050] (2)邻接矩阵构建,i=1,2…n;j=1,2…n,其中,n为超像素的个数;
[0051]
[0052] (3)权值邻接矩阵的构建,i=1,2…n;j=1,2…n;
[0053]
[0054] 其中权值w(i,j)为相邻两个超像素之间的规范化CIELAB颜色直方图计算Bhattacharyya系数,具体构建方法是将图像的色彩空间转换到CIELab空间,并将L通道的取值范围划分为8级等分,a通道的取值范围划分为16等分,将b通道的取值范围划分成16个等级,其中将L通道取值范围划分为8级的目的是降低色彩亮度变化对权值的扰动。每个超像素在8×16×16=2048维度的空间计算值直方图 其中l=2048,则当Ei,j=1时
[0055]
[0056] 对于权值w(i,j)的取值,具体实施时可通过增加两个分别基于色彩距离和纹理能量距离的约束条件,分述如下:
[0057] ①基于色彩距离约束条件:当时w(i,j)≤WT,则取w(i,j)=0,其中WT的取值范围为(0.7~1.0)之间;
[0058] ②纹理能量距离的约束条件:采用l2范数计算各超像素图块的平均能量测度,即[0059]
[0060] 其中R(i,j)为图像中(i,j)点处的小波采样值,根据公式(8)计算每个超像素块的四维小波特征向量,即e(i)=(ei(LL),ei(LH),ei(HL),ei(HH)),并求取其相邻超像素之间的Bhattacharyya系数值Be(i,j)。
[0061]
[0062] 其中,
[0063] 当Be(i,j)≤BT时,则取w(i,j)=0,其中BT的取值范围在(0.85~1.0)之间;
[0064] 以上两个约束条件的目的是提高相邻超像素点的色彩及纹理的相似性阈值,以保护天空与立面物体间、立面物体与地面间的边界特征。
[0065] (4)度矩阵的构建,i=1,2…n;j=1,2…n;
[0066]
[0067] (5)规范化Laplacian矩阵的构建
[0068] 采用Normalized-cut准则来计算规范化的Laplacian矩阵:
[0069] Lsym=I-D-1/2WD-1/2   (12)
[0070] 其中:D为度矩阵,W为权值邻接矩阵。
[0071] (6)计算Lsym进行特征值分解,并取前K个最小特征值所对应的特征向量,V1,V2,…,Vk;,其中K=[0.1×n],即取n的10%作为图像聚类特征向量的维度,以实现降维目的;
[0072] (7)将V1,V2,…,Vk排列组成Rn×k矩阵并将矩阵中的每个元素取绝对值得矩阵U;
[0073] (8)对于i=1,2…n,令yi∈Rk为矩阵U的第i行向量;
[0074] (9)对非零的yi∈Rk向量进行归一化,并用Bhattacharyya系数法进行聚类,其中Bhattacharyya距离BU的阈值为(0.85~1.0)之间,即当BU大于等于阈值时,超像素间进行聚类;
[0075] (10)对每个聚类图块采用规范化CIELAB颜色直方图,并对相邻图块类采用式(7)进行Bhattacharyya距离w(i,j),同时采用式(9)计算相邻图块的Be(i,j),当w(i,j)≥WT且Be(i,j)≥BT时进行聚类;
[0076] (11)重复(10)步,直到收敛。
[0077] 本算法对Make3D Image data图像库图像的聚类过程及效果如图2所示。
[0078] 3.几何包含关系聚类算法。
[0079] 为了提高模糊分布密度函数对天空、地面和立面物体判断的准确度,需要对图块进行基于几何包含关系的聚类,以消除孤岛图块,所谓的孤岛图块是指一个或多个图块被一个大图块完全包围的图块(如图3所示),几何包含关系的聚类算法可以将孤岛图块聚类成完全包围该孤岛的大图块,从而避免了几何上下文算法对孤岛图块空间分类所产生的奇异。
[0080] 具体算法如下:
[0081] (1)寻找镂空图块,其判据为当Nb-nb>0时则图块为镂空图块,其中Nb为图块所有边界的像素值,nb为图块外边界的像素值,如果Nb-nb>0则进入下一步,否则图块不为镂空图块;
[0082] (2)以外边界为边界以原图块的标记值来填充图块;
[0083] (3)以填充图块代替原镂空图块。
[0084] 4.重力场中人类视觉认知模型的构建及分类算法。
[0085] 图4为人类重力场视觉认知模型。
[0086] 当人类的视平线成平或接近水平时其对天空、地面及立面物体的推理模型如图4所示,其中黑点分别代表人类视觉中出现天空、地面或立面物体的最大概率点位置。对天空推理的概率分布函数的分布密度值从人类视场角最上延的最大值逐渐降低到人类视场角最下延,其在视平线上的概率密度值为零;对地面推理的概率分布函数的分布密度值从人类视场角最下延的最大值逐渐降低到人类视场角最上延,其在视平线上其概率密度值为零;对立面物体推理的概率分布密度值从视平线上的最大值向上、下两个方向逐渐降低,直至人类视场角的最上与最下延,其分布密度值接近零。
[0087] 下面根据上述的天空、地面及立面物体的推理模型结合图像的透视投影特性,构建了如下的重力场模糊分布密度函数:
[0088] (1)设定图像的视平线的位置,如图5所示,,视平线为过摄像机的光心并与地平面或水平面平行的直线,而图像中的水平线为过视平线与摄像机成像靶面的交点与地平面或水平面平行的直线如图6所示。
[0089] (2)地面重力场视觉模糊分布密度函数G:
[0090] 当HG≥HS时:令 且
[0091] 则得
[0092] 式中HG为视平线距图像底边的距离;HS为视平线距图像顶边的距离;x为像素在图像高度方向的坐标;n为密度函数的阶数。
[0093] 当HG<HS时:G(x)=-S(x)
[0094] 即
[0095] 其中:n=1,2,3……N,N∈正整数,通常取n=1即可。
[0096] (3)天空重力场视觉模糊分布密度函数S:
[0097] 当HG<HS时:令 且
[0098] 则得
[0099] 当HG≥HS时:S(x)=-G(x)
[0100] 即
[0101] 其中:n=1,2,3……N,N∈正整数,通常取n=1即可。
[0102] (4)立面物体重力场视觉模糊分布密度函数V:
[0103] 其中:
[0104] (5)对聚类图块中各像素在图像垂直方向上与地面模糊分布密度函数G、天空模糊分布密度函数S以及立面物体模糊分布密度函数V,在(-HG,HS)范围内相乘并求其期望值,公式如下:
[0105]
[0106]
[0107]
[0108] 其中:ni为聚类图块在第i行的像素个数,rb为聚类图块的最下延,rt为图块的最上延,i∈(0,1,……,H),H=HG+HS则图块的分类为:
[0109]
[0110] 图7为该模型对经过相应聚类算法而生成的聚类图块进行了天空、地面和立面物体的分类结果。从图中可以看出该方法能有效的区分出天空与地面,对在视平线附近的立面物体判断较为准确,但对于较高的立面物体与天空图块,以及较低的立面物体与地面存在一定程度的误判,因此需要进一步对立面物体与天空以及立面物体与地面之间进行二选一的分类。
[0111] 5.重力场中天空与立面物体的视觉分类算法。
[0112] 如前所述,由于重力场的作用使得地球表面上的物质按其密度进行了层次化分布,即密度高的固体物质形成立于地面之上的立面物体,而低密度的气体(如:空气和朵)物质形成天空,因此在光线的照射下,固态的立面物体与天空呈现出完全不同的反射效果,在图像中表现出截然不同的纹理特征。
[0113] 在对天空特征的研究中我们对图像的不同对象(如:天空、屋顶墙壁、地面草地等)进行了1层的小波变换采样,并采用l2范数计算各图块的平均能量测度,即
[0114]
[0115] 其中:Np为图块像素个数,rb为图块的最下延,rt为图块的最上延,cl为第i行图块最左边,cr为第i行图块最右边,其中R(i,j)为图像中(i,j)点处的小波采样值,值得注意的是在计算各图块平均能量测度时需要去除应图块边缘所产生的能量。
[0116] 通过能量测度计算可以得到图块的四维小波特征向量,即(eLL,eLH,eHL,eHH),其中eLL表征的是图块整体亮度特性、eLH,eHL,eHH表征的是图块高频纹理特征,而白天室外天空在图像中的特性普遍表现在高亮度和低能量高频纹理特征上。
[0117] 根据上述的分析,提出如下天空与立面物体的视觉分类算法:
[0118] (1)如果eLL>mean(eLL1,eLL2,…eLLn)则为候选天空图块,其中eLL1,eLL2,…eLLn∈天空和立面物体的eLL值,其中:mean()为均值函数;
[0119] (2)在满足上述条件下,当图块一层非下采样小波的能量测度时,则图块为候选天空图块,如果没有满足此条件图块时,则判定图块不为天空图块,Ec的取值范围为(0~7)之间;
[0120] (3)当存在满足上述图块时,再判断是否有以图像上延为边界的图块,如果有则判断存在天空图块,否则判定图像中无天空;
[0121] (4)在满足上述条件下如果出现的候选天空图块不唯一,则选取面积最大图块为天空图块,并以色彩距离值dab以及亮度距离值dL为判据对天空进行聚类,公式如下:
[0122] 且
[0123] 其中as、bs分别为天空图块CIELAB色彩空间a、b色彩通道的均值,ai、bi分别为候选天空图块CIELAB色彩空间a、b色彩通道的均值,当候选天空图块dab≤C且dL≤L则为天空,否则为立面物体,其中,C的取值范围(0~30),L的取值范围(0~70)。
[0124] (5)对聚类生成的天空面积进行计算如果其像素的个数小于图像象素的2‰,则将其归为立面物体,其理由是很小的天空图块对图像空间识别的意义不大;
[0125] (6)将所有非天空图块归类为立面物体。
[0126] 经过立面物体与天空分类算法所得结果如图8所示,从图中可以看出该算法较准确的判断了图像中天空是否存在(如图8(c)所示),并实现了不相邻天空图块的聚类(如图8(b)所示)。
[0127] 6.地面与立面物体的分割算法。
[0128] 如图8所示基于上述的模糊函数,可以将图像中大部分的地面中提取出来,但会出现部分立面物体图块和地面图块被误判的情况,此外还可能出现不符合重力场的情况,如图9所示,27号和34号图块,出现了地面悬浮在立面物体之上的情况,因此,需要对模糊函数的判断结果进行进一步的修正。
[0129] 对于不符合重力场空间几何逻辑的情况只需要进行几何上下文的逻辑判断就可以修正。前述的算法出现较大的地面与立面物体误判的情况主要是由于图像中存在着近距离的大型建筑物所致,如图8(c)(d)所示,因此需要对图像中是否存在近距离大型建筑进行判断。具体方法如下:
[0130] (1)根据地面的连续性及其重力场空间几何上下文性质,将悬空于立面物体中的地面图块归为立面物体,如图10所示;
[0131] (2)通过对图像中被判别为立面物体图块进行Hough变换,并通过基于直线方向角度的统计直方图,通过对其曼哈顿方向信息的强度,来判断图中是否存在大型近距离建筑物,如果不存在则结束对地面的修正,如果存在则进入下一步;
[0132] (3)以立面物体中建筑物的曼哈顿方向信息修正其与地面图块的连接边界,图10为图9的地面边界修正结果。
[0133] 7.深度感知模型。
[0134] 该模型首先假设地面是连续延展且较为平整,视觉成像系统有明确的方向性,即图像上缘为3D空间的正上方,下缘为3D空间的正下方,基于小孔成像原理的视觉系统物理模型如图12所示。
[0135] 地面深度信息与图像中地面像素位置的透视投影关系如下:
[0136]
[0137] 其中:H为摄像机距地面的高度,β为摄像机光轴与视平线的夹角,深度投影角α为视平线oo’与直线op的夹角,其取值范围为 p’为地面上的p点在成像靶面上的投影,f为镜头焦距,h为成像靶面上的视平线到p’点的距离,则摄像机可感知的地面距离d的取值范围为
[0138] 8.图像的深度感知图。
[0139] 由地面深度与摄像机距地面的高度H和深度投影角α的关系式(22)可知,当H为常数时,可以用α的值来表示地面在摄像机投影的各像素点深度,我们将的取值映射到CIELAB色彩空间的 的色环上,并将天空的颜色定义为色环 处的颜色,如图13所示。图11所对应的深度感知图如图14所示。
[0140] 本发明未涉及部分与现有技术相同或可采用现有技术加以实现。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈