首页 / 专利库 / 人工智能 / 奇异位形 / 一种长焦双目相机的立体标定算法

一种长焦双目相机的立体标定算法

阅读:427发布:2020-05-12

专利汇可以提供一种长焦双目相机的立体标定算法专利检索,专利查询,专利分析的服务。并且本 发明 公开了一种长焦双目相机的立体标定 算法 ,属于 图像处理 和 计算机视觉 领域。由于长焦镜头的焦距比较大,所以需要将标定物放在比较远的地方。由于标定物的大小限制,无法将标定物 覆盖 到整个视场 角 内。本方法从标定板覆盖不到的区域提取并匹配特征点,并根据匹配的特征点以及标定板角点的坐标来进行相机标定。本方法成功克服标定板尺寸不足以覆盖整个视场角的局限性;程序简单,易于实现;充分利用了普通标定的棋盘格角点和自标定的场景特征点,能够同时对长焦相机的内参和外参进行修正,操作简便,结果精确。,下面是一种长焦双目相机的立体标定算法专利的具体信息内容。

1.一种长焦双目相机的立体标定算法,其特征在于,包括下列步骤:
1)棋盘格点检测:用长焦双目相机拍摄棋盘格标定板图像,检测并匹配棋盘格角点,并获取棋盘格没有覆盖到的区域;
2)场景特征点检测:用长焦双目相机拍摄场景图像,检测并提取特征点;
3)特征点匹配:根据匹配窗口下的特征描述值,来对左右图像上提取的特征点进行匹配,并删除重复的匹配;
4)抛物线拟合优化匹配结果:通过一元二次抛物线拟合来对匹配的结果进行优化;
5)判断特征点覆盖区域:将图像分成m*n个格子,当特征点覆盖到所有格子,则进行下一步,否则继续拍摄场景图像,重复步骤2)~步骤4);
6)修正内参标定结果:使用标定板上的特征点的图像坐标和世界坐标来对内参修正;
7)修正外参标定结果:根据匹配后的棋盘格角点坐标以及场景特征点坐标对标定结果进行修正。
2.根据权利要求1所述的一种长焦双目相机的立体标定算法,其特征在于,步骤2)中特征点提取,具体包括以下步骤:
2-1)构建单尺度差分高斯金字塔DoG,场景图像I(x,y)的尺度空间为:
L(x,y,σ)=G(x,y,σ)*I(x,y)
其中, 是高斯核函数,σ是尺度因子,*表示卷积操作;L(x,
y,σ)就是图像I(x,y)的尺度空间,将不同尺度的尺度空间做差得到一层差分高斯金字塔,此外还需乘一个归一化尺度因子λ,使得DoG图像的最大值是255:
D(x,y,σ)=λ(L(x,y,kσ)-L(x,y,σ));
2-2)对于得到的DoG中的每一个点,将其与邻域内的像素点作比较,判断其是否为局部极值点;
2-2-1)记上步得到的DoG为D,将D做膨胀操作,结果记为D1;将D1中每一个像素点与其8-邻域上的点作比较,如果改像素点是局部极大值,则将其加入候选点集P1里;
2-2-2)将D取反再做膨胀操作,结果记为D2;将D2中每一个像素点与其8-邻域上的点作比较,如果改像素点是局部极小值,则将其加入候选点集P2里;
2-2-3)将P1和P2取交集,得到P3=P1∩P2;取P3中DoG灰度值大于15的点作为特征点集{P};
2-3)使用滤波器对高斯特征点进行去噪,过滤噪点及边缘点。
3.根据权利要求1或2所述的一种长焦双目相机的立体标定算法,其特征在于,步骤3)中特征点匹配,具体包括以下步骤:
3-1)将图像分为m×n个,对于左图每一个特征点 找到其在左图对应的块块 所对应的右图搜索范围记为 当找到一个能够描述特征点相似程度的变量来评估 和 中任意一点的相似程度,且相似程度最大值大于阈值t1,则视为粗匹配点
3-2)当 和 中相似程度最大值sfirst和次大值ssecond满足:
F(sfirst,ssecond)≥t2
则保留该匹配,其中t2为阈值,F(sfirst,ssecond)用于描述sfirst和ssecond之间的关系;
筛选后,再按照步骤3-1)、3-2)的方法匹配 在左图对应的特征点 当满足时,则保留该匹配
4.根据权利要求1或2所述的一种长焦双目相机的立体标定算法,其特征在于,步骤4)中抛物线拟合优化匹配结果,具体包括以下步骤:
4-1)以左图特征点 为基准,抛物线拟合优化对应右图的整数像素特征点得到的对应右图的亚像素特征点 其中 为
x方向上的亚像素偏移量, 为y方向上的亚像素偏移量;
4-2)以对应右图整数像素特征点 为基准,根据4-1)的方法计算出对应
左图的亚像素特征点 其中 为x方向上的亚像素偏移量,
为y方向上的亚像素偏移量;
4-3)最终的匹配点对为
5.根据权利要求3所述的一种长焦双目相机的立体标定算法,其特征在于,步骤4)中抛物线拟合优化匹配结果,具体包括以下步骤:
4-1)以左图特征点 为基准,抛物线拟合优化对应右图的整数像素特征点得到的对应右图的亚像素特征点 其中 为
x方向上的亚像素偏移量, 为y方向上的亚像素偏移量;
4-2)以对应右图整数像素特征点 为基准,根据4-1)的方法计算出对应
左图的亚像素特征点 其中 为x方向上的亚像素偏移量,
为y方向上的亚像素偏移量;
4-3)最终的匹配点对为
6.根据权利要求1、2或5所述的一种长焦双目相机的立体标定算法,其特征在于,步骤
6)中修正内参标定结果,具体包括以下步骤:
6-1)获取原来的标定结果:从长焦双目相机硬件本身获取两个镜头的参数,包括x方向和y方向的焦距fx和fy,单位:像素,镜头主点位置u0和v0等参数;
6-2)对每一张棋盘格角点图像Pi,进行以下步骤:
(1)获取棋盘格角点图像Pi下图像坐标和标定板坐标之间的旋转矩阵R和平移向量T;
T
根据摄像机模型,设三维世界坐标的点为M=[X,Y,Z,1] ,二维相机平面像素坐标为m=[u,v,1]T,则标定用的棋盘格平面到图像平面的单应性关系为:
其中s为尺度因子,K为摄像机内参数,规定棋盘格平面为Z=0,则有
K[r1,r2,t]为单应性矩阵H,即
H=[h1,h2 h3]=λK[r1 r2 t]
计算棋盘格坐标系和图像坐标系之间的单应矩阵H;单应性矩阵计算完成之后,计算图像坐标和标定板坐标之间的旋转矩阵R和平移向量T,计算公式如下:
r3=r1×r2
t=λK-1h3
其中,λ表示归一化系数;
(2)设采集了n'副包含棋盘格的图像,每个图像里有棋盘格角点m'个;令第i副图像上的角点Mij在得到的摄像机矩阵下图像上的投影点为:
其中Ri和ti是第i副图对应的旋转矩阵和平移向量,ΔRi和Δti分别是Ri和ti的变化量;K是内参数矩阵,其变化量为ΔK, 表示角点Mij在得到的摄像机矩阵下图像上的投影点;则角点mij的概率密度函数为:
构造似然函数:
让L取得最大值,即让下面式子最小;使用多参数非线性系统优化问题的Levenberg-Marquardt算法进行迭代求最优解:
7.根据权利要求3所述的一种长焦双目相机的立体标定算法,其特征在于,步骤6)中修正内参标定结果,具体包括以下步骤:
6-1)获取原来的标定结果:从长焦双目相机硬件本身获取两个镜头的参数,包括x方向和y方向的焦距fx和fy,单位:像素,镜头主点位置u0和v0等参数;
6-2)对每一张棋盘格角点图像Pi,进行以下步骤:
(1)获取棋盘格角点图像Pi下图像坐标和标定板坐标之间的旋转矩阵R和平移向量T;
根据摄像机模型,设三维世界坐标的点为M=[X,Y,Z,1]T,二维相机平面像素坐标为m=[u,v,1]T,则标定用的棋盘格平面到图像平面的单应性关系为:
其中s为尺度因子,K为摄像机内参数,规定棋盘格平面为Z=0,则有
K[r1,r2,t]为单应性矩阵H,即
H=[h1,h2 h3]=λK[r1 r2 t]
计算棋盘格坐标系和图像坐标系之间的单应矩阵H;单应性矩阵计算完成之后,计算图像坐标和标定板坐标之间的旋转矩阵R和平移向量T,计算公式如下:
r3=r1×r2
t=λK-1h3
其中,λ表示归一化系数;
(2)设采集了n'副包含棋盘格的图像,每个图像里有棋盘格角点m'个;令第i副图像上的角点Mij在得到的摄像机矩阵下图像上的投影点为:
其中Ri和ti是第i副图对应的旋转矩阵和平移向量,ΔRi和Δti分别是Ri和ti的变化量;K是内参数矩阵,其变化量为ΔK, 表示角点Mij在得到的摄像机矩阵下图像上的投影点;则角点mij的概率密度函数为:
构造似然函数:
让L取得最大值,即让下面式子最小;使用多参数非线性系统优化问题的Levenberg-Marquardt算法进行迭代求最优解:
8.根据权利要求4所述的一种长焦双目相机的立体标定算法,其特征在于,步骤6)中修正内参标定结果,具体包括以下步骤:
6-1)获取原来的标定结果:从长焦双目相机硬件本身获取两个镜头的参数,包括x方向和y方向的焦距fx和fy,单位:像素,镜头主点位置u0和v0等参数;
6-2)对每一张棋盘格角点图像Pi,进行以下步骤:
(1)获取棋盘格角点图像Pi下图像坐标和标定板坐标之间的旋转矩阵R和平移向量T;
根据摄像机模型,设三维世界坐标的点为M=[X,Y,Z,1]T,二维相机平面像素坐标为m=[u,v,1]T,则标定用的棋盘格平面到图像平面的单应性关系为:
其中s为尺度因子,K为摄像机内参数,规定棋盘格平面为Z=0,则有
K[r1,r2,t]为单应性矩阵H,即
H=[h1,h2 h3]=λK[r1 r2 t]
计算棋盘格坐标系和图像坐标系之间的单应矩阵H;单应性矩阵计算完成之后,计算图像坐标和标定板坐标之间的旋转矩阵R和平移向量T,计算公式如下:
r3=r1×r2
t=λK-1h3
其中,λ表示归一化系数;
(2)设采集了n'副包含棋盘格的图像,每个图像里有棋盘格角点m'个;令第i副图像上的角点Mij在得到的摄像机矩阵下图像上的投影点为:
其中Ri和ti是第i副图对应的旋转矩阵和平移向量,ΔRi和Δti分别是Ri和ti的变化量;K是内参数矩阵,其变化量为ΔK, 表示角点Mij在得到的摄像机矩阵下图像上的投影点;则角点mij的概率密度函数为:
构造似然函数:
让L取得最大值,即让下面式子最小;使用多参数非线性系统优化问题的Levenberg-Marquardt算法进行迭代求最优解:
9.根据权利要求1、2、5、7或8所述的一种长焦双目相机的立体标定算法,其特征在于,修正外参标定结果,具体包括以下步骤:
7-1)计算匹配的左右特征点 对应的正规坐标系下的坐标
像素坐标系以图片的左上角为原点,其x轴和y轴分别与图像坐标系的x轴和y轴平行;
像素坐标系的单位是像素;正规坐标系以相机的光心作为图像坐标系的原点,且将光心到图像平面的距离缩放到1;像素坐标与正规坐标的关系如下:
u=KX
其中, 表示图像的像素坐标; 表示相机的内参矩阵,fx和fy
分别表示图像x方向和y方向的焦距,单位是像素,(cx,cy)表示相机驻点的位置;
是正规坐标系下的坐标;已知图像的像素坐标系以及相机的内参计算出像素点对应的正规坐标系,即
X=K-1u
对于每一对左右相机匹配特征点 它们的正规坐标系为:
其中, 和 分别是 和 的像素坐标, 和 分别是 和 的正规坐标,Kl和Kr分别是左相机和右相机的内参矩阵;
7-2)去除图像畸变
根据左右图像特征点的正规坐标和左右相机各自的畸变系数来计算出左右图像特征点去畸变后的正规坐标;
图像径向畸变是图像像素点以畸变中心为中心点,沿着径向产生的位置偏差,从而导致图像中所成的像发生形变;径向畸变的表述如下:
xd=x(1+k1r2+k2r4+k3r6)
2 4 6
yd=y(1+k1r+k2r+k3r)
其中,r2=x2+y2,k1、k2、k3为径向畸变参数;
切向畸变是由于摄像机制造上的缺陷,使得透镜本身与图像平面不平行而产生的,定量描述为:
2 2
xd=x+(2p1xy+p2(r+2x))
yd=y+(p1(r2+2y2)+2p2xy)
其中,p1、p2为切向畸变系数;
综上,畸变前后的坐标关系如下:
2 4 6 2 2
xd=x(1+k1r+k2r+k3r)+(2p1xy+p2(r+2x))
yd=y(1+k1r2+k2r4+k3r6)+(p1(r2+2y2)+2p2xy)
其中,(x,y)是理想状态下的正规坐标,(xd,yd)是实际带有畸变的正规坐标;以(xd,yd)作为(x,y)的初值,迭代计算得到实际的(x,y);
7-3)根据原来两相机的旋转关系将左右两图旋转:已知原来左右相机之间的旋转矩阵R和平移向量t,使得
Xr=RXl+t
其中,Xl表示左相机的正规坐标,Xr表示右相机的正规坐标;将左图旋转R正方向一半的角度,将右图旋转R反方向一半的角度;
对于上一步得到的每一对去畸变之后的左右特征点 的正规坐标
7-4)根据公式u=KX将去畸旋转后的图像还原至像素坐标系;根据上一步更新的左右特征点 的正规坐标 计算去畸校正后的图像坐标:
7-5)根据左右两图去畸校正后的特征点对坐标以及左右相机的内参矩阵来求解基础矩阵F和本质矩阵E:左右对应像素点对ul、ur和基础矩阵F的关系是:
使用随机抽样一致性对点对做进一步筛选,之后将对应点坐标代入上式,构建齐次线性方程组求解F;
基础矩阵和本质矩阵的关系是:
其中,Kl、Kr分别是左右相机的内参矩阵;
7-6)从本质矩阵分解出校正之后左右相机旋转和平移关系:本质矩阵E与旋转R和平移t的关系如下:
E=[t]×R
其中[t]×表示t的叉乘矩阵;
将E做奇异值分解,得:
定义两个矩阵:
和 ZW=Σ
所以E写成以下两种形式
(1)E=UZUTUWVT
令[t]×=UZUT,R=UWVT
(2)E=-UZUTUWTVT
令[t]×=-UZUT,R=UWTVT
得到四对R和t,选取具有三维意义的解;
7-7)将分解出的旋转和平移关系叠加到原来的外参里面
记去畸变前的旋转矩阵为R,平移向量为t=(tx,ty,tz)T;步骤6-2)计算出的旋转矩阵为R′,平移向量为t′=(t′x,t′y,t′z)T;则新的Rnew和tnew如下
Rnew=R1/2R′R1/2
10.根据权利要求6所述的一种长焦双目相机的立体标定算法,其特征在于,修正外参标定结果,具体包括以下步骤:
7-1)计算匹配的左右特征点 对应的正规坐标系下的坐标
像素坐标系以图片的左上角为原点,其x轴和y轴分别与图像坐标系的x轴和y轴平行;
像素坐标系的单位是像素;正规坐标系以相机的光心作为图像坐标系的原点,且将光心到图像平面的距离缩放到1;像素坐标与正规坐标的关系如下:
u=KX
其中, 表示图像的像素坐标; 表示相机的内参矩阵,fx和fy
分别表示图像x方向和y方向的焦距,单位是像素,(cx,cy)表示相机驻点的位置; 是正规坐标系下的坐标;已知图像的像素坐标系以及相机的内参计算出像素点对应的正规坐标系,即
-1
X=K u
对于每一对左右相机匹配特征点 它们的正规坐标系为:
其中, 和 分别是 和 的像素坐标, 和 分别是 和 的正规坐标,Kl和Kr分别是左相机和右相机的内参矩阵;
7-2)去除图像畸变
根据左右图像特征点的正规坐标和左右相机各自的畸变系数来计算出左右图像特征点去畸变后的正规坐标;
图像径向畸变是图像像素点以畸变中心为中心点,沿着径向产生的位置偏差,从而导致图像中所成的像发生形变;径向畸变的表述如下:
xd=x(1+k1r2+k2r4+k3r6)
yd=y(1+k1r2+k2r4+k3r6)
其中,r2=x2+y2,k1、k2、k3为径向畸变参数;
切向畸变是由于摄像机制造上的缺陷,使得透镜本身与图像平面不平行而产生的,定量描述为:
xd=x+(2p1xy+p2(r2+2x2))
yd=y+(p1(r2+2y2)+2p2xy)
其中,p1、p2为切向畸变系数;
综上,畸变前后的坐标关系如下:
xd=x(1+k1r2+k2r4+k3r6)+(2p1xy+p2(r2+2x2))
yd=y(1+k1r2+k2r4+k3r6)+(p1(r2+2y2)+2p2xy)
其中,(x,y)是理想状态下的正规坐标,(xd,yd)是实际带有畸变的正规坐标;以(xd,yd)作为(x,y)的初值,迭代计算得到实际的(x,y);
7-3)根据原来两相机的旋转关系将左右两图旋转:已知原来左右相机之间的旋转矩阵R和平移向量t,使得
Xr=RXl+t
其中,Xl表示左相机的正规坐标,Xr表示右相机的正规坐标;将左图旋转R正方向一半的角度,将右图旋转R反方向一半的角度;
对于上一步得到的每一对去畸变之后的左右特征点 的正规坐标
7-4)根据公式u=KX将去畸旋转后的图像还原至像素坐标系;根据上一步更新的左右特征点 的正规坐标 计算去畸校正后的图像坐标:
7-5)根据左右两图去畸校正后的特征点对坐标以及左右相机的内参矩阵来求解基础矩阵F和本质矩阵E:左右对应像素点对ul、ur和基础矩阵F的关系是:
使用随机抽样一致性对点对做进一步筛选,之后将对应点坐标代入上式,构建齐次线性方程组求解F;
基础矩阵和本质矩阵的关系是:
其中,Kl、Kr分别是左右相机的内参矩阵;
7-6)从本质矩阵分解出校正之后左右相机旋转和平移关系:本质矩阵E与旋转R和平移t的关系如下:
E=[t]×R
其中[t]×表示t的叉乘矩阵;
将E做奇异值分解,得:
定义两个矩阵:
和 ZW=Σ
所以E写成以下两种形式
(1)E=UZUTUWVT
T T
令[t]×=UZU,R=UWV
(2)E=-UZUTUWTVT
令[t]×=-UZUT,R=UWTVT
得到四对R和t,选取具有三维意义的解;
7-7)将分解出的旋转和平移关系叠加到原来的外参里面
记去畸变前的旋转矩阵为R,平移向量为t=(tx,ty,tz)T;步骤6-2)计算出的旋转矩阵为R′,平移向量为t′=(t′x,t′y,t′z)T;则新的Rnew和tnew如下
Rnew=R1/2R′R1/2

说明书全文

一种长焦双目相机的立体标定算法

技术领域

[0001] 本发明属于图像处理计算机视觉领域,涉及从标定板覆盖不到的区域提取并匹配特征点,并根据匹配的特征点以及标定板点的坐标来进行相机标定,从而弥补因标定板尺寸而无法将特征点覆盖到整个视场角的问题。

背景技术

[0002] 立体视觉是计算机视觉领域的一个重要课题,它的目的在于重构场景的三维几何信息。双目立体视觉是立体视觉中的一个重要分支。双目立体视觉使用左右两台摄像头来模拟两只眼睛,通过计算双目图像之间的差别计算出深度图像,可以用于三维重建、目标检测等多个领域,其中双目图像之间的差别成为视差。双目立体视觉具有效率高、精度合适、系统结构简单、成本低等优点,广泛用于机器人视觉、车辆导航、医学成像等领域。
[0003] 双目立体视觉需要对同一点在左右图像成像点进行匹配,这样就需要知道摄像机两个镜头本身的焦距和成像中心点、两个镜头之间的位置关系以及左右两个镜头之间的位置关系。此外,由于相机镜头的生产工艺受限,拍摄出来的图像存在失真,这种失真称为相机的畸变。为了得到以上数据并消除畸变,我们需要对相机进行标定。
[0004] 我们通过标定过程得到了相机两个镜头的参数以及它们的相对位置参数,然而这些参数不是稳定不变的。随着温度、湿度等变化,相机镜头的内部参数会发生变化;此外,相机的意外碰撞可能导致两个镜头之间的位置关系发生变化。因此,相机每使用一段时间就需要对其内外参数进行修正,这就是自标定。
[0005] 在标定相机镜头的内外参数的时候,需要计算图像坐标系和三维世界坐标系之间的关系。因此,我们需要知道标定物的物理尺寸。此外,还需要得到覆盖整个视场角(FOV)的左右图像上的匹配特征点的坐标。
[0006] 长焦数码相机就是拥有长焦镜头的数码相机。镜头的焦距一般用毫米来表示,例如我们常说的35mm的镜头,50mm的镜头,135mm的镜头等等。镜头根据它的焦距可以分为广角镜头、标准镜头和长焦镜头等等,其实这是根据镜头的视角划分的。透镜的成像规律是物距的倒数与像距的倒数之和等于焦距的倒数,即
[0007]
[0008] 其中,u、v分别表示物距和相距,f表示相机的焦距。浙江大学提出了一种基于多项式投影模型的长焦相机标定方法(专利公开号:CN102622744A),将图像上的点转化到球面上,根据直线在球面上的投影性质进行优化。由于长焦镜头的焦距比较大,所以需要将标定物放在比较远的地方。由于标定物的大小限制,无法将标定物覆盖到整个FOV内。为了解决这个矛盾,本发明同时使用标定版和场景中的特征点来对相机的内外参进行修正。由于事先知道镜头的内参,所以标定板没有覆盖FOV是可以接受的。我们使用标定板上的特征点的图像坐标和世界坐标来对内参修正,使用所有特征点的图像坐标来进行外参的修正。

发明内容

[0009] 本发明旨在克服标定板尺寸不足以覆盖整个视场角的局限性,提出了一种对标定板未覆盖的区域进行特征点检测和匹配方案,来对标定板未覆盖的区域进行特征点检测和匹配,并根据这些特征点对原有的标定结果进行修正。流程如图1 所示。
[0010] 本发明的技术方案:
[0011] 一种长焦双目相机的立体标定算法,包括下列步骤:
[0012] 1)棋盘格角点检测:用长焦双目相机拍摄棋盘格标定板图像,检测并匹配棋盘格角点,并获取棋盘格没有覆盖到的区域。
[0013] 2)场景特征点检测:用长焦双目相机拍摄多组场景图像,检测并提取特征点以备进一步筛选。
[0014] 3)特征点匹配:根据匹配窗口下的特征描述值,来对左右图像上提取的特征点进行匹配,并删除重复的匹配。
[0015] 4)抛物线拟合优化匹配结果:通过一元二次抛物线拟合来对匹配的结果进行优化。
[0016] 5)判断特征点覆盖区域:将图像分成m*n个格子,如果特征点覆盖到所有格子,则进行下一步,否则继续拍摄图像,重复步骤2)~步骤4)。
[0017] 6)修正内参标定结果:使用标定板上的特征点的图像坐标和世界坐标来对内参修正。
[0018] 7)修正外参标定结果:根据匹配后的棋盘格角点坐标以及场景特征点坐标对标定结果进行修正。
[0019] 步骤2)中特征点提取,具体包括以下步骤:
[0020] 2-1)构建单尺度差分高斯金字塔(DoG)。差分高斯金字塔差分高斯金字塔是由相邻尺度空间做差得来的,常被用于尺度不变特征变换(Scale-invariant feature transform,SIFT)。一幅图像的尺度空间被定义为:高斯卷积核与该图像的卷积,它是高斯卷积核中的参数σ的函数。具体地,场景图像I(x,y)的尺度空间为:
[0021] L(x,y,σ)=G(x,y,σ)*I(x,y)
[0022] 其中, 是高斯核函数,σ是尺度因子,σ的大小决定图像的平滑程度,大尺度对应图像的概貌特征,小尺度对应图像的细节特征。大的σ值对应粗糙尺度(低分辨率),小的σ值对应精细尺度(高分辨率)。*表示卷积操作。L(x,y,σ)就是图像I(x,y)的尺度空间,如图2所示。我们将不同尺度的尺度空间做差得到一层差分高斯金字塔,此外还需乘一个归一化尺度因子λ,使得DoG 图像的最大值是255。
[0023] D(x,y,σ)=λ(L(x,y,kσ)-L(x,y,σ))
[0024] 和SIFT不同的是,我们仅仅计算一种尺度特征。这么做的原因有两点:第一,计算多个尺度空间的计算量太大了,无法实现事实性;第二,使用多尺度空间得到的SIFT特征的准确度不够满足标定的要求。
[0025] 2-2)对于在上步得到的DoG中的每一个点,将其与邻域内的像素点作比较,判断其是否为局部极值点。
[0026] 2-2-1)记上步得到的DoG为D。将D做膨胀操作,结果记为D1。将D1中每一个像素点与其8-邻域上的点作比较,如果改像素点是局部极大值,则将其加入候选点集P1里。
[0027] 2-2-2)将D取反再做膨胀操作,结果记为D2。将D2中每一个像素点与其8- 邻域上的点作比较,如果改像素点是局部极小值,则将其加入候选点集P2里。
[0028] 2-2-3)将P1和P2取交集,得到P3=P1∩P2。取P3中DoG灰度值大于15的点作为特征点集{P}。2-3)由于仅仅根据高斯特征判断出的特征点里会出现噪点,所以我们需要对高斯特征点进行去噪。这里可以使用常用的滤波器来过滤噪点及边缘点。
[0029] 特征点匹配,具体包括以下步骤:
[0030] 3-1)将图像分为m×n个。对于左图每一个特征点 找到其在左图对应的块块 所对应的右图搜索范围记为 如图3所示。找到一个能够描述特征点相似程度的变量来评估 和 中任意一点的相似程度,如果相似程度最大值大于阈值t1,则视为粗匹配点
[0031] 3-2)如果 和 中相似程度最大值sfirst和次大值ssecond满足:
[0032] F(sfirst,ssecond)≥t2
[0033] 则保留该匹配,其中t2为阈值,F(sfirst,ssecond)用于描述sfirst和ssecond之间的关系。
[0034] 按照该规则筛选之后,再按照以上步骤匹配 在左图对应的特征点 如果满足 则保留该匹配
[0035] 抛物线拟合优化匹配结果,具体包括以下步骤:
[0036] 4-1)以左图特征点 为基准,抛物线拟合优化对应右图的整数像素特征点 得到的对应右图的亚像素特征点 其中
为x方向上的亚像素偏移量, 为y方向上的亚像素偏移量。
[0037] 4-2)以对应右图整数像素特征点 为基准,根据4-1)的方法计算出对应左图的亚像素特征点 其中 为x方向上的亚像素偏移
量, 为y方向上的亚像素偏移量。
[0038] 4-3)最终的匹配点对为
[0039] 修正内参标定结果,具体包括以下步骤:
[0040] 6-1)获取原来的标定结果:从长焦双目相机硬件本身获取两个镜头的参数,包括x方向和y方向的焦距fx和fy(单位:像素),镜头主点位置u0和v0等参数。
[0041] 6-2)更新内参结果。
[0042] 对每一张棋盘格角点图像Pi,进行以下步骤:
[0043] (1)获取棋盘格角点图像Pi下图像坐标和标定板坐标之间的旋转矩阵R和平移向量T。根据之前介绍的摄像机模型,设三维世界坐标的点为M=[X,Y,Z,1]T,二维相机平面像素坐标为m=[u,v,1]T,所以标定用的棋盘格平面到图像平面的单应性关系为:
[0044] sm=K[R,T]M
[0045]
[0046]
[0047] 其中s为尺度因子,K为摄像机内参数,R和T分别为图像坐标和标定板坐标之间的旋转矩阵和平移向量。我们规定棋盘格平面为Z=0,则有
[0048]
[0049] 我们把K[r1,r2,t]叫做单应性矩阵H,即
[0050]
[0051] H=[h1,h2 h3]=λK[r1 r2 t]
[0052] 计算棋盘格坐标系和图像坐标系之间的单应矩阵H。单应性矩阵计算完成之后,计算图像坐标和标定板坐标之间的旋转矩阵R和平移向量T,计算公式如下:
[0053]
[0054]
[0055]
[0056] r3=r1×r2
[0057] t=λK-1h3
[0058] 其中,λ表示归一化系数;
[0059] (2)这里假设我们采集了n'副包含棋盘格的图像,每个图像里有棋盘格角点m'个。令第i副图像上的角点Mij在上述计算得到的摄像机矩阵下图像上的投影点为:
[0060]
[0061] 其中Ri和ti是第i副图对应的旋转矩阵和平移向量,ΔRi和Δti分别是Ri和 ti的变化量。K是内参数矩阵,其变化量为ΔK。则角点mij的概率密度函数为:
[0062]
[0063] 构造似然函数:
[0064]
[0065] 让L取得最大值,即让下面式子最小。这里使用的是多参数非线性系统优化问题的Levenberg-Marquardt算法进行迭代求最优解。
[0066]
[0067] 修正外参标定结果,具体包括以下步骤:
[0068] 7-1)计算匹配的左右特征点 对应的正规坐标系下的坐标。像素坐标系以图片的左上角为原点,其x轴和y轴分别与图像坐标系的x轴和y轴平行。像素坐标系的单位是像素,像素是图像显示的基本且不可分割的单位。正规坐标系以相机的光心作为图像坐标系的原点,且将光心到图像平面的距离缩放到1。像素坐标与正规坐标的关系如下:
[0069] u=KX
[0070]
[0071] 其中, 表示图像的像素坐标; 表示相机的内参矩阵, fx和fy分别表示图像x方向和y方向的焦距(单位是像素),(cx,cy)表示相机驻点的位置;
是正规坐标系下的坐标。已知图像的像素坐标系以及相机的内参可以计算出像素点对应的正规坐标系,即
[0072] X=K-1u
[0073] 对于每一对左右相机匹配特征点 它们的正规坐标系为:
[0074]
[0075]
[0076] 其中, 和 分别是 和 的像素坐标, 和 分别是 和 的正规坐标, Kl和Kr分别是左相机和右相机的内参矩阵。
[0077] 7-2)去除图像畸变:根据左右图像特征点的正规坐标和左右相机各自的畸变系数来计算出左右图像特征点去畸变后的正规坐标。
[0078] 由于镜头生产工艺的限制,实际情况下的镜头会存在一些失真现象导致非线性的畸变,可大致分为径向畸变和切向畸变。
[0079] 图像径向畸变是图像像素点以畸变中心为中心点,沿着径向产生的位置偏差,从而导致图像中所成的像发生形变。径向畸变的大致表述如下:
[0080] xd=x(1+k1r2+k2r4+k3r6)
[0081] yd=y(1+k1r2+k2r4+k3r6)
[0082] 其中,r2=x2+y2,k1、k2、k3为径向畸变参数。
[0083] 切向畸变是由于摄像机制造上的缺陷使得透镜本身与图像平面不平行而产生的,可定量描述为:
[0084] xd=x+(2p1xy+p2(r2+2x2))
[0085] yd=y+(p1(r2+2y2)+2p2xy)
[0086] 其中,p1、p2为切向畸变系数。
[0087] 综上,畸变前后的坐标关系如下:
[0088] xd=x(1+k1r2+k2r4+k3r6)+(2p1xy+p2(r2+2x2))
[0089] yd=y(1+k1r2+k2r4+k3r6)+(p1(r2+2y2)+2p2xy)
[0090] 其中,(x,y)是理想状态下的正规坐标,(xd,yd)是实际带有畸变的正规坐标。我们以(xd,yd)作为(x,y)的初值,迭代计算若干次(例如20次)得到实际的(x,y)。
[0091] 7-3)根据原来两相机的旋转关系将左右两图旋转:已知原来左右相机之间的旋转矩阵R和平移向量t,使得
[0092] Xr=RXl+t
[0093] 其中,Xl表示左相机的正规坐标,Xr表示右相机的正规坐标。将左图旋转R 正方向一半的角度,将右图旋转R反方向一半的角度。
[0094] 对于上一步得到的每一对去畸变之后的左右特征点 的正规坐标
[0095] 7-4)根据公式u=KX将去畸旋转后的图像还原至像素坐标系。根据上一步更新的左右特征点 的正规坐标 计算去畸校正后的图像坐标
[0096]
[0097]
[0098] 7-5)根据左右两图去畸校正后的特征点对坐标以及左右相机的内参矩阵来求解基础矩阵F和本质矩阵E:左右对应像素点对ul、ur和基础矩阵F的关系是:
[0099]
[0100] 使用随机抽样一致性(RANSAC)对点对做进一步筛选,之后将对应点坐标代入上式,构建齐次线性方程组求解F。
[0101] 基础矩阵和本质矩阵的关系是:
[0102]
[0103] 其中,Kl、Kr分别是左右相机的内参矩阵。
[0104] 7-6)从本质矩阵分解出校正之后左右相机旋转和平移关系:本质矩阵E与旋转R和平移t的关系如下:
[0105] E=[t]×R
[0106] 其中[t]×表示t的叉乘矩阵。
[0107] 将E做奇异值分解,得
[0108]
[0109] 定义两个矩阵
[0110] 和 ZW=Σ
[0111] 所以E可以写成以下两种形式
[0112] (1)E=UZUTUWVT
[0113] 令[t]×=UZUT,R=UWVT
[0114] (2)E=-UZUTUWTVT
[0115] 令[t]×=-UZUT,R=UWTVT
[0116] 得到四对R和t,选取具有三维意义的解。
[0117] 7-7)将分解出的旋转和平移关系叠加到原来的外参里面。
[0118] 记去畸变前的旋转矩阵为R,平移向量为t=(tx,ty,tz)T;步骤6-2)计算出的旋转矩阵为R′,平移向量为t′=(t′x,t′y,t′z)T。则新的Rnew和tnew如下
[0119] Rnew=R1/2R'R1/2
[0120]
[0121] 本发明的有益效果是:本发明旨在克服标定板尺寸不足以覆盖整个视场角的局限性,增加了一些步骤来对标定板未覆盖的区域进行特征点检测和匹配,并根据这些特征点对原有的标定结果进行修正。本发明充分利用了普通标定的棋盘格角点和自标定的场景特征点,能够同时对长焦相机的内参和外参进行修正,操作简便,结果精确。附图说明
[0122] 图1为流程示意图。
[0123] 图2表示高斯差分金字塔(DoG)。
[0124] 图3是分块匹配的示意图。其中,(a)为左图,(b)为右图。

具体实施方式

[0125] 本发明提出了一种覆盖全视场角的标定点提取方法,结合附图及实施例详细说明如下:
[0126] 1)棋盘格角点检测:拍摄棋盘格标定板图像,检测并匹配棋盘格角点,并获取棋盘格没有覆盖到的区域。
[0127] 2)场景特征点检测:拍摄多组室外场景图像,检测并匹配特征点以备进一步筛选。
[0128] 2-1)构件单尺度差分高斯金字塔(DoG)。差分高斯金字塔差分高斯金字塔是由相邻尺度空间做差得来的,常被用于尺度不变特征变换(Scale-invariant feature transform,SIFT)。一幅图像的尺度空间被定义为:高斯卷积核与该图像的卷积,它是高斯卷积核中的参数σ的函数。具体地,图像I(x,y)的尺度空间为:
[0129] L(x,y,σ)=G(x,y,σ)*I(x,y)
[0130] 其中, 是高斯核函数,σ是尺度因子,σ的大小决定图像的平滑程度,大尺度对应图像的概貌特征,小尺度对应图像的细节特征。大的σ值对应粗糙尺度(低分辨率),小的σ值对应精细尺度(高分辨率)。*表示卷积操作。L(x,y,σ)就是图像I(x,y)的尺度空间。我们将不同尺度的尺度空间做差得到一层差分高斯金字塔,此外还需乘一个归一化尺度因子λ,使得DoG图像的最大值是255。
[0131] D(x,y,σ)=λ(L(x,y,kσ)-L(x,y,σ))
[0132] 为了提高计算速度,我们仅仅计算一种尺度的DoG,如图3所示。
[0133] 2-2)对于在上步得到的DoG中的每一个点,将其与3×3邻域内的8个像素点作比较,判断其是否为局部极值点。
[0134] 2-2-1)记上步得到的DoG为D。将D做膨胀操作,结果记为D1。将D1中每一个像素点与其8-邻域上的点作比较,如果改像素点是局部极大值,则将其加入候选点集P1里。
[0135] 2-2-2)将D取反再做膨胀操作,结果记为D2。将D2中每一个像素点与其8- 邻域上的点作比较,如果改像素点是局部极小值,则将其加入候选点集P2里。
[0136] 2-2-3)将P1和P2取交集,得到P3=P1∩P2。取P3中DoG灰度值大于15的点作为特征点集{P}。
[0137] 2-3)由于仅仅根据高斯特征判断出的特征点里会出现噪点,所以我们需要对高斯特征点进行去噪。这里可以使用常用的滤波器来过滤噪点及边缘点。
[0138] 3)特征点匹配:将得到的特征点根据匹配窗口下的特征描述值来对左右图像上的特征点进行匹配,并删除重复的匹配。
[0139] 3-1)将图像分为m×n个块。对于左图每一个特征点 找到其在左图对应的块块 所对应的右图搜索范围记为 如图3所示。找到一个能够描述特征点相似程度的变量来评估 和 中任意一点的相似程度,如果相似程度最大值大于阈值t1,则视为粗匹配点
[0140] 3-2)如果 和 中相似程度最大值sfirst和次大值ssecond满足:
[0141] F(sfirst,ssecond)≥t2
[0142] 则保留该匹配,其中t2为阈值,F(sfirst,ssecond)用于描述sfirst和ssecond之间的关系。
[0143] 按照该规则筛选之后,再按照以上步骤匹配 在左图对应的特征点 如果满足 则保留该匹配
[0144] 4)抛物线拟合优化匹配结果:将匹配结果通过一元二次抛物线拟合来对匹配的结果进行优化。
[0145] 抛物线拟合优化匹配结果,具体包括以下步骤:
[0146] 4-1)以左图特征点 为基准,抛物线拟合优化对应右图的整数像素特征点 得到的对应右图的亚像素特征点
[0147] 4-2)以对应右图整数像素特征点 为基准,根据4-1)的方法计算出对应左图的亚像素特征点
[0148] 4-3)最终的匹配点对为
[0149] 5)判断特征点覆盖区域:如果之前步骤提取出的角点能够完整覆盖到标定板覆盖不到的区域,就可以根据得到的棋盘格角点坐标以及场景特征点坐标来进行相机标定。
[0150] 6)内参标定结果修正:使用标定板上的特征点的图像坐标和世界坐标来对内参修正。
[0151] 6-1)获取原来的标定结果:从相机硬件本身获取两个镜头的参数,包括x 方向和y方向的焦距fx和fy(单位:像素),镜头主点位置u0和v0等参数。
[0152] 6-2)更新内参结果。
[0153] 对每一张棋盘格角点图像Pi,进行以下步骤:
[0154] (1)获棋盘格角点图像Pi下图像坐标和标定板坐标之间的旋转矩阵R和平移向量T。根据之前介绍的摄像机模型,设三维世界坐标的点为M=[X,Y,Z,1]T,二维相机平面像素坐标为m=[u,v,1]T,所以标定用的棋盘格平面到图像平面的单应性关系为:
[0155] sm=K[R,T]M
[0156]
[0157]
[0158] 其中s为尺度因子,K为摄像机内参数,R和T分别为图像坐标和标定板坐标之间的旋转矩阵和平移向量。我们规定棋盘格平面为Z=0,则有
[0159]
[0160] 我们把K[r1,r2,t]叫做单应性矩阵H,即
[0161]
[0162] H=[h1,h2 h3]=λK[r1 r2 t]
[0163] 计算棋盘格坐标系和图像坐标系之间的单应矩阵H。单应性矩阵计算完成之后,计算图像坐标和标定板坐标之间的旋转矩阵R和平移向量T,计算公式如下:
[0164]
[0165]
[0166]
[0167] r3=r1×r2
[0168] t=λK-1h3
[0169] (2)这里假设我们采集了n′副包含棋盘格的图像,每个图像里有棋盘格角点m′个。令第i副图像上的角点Mij在上述计算得到的摄像机矩阵下图像上的投影点为:
[0170]
[0171] 其中Ri和ti是第i副图对应的旋转矩阵和平移向量,ΔRi和Δti分别是Ri和 ti的变化量。K是内参数矩阵,其变化量为ΔK。则角点mij的概率密度函数为:
[0172]
[0173] 构造似然函数:
[0174]
[0175] 让L取得最大值,即让下面式子最小。这里使用的是多参数非线性系统优化问题的Levenberg-Marquardt算法进行迭代求最优解。
[0176]
[0177] 7)内参标定结果修正:使用所有特征点的图像坐标来进行外参的修正。
[0178] 7-1)计算匹配的左右特征点 对应的正规坐标系下的坐标。像素坐标系以图片的左上角为原点,其x轴和y轴分别与图像坐标系的x轴和y轴平行。像素坐标系的单位是像素,像素是图像显示的基本且不可分割的单位。正规坐标系以相机的光心作为图像坐标系的原点,且将光心到图像平面的距离缩放到1。像素坐标与正规坐标的关系如下:
[0179] u=KX
[0180]
[0181] 其中, 表示图像的像素坐标; 表示相机的内参矩阵, fx和fy分别表示图像x方向和y方向的焦距(单位是像素),(cx,cy)表示相机住店的位置;
是正规坐标系下的坐标。已知图像的像素坐标系以及相机的内参可以计算出像素点对应的正规坐标系,即
[0182] X=K-1u
[0183] 对于每一对左右相机匹配特征点 它们的正规坐标系为:
[0184]
[0185]
[0186] 其中, 和 分别是 和 的像素坐标, 和 分别是 和 的正规坐标, Kl和Kr分别是左相机和右相机的内参矩阵。
[0187] 7-2)去除图像畸变:根据左右图像特征点的正规坐标和左右相机各自的畸变系数来计算出左右图像特征点去畸变后的正规坐标。
[0188] 由于镜头生产工艺的限制,实际情况下的镜头会存在一些失真现象导致非线性的畸变,可大致分为径向畸变和切向畸变。
[0189] 图像径向畸变是图像像素点以畸变中心为中心点,沿着径向产生的位置偏差,从而导致图像中所成的像发生形变。径向畸变的大致表述如下:
[0190] xd=x(1+k1r2+k2r4+k3r6)
[0191] yd=y(1+k1r2+k2r4+k3r6)
[0192] 其中,r2=x2+y2,k1、k2、k3为径向畸变参数。
[0193] 切向畸变是由于摄像机制造上的缺陷使得透镜本身与图像平面不平行而产生的,可定量描述为:
[0194] xd=x+(2p1xy+p2(r2+2x2))
[0195] yd=y+(p1(r2+2y2)+2p2xy)
[0196] 其中,p1、p2为切向畸变系数。
[0197] 综上,畸变前后的坐标关系如下:
[0198] xd=x(1+k1r2+k2r4+k3r6)+(2p1xy+p2(r2+2x2))
[0199] yd=y(1+k1r2+k2r4+k3r6)+(p1(r2+2y2)+2p2xy)
[0200] 其中,(x,y)是理想状态下的正规坐标,(xd,yd)是实际带有畸变的正规坐标。我们以(xd,yd)作为(x,y)的初值,迭代计算若干次(例如20次)得到实际的(x,y)。
[0201] 7-3)根据原来两相机的旋转关系将左右两图旋转:已知原来左右相机之间的旋转矩阵R和平移向量t,使得
[0202] Xr=RXl+t
[0203] 其中,Xl表示左相机的正规坐标,Xr表示右相机的正规坐标。将左图旋转R 正方向一半的角度,将右图旋转R反方向一半的角度。
[0204] 对于上一步得到的每一对去畸变之后的左右特征点 的正规坐标
[0205] 7-4)根据公式u=KX将去畸旋转后的图像还原至像素坐标系。根据上一步更新的左右特征点 的正规坐标 计算去畸校正后的图像坐标
[0206]
[0207]
[0208] 7-5)根据左右两图去畸校正后的特征点对坐标以及左右相机的内参矩阵来求解基础矩阵F和本质矩阵E:左右对应像素点对ul、ur和基础矩阵F的关系是:
[0209]
[0210] 使用随机抽样一致性(RANSAC)对点对做进一步筛选,之后将对应点坐标代入上式,构建齐次线性方程组求解F。
[0211] 基础矩阵和本质矩阵的关系是:
[0212]
[0213] 其中,Kl、Kr分别是左右相机的内参矩阵。
[0214] 7-6)从本质矩阵分解出校正之后左右相机旋转和平移关系:本质矩阵E与旋转R和平移t的关系如下:
[0215] E=[t]×R
[0216] 其中[t]×表示t的叉乘矩阵。
[0217] 将E做奇异值分解,得
[0218]
[0219] 定义两个矩阵
[0220] 和 ZW=Σ
[0221] 所以E可以写成以下两种形式
[0222] (1)E=UZUTUWVT
[0223] 令[t]×=UZUT,R=UWVT
[0224] (2)E=-UZUTUWTVT
[0225] 令[t]×=-UZUT,R=UWTVT
[0226] 得到四对R和t,选取具有三维意义的解。
[0227] 7-7)将分解出的旋转和平移关系叠加到原来的外参里面。
[0228] 记去畸变前的旋转矩阵为R,平移向量为t=(tx,ty,tz)T;步骤6-2)计算出的旋转矩阵为R′,平移向量为t′=(t′x,t′y,t′z)T。则新的Rnew和tnew如下
[0229] Rnew=R1/2R'R1/2
[0230] 。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈