专利汇可以提供一种长焦双目相机的立体标定算法专利检索,专利查询,专利分析的服务。并且本 发明 公开了一种长焦双目相机的立体标定 算法 ,属于 图像处理 和 计算机视觉 领域。由于长焦镜头的焦距比较大,所以需要将标定物放在比较远的地方。由于标定物的大小限制,无法将标定物 覆盖 到整个视场 角 内。本方法从标定板覆盖不到的区域提取并匹配特征点,并根据匹配的特征点以及标定板角点的坐标来进行相机标定。本方法成功克服标定板尺寸不足以覆盖整个视场角的局限性;程序简单,易于实现;充分利用了普通标定的棋盘格角点和自标定的场景特征点,能够同时对长焦相机的内参和外参进行修正,操作简便,结果精确。,下面是一种长焦双目相机的立体标定算法专利的具体信息内容。
1.一种长焦双目相机的立体标定算法,其特征在于,包括下列步骤:
1)棋盘格角点检测:用长焦双目相机拍摄棋盘格标定板图像,检测并匹配棋盘格角点,并获取棋盘格没有覆盖到的区域;
2)场景特征点检测:用长焦双目相机拍摄场景图像,检测并提取特征点;
3)特征点匹配:根据匹配窗口下的特征描述值,来对左右图像上提取的特征点进行匹配,并删除重复的匹配;
4)抛物线拟合优化匹配结果:通过一元二次抛物线拟合来对匹配的结果进行优化;
5)判断特征点覆盖区域:将图像分成m*n个格子,当特征点覆盖到所有格子,则进行下一步,否则继续拍摄场景图像,重复步骤2)~步骤4);
6)修正内参标定结果:使用标定板上的特征点的图像坐标和世界坐标来对内参修正;
7)修正外参标定结果:根据匹配后的棋盘格角点坐标以及场景特征点坐标对标定结果进行修正。
2.根据权利要求1所述的一种长焦双目相机的立体标定算法,其特征在于,步骤2)中特征点提取,具体包括以下步骤:
2-1)构建单尺度差分高斯金字塔DoG,场景图像I(x,y)的尺度空间为:
L(x,y,σ)=G(x,y,σ)*I(x,y)
其中, 是高斯核函数,σ是尺度因子,*表示卷积操作;L(x,
y,σ)就是图像I(x,y)的尺度空间,将不同尺度的尺度空间做差得到一层差分高斯金字塔,此外还需乘一个归一化尺度因子λ,使得DoG图像的最大值是255:
D(x,y,σ)=λ(L(x,y,kσ)-L(x,y,σ));
2-2)对于得到的DoG中的每一个点,将其与邻域内的像素点作比较,判断其是否为局部极值点;
2-2-1)记上步得到的DoG为D,将D做膨胀操作,结果记为D1;将D1中每一个像素点与其8-邻域上的点作比较,如果改像素点是局部极大值,则将其加入候选点集P1里;
2-2-2)将D取反再做膨胀操作,结果记为D2;将D2中每一个像素点与其8-邻域上的点作比较,如果改像素点是局部极小值,则将其加入候选点集P2里;
2-2-3)将P1和P2取交集,得到P3=P1∩P2;取P3中DoG灰度值大于15的点作为特征点集{P};
2-3)使用滤波器对高斯特征点进行去噪,过滤噪点及边缘点。
3.根据权利要求1或2所述的一种长焦双目相机的立体标定算法,其特征在于,步骤3)中特征点匹配,具体包括以下步骤:
3-1)将图像分为m×n个块,对于左图每一个特征点 找到其在左图对应的块块 所对应的右图搜索范围记为 当找到一个能够描述特征点相似程度的变量来评估 和 中任意一点的相似程度,且相似程度最大值大于阈值t1,则视为粗匹配点
3-2)当 和 中相似程度最大值sfirst和次大值ssecond满足:
F(sfirst,ssecond)≥t2
则保留该匹配,其中t2为阈值,F(sfirst,ssecond)用于描述sfirst和ssecond之间的关系;
筛选后,再按照步骤3-1)、3-2)的方法匹配 在左图对应的特征点 当满足时,则保留该匹配
4.根据权利要求1或2所述的一种长焦双目相机的立体标定算法,其特征在于,步骤4)中抛物线拟合优化匹配结果,具体包括以下步骤:
4-1)以左图特征点 为基准,抛物线拟合优化对应右图的整数像素特征点得到的对应右图的亚像素特征点 其中 为
x方向上的亚像素偏移量, 为y方向上的亚像素偏移量;
4-2)以对应右图整数像素特征点 为基准,根据4-1)的方法计算出对应
左图的亚像素特征点 其中 为x方向上的亚像素偏移量,
为y方向上的亚像素偏移量;
4-3)最终的匹配点对为
5.根据权利要求3所述的一种长焦双目相机的立体标定算法,其特征在于,步骤4)中抛物线拟合优化匹配结果,具体包括以下步骤:
4-1)以左图特征点 为基准,抛物线拟合优化对应右图的整数像素特征点得到的对应右图的亚像素特征点 其中 为
x方向上的亚像素偏移量, 为y方向上的亚像素偏移量;
4-2)以对应右图整数像素特征点 为基准,根据4-1)的方法计算出对应
左图的亚像素特征点 其中 为x方向上的亚像素偏移量,
为y方向上的亚像素偏移量;
4-3)最终的匹配点对为
6.根据权利要求1、2或5所述的一种长焦双目相机的立体标定算法,其特征在于,步骤
6)中修正内参标定结果,具体包括以下步骤:
6-1)获取原来的标定结果:从长焦双目相机硬件本身获取两个镜头的参数,包括x方向和y方向的焦距fx和fy,单位:像素,镜头主点位置u0和v0等参数;
6-2)对每一张棋盘格角点图像Pi,进行以下步骤:
(1)获取棋盘格角点图像Pi下图像坐标和标定板坐标之间的旋转矩阵R和平移向量T;
T
根据摄像机模型,设三维世界坐标的点为M=[X,Y,Z,1] ,二维相机平面像素坐标为m=[u,v,1]T,则标定用的棋盘格平面到图像平面的单应性关系为:
其中s为尺度因子,K为摄像机内参数,规定棋盘格平面为Z=0,则有
K[r1,r2,t]为单应性矩阵H,即
H=[h1,h2 h3]=λK[r1 r2 t]
计算棋盘格坐标系和图像坐标系之间的单应矩阵H;单应性矩阵计算完成之后,计算图像坐标和标定板坐标之间的旋转矩阵R和平移向量T,计算公式如下:
r3=r1×r2
t=λK-1h3
其中,λ表示归一化系数;
(2)设采集了n'副包含棋盘格的图像,每个图像里有棋盘格角点m'个;令第i副图像上的角点Mij在得到的摄像机矩阵下图像上的投影点为:
其中Ri和ti是第i副图对应的旋转矩阵和平移向量,ΔRi和Δti分别是Ri和ti的变化量;K是内参数矩阵,其变化量为ΔK, 表示角点Mij在得到的摄像机矩阵下图像上的投影点;则角点mij的概率密度函数为:
构造似然函数:
让L取得最大值,即让下面式子最小;使用多参数非线性系统优化问题的Levenberg-Marquardt算法进行迭代求最优解:
7.根据权利要求3所述的一种长焦双目相机的立体标定算法,其特征在于,步骤6)中修正内参标定结果,具体包括以下步骤:
6-1)获取原来的标定结果:从长焦双目相机硬件本身获取两个镜头的参数,包括x方向和y方向的焦距fx和fy,单位:像素,镜头主点位置u0和v0等参数;
6-2)对每一张棋盘格角点图像Pi,进行以下步骤:
(1)获取棋盘格角点图像Pi下图像坐标和标定板坐标之间的旋转矩阵R和平移向量T;
根据摄像机模型,设三维世界坐标的点为M=[X,Y,Z,1]T,二维相机平面像素坐标为m=[u,v,1]T,则标定用的棋盘格平面到图像平面的单应性关系为:
其中s为尺度因子,K为摄像机内参数,规定棋盘格平面为Z=0,则有
K[r1,r2,t]为单应性矩阵H,即
H=[h1,h2 h3]=λK[r1 r2 t]
计算棋盘格坐标系和图像坐标系之间的单应矩阵H;单应性矩阵计算完成之后,计算图像坐标和标定板坐标之间的旋转矩阵R和平移向量T,计算公式如下:
r3=r1×r2
t=λK-1h3
其中,λ表示归一化系数;
(2)设采集了n'副包含棋盘格的图像,每个图像里有棋盘格角点m'个;令第i副图像上的角点Mij在得到的摄像机矩阵下图像上的投影点为:
其中Ri和ti是第i副图对应的旋转矩阵和平移向量,ΔRi和Δti分别是Ri和ti的变化量;K是内参数矩阵,其变化量为ΔK, 表示角点Mij在得到的摄像机矩阵下图像上的投影点;则角点mij的概率密度函数为:
构造似然函数:
让L取得最大值,即让下面式子最小;使用多参数非线性系统优化问题的Levenberg-Marquardt算法进行迭代求最优解:
8.根据权利要求4所述的一种长焦双目相机的立体标定算法,其特征在于,步骤6)中修正内参标定结果,具体包括以下步骤:
6-1)获取原来的标定结果:从长焦双目相机硬件本身获取两个镜头的参数,包括x方向和y方向的焦距fx和fy,单位:像素,镜头主点位置u0和v0等参数;
6-2)对每一张棋盘格角点图像Pi,进行以下步骤:
(1)获取棋盘格角点图像Pi下图像坐标和标定板坐标之间的旋转矩阵R和平移向量T;
根据摄像机模型,设三维世界坐标的点为M=[X,Y,Z,1]T,二维相机平面像素坐标为m=[u,v,1]T,则标定用的棋盘格平面到图像平面的单应性关系为:
其中s为尺度因子,K为摄像机内参数,规定棋盘格平面为Z=0,则有
K[r1,r2,t]为单应性矩阵H,即
H=[h1,h2 h3]=λK[r1 r2 t]
计算棋盘格坐标系和图像坐标系之间的单应矩阵H;单应性矩阵计算完成之后,计算图像坐标和标定板坐标之间的旋转矩阵R和平移向量T,计算公式如下:
r3=r1×r2
t=λK-1h3
其中,λ表示归一化系数;
(2)设采集了n'副包含棋盘格的图像,每个图像里有棋盘格角点m'个;令第i副图像上的角点Mij在得到的摄像机矩阵下图像上的投影点为:
其中Ri和ti是第i副图对应的旋转矩阵和平移向量,ΔRi和Δti分别是Ri和ti的变化量;K是内参数矩阵,其变化量为ΔK, 表示角点Mij在得到的摄像机矩阵下图像上的投影点;则角点mij的概率密度函数为:
构造似然函数:
让L取得最大值,即让下面式子最小;使用多参数非线性系统优化问题的Levenberg-Marquardt算法进行迭代求最优解:
9.根据权利要求1、2、5、7或8所述的一种长焦双目相机的立体标定算法,其特征在于,修正外参标定结果,具体包括以下步骤:
7-1)计算匹配的左右特征点 对应的正规坐标系下的坐标
像素坐标系以图片的左上角为原点,其x轴和y轴分别与图像坐标系的x轴和y轴平行;
像素坐标系的单位是像素;正规坐标系以相机的光心作为图像坐标系的原点,且将光心到图像平面的距离缩放到1;像素坐标与正规坐标的关系如下:
u=KX
其中, 表示图像的像素坐标; 表示相机的内参矩阵,fx和fy
分别表示图像x方向和y方向的焦距,单位是像素,(cx,cy)表示相机驻点的位置;
是正规坐标系下的坐标;已知图像的像素坐标系以及相机的内参计算出像素点对应的正规坐标系,即
X=K-1u
对于每一对左右相机匹配特征点 它们的正规坐标系为:
其中, 和 分别是 和 的像素坐标, 和 分别是 和 的正规坐标,Kl和Kr分别是左相机和右相机的内参矩阵;
7-2)去除图像畸变
根据左右图像特征点的正规坐标和左右相机各自的畸变系数来计算出左右图像特征点去畸变后的正规坐标;
图像径向畸变是图像像素点以畸变中心为中心点,沿着径向产生的位置偏差,从而导致图像中所成的像发生形变;径向畸变的表述如下:
xd=x(1+k1r2+k2r4+k3r6)
2 4 6
yd=y(1+k1r+k2r+k3r)
其中,r2=x2+y2,k1、k2、k3为径向畸变参数;
切向畸变是由于摄像机制造上的缺陷,使得透镜本身与图像平面不平行而产生的,定量描述为:
2 2
xd=x+(2p1xy+p2(r+2x))
yd=y+(p1(r2+2y2)+2p2xy)
其中,p1、p2为切向畸变系数;
综上,畸变前后的坐标关系如下:
2 4 6 2 2
xd=x(1+k1r+k2r+k3r)+(2p1xy+p2(r+2x))
yd=y(1+k1r2+k2r4+k3r6)+(p1(r2+2y2)+2p2xy)
其中,(x,y)是理想状态下的正规坐标,(xd,yd)是实际带有畸变的正规坐标;以(xd,yd)作为(x,y)的初值,迭代计算得到实际的(x,y);
7-3)根据原来两相机的旋转关系将左右两图旋转:已知原来左右相机之间的旋转矩阵R和平移向量t,使得
Xr=RXl+t
其中,Xl表示左相机的正规坐标,Xr表示右相机的正规坐标;将左图旋转R正方向一半的角度,将右图旋转R反方向一半的角度;
对于上一步得到的每一对去畸变之后的左右特征点 的正规坐标
7-4)根据公式u=KX将去畸旋转后的图像还原至像素坐标系;根据上一步更新的左右特征点 的正规坐标 计算去畸校正后的图像坐标:
7-5)根据左右两图去畸校正后的特征点对坐标以及左右相机的内参矩阵来求解基础矩阵F和本质矩阵E:左右对应像素点对ul、ur和基础矩阵F的关系是:
使用随机抽样一致性对点对做进一步筛选,之后将对应点坐标代入上式,构建齐次线性方程组求解F;
基础矩阵和本质矩阵的关系是:
其中,Kl、Kr分别是左右相机的内参矩阵;
7-6)从本质矩阵分解出校正之后左右相机旋转和平移关系:本质矩阵E与旋转R和平移t的关系如下:
E=[t]×R
其中[t]×表示t的叉乘矩阵;
将E做奇异值分解,得:
定义两个矩阵:
和 ZW=Σ
所以E写成以下两种形式
(1)E=UZUTUWVT
令[t]×=UZUT,R=UWVT
(2)E=-UZUTUWTVT
令[t]×=-UZUT,R=UWTVT
得到四对R和t,选取具有三维意义的解;
7-7)将分解出的旋转和平移关系叠加到原来的外参里面
记去畸变前的旋转矩阵为R,平移向量为t=(tx,ty,tz)T;步骤6-2)计算出的旋转矩阵为R′,平移向量为t′=(t′x,t′y,t′z)T;则新的Rnew和tnew如下
Rnew=R1/2R′R1/2
10.根据权利要求6所述的一种长焦双目相机的立体标定算法,其特征在于,修正外参标定结果,具体包括以下步骤:
7-1)计算匹配的左右特征点 对应的正规坐标系下的坐标
像素坐标系以图片的左上角为原点,其x轴和y轴分别与图像坐标系的x轴和y轴平行;
像素坐标系的单位是像素;正规坐标系以相机的光心作为图像坐标系的原点,且将光心到图像平面的距离缩放到1;像素坐标与正规坐标的关系如下:
u=KX
其中, 表示图像的像素坐标; 表示相机的内参矩阵,fx和fy
分别表示图像x方向和y方向的焦距,单位是像素,(cx,cy)表示相机驻点的位置; 是正规坐标系下的坐标;已知图像的像素坐标系以及相机的内参计算出像素点对应的正规坐标系,即
-1
X=K u
对于每一对左右相机匹配特征点 它们的正规坐标系为:
其中, 和 分别是 和 的像素坐标, 和 分别是 和 的正规坐标,Kl和Kr分别是左相机和右相机的内参矩阵;
7-2)去除图像畸变
根据左右图像特征点的正规坐标和左右相机各自的畸变系数来计算出左右图像特征点去畸变后的正规坐标;
图像径向畸变是图像像素点以畸变中心为中心点,沿着径向产生的位置偏差,从而导致图像中所成的像发生形变;径向畸变的表述如下:
xd=x(1+k1r2+k2r4+k3r6)
yd=y(1+k1r2+k2r4+k3r6)
其中,r2=x2+y2,k1、k2、k3为径向畸变参数;
切向畸变是由于摄像机制造上的缺陷,使得透镜本身与图像平面不平行而产生的,定量描述为:
xd=x+(2p1xy+p2(r2+2x2))
yd=y+(p1(r2+2y2)+2p2xy)
其中,p1、p2为切向畸变系数;
综上,畸变前后的坐标关系如下:
xd=x(1+k1r2+k2r4+k3r6)+(2p1xy+p2(r2+2x2))
yd=y(1+k1r2+k2r4+k3r6)+(p1(r2+2y2)+2p2xy)
其中,(x,y)是理想状态下的正规坐标,(xd,yd)是实际带有畸变的正规坐标;以(xd,yd)作为(x,y)的初值,迭代计算得到实际的(x,y);
7-3)根据原来两相机的旋转关系将左右两图旋转:已知原来左右相机之间的旋转矩阵R和平移向量t,使得
Xr=RXl+t
其中,Xl表示左相机的正规坐标,Xr表示右相机的正规坐标;将左图旋转R正方向一半的角度,将右图旋转R反方向一半的角度;
对于上一步得到的每一对去畸变之后的左右特征点 的正规坐标
7-4)根据公式u=KX将去畸旋转后的图像还原至像素坐标系;根据上一步更新的左右特征点 的正规坐标 计算去畸校正后的图像坐标:
7-5)根据左右两图去畸校正后的特征点对坐标以及左右相机的内参矩阵来求解基础矩阵F和本质矩阵E:左右对应像素点对ul、ur和基础矩阵F的关系是:
使用随机抽样一致性对点对做进一步筛选,之后将对应点坐标代入上式,构建齐次线性方程组求解F;
基础矩阵和本质矩阵的关系是:
其中,Kl、Kr分别是左右相机的内参矩阵;
7-6)从本质矩阵分解出校正之后左右相机旋转和平移关系:本质矩阵E与旋转R和平移t的关系如下:
E=[t]×R
其中[t]×表示t的叉乘矩阵;
将E做奇异值分解,得:
定义两个矩阵:
和 ZW=Σ
所以E写成以下两种形式
(1)E=UZUTUWVT
T T
令[t]×=UZU,R=UWV
(2)E=-UZUTUWTVT
令[t]×=-UZUT,R=UWTVT
得到四对R和t,选取具有三维意义的解;
7-7)将分解出的旋转和平移关系叠加到原来的外参里面
记去畸变前的旋转矩阵为R,平移向量为t=(tx,ty,tz)T;步骤6-2)计算出的旋转矩阵为R′,平移向量为t′=(t′x,t′y,t′z)T;则新的Rnew和tnew如下
Rnew=R1/2R′R1/2
标题 | 发布/更新时间 | 阅读量 |
---|---|---|
基于神经计算的短波单站多目标地理坐标快速估计方法 | 2020-05-08 | 175 |
一种焊接翻转上料机构及其锂电池焊接设备 | 2020-05-08 | 964 |
基于显著特征的多光谱相机动态立体标定算法 | 2020-05-12 | 310 |
一种基于分形理论和BP算法的鱼识别及疫苗注射方法 | 2020-05-08 | 75 |
基于傅里叶变换配准的多光谱立体相机动态配准算法 | 2020-05-11 | 221 |
栅格数据局部奇异性迭代分析方法及装置 | 2020-05-12 | 20 |
基于三目极线约束的基础矩阵高精度求解方法 | 2020-05-08 | 360 |
一种基于LLL-SD的大规模MIMO信号检测方法 | 2020-05-08 | 217 |
激光量测等效伪荷载检测复合材料层合板分层损伤的方法 | 2020-05-11 | 758 |
一种长焦双目相机的立体标定算法 | 2020-05-12 | 427 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。