首页 / 专利库 / 诊断设备和程序 / 空间编码 / 投射条纹几何分布特征结构光测量系统标定方法

投射条纹几何分布特征结构光测量系统标定方法

阅读:383发布:2023-02-26

专利汇可以提供投射条纹几何分布特征结构光测量系统标定方法专利检索,专利查询,专利分析的服务。并且本 发明 涉及视觉检测技术,为提出一种结构光测量系统的标定方法,该标定模型适用范围宽,测量 精度 高,标定过程简单。为此,本发明采用的技术方案是,投射条纹几何分布特征结构光测量系统标定方法,首先利用不确定视 角 标定方法获取摄像机 坐标系 下的已知空间点的坐标,再利用这些点的摄像机坐标系坐标和图像坐标及其编码值进行系统标定,分别建立Z方向坐标与图像信息的关系和XY方向坐标与图像信息的关系。本发明主要应用于视觉检测场合。,下面是投射条纹几何分布特征结构光测量系统标定方法专利的具体信息内容。

1.一种投射条纹几何分布特征结构光测量系统标定方法,其特征是,首先利用不确定视标定方法获取摄像机坐标系下的已知空间点的坐标,再利用这些点的摄像机坐标系坐标和图像坐标及其编码值进行系统标定,分别建立Z方向坐标与图像信息的关系和XY方向坐标与图像信息的关系;标定Z方向的具体步骤是,测量系统的Z方向数值由图像坐标(u,v)以及对应的编码值p共同确定,投影仪镜头光轴和CCD摄像机镜头光轴具有一定夹角α且假定投影仪投射出的条纹变化方向与摄像机的u方向平行,三个平面h1,h2,h3代表三个与相机成像面平行的平面,平面h1,h2和平面h2,h3的距离相同,均为△h,平面h3与摄像机光轴交点至投影仪位置A连线与平面h2、h1的焦点依次为D、B,平面h1、h2、h3与投影仪光轴交点依次为C、E、G,在投影仪投射出的同一条光线上的编码值p相同,在摄像机的同一深度上的u随着p的改变的变化率符合关系式:
du/dp=kp+b                                             (1)
其中du/dp为u随着p的改变的变化率,k为斜率,b为截距,又由于在摄像机同一深度上u不随着v的变化而变化,所以又有
du/dv=0                                                 (2)
其中du/dv为u随着v的改变的变化率;利用式(1)和式(2)进行积分
u=∫(kp+b)dp                                          (3)
获得在摄像机的同一深度上的图像坐标(u,v)与对应的编码值p的关系函数,其中:A0是关于编码值p的二次项系数,B0是关于编码值p的一次项系数,D0是常数项;
u=A0p2+B0p+D0                                          (4)
考虑到在摄像机坐标系uov和投影仪坐标系u'o'v'中,坐标轴o'u'与ou会有夹角β存在,需要对uov坐标系做旋转变换:
u0=ucosβ+vsinβ                                        (5)
带入式(4)可得
ucosβ+vsinβ=A0p2+B0p+D0
u=A0p2/cosβ+B0p/cosβ-vtanβ+D0/cosβ                 (6)
即为
u=A1p2+B1p+C1v+D1                                        (7)
其中A1是关于编码值p的二次项系数,B1是关于编码值p的一次项系数,C1是关于图像坐标v的一次项系数,D1是常数项;
同一摄像机深度的(u,v,p)处在一个抛物面上,且A1随着投影仪与摄像机镜头光轴的夹角α和摄像机深度的增大而增大,利用获取的图像信息结合最小二乘法对式(7)的未知参数进行计算;
由相似三角形原理知△ABC~△ADE~△AFG,得到
其中p0为投影仪光轴上的编码值,l表示两点间的长度,由几何光学知识可知条纹周期宽度也和摄像机深度呈线性关系,即:
其中r1为分式中分子项关于h的一次项系数,r2为分式中分母项的常数项,r3为分式中分母项关于h的一次项系数,r4为分式中分母项的常数项;
对曲面方程式(7)中的系数A1做归一化处理,即消除条纹粗细变化对摄像机不同深度的编码差值的影响,得:
其中u/A1和v/A1是归一化后的图像坐标,由于消除条纹粗细变化对编码差值的影响,所以B1/A1随着摄像机深度h呈线性变化,常数项D1/A1随着摄像机深度h呈二次函数的规律变化,即:
B1/A1=s1h+s2
D1/A1=t0h2+t1h+t2                                          (11)其中s1是一次式的一次项系数,s2是一次式的常数项,t0是二次式的二次项系数,t1是二次式的一次项系数,t2是二次式的常数项;
将式(9)和式(11)带入式(7)可以得到
考虑消除摄像机镜头畸变以及投影仪和摄像机镜头的光轴在平面上不共面带来的影响,采用二次误差补偿模型,其中k0~k5,l0~l5是误差校正系数;
因此式(12)变为
其中a0,a1分别是关于h的二次项系数中的常数项和一次项系数,b0~b7分别是关于h的二次项系数中的常数项,一次项系数和二次项系数,c0~c7分别是关于h的二次项系数中的常数项,一次项系数和二次项系数;
获得的N组已知空间点在摄像机坐标系下Z方向的坐标ZCi和图像对应信息(ui,vi,pi)满足式(14)条件,即为
PX=Q                                                (15)
其中X是系数矩阵,是18×1的列向量,P是的形式为N×18的矩阵,Q是形式为N×1的列向量,其中
X=[g0 g1…gi…g17]T
构造误差函数
利用Levenburg-marquardt算法求出式(17)中未知参数,因此通过图像信息(u,v,p)结合一元三次方程求解公式解方程获得摄像机坐标系下Z方向的坐标ZC;
标定XY方向的具体步骤是:
系统的XY方向数值由经畸变校正的图像坐标(u,v)和摄像机坐标系下Z方向数值ZC共同确定,利用公式
式中s是尺度因子,m11~m34是多项式参数,在标定时,利用已知空间点在摄像机坐标系下的坐标(XC,YC,ZC)和经畸变校正的图像坐标点(u,v)结合最小二乘法即可计算出多项式参数m11~m34,在测量时,利用图像坐标(u,v)和Z方向数值ZC带入多项式即可得出XY方向分别对应的坐标值(XC,YC),因此利用图像信息(u,v,p)得出了被测物在摄像机坐标系下的三维信息(XC,YC,ZC)。
2.如权利要求1所述的投射条纹几何分布特征结构光测量系统标定方法,其特征是,要获得世界坐标系下的坐标(XW,YW,ZW),利用坐标转换公式(20)获得的摄像机坐标系下的坐标转换为世界坐标系下的坐标,其中R是旋转矩阵,T是平移矩阵;
标定时,将靶标放置在摄像机视场内,移动靶标,每移动一个位置需要投射结构光条纹并拍摄图像,利用不确定视角标定方法获得靶标上特征点在摄像机坐标系下的坐标,通过图像处理获得特征点的图像坐标及其特征值,将已知量带入式(17)和式(19)通过计算获取系统参数,实际测量时,即可通过式(18)和式(19)获取被测点在摄像机坐标系下的坐标,再通过式(20)即可得到这些点在世界坐标系下的坐标。

说明书全文

投射条纹几何分布特征结构光测量系统标定方法

技术领域

[0001] 本发明涉及视觉检测技术,特别是涉及投射条纹几何分布特征结构光测量系统标定方法。

背景技术

[0002] 结构光三维视觉测量技术,具有视觉测量的非接触、速度快、自动化程度高,柔性好等优点。结构光三维视觉基于光学三法原理,通过计算采集图像的各种光模式特征点的偏移信息反算出被测物体的表面轮廓。光学投射器投射确定的光模式,使得结构光图像信息易于提取,因而测量精度较高,广泛应用于各种工业产品的在线检测。
[0003] 结构光测量系统的精度取决于系统标定精度。现有的结构光测量系统标定方法分为三种,分别为基于矩阵变换的摄影测量法,基于几何关系的三角测量法和多项式拟合法。摄影测量法分为伪相机法,逆向相机法和光平面法。该方法的主要缺点是投影仪的标定过程依赖于摄像机标定参量,从而造成摄像机标定误差的扩散,优点是该标定方法普遍对系统的安装无特殊约束,设备安装与系统标定过程比较操作简单。基于几何关系的三角测量法是根据系统的几何关系建立3D坐标与系统的少数几个参量之间的数学表达式,作为标定与测量的数学模型。该方法的优点是避免了投影仪的标定,缺点是系统安装精度要求较高,模型若过于简化则会造成精度偏低。多项式拟合法假设待测物的3D坐标可用其在摄像机图像中对应像素处的编码值的多项式表示,继而通过实验确定多项式的参量,直接建立摄像机图像的2维坐标到景物点的空间3维坐标的映射。该方法避免了对摄像机和投影仪的标定,但是标定耗时较长且成本较高。Lendray等人提出的一种空间映射模型被大量采用,该方法本质上是一种插值方法,测量在标定范围之外的物体时有较大误差。综上所述,发明一种标定装置简单,标定过程便捷,标定时间快且精度高的标定方法具有十分重大的意义。

发明内容

[0004] 为克服现有技术的不足,本发明旨在提出一种结构光测量系统的标定方法,该标定模型适用范围宽,测量精度高,标定过程简单。为此,本发明采用的技术方案是,投射条纹几何分布特征结构光测量系统标定方法,首先利用不确定视角标定方法获取摄像机坐标系下的已知空间点的坐标,再利用这些点的摄像机坐标系坐标和图像坐标及其编码值进行系统标定,分别建立Z方向坐标与图像信息的关系和XY方向坐标与图像信息的关系。
[0005] 标定Z方向的具体步骤是,测量系统的Z方向数值由图像坐标(u,v)以及对应的编码值p共同确定,投影仪镜头光轴和CCD摄像机镜头光轴具有一定夹角α且假定投影仪投射出的条纹变化方向与摄像机的u方向平行,三个平面h1,h2,h3代表三个与相机成像面平行的平面,平面h1,h2和平面h2,h3的距离相同,均为Δh,平面h3与摄像机光轴交点至投影仪位置A连线与平面h2、h1的焦点依次为D、B,平面h1、h2、h3与投影仪光轴交点依次为C、E、G,在投影仪投射出的同一条光线上的编码值p相同,在摄像机的同一深度上的u随着p的改变的变化率符合关系式:
[0006] du/dp=kp+b   (1)
[0007] 其中du/dp为u随着p的改变的变化率,k为斜率,b为截距,又由于在摄像机同一深度上u不随着v的变化而变化,所以又有
[0008] du/dv=0   (2)
[0009] 其中du/dv为u随着v的改变的变化率;利用式(1)和式(2)进行积分
[0010] u=∫(kp+b)dp   (3)
[0011] 获得在摄像机的同一深度上的图像坐标(u,v)与对应的编码值p的关系函数,其中:A0是关于编码值p的二次项系数,B0是关于编码值p的一次项系数,D0是常数项;
[0012] u=A0p2+B0p+D0   (4)
[0013] 考虑到在摄像机坐标系uov和投影仪坐标系u'o'v'中,坐标轴o'u'与ou会有夹角β存在,需要对uov坐标系做旋转变换:
[0014] u0=ucosβ+vsinβ   (5)
[0015] 带入式(4)可得
[0016] ucosβ+vsinβ=A0p2+B0p+D0
[0017] u=A0p2/cosβ+B0p/cosβ-vtanβ+D0/cosβ   (6)
[0018] 即为
[0019] u=A1p2+B1p+C1v+D1   (7)
[0020] 其中A1是关于编码值p的二次项系数,B1是关于编码值p的一次项系数,C1是关于图像坐标v的一次项系数,D1是常数项;
[0021] 同一摄像机深度的(u,v,p)处在一个抛物面上,且A1随着投影仪与摄像机镜头光轴的夹角α和摄像机深度的增大而增大,利用获取的图像信息结合最小二乘法对式(7)的未知参数进行计算;
[0022] 由相似三角形原理知ΔABC~ΔADEΔAFG,得到
[0023]
[0024] 其中p0为投影仪光轴上的编码值,l表示两点间的长度,由几何光学知识可知条纹周期宽度也和摄像机深度呈线性关系,即:
[0025]
[0026] 其中r1为分式中分子项关于h的一次项系数,r2为分式中分母项的常数项,r3为分式中分母项关于h的一次项系数,r4为分式中分母项的常数项;
[0027] 对曲面方程式(7)中的系数A1做归一化处理,即消除条纹粗细变化对摄像机不同深度的编码差值的影响,得:
[0028]
[0029] 其中u/A1和v/A1是归一化后的图像坐标,由于消除条纹粗细变化对编码差值的影响,所以B1/A1随着摄像机深度h呈线性变化,常数项D1/A1随着摄像机深度h呈二次函数的规律变化,即:
[0030] B1/A1=s1h+s2
[0031] D1/A1=t0h2+t1h+t2   (11)
[0032] 其中s1是一次式的一次项系数,s2是一次式的常数项,t0是二次式的二次项系数,t1是二次式的一次项系数,t2是二次式的常数项;
[0033] 将式(9)和式(11)带入式(7)可以得到
[0034]
[0035] 考虑消除摄像机镜头畸变以及投影仪和摄像机镜头的光轴在平面上不共面带来的影响,采用二次误差补偿模型,其中k0~k5,l0~l5是误差校正系数;
[0036]
[0037] 因此式(12)变为
[0038]
[0039] 其中a0,a1分别是关于h的二次项系数中的常数项和一次项系数,b0~b7分别是关于h的二次项系数中的常数项,一次项系数和二次项系数,c0~c7分别是关于h的二次项系数中的常数项,一次项系数和二次项系数;
[0040] 获得的N组已知空间点在摄像机坐标系下Z方向的坐标ZCi和图像对应信息(ui,vi,pi)满足式(14)条件,即为
[0041] PX=Q   (15)
[0042] 其中X是系数矩阵,是18×1的列向量,P是的形式为N×18的矩阵,Q是形式为N×1的列向量,其中
[0043] X=[g0 g1 … gi … g17]T
[0044]
[0045]
[0046] 构造误差函数
[0047]
[0048] 利用Levenburg-marquardt算法求出式(17)中未知参数,因此通过图像信息(u,v,p)结合一元三次方程求解公式解方程获得摄像机坐标系下Z方向的坐标ZC;
[0049]
[0050] 标定XY方向的具体步骤是:
[0051] 系统的XY方向数值由经畸变校正的图像坐标(u,v)和摄像机坐标系下Z方向数值ZC共同确定,利用公式
[0052]
[0053] 式中s是尺度因子,m11~m34是多项式参数。在标定时,利用已知空间点在摄像机坐标系下的坐标(XC,YC,ZC)和经畸变校正的图像坐标点(u,v)结合最小二乘法即可计算出多项式参数m11~m34,在测量时,利用图像坐标(u,v)和Z方向数值ZC带入多项式即可得出XY方向分别对应的坐标值(XC,YC),因此利用图像信息(u,v,p)得出了被测物在摄像机坐标系下的三维信息(XC,YC,ZC)。
[0054] 要获得世界坐标系下的坐标(XW,YW,ZW),利用坐标转换公式(20)获得的摄像机坐标系下的坐标转换为世界坐标系下的坐标,其中R是旋转矩阵,T是平移矩阵;
[0055]
[0056] 标定时,将靶标放置在摄像机视场内,移动靶标,每移动一个位置需要投射结构光条纹并拍摄图像,利用不确定视角标定方法获得靶标上特征点在摄像机坐标系下的坐标,通过图像处理获得特征点的图像坐标及其特征值,将已知量带入式(17)和式(19)通过计算获取系统参数,实际测量时,即可通过式(18)和式(19)获取被测点在摄像机坐标系下的坐标,再通过式(20)即可得到这些点在世界坐标系下的坐标。
[0057] 本发明的特点及有益效果是:
[0058] 本发明适用于垂直光条形式的光栅和二值条纹投射方式。通过几何模型的推导建立了图像特征点及其编码值与空间坐标的关系。克服了传统的基于几何关系的三角测量法中系统约束严格的缺点,也解决了多项式拟合法中无法测量标定范围外物体的问题。该标定过程简单方便,测量精度高,适用测量范围大。附图说明:
[0059] 图1系统几何模型示意图,
[0060] 图2标定特征点与实际测量点对比图,
[0061] 图3测量效果图。

具体实施方式

[0062] 本系统提出的标定方法不需要精密导轨的辅助,标定过程简便,标定精度高,因此非常适合现场标定。
[0063] 本标定方法由两部分构成,首先利用不确定视角标定方法获取摄像机坐标系下的已知空间点的坐标,再利用这些点的摄像机坐标系坐标和图像坐标及其编码值进行系统标定,分别建立Z方向坐标与图像信息的关系和XY方向坐标与图像信息的关系。
[0064] 1Z方向的标定
[0065] 测量系统的Z方向数值由图像坐标(u,v)以及对应的编码值p共同确定。由于投影仪镜头光轴和CCD摄像机镜头光轴具有一定夹角α且假定投影仪投射出的条纹变化方向与摄像机的u方向平行,由几何光学相关原理知,投影仪投射出的条纹宽度随着投射距离的增大呈线性增大趋势,因而在摄像机的同一深度上的u随着p的改变的变化率符合关系式:
[0066] du/dp=kp+b   (1)
[0067] 其中du/dp为u随着p的改变的变化率,k为斜率,b为截距。又由于在摄像机同一深度上u不随着v的变化而变化,所以又有
[0068] du/dv=0   (2)
[0069] 其中du/dv为u随着v的改变的变化率。
[0070] 利用式(1)和式(2)进行积分
[0071] u=∫(kp+b)dp   (3)
[0072] 可以获得在摄像机的同一深度上的图像坐标(u,v)与对应的编码值p的关系函数,其中:A0是关于编码值p的二次项系数,B0是关于编码值p的一次项系数,D0是常数项。
[0073] u=A0p2+B0p+D0   (4)
[0074] 考虑到在摄像机坐标系uov和投影仪坐标系u'o'v'中,坐标轴o'u'与ou会有微小的夹角β,因此需要对uov坐标系做旋转变换
[0075] u0=ucosβ+vsinβ   (5)
[0076] 带入式(4)可得
[0077] ucosβ+vsinβ=A0p2+B0p+D0
[0078] u=A0p2/cosβ+B0p/cosβ-vtanβ+D0/cosβ   (6)
[0079] 即为
[0080] u=A1p2+B1p+C1v+D1   (7)
[0081] 其中A1是关于编码值p的二次项系数,B1是关于编码值p的一次项系数,C1是关于图像坐标v的一次项系数,D1是常数项。
[0082] 可知同一摄像机深度的(u,v,p)处在一个抛物面上,且A1随着投影仪与摄像机镜头光轴的夹角α和摄像机深度的增大而增大。标定时,可利用获取的图像信息结合最小二乘法对式(7)的未知参数进行计算。
[0083] 下面来探索抛物面参数随着摄像机深度改变的变化规律。
[0084] 如图1为系统几何模型,其中投影仪和摄像机的光轴夹角为α,在投影仪投射出的同一条光线上的编码值p相同,如C,E,G具有相同的编码值。三个平面h1,h2,h3代表三个与相机成像面平行的平面,平面h1,h2和平面h2,h3的距离相同,均为Δh。由相似三角形原理知ΔABC~ΔADE~ΔAFG,可以得到
[0085]
[0086] 其中p0为投影仪光轴上的编码值,l表示两点间的长度。从图1中可以看出同样的编码差值在不同的摄像机深度对应的长度和深度呈线性关系,而由几何光学知识可知条纹周期宽度也和摄像机深度呈线性关系,即
[0087]
[0088] 其中r1为分式中分子项关于h的一次项系数,r2为分式中分母项的常数项,r3为分式中分母项关于h的一次项系数,r4为分式中分母项的常数项。
[0089] 对曲面方程式(7)中的系数A1做归一化处理,即消除条纹粗细变化对摄像机不同深度的编码差值的影响,可得
[0090]
[0091] 其中u/A1和v/A1是归一化后的图像坐标,下面主要考虑B1/A1和D1/A1随着摄像机深度h的变化规律。由于消除条纹粗细变化对编码差值的影响,所以B1/A1随着摄像机深度h呈线性变化,常数项D1/A1随着摄像机深度h呈二次函数的规律变化,即
[0092] B1/A1=s1h+s2
[0093] D1/A1=t0h2+t1h+t2   (11)
[0094] 其中s1是一次式的一次项系数,s2是一次式的常数项,t0是二次式的二次项系数,t1是二次式的一次项系数,t2是二次式的常数项。
[0095] 将式(9)和式(11)带入式(7)可以得到
[0096]
[0097] 考虑消除摄像机镜头畸变以及投影仪和摄像机镜头的光轴在水平面上不共面带来的影响,采用二次误差补偿模型,其中k0~k5,l0~l5是误差校正系数。
[0098]
[0099] 因此式(12)变为
[0100]
[0101] 其中a0,a1分别是关于h的二次项系数中的常数项和一次项系数,b0~b7分别是关于h的二次项系数中的常数项,一次项系数和二次项系数,c0~c7分别是关于h的二次项系数中的常数项,一次项系数和二次项系数。
[0102] 获得的N组已知空间点在摄像机坐标系下Z方向的坐标ZCi和图像对应信息(ui,vi,pi)满足式(14)条件,即为
[0103] PX=Q   (15)
[0104] 其中X是系数矩阵,是18×1的列向量,P是的形式为N×18的矩阵,Q是形式为N×1的列向量,其中
[0105] X=[g0 g1 … gi … g17]T
[0106]
[0107]
[0108] 构造误差函数
[0109]
[0110] 利用Levenburg-marquardt算法求出式(17)中未知参数,因此可以通过图像信息(u,v,p)结合一元三次方程求解公式解方程获得摄像机坐标系下Z方向的坐标ZC。
[0111]
[0112] 2XY方向的标定
[0113] 系统的XY方向数值由经畸变校正的图像坐标(u,v)和摄像机坐标系下Z方向数值ZC共同确定。利用公式
[0114]
[0115] 式中s是尺度因子,m11~m34是多项式参数。在标定时,利用已知空间点在摄像机坐标系下的坐标(XC,YC,ZC)和经畸变校正的图像坐标点(u,v)结合最小二乘法即可计算出多项式参数m11~m34。在测量时,利用图像坐标(u,v)和Z方向数值ZC带入多项式即可得出XY方向分别对应的坐标值(XC,YC),因此利用图像信息(u,v,p)得出了被测物在摄像机坐标系下的三维信息(XC,YC,ZC)。
[0116] 要获得世界坐标系下的坐标,可利用坐标转换公式(20)获得的摄像机坐标系下的坐标转换为世界坐标系下的坐标,其中R是旋转矩阵,T是平移矩阵。
[0117]
[0118] 标定时,将靶标放置在摄像机视场内,移动靶标,每移动一个位置需要投射结构光条纹并拍摄图像。利用不确定视角标定方法获得靶标上特征点在摄像机坐标系下的坐标,通过图像处理获得特征点的图像坐标及其特征值。将已知量带入式(17)和式(19)通过计算获取系统参数。实际测量时,即可通过式(18)和式(19)获取被测点在摄像机坐标系下的坐标,再通过式(20)即可得到这些点在世界坐标系下的坐标。
[0119] 图2是靶标上的特征点的实测值与设定值的对比图,其中红星代表实测值,蓝色三角形代表设定值,通过分析实验数据表明,系统测量误差在0.1mm内,表明本发明可以较好的应用到结构光测量系统的标定中。图3是系统测量人脸的效果图。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈