技术领域
[0001] 本
发明属于
图像处理和
计算机视觉领域，涉及基于显著特征的多光谱相机动态立体标定算 法。
背景技术
[0002] 红外线(Infrared)是
波长介于
微波与可见光之间的
电磁波，波长比红光要长。高于绝对 零度(-273.15℃)的物质都可以产生红外线。红外图像由于其具有透过雾、雨等进行观察的能
力而被广泛用于军事国防、资源勘探、气象预报、环境监测、医学诊治、海洋研究等不同领域。 利用红外线可以隔着薄雾和烟雾拍摄景物，而且在夜间也可以进行红外摄影。红外相机成像的 优点是在极端场景(低光、雨
雪、浓雾等)也可以成像，缺点是
分辨率低、图像细节较模糊。 相比之下，可见光相机的优点是分辨率高、图像细节清晰，但是在极端场景下不能成像。因此， 将红外相机和可见光相机结合起来具有重大的现实意义。
[0003]
立体视觉是计算机视觉领域的重要主题。其目的是重建场景的3D几何信息。双目立体视 觉是立体视觉的重要领域。在双目立体视觉中，左右摄像头用于模拟两只眼睛。通过计算双目 图像之间的差异来计算
深度图像。双目立体视觉具有效率高，准确度高，系统结构简单，成本 低的优点。由于双目立体视觉需要匹配左右图像捕获点上的相同点，因此相机两个镜头的焦距 和图像捕获中心，以及左右两个镜头之间的
位置关系。为了得到以上数据，我们需要对相机进 行标定。获取可见光相机和红外相机之间的位置关系称为联合标定。
[0004] 在标定过程中获得了相机的两个镜头参数和相对位置参数，但这些参数不稳定。当
温度、 湿度等发生变化时，相机镜头的内部参数也会发生变化。另外，由于意外的相机碰撞，两个镜 头之间的位置关系可能会改变。因此，每次使用摄像机时，都必须
修改内部和外部参数，这就 是自标定。在已知相机内部参数的情况下，我们通过分别提取红外图像特征和可见光图像特征 来对红外镜头和可见光镜头的位置关系进行修正，即红外相机与可见光相机的联合自标定。
[0005] 由于红外相机成像与可见光相机成像不同，我们需要找到一个具有跨模态鲁棒性的特征， 我们发现图像的显著性正是其中之一。通过分别对红外图像和可见光图像进行显著性检测并在 显著性图像上提取匹配特征点可以克服跨模态成像差异带来的影响，从而实现联合自标定功能。
发明内容
[0006] 本发明旨在解决由于温湿度、震动等因素造成红外相机和可见光相机位置关系的改变。首 先对红外图像和可见光图像进行显著性检测，通过提取匹配红外显著性图像和可见光显著性图 像的特征点来对原有的标定结果进行修正。
[0007] 基于显著特征的多光谱相机动态立体标定算法，步骤如下：
[0008] 第一步，原图校正：将原图根据红外相机和可见光相机各自内参和原来的外参进行去畸变 和双目校正。
[0009] 第二步，基于直方图
对比度方法对红外图像和可见光图像分别进行显著性检测。
[0010] 第三步，在红外图像和可见光图像，以及它们的显著性图像上分别提取特征点。
[0011] 第四步，对上一步提取的特征点进行匹配。
[0012] 第五步，判断特征点
覆盖区域：将图像分成m*n个格子，如果特征点覆盖到所有格子， 则进行下一步，否则继续拍摄图像，重复第一步～第四步。
[0013] 第六步，修正标定结果：使用所有特征点的图像坐标来计算校正之后的两相机之间的位置 关系，然后与原来的外参相
叠加。
[0014] 所述第一步具体包括以下步骤：
[0015] 1-1)计算每一个原图像点Pi对应的正规
坐标系下的坐标。
[0016]
像素坐标系以图片的左上
角为原点，其x轴和y轴分别与图像坐标系的x轴和y轴平行。 像素坐标系的单位是像素，像素是图像显示的基本且不可分割的单位。正规坐标系以相机的光 心作为图像坐标系的原点，且将
光心到图像平面的距离缩放到1。像素坐标与正规坐标的关系 如下：
[0017] u＝KX
[0018]
[0019] 其中， 表示图像的像素坐标； 表示相机的内参矩阵，fx和fy分别 表示图像x方向和y方向的焦距(单位是像素)，(cx,cy)表示相机住店的位置；
是正规 坐标系下的坐标。已知图像的像素坐标系以及相机的内参可以计算出像素点对应的正规坐标系， 即
[0020] X＝K-1u
[0021] 对于每一个原图像点Pi，它的正规坐标系为：
[0022] Xi＝Kiui
[0023] 其中，ui是Pi的像素坐标，Xi是Pi的正规坐标，Ki是Pi对应相机的内参矩阵，如果Pi是红外 图像上的点，Ki就是红外相机的内参矩阵，如果Pi是可见光图像上的点，Ki就是可见光相机的 内参矩阵。
[0024] 1-2)去除图像畸变：计算出原图像点去畸变后的正规坐标。
[0025] 由于镜头生产工艺的限制，实际情况下的镜头会存在一些失真现象导致非线性的畸变，可 大致分为径向畸变和切向畸变。
[0026] 图像径向畸变是图像像素点以畸变中心为中心点，沿着径向产生的位置偏差，从而导致图 像中所成的像发生形变。径向畸变的大致表述如下：
[0027] xd＝x(1+k1r2+k2r4+k3r6)
[0028] yd＝y(1+k1r2+k2r4+k3r6)
[0029] 其中，r2＝x2+y2，k1、k2、k3为径向畸变参数。
[0030] 切向畸变是由于摄像机制造上的
缺陷使得透镜本身与图像平面不平行而产生的，可定量描 述为：
[0031] xd＝x+(2p1xy+p2(r2+2x2))
[0032] yd＝y+(p1(r2+2y2)+2p2xy)
[0033] 其中，p1、p2为切向畸变系数。
[0034] 综上，畸变前后的坐标关系如下：
[0035] xd＝x(1+k1r2+k2r4+k3r6)+(2p1xy+p2(r2+2x2))
[0036] yd＝y(1+k1r2+k2r4+k3r6)+(p1(r2+2y2)+2p2xy)
[0037] 其中，(x,y)是理想状态下的正规坐标，(xd,yd)是实际带有畸变的正规坐标。我们以(xd,yd) 作为(x,y)的初值，
迭代计算若干次得到实际的(x,y)。
[0038] 1-3)根据原来两相机的旋转关系将两图旋转：已知原来两相机之间的旋转矩阵R和平移 向量t，使得
[0039] Xr＝RXl+t
[0040] 其中，Xl表示红外相机的正规坐标，Xr表示可见光相机的正规坐标。将红外图旋转R正 方向一半的角度，将可见光图旋转R反方向一半的角度。
[0041] 对于上一步得到的去畸变之后的Pi的正规坐标Xi，如果Pi是红外图像点，R1/2Xi→Xi；如 果Pi是可见光图像点，R-1/2Xi→Xi
[0042] 1-4)根据公式u＝KX将去畸旋转后的图像还原至像素坐标系。根据上一步更新的图像点 Pi的正规坐标Xi，计算去畸校正后的图像坐标
[0043] KiXi→ui
[0044] 由上可知，已知去畸校正前点的坐标ui，记由步骤1-1)～1-4)计算出的去畸校正后的点 的坐标为F(ui)。
[0045] 1-5)对去畸校正后图像I的每一个图像点vi，计算其对应原图像I0的像素坐标位置F-1(vi)。 从I0中选取对应位置的色彩值填到I中：
[0046] I(vi)＝I0(F-1(vi))
[0047] 由于F-1(vi)是小数坐标，需要使用双线性插值计算小数坐标对应位置的色彩值。
[0048] 所述第二步具体包括以下步骤：
[0049] 2-1)计算每种
颜色的显著性。像素的显著性由像素颜色与其他像素颜色差异性来决定的， 因此相同颜色的像素具有相同的显著性值，对像素颜色显著性值的定义为：
[0050]
[0051] 其中，n是图像颜色总数，cj是像素点Ik的颜色值，D(cl,cj)表示两个颜色cl和cj在颜色空 间中的距离，fj是颜色cj出现的概率。为了减少色彩种类数量，降低计算复杂度，将每个颜色 通道量化为若干值。
[0052] 2-2)将颜色显著性平滑化，这一步的目的是为了减少由于相似颜色被量化为不通值而造 成的噪声，平滑后的颜色显著性公式如下：
[0053]
[0054] 其中m＝n/4， 是颜色c与其m个最近颜色距离之和。
[0055] 2-3)根据图像像素点上的颜色确定显著性，得到显著性图像。
[0056] 所述第三步具体包括以下步骤
[0057] 差分高斯金字塔差分高斯金字塔是由相邻尺度空间做差得来的，常被用于尺度不变特征变 换(Scale-invariant feature transform，SIFT)。一幅图像的尺度空间被定义为：高斯卷积核与该 图像的卷积，它是高斯卷积核中的参数σ的函数。具体地，场景图像I(x,y)的尺度空间为：
[0058] L(x,y,σ)＝G(x,y,σ)*I(x,y)
[0059] 其中， 是高斯核函数，σ是尺度因子，σ的大小决定图像的平滑 程度。大的σ值对应粗糙尺度(低分辨率)，小的σ值对应精细尺度(高分辨率)。*表示卷积操作。 我们称L(x,y,σ)为图像I(x,y)的尺度空间。我们将不同尺度的尺度空间做差得到一层差分高斯 金字塔(如图3所示)，此外还需乘一个归一化尺度因子λ，使得DoG图像的最大值是255。
[0060] D(x，y，σ)＝λ(L(x，y，kσ)-L(x，y，σ))
[0061] 和SIFT不同的是，我们仅仅计算一层差分尺度特征。这么做的原因有两点：第一，计算 多层差分尺度特征的计算量太大了，无法实现实时性；第二，使用多层差分尺度特征得到的 SIFT特征的准确度太低。
[0062] 3-2)对于在上步得到的
单层差分高斯金字塔D，取其局部极值点作为特征点集{P}。
[0063] 3-2-1)将D做膨胀操作，结果记为D1。将D1中每一个像素点与其8-邻域上的点作比较， 如果改像素点是局部极大值，则将其加入候选点集P1里。
[0064] 3-2-2)将D取反再做膨胀操作，结果记为D2。将D2中每一个像素点与其8-邻域上的点作 比较，如果改像素点是局部极小值，则将其加入候选点集P2里。
[0065] 3-2-3)将P1和P2取交集，得到P3＝P1∩P2。取P3中DoG灰度值大于15的点作为特征点 集{P}。红外灰度图像的特征点集为 红外显著图像的特征点集为 可见光灰度图像的 特征点集为 可见光显著图像的特征点集为
[0066] 3-2-4)红外图像的特征点集为 可见光图像的特征点集为
[0067] 所述第四步具体包括以下步骤：
[0068] 4-1)将红外图像和可见光图像都分为m×n个
块。对于红外图每一个特征点 进行步骤 4-2)～4-6)。
[0069] 4-2)找到 在红外图对应的块 (如图4(a)所示)。块 在可见光图相同位置的块为 与块 具有相同横坐标和纵坐标的块集合 (如图4(b)所示)，其特征点集记为 评估像素点之间的相似程度，如果相似程度大于
阈值t1，则视为粗匹配点，其集合记为 否则舍弃该点，选取下一个特征点重新进行步骤4-2)。
[0070] 4-3)如果 和 中相似程度最大值sfirst和次大值ssecond满足：
[0071] F(sfirst，ssecond)≥t2
[0072] 则保留该匹配，取 中相似程度最大的点 作为匹配点，其中t2为阈值,F(sfirst,ssecond) 用于描述sfirst和ssecond之间的关系。如不满足，则舍弃该点，选取下一个特征点重新进行步骤 4-2)。
[0073] 按照该规则筛选之后，再按照步骤4-2)～4-3)匹配 在红外图对应的特征点如果满 足 则保留该匹配 如不满足，则舍弃该点，选取下一个特征点重新进行步骤4-2)。
[0074] 4-4)以红外图特征点 为基准，抛物线拟合优化对应可见光图的整数像素特征 点 得到的对应可见光图的亚像素特征点其中 为x 方向上的亚像素偏移量， 为y方向上的亚像素偏移量。
[0075] 4-5)以对应可见光图整数像素特征点 为基准，根据4-4)的方法计算出对应 红外图的亚像素特征点 其中 为x方向上的亚像素偏移
量， 为y 方向上的亚像素偏移量。
[0076] 4-6)得到最终的匹配点对为 选取下一个红外图特征点重新进行步骤4-2)～4-6)。
[0077] 所述第六步具体包括以下步骤：
[0078] 6-1)根据红外和可见光两图的特征点对坐标以及红外和可见光相机的内参矩阵来求解基 础矩阵F和本质矩阵E：红外和可见光对应像素点对ul、ur和
基础矩阵F的关系是：
[0079]
[0080] 使用随机抽样一致性(RANSAC)对点对做进一步筛选，之后将对应点坐标代入上式，构 建齐次线性方程组求解F。
[0081] 基础矩阵和本质矩阵的关系是：
[0082]
[0083] 其中，Kl、Kr分别是红外相机和可见光相机的内参矩阵。
[0084] 6-2)从本质矩阵分解出校正之后红外和可见光相机旋转和平移关系：本质矩阵E与旋转 R和平移t的关系如下：
[0085] E＝[t]×R
[0086] 其中[t]×表示t的叉乘矩阵。
[0087] 将E做奇异值分解，得
[0088]
[0089] 定义两个矩阵
[0090] 和 ZW＝Σ
[0091] 所以E可以写成以下两种形式
[0092] (1)E＝UZUTUWVT
[0093] 令[t]×＝UZUT，R＝UWVT
[0094] (2)E＝-UZUTUWTVT
[0095] 令[t]×＝-UZUT，R＝UWTVT
[0096] 得到四对R和t，选取具有三维意义的解。
[0097] 6-3)将分解出的旋转和平移关系叠加到原来的外参里面。
[0098] 记去畸变前的旋转矩阵为R0，平移向量为t0×(tx，ty，tz)T；上一步计算出的旋转矩阵为R， 平移向量为t＝(t′x，t′y，t′z)T。则新的Rnew和tnew如下
[0099]
[0100]
[0101] 还需要将tnew乘一个系数，使得tnew在x方向上的分量
[0102] 本发明的有益效果是：
[0103] 本发明解决了由于温湿度、震动等因素造成红外相机和可见光相机位置关系的改变。具有 速度快、结果精确、操作简单等优点。找到图像的显著性这一具有跨模态鲁棒性的特征，通过 分别对红外图像和可见光图像进行显著性检测并在显著性图像上提取匹配特征点，从而克服跨 模态成像差异带来的影响。
附图说明
[0105] 图2是校正流程图。
[0106] 图3表示高斯差分金字塔(DoG)。
[0107] 图4是分
块匹配的示意图。其中：图4(a)是红外图像待匹配的块图，图4(b)表示可见光图 像上的匹配范围图。
具体实施方式
[0108] 以下结合附图和技术方案，进一步说明本发明的具体实施方式。
[0109] 第一步，原图校正：
[0110] 1-1)计算每一个原图像点Pi对应的正规坐标系下的坐标。
[0111] 对于每一个原图像点Pi，它的正规坐标系为：
[0112] Xi＝Kiui
[0113] 其中，ui是Pi的像素坐标，Xi是Pi的正规坐标，Ki是Pi对应相机的内参矩阵，如果Pi是红外 图像上的点，Ki就是红外相机的内参矩阵，如果Pi是可见光图像上的点，Ki就是可见光相机的 内参矩阵。
[0114] 1-2)去除图像畸变：计算出原图像点去畸变后的正规坐标。
[0115] 以(xd,yd)作为(x,y)的初值，迭代计算若干次得到实际的(x,y)。
[0116] 1-3)根据原来两相机的旋转关系将两图旋转：
[0117] 对于上一步得到的去畸变之后的Pi的正规坐标Xi，如果Pi是红外图像点，R1/2Xi→Xi；如 果Pi是可见光图像点，R-1/2Xi→Xi
[0118] 1-4)根据更新的图像点Pi的正规坐标Xi，计算去畸校正后的图像坐标[0119] KiXi→ui
[0120] 由上可知，已知去畸校正前点的坐标ui，记由步骤1-1)～1-4)计算出的去畸校正后的点 的坐标为F(ui)。
[0121] 1-5)对去畸校正后图像I的每一个图像点vi，计算其对应原图像I0的像素坐标位置-1F (vi)。 从I0中选取对应位置的色彩值填到I中：
[0122] I(vi)＝I0(F-1(vi))
[0123] 由于F-1(vi)是小数坐标，需要使用双线性插值计算小数坐标对应位置的色彩值。
[0124] 2)基于直方图对比度方法对红外图像和可见光图像分别进行显著性检测[0125] 2-1)计算每种颜色的显著性。像素的显著性由像素颜色与其他像素颜色差异性来决定的， 因此相同颜色的像素具有相同的显著性值，对像素颜色显著性值的定义为：
[0126]
[0127] 其中，n是图像颜色总数，cj是像素点Ik的颜色值，D(cl,cj)表示两个颜色cl和cj在颜色空 间中的距离，fj是颜色cj出现的概率。为了减少色彩种类数量，降低计算复杂度，将每个颜色 通道量化为若干值。
[0128] 2-2)将颜色显著性平滑化，这一步的目的是为了减少由于相似颜色被量化为不通值而造 成的噪声，平滑后的颜色显著性公式如下：
[0129]
[0130] 其中m＝n/4， 是颜色c与其m个最近颜色距离之和。
[0131] 2-3)根据图像像素点上的颜色确定显著性，得到显著性图像。
[0132] 3)在红外图像和可见光图像，以及它们的显著性图像上分别提取特征点。
[0133] 3-1)构建单尺度差分高斯金字塔(DoG)。差分高斯金字塔差分高斯金字塔是由相邻尺度 空间做差得来的，常被用于尺度不变特征变换(Scale-invariant feature transform，SIFT)。一幅 图像的尺度空间被定义为：高斯卷积核与该图像的卷积，它是高斯卷积核中的参数σ的函数。 具体地，场景图像I(x,y)的尺度空间为：
[0134] L(x,y,σ)＝G(x,y,σ)*I(x,y)
[0135] 其中， 是高斯核函数，σ是尺度因子，σ的大小决定图像的平滑 程度。大的σ值对应粗糙尺度(低分辨率)，小的σ值对应精细尺度(高分辨率)。*表示卷积操作。 我们称L(x,y,σ)为图像I(x,y)的尺度空间。我们将不同尺度的尺度空间做差得到一层差分高斯 金字塔(如图3所示)，此外还需乘一个归一化尺度因子λ，使得DoG图像的最大值是255。
[0136] D(x，y，σ)＝λ(L(x，y，kσ)-L(x，y，σ))
[0137] 和SIFT不同的是，我们仅仅计算一层差分尺度特征。这么做的原因有两点：第一，计算 多层差分尺度特征的计算量太大了，无法实现实时性；第二，使用多层差分尺度特征得到的 SIFT特征的准确度太低。
[0138] 3-2)对于在上步得到的DoG中的每一个点，将其与邻域内的像素点作比较，判断其是否 为局部极值点。
[0139] 3-2-1)将D做膨胀操作，结果记为D1。将D1中每一个像素点与其8-邻域上的点作比较， 如果改像素点是局部极大值，则将其加入候选点集P1里。
[0140] 3-2-2)将D取反再做膨胀操作，结果记为D2。将D2中每一个像素点与其8-邻域上的点作 比较，如果改像素点是局部极小值，则将其加入候选点集P2里。
[0141] 3-2-3)将P1和P2取交集，得到P3＝P1∩P2。取P3中DoG灰度值大于15的点作为特征点 集{P}。红外灰度图像的特征点集为 红外显著图像的特征点集为 可见光灰度图像的 特征点集为 可见光显著图像的特征点集为
[0142] 3-2-4)红外图像的特征点集为 可见光图像的特征点集为
[0143] 4)对上一步提取的特征点进行匹配。
[0144] 4-1)将红外图像和可见光图像都分为m×n个块；对于红外图每一个角点 进行步骤4-2) ～4-6)；
[0145] 4-2)找到 在红外图对应的块 块 在可见光图相同位置的块为 与块 具 有相同横坐标和纵坐标的块集合 其角点集记为
[0146] 计算 和 中任意一点的相似程度，如果相似程度大于阈值t1，则视为粗匹配点，其集 合记为 否则舍弃该点，选取下一个角点重新进行步骤4-2)；
[0147] 4-3)如果 和 中相似程度最大值sfirst和次大值ssecond满足：
[0148] F(sfirst，ssecond)≥t2
[0149] 则保留该匹配，取 中相似程度最大的点 作为匹配点，其中t2为阈值,F(sfirst,ssecond) 用于描述sfirst和ssecond之间的关系；如不满足，则舍弃该点，选取下一个角点重新进行步骤 4-2)；
[0150] 按照该规则筛选之后，再按照步骤4-2)～4-3)匹配 在红外图对应的角点 如果满足 则保留该匹配 如不满足，则舍弃该点，选取下一个角点重新进行步骤4-2)；
[0151] 4-4)以红外图角点 为基准，抛物线拟合优化对应可见光图的整数像素角点 得到的对应可见光图的亚像素角点 其中
为x方向 上的亚像素偏移量， 为y方向上的亚像素偏移量；
[0152] 4-5)以对应可见光图整数像素角点 为基准，根据4-4)的方法计算出对应红 外图的亚像素角点 其中 为x方向上的亚像素偏移量，
为y方向 上的亚像素偏移量；
[0153] 4-6)得到最终的匹配点对为 选取下一个红外图角点重新进行步骤4-2)～4-6)。
[0154] 5)判断特征点覆盖区域：将图像分成m*n个格子，如果特征点覆盖到所有格子，则进行 下一步，否则继续拍摄图像，重复步骤1)～步骤4)。
[0155] 6)修正标定结果：使用所有特征点的图像坐标来计算校正之后的两相机之间的位置关系， 然后与原来的外参相叠加。
[0156] 6-1)使用随机抽样一致性(RANSAC)对点对做进一步筛选，之后将对应点坐标代入上 式，构建齐次线性方程组求解F；
[0157] 基础矩阵和本质矩阵的关系是：
[0158]
[0159] 其中，K1、Kr分别是左右相机的内参矩阵；
[0160] 6-2)从本质矩阵分解出校正之后左右相机旋转和平移关系：本质矩阵E与旋转R和平移 t的关系如下：
[0161] E＝[t]×R
[0162] 其中[t]×表示t的叉乘矩阵；
[0163] 将E做奇异值分解，得
[0164]
[0165] 定义两个矩阵
[0166] 和 ZW＝Σ
[0167] 所以E可以写成以下两种形式
[0168] (1)E＝UZUTUWVT
[0169] 令[t]×＝UZUT，R＝UWVT
[0170] (2)E＝-UZUTUWTVT
[0171] 令[t]×＝-UZUT，R＝UWTVT
[0172] 得到四对R和t，选取具有三维意义的解；
[0173] 6-3)将分解出的旋转和平移关系叠加到原来的外参里面；
[0174] 计算结果：
[0175] 去畸变前的旋转矩阵R和平移向量t
[0176]
[0177] t＝[-342.4272 -2.0244 -0.7514]T
[0178] 计算出的旋转矩阵为R′和平移向量为t′
[0179]
[0180] t′＝[-1.0000 -0.0050 -0.0075]T
[0181] 新的Rnew和tnew
[0182]
[0183] tnew＝[-342.4272 0.9829 -2.4117]T。
