技术领域
[0001] 本
发明属于
图像处理和
计算机视觉领域，涉及基于角点特征的多光谱立体相 机外参计算方法。
背景技术
[0002]
立体视觉是计算机视觉领域的重要主题。其目的是重建场景的3D几何信息。 双目立体视觉是立体视觉的重要领域。在双目立体视觉中，左右摄像头用于模拟 两只眼睛。通过计算双目图像之间的差异来计算
深度图像。双目立体视觉具有效 率高，准确度高，系统结构简单，成本低的优点。红外线(Infrared)是
波长介于
微波与可见光之间的
电磁波，波长比红光要长。高于
绝对零度(-273.15℃)的物 质都可以产生红外线。利用红外线可以隔着薄雾和烟雾拍摄景物，而且在夜间也 可以进行红外摄影。
[0003] 红外相机成像的优点是在极端场景(低光、雨
雪、浓雾等)也可以成像，缺 点是
分辨率低、图像细节较模糊。相比之下，可见光相机的优点是分辨率高、图 像细节清晰，但是在极端场景下不能成像。因此，将红外相机和可见光相机结合 起来具有重大的现实意义。
[0004] 由于双目立体视觉需要匹配左右图像捕获点上的相同点，因此相机两个镜头 的焦距和图像捕获中心，以及左右两个镜头之间的
位置关系。为了得到以上数据， 我们需要对相机进行标定。获取可见光相机和红外相机之间的位置关系称为联合 标定。
[0005] 在标定过程中获得了相机的两个镜头参数和相对位置参数，但这些参数不稳 定。当
温度、湿度等发生变化时，相机镜头的内部参数也会发生变化。另外，由 于意外的相机碰撞，两个镜头之间的位置关系可能会改变。因此，每次使用摄像 机时，都必须
修改内部和外部参数，这就是自标定。在已知相机内部参数的情况 下，我们通过分别提取红外图像特征和可见光图像特征来对红外镜头和可见光镜 头的位置关系进行修正，即红外相机与可见光相机的联合自标定。
发明内容
[0006] 本发明旨在解决由于温湿度、震动等因素造成红外相机和可见光相机位置关 系的改变。通过提取红外相机和可见光相机的角点并匹配，并根据这些匹配的点 对原有的标定结果进行修正。
[0007] 本发明的技术方案：
[0008] 本发明旨从拍摄到的红外场景图像和可见光场景图像中提取并匹配角点，并 根据匹配的角点对红外相机和可见光相机之间的位置关系进行修正，从而解决红 外相机和可见光相机因温度和震动导致其外参发生变化的问题。
[0009] 基于角点特征的多光谱立体相机外参计算方法，包括下列步骤：
[0010] 第一步，原图校正：将红外和可见光原图根据红外相机和可见光相机各自内 参和原来的外参进行去畸变和双目校正。流程如图2所示。
[0011] 第二步，Harris角点检测：首先在红外去畸校正后图像IR上做Harris角点检 测，然后对IR进行灰度直方图均衡化，得到的图像记为IRhe，然后在IRhe上做 Harris角点检测。将IR上的角点和IRhe上的角点做并集得到红外图像的角点。最 后对可见光去畸校正后图像VIS做Harris角点检测。
[0012] 第三步，基于归一化相关系数的特征点匹配：根据匹配窗口分别计算红外相 机和可见光相机待匹配点对的归一化相关系数并根据其计算结果进行匹配。在此 之后，我们将对匹配的结果进行优化。
[0013] 第四步，判断特征点
覆盖区域：将图像分成m*n个格子，如果特征点覆盖到 所有格子，则进行下一步，否则继续拍摄图像，提取特征点。
[0014] 第五步，修正标定结果：使用所有特征点的图像坐标来计算校正之后的两 相机之间的位置关系，然后与原来的外参相
叠加。
[0015] 所述第一步的具体步骤如下：
[0016] 1-1)计算每一个原图像点Pi对应的正规
坐标系下的坐标。
[0017]
像素坐标系以图片的左上角为原点，其x轴和y轴分别与图像坐标系的x轴 和y轴平行。像素坐标系的单位是像素，像素是图像显示的基本且不可分割的单 位。正规坐标系以相机的
光心作为图像坐标系的原点，且将光心到图像平面的距 离缩放到1。像素坐标与正规坐标的关系如下：
[0018] u＝KX
[0019]
[0020] 其中， 表示图像的像素坐标； 表示相机的内参矩阵， fx和fy分别表示图像x方向和y方向的焦距(单位是像素)，(cx,cy)表示相机住 店的位置；
是正规坐标系下的坐标。已知图像的像素坐标系以及相机的 内参可以计算出像素点对应的正规坐标系，即
[0021] X＝K-1u
[0022] 对于每一个原图像点Pi，它的正规坐标系为：
[0023] Xi＝Kiui
[0024] 其中，ui是Pi的像素坐标，Xi是Pi的正规坐标，Ki是Pi对应相机的内参矩阵， 如果Pi是红外图像上的点，Ki就是红外相机的内参矩阵，如果Pi是可见光图像上 的点，Ki就是可见光相机的内参矩阵。
[0025] 1-2)去除图像畸变：计算出原图像点去畸变后的正规坐标。
[0026] 由于镜头生产工艺的限制，实际情况下的镜头会存在一些失真现象导致非线 性的畸变，可大致分为径向畸变和切向畸变。
[0027] 图像径向畸变是图像像素点以畸变中心为中心点，沿着径向产生的位置偏差， 从而导致图像中所成的像发生形变。径向畸变的大致表述如下：
[0028] xd＝x(1+k1r2+k2r4+k3r6)
[0029] yd＝y(1+k1r2+k2r4+k3r6)
[0030] 其中，r2＝x2+y2，k1、k2、k3为径向畸变参数。
[0031] 切向畸变是由于摄像机制造上的
缺陷使得透镜本身与图像平面不平行而产 生的，可定量描述为：
[0032] xd＝x+(2p1xy+p2(r2+2x2))
[0033] yd＝y+(p1(r2+2y2)+2p2xy)
[0034] 其中，p1、p2为切向畸变系数。
[0035] 综上，畸变前后的坐标关系如下：
[0036] xd＝x(1+k1r2+k2r4+k3r6)+(2p1xy+p2(r2+2x2))
[0037] yd＝y(1+k1r2+k2r4+k3r6)+(p1(r2+2y2)+2p2xy)
[0038] 其中，(x,y)是理想状态下的正规坐标，(xd,yd)是实际带有畸变的正规坐标。我 们以(xd,yd)作为(x,y)的初值，
迭代计算若干次得到实际的(x,y)。
[0039] 1-3)根据原来两相机的旋转关系将两图旋转：已知原来两相机之间的旋转 矩阵R和平移向量t，使得
[0040] Xr＝RXl+t
[0041] 其中，Xl表示红外相机的正规坐标，Xr表示可见光相机的正规坐标。将红外 图旋转R正方向一半的角度，将可见光图旋转R反方向一半的角度。
[0042] 对于上一步得到的去畸变之后的Pi的正规坐标Xi，如果Pi是红外图像点， R1/2Xi→Xi；如果Pi是可见光图像点，R-1/2Xi→Xi
[0043] 1-4)根据公式u＝KX将去畸旋转后的图像还原至像素坐标系。根据上一步 更新的图像点Pi的正规坐标Xi，计算去畸校正后的图像坐标
[0044] KiXi→ui
[0045] 由上可知，已知去畸校正前点的坐标ui，记由步骤1-1)～1-4)计算出的去 畸校正后的点的坐标为F(ui)。
[0046] 1-5)对去畸校正后图像I的每一个图像点vi，计算其对应原图像I0的像素坐 标位置F-1(vi)。从I0中选取对应位置的色彩值填到I中：
[0047] I(vi)＝I0(F-1(vi))
[0048] 由于F-1(vi)是小数坐标，需要使用双线性插值计算小数坐标对应位置的色彩 值。
[0049] 步骤2)中Harris角点检测，具体包括以下步骤：
[0050] 2-1)首先在红外去畸变校正后图像上进行步骤2-2)～2-3)，记检测出的Harris 特征点集为
[0051] 2-2)为图像上的每一个像素点构建梯度矩阵M。在图像上，角点表现为不 同边缘之间的交点。而且不论从什么角度来观测，它都是不同边缘之间的交点， 不会因为视角的变化而变化。此外，角点邻域内的点的梯度会有大幅变化。特征 点应满足：当移动窗口时，特征点所在窗口与其周围各个方向窗口的
亮度分布差 别很大。将窗口移动[u,v]时，灰度变化如下所示：
[0052]
[0053] 将上式泰勒展开，得：
[0054]
[0055] 其中，(x,y)表示窗口内的一点，ω(x,y)表示(x,y)点对应的权值，权值可以是 常数，也可以是高斯核的对应系数。Ix和Iy分别表示图像(x,y)点在x方向和y方 向上的梯度，矩阵M可表示为：
[0056]
[0057] 矩阵M计算方法如下：
[0058] 计算图像I在x方向和y方向上的梯度图像：
[0059]
[0060]
[0061] 其中 表示卷积。
[0062]
[0063] 2-3)根据每一个像素点的矩阵M来判断改像素点是否为角点。计算矩阵M 的两个特征值λ1和λ2，λ1和λ2所对应的
特征向量分别代表着灰度变化最快和最 慢的两个方向。λ1和λ2的大小关系和对应点的属性存在以下的对应关系，如图3 所示：
[0064] (1)当λ1和λ2的值都很小时，该点落在平滑区域内。
[0065] (2)当λ1>>λ2或者λ2>>λ1时，该点落在图像的边缘上。
[0066] (3)当λ1和λ2的值都很大，且处于同一大小
水平时，可以认为该点属于角 点。
[0067] 使用一个值R来描述该点的角点响应，然后通过
阈值σ1和σ2来判断该点是 角点，角点响应值R＝det(M)-k*trace(M)2，其中det(M)表示矩阵M对应的行列 式的值，trace(M)表示矩阵M的迹，即：
[0068] det(M)＝λ1*λ2
[0069] trace(M)＝λ1+λ2
[0070] 其中k是常数，一般取0.04～0.06
[0071] 当|R|<σ1时，该区域是平面；
[0072] 当R<0时，该区域是直线；
[0073] 当R＞σ2时，该区域是角点。
[0074] 2-4)首先在红外去畸变校正后图像上进行灰度直方图均衡化，然后进行步骤2-2)～2-3)，记检测出的Harris特征点集为 则红外图像的Harris特征点集为
[0075] 2-5)首先在可见光去畸变校正后图像上进行步骤2-2)～2-3)，记检测出的 Harris特征点集为
[0076] 所述步骤3)具体包括以下步骤：
[0077] 3-1)将红外去畸校正后图像和可见光去畸校正后图像都分为m×n个
块。对 于红外图每一个特征点 进行步骤3-2)～3-6)。
[0078] 3-2)找到 在红外图对应的块 (如图4(a)所示)。块 在可见光图相 同位置的块为 与块 具有相同横坐标和纵坐标的块集合 (如图4(b) 所
示)，其特征点集记为 我们使用归一化互相关系数来评估像素点之间的 相似程度。
[0079] 计算 和 中任意一点 的归一化互相关系数作为相似程度。
[0080]
[0081]
[0082]
[0083] 其中IR表示红外去畸校正后图像，IRhe表示直方图均衡化后的去畸校正后红 外图像，VIS表示去畸校正后可见光灰度图像，u∈[-w,w]，v∈[-w,w]，
[0084] 如果相似程度大于阈值t1，则视为粗匹配点，其集合记为 否则舍弃该 点，选取下一个特征点重新进行步骤3-2)。
[0085] 3-3)如果 和 中相似程度最大值sfirst和次大值ssecond满足：
[0086] F(sfirst,ssecond)≥t2
[0087] 则保留该匹配，取 中相似程度最大的点 作为匹配点，其中t2为阈 值,F(sfirst,ssecond)用于描述sfirst和ssecond之间的关系。如不满足，则舍弃该点， 选取下一个特征点重新进行步骤3-2)。
[0088] 按照该规则筛选之后，再按照步骤3-2)～3-3)匹配 在红外图对应的特征 点如果满足 则保留该匹配 如不满足，则舍弃该点，选取下 一个特征点重新进行步骤3-2)。
[0089] 3-4)以红外图特征点 为基准，抛物线拟合优化对应可见光图的 整数像素特征点 得到的对应可见光图的亚像素特征点
其中 为x方向上的亚像素偏移量， 为y方向上的亚像素偏移 量。
[0090] 3-5)以对应可见光图整数像素特征点 为基准，根据3-4)的方 法计算出对应红外图的亚像素特征点 其中 为x方向 上的亚像
素偏移量， 为y方向上的亚像素偏移量。
[0091] 3-6)得到最终的匹配点对为 选取下一个红外图特征点重新进行步 骤3-2)～3-6)。
[0092] 所属步骤5)具体包括以下步骤：
[0093] 5-1)根据红外和可见光两图的特征点对坐标以及红外和可见光相机的内参 矩阵来求解
基础矩阵F和本质矩阵E：红外和可见光对应像素点对ul、ur和基础 矩阵F的关系是：
[0094]
[0095] 使用随机抽样一致性(RANSAC)对点对做进一步筛选，之后将对应点坐标 代入上式，构建齐次线性方程组求解F。
[0096] 基础矩阵和本质矩阵的关系是：
[0097]
[0098] 其中，Kl、Kr分别是红外相机和可见光相机的内参矩阵。
[0099] 5-2)从本质矩阵分解出校正之后红外和可见光相机旋转和平移关系：本质 矩阵E与旋转R和平移t的关系如下：
[0100] E＝[t]×R
[0101] 其中[t]×表示t的叉乘矩阵。
[0102] 将E做奇异值分解，得
[0103]
[0104] 定义两个矩阵
[0105] 和 ZW＝Σ
[0106] 所以E可以写成以下两种形式
[0107] (1)E＝UZUTUWVT
[0108] 令[t]×＝UZUT，R＝UWVT
[0109] (2)E＝-UZUTUWTVT
[0110] 令[t]×＝-UZUT，R＝UWTVT
[0111] 得到四对R和t，选取具有三维意义的解。
[0112] 5-3)将分解出的旋转和平移关系叠加到原来的外参里面。
[0113] 记去畸变前的旋转矩阵为R0，平移向量为t0＝(tx,ty,tz)T；上一步计算出的 旋转矩阵为R，平移向量为t＝(t′x,t′y,t′z)T。则新的Rnew和tnew如下
[0114]
[0115]
[0116] 还需要将tnew乘一个系数，使得tnew在x方向上的分量
[0117] 本发明的有益效果：本发明解决了由于温湿度、震动等因素造成红外相机和 可见光相机位置关系的改变。具有速度快、结果精确、操作简单等优点。
附图说明
[0118] 图1为整体流程示意图。
[0119] 图2为校正流程示意图。
[0120] 图3为Harris角点判断条件示意图。
[0122] 其中，(a)为红外图，(b)为可见光图。
具体实施方式
[0123] 本发明旨在解决由于温湿度、震动等因素造成红外相机和可见光相机位置关 系的改变。结合附图及
实施例详细说明如下：
[0124] 基于角点特征的多光谱立体相机外参计算方法，包括下列步骤：
[0125] 第一步，原图校正：1-1)计算每一个原图像点Pi对应的正规坐标系下的坐标。
[0126] 对于每一个原图像点Pi，它的正规坐标系为：
[0127] Xi＝Kiui
[0128] 其中，ui是Pi的像素坐标，Xi是Pi的正规坐标，Ki是Pi对应相机的内参矩阵， 如果Pi是红外图像上的点，Ki就是红外相机的内参矩阵，如果Pi是可见光图像上 的点，Ki就是可见光相机的内参矩阵。
[0129] 1-2)去除图像畸变：计算出原图像点去畸变后的正规坐标。
[0130] 以(xd,yd)作为(x,y)的初值，迭代计算若干次得到实际的(x,y)。
[0131] 1-3)根据原来两相机的旋转关系将两图旋转：
[0132] 对于上一步得到的去畸变之后的Pi的正规坐标Xi，如果Pi是红外图像点， R1/2Xi→Xi；如果Pi是可见光图像点，R-1/2Xi→Xi
[0133] 1-4)根据更新的图像点Pi的正规坐标Xi，计算去畸校正后的图像坐标
[0134] KiXi→ui
[0135] 由上可知，已知去畸校正前点的坐标ui，记由步骤1-1)～1-4)计算出的去 畸校正后的点的坐标为F(ui)。
[0136] 1-5)对去畸校正后图像I的每一个图像点vi，计算其对应原图像I0的像素坐 标位置F-1(vi)。从I0中选取对应位置的色彩值填到I中：
[0137] I(vi)＝I0(F-1(vi))
[0138] 由于F-1(vi)是小数坐标，需要使用双线性插值计算小数坐标对应位置的色彩 值。
[0139] 第二步，Harris角点检测：
[0140] 2-1)首先在红外去畸变校正后图像上进行步骤2-2)～2-3)，记检测出的Harris 特征点集为
[0141] 2-2)为图像上的每一个像素点构建梯度矩阵M。
[0142] 计算图像I在x方向和y方向上的梯度图像：
[0143]
[0144]
[0145] 其中 表示卷积。
[0146]
[0147] 2-3)根据每一个像素点的矩阵M来判断改像素点是否为角点。
[0148] 使用一个值R来描述该点的角点响应，然后通过阈值σ1和σ2来判断该点是 角点，角点响应值R＝det(M)-k*trace(M)2，其中det(M)表示矩阵M对应的行列 式的值，trace(M)表示矩阵M的迹，即：
[0149] det(M)＝λ1*λ2
[0150] trace(M)＝λ1+λ2
[0151] 其中k是常数，一般取0.04～0.06
[0152] 当|R|<σ1时，该区域是平面；
[0153] 当R<0时，该区域是直线；
[0154] 当R＞σ2时，该区域是角点。
[0155] 2-4)首先在红外去畸变校正后图像上进行灰度直方图均衡化，然后进行步 骤2-2)～2-3)，记检测出的Harris特征点集为 则红外图像的Harris特征点 集为
[0156] 2-5)首先在可见光去畸变校正后图像上进行步骤2-2)～2-3)，记检测出的 Harris特征点集为
[0157] 第三步，基于归一化相关系数的特征点匹配：
[0158] 3-1)将红外去畸校正后图像和可见光去畸校正后图像都分为m×n个块。对 于红外图每一个特征点 进行步骤3-2)～3-6)。
[0159] 3-2)计算 和 中任意一点 的归一化互相关系数作为相似程度。
[0160]
[0161]
[0162]
[0163] 其中IR表示红外去畸校正后图像，IRhe表示直方图均衡化后的去畸校正后红 外图像，VIS表示去畸校正后可见光灰度图像，u∈[-w,w]，v∈[-w,w]，
[0164] 如果相似程度大于阈值t1，则视为粗匹配点，其集合记为 否则舍弃该 点，选取下一个特征点重新进行步骤3-2)。
[0165] 3-3)如果 和 中相似程度最大值sfirst和次大值ssecond满足：
[0166] F(sfirst,ssecond)≥t2
[0167] 则保留该匹配，取 中相似程度最大的点 作为匹配点，其中t2为阈 值,F(sfirst，ssecond)用于描述sfirst和ssecond之间的关系。如不满足，则舍弃该点， 选取下一个特征点重新进行步骤3-2)。
[0168] 按照该规则筛选之后，再按照步骤3-2)～3-3)匹配 在红外图对应的特征 点如果满足 则保留该匹配 如不满足，则舍弃该点，选取下 一个特征点重新进行步骤3-2)。
[0169] 3-4)以红外图特征点 为基准，抛物线拟合优化对应可见光图的 整数像素特征点 得到的对应可见光图的亚像素特征点
其中 为x方向上的亚像素偏移量， 为y方向上的亚像素偏移 量。
[0170] 3-5)以对应可见光图整数像素特征点 为基准，根据3-4)的方 法计算出对应红外图的亚像素特征点 其中 为x方向 上的亚像
素偏移量， 为y方向上的亚像素偏移量。
[0171] 3-6)得到最终的匹配点对为 选取下一个红外图特征点重新进行步 骤3-2)～3-6)。
[0172] 第四步，判断特征点覆盖区域：将图像分成m*n个格子，如果特征点覆盖到 所有格子，则进行下一步，否则继续拍摄图像，提取特征点。
[0173] 第五步，修正标定结果：
[0174] 5-1)使用随机抽样一致性(RANSAC)对点对做进一步筛选，之后将对应 点坐标代入上式，构建齐次线性方程组求解F。
[0175] 基础矩阵和本质矩阵的关系是：
[0176]
[0177] 其中，Kl、Kr分别是红外相机和可见光相机的内参矩阵。
[0178] 5-2)从本质矩阵分解出校正之后红外和可见光相机旋转和平移关系：本质 矩阵E与旋转R和平移t的关系如下：
[0179] E＝[t]×R
[0180] 其中[t]×表示t的叉乘矩阵。
[0181] 将E做奇异值分解，得
[0182]
[0183] 定义两个矩阵
[0184] 和
[0185] ZW＝Σ
[0186] 所以E可以写成以下两种形式
[0187] (1)E＝UZUTUWVT
[0188] 令[t]×＝UZUT，R＝UWVT
[0189] (2)E＝-UZUTUWTVT
[0190] 令[t]×＝-UZUT，R＝UWTVT
[0191] 得到四对R和t，选取具有三维意义的解。
[0192] 5-3)将分解出的旋转和平移关系叠加到原来的外参里面。
[0193] 去畸变前的旋转矩阵R和平移向量t
[0194]
[0195] t＝[-203.8738 -0.5615 -1.9982]T
[0196] 计算出的旋转矩阵为R′和平移向量为t′
[0197]
[0198] t′＝[-1.0000 -0.0024 -0.0061]T
[0199] 新的Rnew和tnew
[0200]
[0201] tnew＝[-203.8738 -0.8971 -0.3681]T。
