基于轨迹特征配准的多光谱立体相机自标定算法
专利汇可以提供基于轨迹特征配准的多光谱立体相机自标定算法专利检索，专利查询，专利分析的服务。并且本 发明 公开了基于轨迹特征配准的多 光谱 立体相机自标定 算法 ，属于 图像处理 和 计算机视觉 领域。通过提取并匹配物体运动轨迹获取最佳匹配点，并据此对外参进行修正。相比于普通方法，使用运动物体的轨迹作为自标定所需的特征，使用轨迹的优点是因为其具有良好的跨模态鲁棒性；此外直接匹配轨迹还节省了特征点提取和匹配步骤，具有操作简便，结果精确等优点。，下面是基于轨迹特征配准的多光谱立体相机自标定算法专利的具体信息内容。
1.基于轨迹特征配准的多光谱立体相机自标定算法，其特征在于，包括下列步骤：
1)使用红外相机和可见光相机同时拍摄一组有运动物体的场景连续帧；
2)原图校正：将原图根据红外相机和可见光相机各自内参和原来的外参进行去畸变和双目校正；
3)计算运动物体的轨迹；
4)获取最佳轨迹对应点，并据此获取红外图像到可见光图像的变换矩阵；
5)进一步优化轨迹对应点的匹配结果：选取误差低的配准点对数作为候选特征点对；
6)判断特征点覆盖区域：将图像分成m*n个格子，如果特征点覆盖到所有格子，则进行下一步，否则继续拍摄图像，重复步骤1)～步骤5)；
7)修正标定结果：使用所有特征点的图像坐标来计算校正之后的两相机之间的位置关系，然后与原来的外参相叠加。
2.根据权利要求1所述的基于轨迹特征配准的多光谱立体相机自标定算法，其特征在于，步骤2)中原图校正，具体包括以下步骤：
2-1)计算图像的像素点对应的正规坐标系下的坐标；像素坐标系以图片的左上角为原点，其x轴和y轴分别与图像坐标系的x轴和y轴平行；像素坐标系的单位是像素；以相机的光心作为图像坐标系的原点，且将光心到图像平面的距离缩放到1；像素坐标与正规坐标的关系如下：
u＝KX
其中， 表示图像的像素坐标； 表示相机的内参矩阵，fx和
fy分别表示图像x方向和y方向的焦距，单位是像素，(cx，cy)表示相机主点的位置；
是正规坐标系下的坐标；已知图像的像素坐标系以及相机的内参计算出像素点对应的正规坐标系，即
X＝K-1u
2-2)去除图像畸变：图像径向畸变是图像像素点以畸变中心为中心点，沿着径向产生的位置偏差，从而导致图像中所成的像发生形变；径向畸变的表述如下：
xd＝x(1+k1r2+k2r4+k3r6)
yd＝y(1+k1r2+k2r4+k3r6)
其中，r2＝x2+y2，k1、k2、k3为径向畸变参数；
图像切向畸变是由于摄像机制造上的缺陷使得透镜本身与图像平面不平行而产生的，定量描述为：
xd＝x+(2p1xy+p2(r2+2x2))
yd＝y+(p1(r2+2y2)+2p2xy)
其中，p1、p2为切向畸变系数；
畸变前后的坐标关系如下：
xd＝x(1+k1r2+k2r4+k3r6)+(2p1xy+p2(r2+2x2))
yd＝y(1+k1r2+k2r4+k3r6)+(p1(r2+2y2)+2p2xy)
其中，(x，y)是理想状态下的正规坐标，(xd，yd)是实际带有畸变的正规坐标；
2-3)根据原来两相机的旋转关系将两图转回来：已知原来两个相机之间的旋转矩阵R和平移向量t，使得
Xr＝RXl+t
其中，Xl表示红外相机的正规坐标，Xr表示可见光相机的正规坐标；将红外图像旋转R正方向一半的角度，将可见光图像旋转R反方向一半的角度；
2-4)根据公式u＝KX将去畸旋转后的图像还原至像素坐标系。
3.根据权利要求1所述的基于轨迹特征配准的多光谱立体相机自标定算法，其特征在于，步骤4)中获取最佳轨迹对应点，包括以下步骤：
4-1)随机选择一对轨迹，并重复以下步骤直到误差足够小：
a.在已选的轨迹对中随机选取4对点；
b.计算红外图像点到可见光图像点的变换矩阵H；
c.加入使用变换矩阵H求得的误差足够小的点对；
d.重新计算H；
e.计算并评估误差；
4-2)加入使用变换矩阵H求得的误差足够小的轨迹对；
4-3)重新计算H；
4-4)计算并评估误差，如果误差不够小则重复步骤4-1)。
4.根据权利要求1所述的基于轨迹特征配准的多光谱立体相机自标定算法，其特征在于，步骤7)中修正标定结果，包括以下步骤：
7-1)使用随机抽样一致性对点对做进一步筛选；
7-2)求解基础矩阵F和本质矩阵E：红外和可见光对应像素点对ul、ur和基础矩阵F的关系是：
将对应点坐标代入上式，构建齐次线性方程组求解F；
基础矩阵和本质矩阵的关系是：
其中，K1、Kr分别是红外相机和可见光相机的内参矩阵；
7-3)从本质矩阵分解出旋转和平移关系：本质矩阵E与旋转R和平移t的关系如下：
E＝[t]×R
其中[t]×表示t的叉乘矩阵；
将E做奇异值分解，得
定义两个矩阵
和 ZW＝∑
所以E写成以下两种形式
(1)E＝UZUTUWVT
令[t]×＝UZUT，R＝UWVT
(2)E＝-UZUTUWTVT
令[t]×＝-UZUT，R＝UWTVT
7-4)将分解出的旋转和平移关系叠加到原来的红外相机和可见光相机的位置关系里面；
记去畸变前的旋转矩阵为R0，平移向量为t0＝(tx，ty，tz)T；上一步计算出的旋转矩阵为R，平移向量为t＝(t′x，t′y，t′z)T；则新的Rnew和tnew如下：
此外，还需要将tnew乘一个系数，使得tnew在x方向上的分量
基于轨迹特征配准的多光谱立体相机自标定算法
技术领域
背景技术
发明内容
及相机的内参计算出像素点对应的正规坐标系，即X＝K u；
具体实施方式
及相机的内参计算出像素点对应的正规坐标系，即X＝K u；
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种基于人工智能的服务器巡检方法及系统 | 2020-05-08 | 282 |
| 一种带降噪和视觉检测功能的油烟机及降噪方法 | 2020-05-08 | 304 |
| 一种多视高分辨率纹理图像与双目三维点云映射方法 | 2020-05-12 | 980 |
| 测量系统中视觉图像传感器与光点测距传感器测量坐标系的统一方法 | 2020-05-12 | 438 |
| 智能清扫车多层次立体避障控制方法及装置 | 2020-05-11 | 81 |
| 电子设备壳体及其制备方法和电子设备 | 2020-05-12 | 997 |
| 基于图像扫描、识别和路径规划的可移动洗衣助手机器人 | 2020-05-12 | 705 |
| 一种基于增强现实的机械组件质检方法及系统 | 2020-05-08 | 231 |
| 一种利用双目立体相机构建栅格地图的方法 | 2020-05-11 | 657 |
| 基于ARM和FPGA的工件位置获取系统 | 2020-05-11 | 379 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
