一种利用红外传感器和可见光传感器构建栅格地图的方法专利检索-算法电脑编程专利检索查询-专利查询网

一种利用红外 传感器和可见光传感器构建栅格地图的方法

阅读：442发布：2021-06-05

专利汇可以提供一种利用红外传感器和可见光传感器构建栅格地图的方法专利检索，专利查询，专利分析的服务。并且本发明公开了一种利用红外与可见光传感器构建栅格地图的方法，属于图像处理和计算机视觉领域。利用严谨的配准策略完成传感器配准，从硬件的层次提升系统效率。利用GPU构建高性能运算平台，并构建高性能求解算法构建栅格地图。系统容易构建，程序简单，易于实现；利用红外与可见光传感器，可以达到全天候使用，算法鲁棒性强精度高。，下面是一种利用红外传感器和可见光传感器构建栅格地图的方法专利的具体信息内容。

权利要求

1.一种利用红外和可见光传感器构建栅格地图的方法，其特征在于，包括以下步骤：
1)传感器配准
采用混合材料的标定板进行传感器位姿标定；标定的方法采取张正友标定法，得到传感器位姿为T1；传感器配准之后两种图像实现理论上的像素级对准；然后使用标定物进行关系修正，两个传感器得到的视差图Di和Dv，经过相机内参矩阵变换得到点云分别为Pi和Pv，如果点和满足则认为符合位姿关系，统计符合条件的点的
数量并要求数量最大，最后得到位姿T2；最后再使用张正友标定法修正位姿得到结果T；
2)视差图融合
红外相机和可见光相机分别产生两种视差图Di和Dv及置信度，利用位姿T融合，结果为Df；
3)筛选视线
由视差图Df变换得到点云Pf，对点云进行筛选；连接三维点q与视线起点o为当前视线l，o是相机光心在世界坐标系的位置，如果q的高度比o大h则剔去视线，保留的视线会投影到栅格地图之中为l′；从O沿着投影线遍历更新栅格的状态直到到达端点Q，O和Q为o点和q点在栅格地图中的投影；
4)更新栅格状态
设栅格已有的状态xt，如果栅格在O与Q之间说明此时栅格中没有障碍物，则更新栅格的状态为xt+1＝-wq+xt；如果栅格在Q的位置说明此时栅格中存在障碍物，则更新栅格的状态为xt+1＝wq+xt；
步骤1)-4)中ε为设定值。
2.根据权利要求1所述的利用红外和可见光传感器构建栅格地图的方法，其特征在于，所述步骤2)中，具体步骤如下；
如果为黑夜或者亮度较低则红外与可见光视差的权值分别乘以系数因子αi大于1，αv小于1；如果为白天或者亮度较高则红外与可见光视差的权值分别乘以系数因子βi小于1，βv大于1；乘系数后重新进行视差值权值归一化为w′i和w′v；
红外相机和可见光相机分别会产生两种视差图Di和Dv及置信度Ci和Cj，使用位姿T配准视差图，然后将对应视差的置信度归一化得到测量值权值wi和wv；由权值更新策略重新计算视差的权值，融合后视差Df＝w′i×Di+w′v×Dv。

说明书全文

一种利用红外传感器和可见光传感器构建栅格地图的方法

技术领域

[0001] 本发明属于图像处理和计算机视觉领域。涉及一种利用红外与可见光传感器构建栅格地图的方法。利用红外与可见光传感器的特性，并利用像素级配准完成图像快速融合，结合各传感优势相互弥补缺陷。

背景技术

[0002] 近年伴随着人工智能的发展移动机器人和汽车自动驾驶越来越受到人们的关注，而其中一个需要解决主要的问题就是地图构建。栅格地图是在无人导航中最为常见的一种地图，因而如何构建快速精确的栅格地图成为移动机器人和和无人车中一个十分重要的问题。现阶段主流的方法大致利用三种传感器，可见光相机，深度相机和雷达。三种传感器由于自身的特性存在着不可避免的缺点，可见光相机受光照和纹理影响大，深度相机测距范围有限。抗干扰能力差，激光雷达或毫米波雷达价格昂贵且数据稀疏。由此可见单一传感器构建栅格地图不能完整准确的反映出场景的结构。因此传感器融合成为一种趋势，现阶段存在的融合方案有可见光相机和雷达，使用可见光相机的稠密数据填充雷达的稀疏数据，使用雷达的精确数据修正可见光相机的粗略数据，最终构建可较好反映场景深度图，然后可利用生成的深度图构建栅格地图。但是这样的方案设备成本高，算法中数据融合消耗资源多、实时性较差，而且在夜晚中依然存在可见光相机不可测量的问题。

发明内容

[0003] 为解决夜晚可视的问题本发明提出使用红外与可见光传感器构建栅格地图的方法，红外相机因其特性可感受物体的散发的红外信息，因此可在夜晚或亮度较低时清晰成像。可以弥补可见光相机不可测量的问题。但是数据融合依然影响算法的执行效率，本文提出的权值状态更新方法融合数据可以提升算法效率。使用复合材料标定板解决多模态传感器标定问题。本发明提出一种高效的利用红外与可见光传感器融合构建栅格地图的方法。

[0004] 具体技术方案的步骤如下：

[0005] 1)传感器配准

[0006] 传感器配准旨在标定传感器位姿，在硬件层次减少软件的计算量提升系统执行效率。因为两种相机不同的成像特性，采用混合材料的标定板进行传感器位姿标定；标定的方法采取张正友标定法，得到传感器位姿为T1；传感器配准之后两种图像实现理论上的像素级对准；然后使用标定物进行关系修正，两个传感器得到的视差图Di和Dv，经过相机内参矩阵变换得到点云分别为Pi和Pv，如果点和满足则认为符合位姿关系，统计符合条件的点的数量并要求数量最大，最后得到位姿T2；最后再使用张正友标定法修正位姿得到结果T；

[0007] 2)视差图融合

[0008] 红外相机和可见光相机分别会产生两种视差图Di和Dv及置信度，利用位姿T融合，本发明的融合策略是根据不同场景赋予测量值权值w。在黑夜或低光条件下红外相机产生的测量结果更为准确，权值相对调高。在白天或光照较好的条件下可见光相机的测量结果更准确，权值相对调高。视差图融合结果为Df。

[0009] 3)筛选视线

[0010] 由视差图Df变换得到点云Pf，对点云进行筛选；连接三维点q与视线起点o为当前视线l，o是相机光心在世界坐标系的位置，如果q的高度比o大h则剔去视线，保留的视线会投影到栅格地图之中为l′；从O沿着投影线遍历更新栅格的状态直到到达端点Q，O和Q为o点和q点在栅格地图中的投影；

[0011] 4)更新栅格状态

[0012] 视差图Df的精度由D和Dv共同影响。在Di和Dv一方数据为空时Df的精度为存在数据的一方，否则为权值更高一方的精度。使用条件概率计算在一定精度下栅格状态的变化值，并使用贝叶斯推断的方式更新栅格状态。具体指的是在已知栅格已有的状态和本次测量的栅格状态，用贝叶斯推断的方式可得出本次测量后的栅格状态。

[0013] 设栅格已有的状态xt，如果栅格在O与Q之间说明此时栅格中没有障碍物，则更新栅格的状态为xt+1＝-wq+xt；如果栅格在Q的位置说明此时栅格中存在障碍物，则更新栅格的状态为xt+1＝wq+xt；

[0014] 步骤1)-4)中ε为设定值。

[0015] 进一步地，上述步骤2)中，具体步骤如下；

[0016] 如果为黑夜或者亮度较低则红外与可见光视差的权值分别乘以系数因子αi大于1，αv小于1；如果为白天或者亮度较高则红外与可见光视差的权值分别乘以系数因子βi小于
1，βv大于1；乘系数后重新进行视差值权值归一化为w′i和w′v；

[0017] 红外相机和可见光相机分别会产生两种视差图Di和Dv及置信度Ci和Cj，置信度是在立体匹配时产生的可以衡量视差准确性的量。使用位姿T配准视差图，然后将对应视差的置信度归一化得到测量值权值wi和wv；由权值更新策略重新计算视差的权值，融合后视差Df＝w′i×Di+w′v×Dv。

[0018] 本发明的有益效果是：

[0019] 本发明设计了一种利用红外与可见光传感器构建栅格地图的方法。利用各传感器的特性，并利用像素级配准完成图像快速融合，结合各传感优势相互弥补缺陷。具有以下特点：

[0020] 1、程序简单，易于实现；

[0021] 2、算法效率高，实时性强；

[0022] 3、多模态方式构建栅格地图，可以全天候使用。附图说明

[0023] 图1是系统架构。

[0024] 图2是传感器配准的算法流程。

[0025] 图3是传感器融合构建栅格地图的算法流程。

[0026] 图4为可见光场景图。

[0027] 图5为可见光视差图。

[0028] 图6为仿真红外视差图。

[0029] 图7为栅格地图效果示意图。

具体实施方式

[0030] 本发明提出了一种利用红外与可见光传感器构建栅格地图方法，结合附图及实施例详细说明如下：

[0031] 总体流程如图1，首先获得两传感器的视差图Di和Dv，如图5和6，然后在GPU中完成视差融合并构建栅格地图，最后显示栅格地图。本发明的方法包括下列步骤：

[0032] 1)传感器配准

[0033] 传感器配准流程如图2。首先使用混合材料的标定板，可选用金属片和树脂板，红外相机和可见光相机采集张正友标定需要的场景图像Ii和Iv，使用张正友标定法得到标定的结果为位姿关系T1。然后使用标定物进行关系修正，两个传感器得到的视差图Di和Dv，经过相机内参矩阵变换得到点云分别为Pi和Pv，如果点和满足则认为符合位姿关系，统计符合条件的点的数量并要求数量最大，最后得到位姿T2。如图2最后的配准流程再次使用张正友标定法矫正位姿T2得到最终结果T。

[0034] 图3是传感器融合构建栅格地图的算法流程包含的步骤有2)3)4)。

[0035] 2)视差图融合

[0036] 如图3上部首先使用可见光相机的场景图，如图4进行场景判别。如果为黑夜或者亮度较低则红外与可见光视差的权值分别乘以系数因子αi大于1，αv小于1。如果为白天或者亮度较高则红外与可见光视差的权值分别乘以系数因子βi小于1，βv大于1。乘系数后重新进行视差值权值归一化为w′i和w′v。

[0037] 如图3红外相机和可见光相机分别会产生两种视差图Di和Dv及置信度Ci和Cj，置信度是在立体匹配时产生的可以衡量视差准确性的量。使用位姿T配准视差图，然后将对应视差的置信度归一化得到测量值权值wi和wv。由权值更新策略重新计算视差的权值，融合后视差Df＝w′i×Di+w′v×Dv。

[0038] 3)筛选视线

[0039] 如图3在视差融合后由视差图Df变换得到点云Pf，对点云进行筛选。连接三维点q与视线起点o为当前视线l，o是相机光心在世界坐标系的位置，如果q的高度比o大h则剔去视线，保留的视线会投影到栅格地图之中为l′。从O沿着投影线遍历更新栅格的状态直到到达端点Q，O和Q为o点和q点在栅格地图中的投影。

[0040] 4)测量值融合

[0041] 如图3算法的最后使用贝叶斯推断更新栅格状态。在已知栅格已有的状态和本次测量的栅格状态，用贝叶斯推断的方式可得出本次测量后的栅格状态。设栅格已有的状态xt，如果栅格在O与Q之间说明此时栅格中没有障碍物，则更新栅格的状态为xt+1＝-wq+xt。如果栅格在Q的位置说明此时栅格中应该存在障碍物，则更新栅格的状态为xt+1＝wq+xt，可视化结果如图7，其中栅格使用直线分隔。

[0042] 算法中ε、αi、αv、βi和βv为设定值。

标题	发布/更新时间	阅读量
一种用于视频压缩的预测方法	2020-05-08	126
以时序和加密为基础的分布链式数据共享授权方法	2020-05-11	909
用于确定数字资产交易所的偿付能力的方法、系统和计算机程序产品	2020-05-08	778
带宽压缩中的后选择预测方法	2020-05-08	722
一种视频会议加密方法	2020-05-08	912
一种通讯模组网络运营商自动切换的方法	2020-05-08	956
用于智能客服的外呼预测方法及装置	2020-05-08	228
直播间弹幕显示方法、存储介质、设备及系统	2020-05-08	690
一种联网设备边缘计算节点改造方法和系统	2020-05-11	600
一种VNF实例化方法、装置、设备及存储介质	2020-05-11	461

一种利用红外传感器和可见光传感器构建栅格地图的方法

一种利用红外传感器和可见光传感器构建栅格地图的方法

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：