专利汇可以提供一种基于视觉内容的多层语义地图的创建方法专利检索,专利查询,专利分析的服务。并且本 发明 公开一种基于视觉内容的多层语义地图的创建方法,包括:将 机器人 在环境中漫游拍摄的图像集合按照拍摄地点场景进行标注;构建分层词汇树;构建知识拓扑层,为知识拓扑层赋予知识;构建场景拓扑层;构建地点拓扑层。本发明利用视觉 传感器 对空间构建多层语义地图,在知识拓扑层使用 有向图 结构存储和查询知识,可以省去知识表达系统中不必要的操作,插入和查询速度快;利用场景拓扑层对环境进行抽象划分,将整个环境抽象成子区域,可减小图像的检索空间和路径搜索空间;利用地点拓扑层对特定的地点图像进行保存,采用图像检索技术即可自 定位 ,不必维护全局的世界 坐标系 ,解决了自定位估计误差累计问题。,下面是一种基于视觉内容的多层语义地图的创建方法专利的具体信息内容。
1.一种基于视觉内容的多层语义地图的创建方法,其特征在于包括以下步骤:
步骤1,将机器人在环境中漫游拍摄的图像集合按照拍摄地点场景进行标注;
设所述图像集合为P,每个场景一般不少于50帧图像;对P中的图像进行标注,形成标注文件,标注文件的每一行代表一个图像,行号与图像编号对应,每行内容包括该图像拍摄时机器人所处的场景和图像的内容,图像的内容用于显示图像是什么物体或者什么地点;
步骤2,构建分层词汇树;
步骤2.1,利用OpenCV2.4.4中的GoodFeatureToTrack检测子获得图像集P中每帧图像的特征点集合,利用OpenCV2.4.4中的SIFT描述子对特征点进行描述获得特征向量集合;
步骤2.2,利用开源库VLFeat0.9.17中C语言接口的层次化整数类型K-Means聚类模块构建多层词汇树,对图像集合的特征向量集合进行训练,得到一棵多层词汇树T;
步骤3,构建多层语义地图中的知识拓扑层,为知识拓扑层赋予知识;
知识的定义格式为:源语义关联目的语义;
其中,语义和关联所表达的知识在计算机中以有向图的方式表示和存储,源语义位于有向图的源节点,目的语义位于有向图的目的节点,关联位于源节点和目的节点之间的有向边,有向图采用邻接表的方式存储;
步骤4,构建多层语义地图中的场景拓扑层;
步骤5,构建多层语义地图中的地点拓扑层。
2.根据权利要求1所述的一种基于视觉内容的多层语义地图的创建方法,其特征在于,步骤2.2构建的所述多层词汇树的分支数为10,层数为4。
3.根据权利要求1所述的一种基于视觉内容的多层语义地图的创建方法,其特征在于,步骤4所述场景拓扑层采用无向图表示,在计算机中采用邻接表的方式存储;构建场景拓扑层的方法如下:
(1)从步骤1形成的标注文件中依次取一帧图像和其所属的场景;
(2)如果是第一帧图像,则在场景拓扑层加入第一帧图像所在的场景节点;
(3)如果不是第一帧图像,且当前图像的场景和前一个插入到场景拓扑层中的节点的场景不相同,则查询已经构建的场景拓扑层节点中是否有当前图像的场景,如果没有,则在场景拓扑层中插入当前图像的场景节点,并与前一个插入到场景拓扑层中的节点互连;如果有,则查看该图像场景节点和前一个插入到场景拓扑层中的节点是否已经互连,若没有互连,则为两个场景节点添加一条边;
(4)如果不是第一帧图像,且该图像的场景和前一个插入到场景拓扑层中的节点的场景相同,则从标注文件取下一帧图像标注,重复步骤(1)~(4),直到处理完标注文件中的所有图像。
4.根据权利要求1所述的一种基于视觉内容的多层语义地图的创建方法,其特征在于,步骤5所述地点拓扑层采用无向图表示,在计算机中采用邻接表的方式存储;构建场景拓扑层的方法如下:
(1)采用黑白国际象棋棋盘对针孔相机进行标定,得到内参矩阵K;初始化每个场景倒排索引数据库,其中以视觉单词为属性值,图像在地点拓扑层中的位置编号为记录名称构建倒排索引库;
(2)从图像集合P中顺序取一帧图像和标注文件中取其所属的场景和内容,检测图像的GoodFeatureToTrack特征点,并保存其坐标到坐标集合中,对每一个检测到的特征点进行SIFT描述,得到特征向量集合;
(3)利用词汇树获取图像SIFT特征向量集合中每个特征向量的视觉单词,构成视觉单词集合;
(4)如果图像是集合P中的第一帧图像,将当前拍摄图像地点所属的场景、视觉单词集合和对应的坐标集合插入到地点拓扑层中,生成地点拓扑节点;将图像的视觉单词集合、图像在地点拓扑层中的位置编号作为名称,插入到当前图像所在的场景的倒排索引数据库中;
(5)如果当前图像不是集合P中的第一帧图像,则根据估计当前图像和上一帧插入到地点拓扑层的图像之间的距离判断是否将当前图像作为新的节点插入到地点拓扑层:如果所述距离足够大,将当前拍摄图像地点所属的场景、视觉单词集合和对应的坐标集合插入到地点拓扑层中,生成新的地点拓扑层节点,并与上一帧插入到地点拓扑层的图像所在的拓扑节点互连;将当前图像的视觉单词集合、图像在地点拓扑层中的位置编号作为名称,插入到当前图像所在的场景的倒排索引数据库中;如果所述距离不够大,则抛弃当前图像,转到步骤(2),直到处理完图像集合P中的所有图像。
(6)计算每个场景倒排索引数据库中每个视觉单词权值,公式如下:
其中, 表示第j个场景倒排索引库中第i个视觉单词的权值, 表示第j个场景倒排索引库中共可索引的图像的个数, 表示第j个场景倒排索引库中第i个视觉单词可索引的图像个数。
5.根据权利要求4所述的一种基于视觉内容的多层语义地图的创建方法,其特征在于,估计当前图像Ij与上一帧插入到地点拓扑层的图像Ik之间距离的方法如下:
(1)在地点拓扑层中获取图像Ik的视觉单词集合和坐标集合,以Ik为第一帧图像,Ij为第二帧图像,两图像之间相同的视觉单词构成匹配点集合Matches,剔除误匹配点得到新的匹配点集合Matches';剔除误匹配点的规则为:一个特征点有且只有一个匹配点,且匹配点在各自图像上坐标(uk,vk)和(uj,vj)满足:max(||uk-uj||,||vk-vj||)<thres_dist,thres_dist通常取图像宽高较大值的0.05~0.1倍;
(2)如果Matches'匹配个数小于8,则Ik和Ij之间距离足够远,判断结束;
(3)如果Matches'匹配个数大于等于8,根据更新过的Matches',采用随机采样一T
致性算法(RANSAC)结构下的8-points算法计算基础矩阵F,剔除||mjFmk||>3.0的匹配点,其中,mj表示匹配点在Ij上坐标,mk表示匹配点在Ik上坐标,采用齐次坐标形式,更新Matches'得到Matches",如果Matches"匹配个数小于8,则Ik和Ij之间距离足够远,判断结束;
T
(4)如果Matches"匹配个数大于等于8,通过式子E=KFK得到本质矩阵E;本质矩阵E恢复旋转矩阵R和平移向量的方向t,根据R和t利用标准的三角测量方法计算匹配点Matches"在图像Ik所在的相机坐标系下的3D坐标值构成集合X;利用3D点的坐标集合X中每个点的坐标的x、y、z的绝对值之和构成一个序列arr,并对arr排序,获得3D坐标值集合的距离中值medium;如果medium
6.根据权利要求1所述的一种基于视觉内容的多层语义地图的创建方法,其特征在于,多层语义地图用于机器人视觉导航,可使机器人执行事务性任务;可以将地点拓扑层的每个节点都作为导航入口点;划分场景能缩小图像检索空间和地点拓扑层路径搜索空间;
采用自然场景图像,不需要人工设置标志。
标题 | 发布/更新时间 | 阅读量 |
---|---|---|
一种机器人视觉导航地图的创建方法 | 2020-05-14 | 79 |
采摘机器人视觉处理系统 | 2020-05-15 | 615 |
新型机器人视觉系统 | 2020-05-11 | 133 |
机器人视觉抓取方法 | 2020-05-11 | 844 |
机器人视觉引导系统 | 2020-05-12 | 755 |
工业机器人视觉抓具 | 2020-05-12 | 727 |
一种汽车用六轴机器人视觉抓取装置 | 2020-05-13 | 25 |
一种用于焊接的机器人视觉测量系统 | 2020-05-13 | 908 |
机器人视觉引导方法、装置及设备 | 2020-05-14 | 408 |
一种机器人视觉图像的匹配方法 | 2020-05-16 | 898 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。