一种室内定位终端、网络、系统及其方法

申请号 CN201310378988.0 申请日 2013-08-27 公开(公告)号 CN103442436B 公开(公告)日 2017-06-13
申请人 华为技术有限公司; 发明人 刘焱;
摘要 本 发明 提供了室内 定位 终端、网络、系统及其方法的各种 实施例 ,其中一些实施例涉及一种室内定位终端,包括 存储器 、摄像头、控制/定位运算模 块 ;摄像头,用于以低曝光捕获室内照明装置图片;存储器,用于存储室内定位地图数据,所述室内定位地图数据包括:采用同一个参照系的室内 电子 地图和室内照明装置的三维数据信息;控制/定位运算模块,用于所述室内照明装置的三维数据和所述捕获室内照明装置图片的相关匹配,定位所述图片获取时定位终端在所述室内电子地图上的 位置 。本发明提供的室内定位方案,适合大型建筑的室内定位,定位 精度 高,不易受干扰,提高了技术方案的可应用性。
权利要求

1.一种室内定位终端,其特征在于,所述终端包括存储器、摄像头、控制/定位运算模
所述摄像头,用于以低曝光捕获包含至少两个室内照明装置形状的图片;
所述存储器,用于存储室内定位地图数据,所述室内定位地图数据包括采用同一个参照系的室内电子地图和室内照明装置的三维数据信息;
所述控制/定位运算模块,用于所述室内照明装置的三维数据和所述捕获室内照明装置形状的图片的相关匹配,定位所述图片获取时定位终端在所述室内电子地图上的位置,其中,当所述匹配的结果不唯一时,根据所述至少两个室内照明装置的色差、位置、间距中至少一个,确定唯一的匹配结果。
2.如权利要求1所述的终端,其特征在于,所述定位终端还包括一个通信模块,用于从室内定位服务器下载所述室内定位地图数据。
3.如权利要求1所述的终端,所述控制/定位运算模块用于所述相关匹配,其特征在于,所述相关匹配具有容错处理能,当所述室内照明装置图片和所述三维数据信息存在部分照明装置差别时,通过其它照明装置估计匹配度。
4.如权利要求3所述的终端,其特征在于,所述终端还包括一个通信模块,所述控制/定位运算模块还用于将发现的所述部分照明装置和所述三维数据信息的差别,通过所述通信模块发送到所述室内定位服务器。
5.如权利要求1所述的终端,其特征在于,所述控制/定位运算模块还用于输出所述定位终端摄像头的朝向。
6.如权利要求1所述的终端,其特征在于,所述控制/定位运算模块还用于获取所述摄像头捕获所述室内图片所用的广度;根据室内图片的广角度,使室内照明装置的三维数据先映射到同等广角度的二维仿真视图,再进行相关匹配。
7.如权利要求1所述的终端,所述控制/定位运算模块还用于获取所述摄像头的三维空间姿态
控制/定位运算模块还用于根据所述摄像头的三维空间姿态,和室内照明装置的三维数据按照相同姿态进行相关匹配。
8.如权利要求1所述的终端,还包括无线网络通信模块,无线网络通信模块用于测量无线网络的信号强度、和无线网络交互信息,定位用户终端所在的大概区域;
控制/定位运算模块先在所述区域内对所述室内照明装置图片和所述室内照明装置的三维数据进行相关匹配。
9.如权利要求1所述的终端,还包括卫星定位系统模块,用于定位终端所在的位置,作为室内导航的起点。
10.如权利要求1所述的终端,还包括卫星定位系统模块,用于收集部分定位卫星信号,所述部分定位卫星信号用于结合已有的室内位置信息,对所述室内定位位置进行修正。
11.如权利要求1所述的终端,所述控制/定位运算模块还用于控制摄像头获取两种图像,一种图像用于室内定位,另一种图像用于定位结果的虚拟现实显示。
12.一种室内定位终端执行的方法,其特征在于,所述方法包括:
控制以低曝光摄像头获取室内图像,所述室内图像包含至少两个室内照明装置;
进行所述室内图像中的照明装置的形状的三维数据和定位参考物室内照明装置的三维数据的相关匹配;
依据所述室内照明装置的形状的三维数据和室内电子地图的关联性,定位所述终端摄像时在所述室内电子地图上的位置,其中,当所述匹配的结果不唯一时,根据所述至少两个室内照明装置的色差、位置、间距中至少一个,确定唯一的匹配结果。
13.如权利要求12所述的方法,其特征在于,所述定位步骤进一步包括:依据所述室内照明装置的三维数据和室内电子地图的关联性,定位终端摄像头的朝向。
14.如权利要求12所述的方法,其特征在于,所述相关匹配进一步包括:容错处理的相关匹配,当所述室内照明装置图片和所述三维数据信息存在部分照明装置差别时,通过其它照明装置估计匹配度。
15.如权利要求14所述的方法,其特征在于,进一步包括步骤:通过通信模块,将发现的所述部分照明装置和所述三维数据信息的差别,发送到室内定位服务器。
16.如权利要求12所述的方法,还包括步骤:获取所述摄像头捕获所述室内图片所用的广角度;
所述相关匹配进一步包括:
根据室内图片的广角度,使室内照明装置的三维数据先匹配到同等广角度的二维仿真视图,再进行相关匹配。
17.如权利要求12所述的方法,还包括步骤:获取所述摄像头的三维空间姿态;
所述相关匹配进一步包括:
根据所述摄像头的三维空间姿态,和室内照明装置的三维数据按照相同姿态相关匹配。
18.一种室内定位系统,其特征在于,包括终端摄像头、定位数据库、定位运算模块;
所述终端摄像头,用于以低曝光捕获包含至少两个室内照明装置形状的图片;
所述定位数据库,用于存储定位参照物室内照明装置的三维数据信息,所述室内照明装置的三维数据信息和室内电子地图采用同一参照系;
所述定位运算模块,用于所述室内照明装置的三维数据和所述捕获室内照明装置形状的图片的相关匹配,定位所述图片获取时定位终端在所述室内电子地图上的位置,其中,当所述匹配的结果不唯一时,根据所述至少两个室内照明装置的色差、位置、间距中至少一个,确定唯一的匹配结果。
19.如权利要求18所述的系统,所述定位运算模块用于所述相关匹配,其特征在于,所述相关匹配具有容错处理能力,当所述室内照明装置图片和所述三维数据信息存在部分照明装置差别时,通过其它照明装置估计匹配度。
20.如权利要求19所述的系统,其特征在于,所述定位运算模块还用于依照发现的所述部分照明装置和所述三维数据信息的差别,更新所述定位数据库。
21.如权利要求18所述的系统,其特征在于,所述定位运算模块还用于输出所述定位终端摄像头的朝向。
22.如权利要求18所述的系统,其特征在于,所述定位运算模块还用于获取所述终端摄像头捕获所述室内图片所用的广角度;
定位运算模块还用于根据所述室内图片的广角度,使室内照明装置的三维数据先匹配到同等广角度,再进行相关匹配。
23.如权利要求18所述的系统,定位运算模块还用于获取所述终端摄像头的三维空间姿态;
定位运算模块还用于根据所述摄像头的三维空间姿态,和室内照明装置的三维数据按照相同姿态进行相关匹配。
24.一种定位网络执行的方法,其特征在于,包括:
获取定位终端摄像头低曝光得到的室内图像,所述室内图像包含至少两个室内照明装置;
实施所述室内图像中的照明装置形状和定位参考物室内照明装置的三维数据的相关匹配;
依据所述室内照明装置的三维数据和室内电子地图的关联性,定位所述终端摄像时在所述室内电子地图上的位置,其中,当所述匹配的结果不唯一时,根据所述至少两个室内照明装置的色差、位置、间距中至少一个,确定唯一的匹配结果。
25.如权利要求24所述的方法,其特征在于,所述定位步骤进一步包括:输出定位终端摄像头的朝向。
26.如权利要求24所述的方法,其特征在于,所述相关匹配进一步包括:容错处理的相关匹配,当所述室内照明装置图片和所述三维数据信息存在部分照明装置差别时,通过其它照明装置估计匹配度。
27.如权利要求26所述的方法,其特征在于,进一步包括步骤:依照所述部分照明装置和所述三维数据信息的差别,更新所述定位参考物室内照明装置的三维数据。

说明书全文

一种室内定位终端、网络、系统及其方法

技术领域

[0001] 本发明实施例涉及一种室内定位的终端、网络、系统及其方法,特别是通过捕获图像来进行定位的终端、网络、系统及其方法。

背景技术

[0002] 室外用户位置定位和道路导航已经被广泛应用,例如通过全球卫星定位系统(GPS:Global Positioning Satellite System)实现了户外的定位导航。但室内定位的应用还处于萌芽状态,一直没有出现一种可以大规模推广的技术。
[0003] 这里举例介绍一种室内无线定位技术,通过蓝牙的基站信号强度进行定位。蓝牙是一种短距离低功耗的无线传输技术,在室内安装的蓝牙局域网接入点,把网络配置成基于多用户的基础网络连接模式,终端测量周边各个蓝牙基站的信号强度,无线信号强度变化可以表示无线信号传输的距离,因为通过一个蓝牙天线,就可以获得终端到这个蓝牙天线的大概距离,如果通过多个蓝牙天线,并且都估计终端到这些蓝牙天线的距离,就可以确定出终端的大致位置。蓝牙技术主要应用于小范围定位,蓝牙室内定位技术优势是设备体积小、易于集成在PDA、PC以及手机中。但该技术在没有视距的无线路径下,定位精度会明显恶化。在复杂的空间环境下、或者人体对电磁波干扰下,也会导致精度和稳定性下降。如果定位的终端处于运动状态,精度还会进一步恶化。通过蓝牙无线定位技术还容易错误地定位到隔着一堵墙的其它房间去。一般在100米×100米的平面范围内,蓝牙无线定位的定位精度在5米左右,这样的精度在一些应用中还是不够的。

发明内容

[0004] 本发明示例提供一种参考照明装置进行定位的技术。
[0005] 根据本发明的一些实施例,提供一种室内定位终端,包括存储器、摄像头、控制/定位运算模;摄像头,用于以低曝光捕获室内照明装置图片;存储器,用于存储室内定位地图数据,所述室内定位地图数据包括:采用同一个参照系的室内电子地图和室内照明装置的三维数据信息;控制/定位运算模块,用于所述室内照明装置的三维数据和所述捕获室内照明装置图片的相关匹配,定位所述图片获取时定位终端在所述室内电子地图上的位置。
[0006] 在一个较佳的实施例中,所述定位终端还包括一个通信模块,用于从室内定位服务器下载室内定位地图数据。
[0007] 在一个较佳的实施例中,所述控制/定位运算模块用于所述相关匹配,所述相关匹配具有容错处理能,当所述室内照明装置图片和所述三维数据信息存在部分照明装置差别时,通过其它照明装置估计匹配度。所述控制/定位运算模块还用于将发现的所述部分照明装置和所述三维数据信息的差别,通过通信模块发送到室内定位服务器。
[0008] 在一个较佳的实施例中,所述控制/定位运算模块还用于获取所述摄像头捕获所述室内图片所用的广度;控制/定位运算模块还用于根据室内图片的广角度,使室内照明装置的三维数据先映射到同等广角度的二维仿真视图,再进行相关匹配。
[0009] 在一个较佳的实施例中,所述控制/定位运算模块还用于获取所述摄像头的三维空间姿态;控制/定位运算模块还用于根据所述摄像头的三维空间姿态,和室内照明装置的三维数据按照相同姿态进行相关匹配。
[0010] 在一个较佳的实施例中,还包括无线网络通信模块,无线网络通信模块用于测量无线网络的信号强度、和无线网络交互信息,定位用户终端所在的大概区域;控制/定位运算模块先在所述区域内对所述室内照明装置图片和所述室内照明装置的三维数据进行相关匹配。
[0011] 在一个较佳的实施例中,还包括一卫星定位系统模块,用于定位终端所在的位置,作为下一步室内导航的起点。
[0012] 在一个较佳的实施例中,还包括一卫星定位系统模块,用于收集部分定位卫星信号,所述部分定位卫星信号用于结合已有的室内位置信息,对所述室内定位位置进行修正。
[0013] 在一个较佳的实施例中,所述控制/定位运算模块还用于控制摄像头获取两种图像,一种图像用于室内定位,另一种图像用于定位结果的虚拟现实显示。
[0014] 在一个较佳的实施例中,所述定位终端还包括一个用户界面,用于将定位信息反馈给用户。
[0015] 本发明实施例提供的室内定位方案,适合大型建筑的室内定位,定位精度高,不易受干扰,提高了方案的可应用性。
[0016] 根据本发明实施例的一些实施例,还提供一种室内定位终端的方法,包括步骤:控制摄像头获取低曝光室内图像;实施所述室内图像中的照明装置和定位参考物室内照明装置的三维数据的相关匹配;依据所述室内照明装置的三维数据和室内电子地图的关联性,定位所述终端摄像时在所述室内电子地图上的位置。
[0017] 在一个较佳的实施例中,所述定位步骤进一步包括:输出定位终端摄像头的朝向。
[0018] 在一个较佳的实施例中,所述相关匹配进一步包括:容错处理的相关匹配,当所述室内照明装置图片和所述三维数据信息存在部分照明装置差别时,通过其它照明装置估计匹配度。进一步包括步骤:通过通信模块,将发现的所述部分照明装置和所述三维数据信息的差别,通过通信模块发送到室内定位服务器。
[0019] 在一个较佳的实施例中,还包括步骤:获取所述摄像头捕获所述室内图片所用的广角度;所述相关匹配进一步包括:根据室内图片的广角度,使室内照明装置的三维数据先匹配到同等广角度的二维仿真视图,再进行相关匹配。
[0020] 在一个较佳的实施例中,还包括步骤:获取所述摄像头的三维空间姿态;
[0021] 所述相关匹配进一步包括:根据所述摄像头的三维空间姿态,和室内照明装置的三维数据按照相同姿态相关匹配。
[0022] 本发明实施例提供的室内定位方案,适合大型建筑的室内定位,定位精度高,不易受干扰,提高了方案的可应用性。
[0023] 根据本发明的一些实施例,还提供一种室内定位系统,包括终端摄像头、定位数据库、定位运算模块;终端摄像头,用于以低曝光捕获室内照明装置图片;定位数据库,用于存储定位参照物室内照明装置的三维数据信息,所述室内照明装置的三维数据信息和室内电子地图采用同一参照系;定位运算模块,用于所述室内照明装置的三维数据和所述捕获室内照明装置图片的相关匹配,定位所述图片获取时定位终端在所述室内电子地图上的位置。
[0024] 在一个较佳的实施例中,所述定位运算模块用于所述相关匹配,所述相关匹配具有容错处理能力,当所述室内照明装置图片和所述三维数据信息存在部分照明装置差别时,通过其它照明装置估计匹配度。所述定位运算模块还用于依照发现的所述部分照明装置和所述三维数据信息的差别,更新所述定位数据库。
[0025] 在一个较佳的实施例中,所述定位运算模块还用于输出所述定位终端摄像头的朝向。
[0026] 在一个较佳的实施例中,所述定位运算模块还用于获取所述终端摄像头捕获所述室内图片所用的广角度;定位运算模块还用于根据所述室内图片的广角度,使室内照明装置的三维数据先匹配到同等广角度,再进行相关匹配。
[0027] 在一个较佳的实施例中,定位运算模块还用于获取所述终端摄像头的三维空间姿态;定位运算模块还用于根据所述摄像头的三维空间姿态,和室内照明装置的三维数据按照相同姿态进行相关匹配。
[0028] 本发明提供的室内定位方案,适合大型建筑的室内定位,定位精度高,不易受干扰,提高了方案的可应用性。
[0029] 根据本发明的一些实施例,还提供一种定位网络的方法,包括步骤:获取定位终端摄像头低曝光得到的室内图像;实施所述室内图像中的照明装置和定位参考物室内照明装置的三维数据的相关匹配;依据所述室内照明装置的三维数据和室内电子地图的关联性,定位所述终端摄像时在所述室内电子地图上的位置。
[0030] 在一个较佳的实施例中,所述定位步骤进一步包括:输出定位终端摄像头的朝向。
[0031] 在一个较佳的实施例中,所述相关匹配进一步包括:容错处理的相关匹配,当所述室内照明装置图片和所述三维数据信息存在部分照明装置差别时,通过其它照明装置估计匹配度。进一步包括步骤:依照所述部分照明装置和所述三维数据信息的差别,更新所述定位参考物室内照明装置的三维数据。
[0032] 本发明实施例提供的室内定位方案,适合大型建筑的室内定位,定位精度高,不易受干扰,提高了方案的可应用性。附图说明
[0033] 为了更清楚地说明本发明实施例的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的类似方案。
[0034] 图1是一种室内定位终端的结构图。
[0035] 图2是一种室内定位终端的工作方位图。
[0036] 图3是图2中所述定位终端捕获的低曝光图片。
[0037] 图4是一室内空间的平面映射图。
[0038] 图5是图4中区域1的立体展示图。
[0039] 图6是定位终端摄像头在位置A捕获的照明装置图片。
[0040] 图7是定位终端摄像头在位置B捕获的照明装置图片。
[0041] 图8是定位终端进入图4所述室内空间的示例图。
[0042] 图9是图8所述定位终端定位误差示意图。
[0043] 图10是定位终端的两种图像处理示意图。
[0044] 图11是定位终端和定位服务器示意图。
[0045] 图12是定位终端在一建筑内的导航示意图。
[0046] 图13是定位终端通过定位卫星辅助定位示意图。
[0047] 图14是一融合室内室外技术的定位终端。
[0048] 图15是一定位终端的方法流程图
[0049] 图16是又一定位终端的方法流程图。
[0050] 图17是一室内定位网络和定位终端结构图。
[0051] 图18是又一室内定位网络和定位终端结构图。
[0052] 图19是另一室内定位网络和定位终端结构图。
[0053] 图20是一室内定位网络的方法流程图。
[0054] 图21是又一室内定位网络的方法流程图。
[0055] 图22是另一室内定位网络的方法流程图。

具体实施方式

[0056] 下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。
[0057] 如图1所示,一种用于室内定位终端的实施例一。定位终端包含控制/定位运算模块、摄像头、室内定位地图存储器。控制/定位运算模块是具有计算资源的处理器;可以是通用CPU,也可以是专用的处理器,例如GPU、ASIC或者FPGA等逻辑电路、或者特定硬件形成的加速运算模块;或者是以上举例的多个部件组成,它们以并行或者主辅方式运行。摄像头由感光集成电路(如CMOS)、镜片、控制电路组成,摄像头可以被控制/定位运算模块控制,用来拍摄低曝光照片和正常曝光照片。低曝光照片通过控制摄像头缩短曝光时间或者缩小镜头光圈来实现。在室内定位时摄像头用来摄取室内照明装置的照片。本实施例定位终端通过室内的明亮物体为参考来定位位置。室内定位地图存储器,也是一种存储器,可以是随机存储器(RAM)、闪烁存储器(Flash Memory)、电可编程ROM等中的一种或者多种组成。其内部存储的定位地图数据可以是通过通信网络下载的数据,例如通过无线通信网络;也可以是通过可插入的存储器件拷贝。定位终端还可以包含一用户界面(UI:User Interface),可以用于显示定位信息或者导航信息;定位终端的用户界面也可以通过语音通知用户的位置信息或者导航信息;或者以其它信息知会方式:如振动、鸣叫、闪烁等方式和用户进行交互。
[0058] 定位终端通过照相定位,图片的清晰度是准确识别自身位置的重要保证。但在室内场合,为有合适的曝光量(exposure),导致相机会采用更长时间的快(shutter cycle),这导致手持摄像头会更容易出现晃动模糊(motion blur)。在室内场合,成像所需要的曝光时间和成像清晰度这一对矛盾一直存在,并影响了成像的清晰度。
[0059] 图2中的定位终端201通过摄像头获取的室内图像,所述图像是控制/定位运算模块控制摄像头以低曝光获得。所述图像如图3所示,明亮的照明装置202、203获得正常的曝光量,但周边环境获得了过低的曝光量导致图像不清楚。所述图像可以通过更快的快门拍摄,快门速度提高了,还可以克服终端晃动造成的移动模糊问题,提高成像清晰度。这里明亮的照明装置可以是明亮的窗户、室内照明设施等等。当然,也可以使用其它的低曝光方式。低曝光照片上的照明装置和其他的室内场景(view)亮度对比明显,在图像处理时可以很方便地抑制、排除周边的背景,准确提取照明装置的特征。
[0060] 图4所示为一室内空间的水平面映射图,其中401为长条形照明装置,402为圆形照明装置。根据室内通道、房间的平面图可以绘制出室内电子地图,所述室内电子地图为一种计算机可以读取的数据构成,方便用户复制拷贝。尽管本实施例可以工作于平面的室内电子地图,一般大型商场(Shopping Mall)内部有手扶电梯、错层结构等,三维地图能展示更多细节给用户,室内电子地图更优地为立体电子地图。
[0061] 不管照明装置是点状、圆形、长条形、长方形、还是其它的不规则形状,这些照明装置相对于室内电子地图可以通过三维数据记载下来,生成可供计算机处理的定位参照物的三维数据库。以下篇幅用室内定位地图来概括描述室内电子地图和照明装置定位参考物的三维数据。所述照明装置的三维数据坐标应该也和所述室内电子地图相关联,采用同一参照系,以便根据室内照明装置的三维空间数据定位出的位置可以指向到室内电子地图上。采用同一参照系可以是三维空间数据和室内电子地图采用同一第三方参照系,也可以是一方以另一方为参照系,反之亦然。室内定位地图可以提前下载到所述定位终端的存储器。
[0062] 图5所示为图4中的区域1的立体展示图。从室内漫游终端的视角观察照明装置,不同的视角所述灯具呈现不同的二维图像。处于位置A和位置B的用户手持定位终端获取到的室内低曝光图片如图6、7所示。图6、7将用于定位的相关匹配,也称为定位图片。图6、图7主要展示了照明装置,因为其余部分的图像曝光不足,色调昏暗,容易在图像处理中被抑制,从而方便地提取出照明装置的特征。
[0063] 定位终端摄像头获取的图6、图7类似于三维空间的照明装置在一个观察点观察到的二维视图。室内定位地图存储器存储有照明装置的空间三维数据,根据三维(3D:Three Dimensions)原理,以一个假设的相机在不同地点以及不同视角可以生成不同的二维映射,也可称为二维仿真视图,得到的二维映射和摄像头获得的二维照片进行匹配。当其中的一种映射通过相关匹配算法得出和摄像头获得的二维照片有一定的近似度时,这时所述映射的观察点和视角就跟定位终端实际的位置和视角比较接近。在定位图片和三维数据的匹配中,依次遍历不同的观察点和视角。所述近似度下文用匹配度来描述,一般匹配度更高的二维仿真视图的观察点和视角,代表更接近定位终端的实际位置和实际视角。
[0064] 当上述相关匹配的匹配度没有达到门限要求时,例如需要更高的定位精度,在以上近似吻合的观察点和视角周边进行一轮更细粒度的观察样点和视角样点的相关匹配。依次类推,从而得到更高的定位精度。
[0065] 为了更容易实现上述相关匹配,采用更多的摄像参数可以大大提高匹配运算的效率。例如终端通过三维加速度传感器,测量摄像头拍摄时的三维姿态,这样在进行匹配运算时就可以省去许多不必要的俯仰角度,从而提高匹配效率。终端的摄像头因为型号不同,拍摄景的广角度不同。在进行三维照明装置数据库和照相图片匹配时,不同的广角度则影响相关匹配的精度,更优地,应该先匹配到相同的广角度上,再进行相关匹配。既可以是二维仿真视图用照相图片的广角度,也可以是对摄像模块或照片先预处理使用和二维仿真视图一致的广角度。有的型号的摄像头存在一些形变,这类形变通常出现在图像中的固定位置,也可以在相关匹配前,修正这样的形变扭曲。这些都是提高定位效率和精度的有效方式。
[0066] 上述相关匹配用了物理的形状、位置,还可以用颜色、间距进行匹配。室内的各个照明装置在色差、位置、间距上,一般会有一定的自然区分,使本实施例的不同观察点的二维仿真视图不致有完全一样的,这样使所述三维到二维的匹配结果具有唯一性。但如果室内的照明装置布局有雷同或者有对称性,本实施例可能会定位匹配出多个观察点以及视角。但实际上,当用户在实施室内导航时,新的位置总是和上一次定位的信息有关联性,则可以从多个结果中选出符合逻辑的,可能会收敛到唯一的结果。如果室内照明装置存在雷同或者有对称性,也可以通过对少数照明装置进行改动,小的改动可以轻而易举地破坏这样整体的雷同或者对称性。
[0067] 本实施例除了可以定位出在三维空间中终端的位置,也可以确定摄像头的朝向。本实施例三维到二维映射的方法,还可以通过其他的算法来实现。
[0068] 如图8、9、10所示,一种用于室内定位终端的定位结果呈现实施例。为简化篇幅,本发明的实施例参考了其他的实施例,也就是其他实施例中有关联的部分可用于支持本实施例,成为本实施例的一部分。类似的,本文其他实施例也会参考它本身以外的实施例,这里统一说明一下。
[0069] 图8是一室内空间的水平面映射图,其中有定位终端801、目的地802,箭头803表示定位终端801通往目的地802的实际方向。所述定位终端801根据自身的摄像头捕获的室内照明装置804的图像,以及根据定位终端存储的室内定位地图进行定位。图9中的虚线903为定位终端通过定位获得的终端位置和终端摄像头的朝向。本实施例在于示意终端的定位结果和实际的有一定的误差,这里是为了便于理解实施例,因此将误差明显化。实际使用中,通过摄像头定位的精度取决于摄像头的摄像精度、清晰度,定位的位置精度可达到2-3cm或者更高,定位方向角度误差可以小到1度以内。这一示例不应理解为本实施例定位精度就如图9所示。
[0070] 图10所示本实施例定位终端,可以通过低曝光获得了定位图像1001,但同时定位终端还控制摄像头进行正常曝光摄像,以获得人眼直观的、舒适的图像1002,这一图像的大部分区域获得适当曝光,但顶部的照明装置存在一定的过曝光,使照明装置以及周边处于亮度过饱和状态。本实施例定位终端控制摄像头分别获得定位图像1001和正常图像1002,定位终端可在较小的时间间隔内摄取两种图像,这两幅图像摄取时摄像头所处的位置、朝向往往相差不大。但定位图像1001色调昏暗,不适合人眼观察。当通过定位图像1001定位出终端的位置和朝向后,定位终端通过图像1002做增强显示,如图中箭头1003,指示用户下一步的导航信息,这样的增强显示方式融合了适合人眼观察的照片和定位输出的信息,易于用户阅读和利用,大大提升了用户的体验。这样的增强显示方式也称为虚拟现实(Virtual Reality)。以上介绍了一种图像1002的摄取方式,其实还可以通过其他方式产生,例如通过增加图像1001的亮度来获得图像1002,尽管这样可能导致新的图像噪点升高。也可以用终端带有的两个或者多个不同的摄像头,分别摄取两种图像。
[0071] 以下是一种室内定位终端的实施例三。如图11所示定位终端还具有一个通信模块(图中未示出),定位终端预先通过通信模块从室内定位服务器下载定位地图,定位地图包括记载有室内通道和房间的室内电子地图和用于定位参考的室内照明装置相对于室内电子地图的三维空间数据。这里的照明装置可以是灯具、屋顶天窗、明亮的窗户等信息。室内电子地图可以是二维的或者三维的地图。这里的下载可以是预先下载,也可以通过无线通信即时下载或者由服务器推送。
[0072] 如图12,当用户持有图11所述终端进入提供室内定位服务的大厦,并开启定位终端的导航,终端上设定目的地是4层的房间A。用户终端还需要得到自身的当前位置,所述当前位置可以是终端自己定位得到的,也可以是用户输入,也可以是终端通过其他定位方法定位得到的,例如无线网络定位。如果所述初始位置是由定位终端通过室内照明装置的图像定位,终端最多可能需要匹配整栋大厦内的照明装置三维数据模型,这样会消耗很多的运算时间。但定位终端一旦跟踪上自己的位置,并进入导航状态,根据通常人体行走的速度、以及方向趋势,利用当前的定位位置和上一次位置的关联性,从而可以缩小搜索匹配的范围,加快定位处理。定位终端还可以在确定当前位置后,根据目标地址,搜寻合适的线路,并指示给用户。
[0073] 图13是一定位终端通过定位卫星辅助定位实施例。本实施例定位终端还可以包括一个卫星定位系统模块,例如GPS、中国的北斗导航模块,来确定初始位置。当定位终端在室内接近窗口时,有机会收集到部分卫星信号,如1-3颗卫星的信号,这些卫星信号结合已有的大致的地理信息,卫星信号可以用于提升定位出的位置的精度。
[0074] 图14是一融合室内室外定位技术的定位终端实施例,还具有摄像头和卫星定位系统模块。卫星定位系统模块用于室外道路的卫星定位。摄像头用于室内定位,摄像头模块在定位终端屏幕的背面。终端的屏幕对着驾乘人员,摄像头对着前方的室内环境。两个定位模块在同一导航应用(App)下调度,实现室外室内导航的无缝切换。
[0075] 室内照明装置有时会有局部的损坏,或者临时增加了一些灯饰,这样需要定位运算模块在进行匹配时具有一定的容错处理能力。定位运算模块可以对发现的差别进行保存,当定位终端有条件接入通信网络时,终端将自身发现的差别信息发送到所述室内地图服务器,室内定位服务器进行分析判断后更新室内定位地图数据,以方便其它定位用户下载最新的室内定位地图。
[0076] 本发明的定位终端又一实施方式,定位终端的无线网络通信模块和相应的无线通信网络通信,利用无线网络定位出自身的大概区域。无线网络通信模块用于测量无线网络的信号强度、和无线网络交互,定位用户终端所在的大概区域;定位终端的定位运算模块得到定位图像后,优先或者仅在上述大概区域内进行照明装置的定位相关匹配处理。所述无线通信网络类型可以是WLAN、蓝牙、2G、3G、4G乃至将来的5G通信系统或者GIFI中的一种。
[0077] 本发明的定位终端再一实施方式,定位终端还可以具有两个或者多个摄像头,两个摄像头可以得到立体的室内图形。这样定位终端可以得到三维的室内照明装置的数据模型,通过所述三维的室内照明装置的数据模型和三维的定位参照物直接进行匹配定位,省去了三维照明装置数据到二维仿真视图的映射,提高了定位匹配效率。
[0078] 如图15,定位终端的方法实施例一,本实施例包括:
[0079] 步骤1504:控制摄像头获取低曝光室内图像。
[0080] 步骤1508:通过所述室内图像中的照明装置图像和室内电子地图中的三维照明装置的定位参考数据,实施所述室内图像中的照明装置和定位参考物室内照明装置的三维数据的相关匹配。
[0081] 步骤1510:依据所述室内照明装置的三维数据和室内电子地图的关联性,定位所述终端摄像时在所述室内电子地图上的位置,以及输出终端摄像头的朝向。
[0082] 所述步骤1504控制摄像头获取低曝光室内图像,进一步包括:控制摄像头缩短曝光时间或者缩小镜头光圈来采集图像。因为室内照明装置和室内其他背景亮度差别很大,更优地可以通过降低2-4级曝光量来拍摄,使照明装置呈像清晰,但周围背景暗化。
[0083] 本实施例还可以进一步包括以下可选步骤。在本实施例步骤1504、步骤1508之间,增加步骤1506:提取照明装置的图像。所述步骤1506还包括抑制周围环境图像,提取照明装置的轮廓或者颜色等信息。
[0084] 进一步包括步骤1512:将结果在用户界面(user interface)告知用户。
[0085] 步骤1512进一步包括:根据定位位置和摄像头朝向以及设置的目的地计算下一步的导航方向,并控制摄像头获取普通的室内图像,通过虚拟现实(Virtual Reality)的方法,增强显示下一步导航信息。
[0086] 本实施例的步骤1504之前进一步包括步骤1502:从定位地图服务器下载室内定位地图。
[0087] 步骤1508中,所述相关匹配进一步包括:进行容错处理能力的相关匹配,当少部分照明装置和三维数据不匹配时,但其它灯光的匹配度较高,则认为匹配上,输出定位结果。
[0088] 上述步骤进一步包括:通过通信模块,将发现的所述部分照明装置和所述三维数据信息的差别,通过通信模块发送到室内定位服务器。
[0089] 在步骤1504还包括:获取所述摄像头捕获所述室内图片所用的广角度;则步骤1508中的所述相关匹配进一步包括:根据室内图片的广角度,使室内照明装置的三维数据先匹配到同等广角度,再进行相关匹配。
[0090] 在步骤1504还包括:获取所述摄像头的三维空间姿态;则步骤1508中所述相关匹配进一步包括:根据所述摄像头的三维空间姿态,和室内照明装置的三维数据按照相同姿态相关匹配。
[0091] 如图16,又一定位终端的方法实施例,本实施例和上一实施例不同的步骤在于:
[0092] 步骤1607,终端通过其接入的无线网络定位其所在的大概区域。
[0093] 步骤1608:在所述区域范围内,实施所述室内图像中的照明装置和定位参考物室内照明装置的三维数据的相关匹配。
[0094] 另一定位终端的方法实施例,和预先通过无线网络确定终端的大概区域的方法类似,所述方法包括步骤:通过定位终端的卫星定位系统模块收集卫星信号,确定终端大概区域。如果卫星定位精度足够高,还可以作为下一步室内导航的起点。
[0095] 如图17,是一种包括定位终端和定位网络的定位系统实施例,这一实施例也可理解为包括一种定位终端的实施例和一种定位网络的实施例。
[0096] 定位终端包括室内电子地图存储模块1701、终端摄像头模块1702和终端通信模块(图17中未示出)。室内电子地图存储模块1701可以是非易失性存储器,也可以是随机存储器(RAM),由应用软件进行存储。图17室内电子地图存储模块1701示意性表示它存储有图4区域的电子地图,实际上该存储模块会包括所有提供定位服务区域的电子地图,其他区域未一一画出,图中用省略号表示。室内电子地图存储模块中存储的。终端通信模块可以用于和定位网络通信。
[0097] 定位网络包括定位数据库1703、定位运算模块1704和定位网络通信模块(图中未示出)。定位数据库用于存储定位参照物(室内照明装置)的三维空间数据,照明装置的三维数据坐标应该也和所述室内电子地图相关联,采用同一参照系,以便根据室内照明装置的三维空间数据定位出的位置可以指向到室内电子地图上。采用同一参照系可以是三维空间数据和室内电子地图采用同一第三方参照系,也可以是一方以另一方为参照系,反之亦然。如图17定位数据库1703示意性表示它包括图4中的区域1的照明装置三维空间数据,实际上定位数据库会包括所有提供定位服务区域的定位参照物的三维数据信息,其他区域未一一画出,图中用省略号表示。定位运算模块1704用于来自终端的图像和照明装置的三维数据的相关匹配。通信模块用于和定位终端通信,接收定位终端发来的定位请求、以及定位终端发来的图像。
[0098] 定位终端将获取的低曝光图片上报给定位网络。在上报之前,定位终端也可以对图片进行预处理,以便更容易通过通信模块进行传输。例如,压缩图像的数据,或将图像抽象为数据模型等等方式。
[0099] 定位网络接收到终端的定位请求后,并接收定位终端发来的定位图像。通过自身的运算资源进行二维到三维的空间匹配。从而定位出定位终端的位置以及其摄像头的朝向。并将定位结果发送到定位终端。定位终端可以结合电子地图显示当前位置,或者计算通往目的地的下一步行动方向。
[0100] 定位网络的定位运算模块还可以对定位终端上报的图像进行容错相关匹配。可能室内环境中的照明装置有损坏或者新增的情况,通过匹配定位发现的差别信息记载下来,更新定位数据库,以方便其它定位用户下载最新的定位数据库。
[0101] 为了更容易匹配上述三维到二维的映射,采用更多的摄像参数可以大大提高匹配运算的效率。例如终端通过三维加速度传感器,测量摄像头拍摄时的三维姿态,这样在进行匹配运算时就可以省去许多不必要的俯仰角度,从而提高匹配效率。终端的摄像头因为型号不同,拍摄风景的广角度不同。在进行三维照明装置数据库和照相图片匹配时,不同的广角度则影响相关匹配的匹配度,更优地,应该先匹配到相同的广角度上,再进行相关匹配。既可以是二维仿真视图用照相图片的广角度,也可以是对摄像模块或照片先预处理使用和二维仿真视图一致的广角度。有的型号的摄像头存在一些形变,这类形变通常出现在图像中的固定位置,也可以在相关匹配前,修正这样的形变扭曲。这些都是提高定位效率和定位精度的有效方式。三维到二维的映射,还可以通过其他的算法来提升效率。
[0102] 如图18,是又一包括定位终端和定位网络的定位系统实施例,这一实施例也可理解为包括一种定位终端的实施例和一种定位网络的实施例。
[0103] 本实施例定位网络在上一实施例基础上,又包含了无线网络1805,通过终端测量不同的天线信号强度,来估计距离天线的远近,从而确定用户终端所在的大概区域。判断的执行实体可以在终端,也可以在无线网络1805。如果终端进行位置判断,则终端需要得到各个天线发射端参考信号的功率大小,并通过自身的测量得到自己位置的信号功率大小。如果是无线网络1805进行位置判断,则需要终端测量天线信号的功率大小,并上报给无线网络。
[0104] 本实施例定位终端将自己定位的大概区域上报定位网络;或者收集的周围天线信号强度的信息上报无线网络,由无线网络判断终端所在的大概区域,然后发送给定位网络。无线网络先定位一个区域,然后定位网络的定位运算模块在这个区域内进行三维定位参考数据模型到二维的匹配,以便减少运算量。这里的无线网络可以是WLAN、蓝牙、2G、3G、4G、未来的5G通信系统、或者GIFI中的一种。
[0105] 如图19,是另一包括定位终端和定位网络的定位系统实施例,这一实施例也可理解为包括一种定位终端的实施例和一种定位网络的实施例。
[0106] 本实施例定位网络获得定位终端所在的区域。为了获得定位终端所在的区域,一种情况下,定位终端可将自己定位的区域信息上报定位网络;另一情况下,定位终端收集的周围天线信号强度的信息上报无线网络,由无线网络判断终端所在的区域,然后发送给定位网络。
[0107] 定位网络将定位终端所在区域的定位参照物信息数据发送给终端,由终端内的定位运算模块在这个区域内进行相关匹配。定位终端自己获取室内图片,并通过室内的定位参照物进行相关匹配。减少了以上实施例在定位网络和定位终端之间的通信次数,提高了定位的响应速度,以便用于更实时的导航应用。
[0108] 如图20,是一种定位网络的方法实施例,以下是从定位网络角度来执行的步骤,从这些步骤中可以推导出相应的定位终端实施方法的执行步骤。
[0109] 步骤2002:获取定位终端摄像头低曝光得到的室内图像。
[0110] 步骤2004:提取照明装置的二维图像。图中虚线框的步骤为可选步骤,其他上下文类似。
[0111] 步骤2006:通过所述室内图像中的照明装置图像和室内电子地图中的三维照明装置的定位参考数据,实施所述室内图像中的照明装置和定位参考物室内照明装置的三维数据的相关匹配。
[0112] 步骤2008:依据所述室内照明装置的三维数据和室内电子地图的关联性,定位所述终端摄像时在所述室内电子地图上的位置以及终端摄像头的朝向。
[0113] 步骤2010:将定位结果发送给终端。
[0114] 所述步骤2004还包括:抑制周围环境图像,提取照明装置的轮廓或者颜色等信息。
[0115] 步骤2006中,实施相关匹配进一步包括:进行容错处理能力的相关匹配,当少部分照明装置和三维数据不匹配时,但其它灯光的匹配度较高,则认为匹配上,输出定位结果。
[0116] 步骤2006进一步包括步骤:用发现的所述部分照明装置和所述三维数据信息的差别,更新所述定位参考物室内照明装置的三维数据。
[0117] 在步骤2002还包括:获取所述摄像头捕获所述室内图片所用的广角度;则步骤2006中的所述相关匹配进一步包括:根据室内图片的广角度,使室内照明装置的三维数据先匹配到同等广角度,再进行相关匹配。
[0118] 在步骤2002还包括:获取所述摄像头的三维空间姿态;则步骤2006中所述相关匹配进一步包括:根据所述摄像头的三维空间姿态,和室内照明装置的三维数据按照相同姿态相关匹配。
[0119] 如图21是又一种定位网络的方法实施例,以下是从定位网络角度来执行的步骤,从这些步骤中不难推导出相应的定位终端实施方法的步骤。相对于上一实施例,本实施例增加的步骤有:
[0120] 步骤2105,通过无线通信网络定位,获取定位终端所在的大概区域。
[0121] 步骤2106:在所述区域范围内,实施所述室内图像中的照明装置和定位参考物室内照明装置的三维数据的相关匹配。
[0122] 如图22,是另一定位网络的方法实施例,以下是从定位网络角度来执行的步骤,从这些步骤中不难推导出相应的定位终端实施方法的步骤。
[0123] 步骤2202:接收定位终端上报的室内定位请求。
[0124] 步骤2204,通过室内无线网络定位,获取定位终端所在的区域。
[0125] 步骤2206:将所在区域内的定位照明装置的三维数据发送到所述定位终端,以便定位终端自行完成定位相关匹配。
[0126] 定位网络将终端所在区域的定位参照物信息数据库发送给终端,或者由终端到指定地址下载参照物信息数据库。终端内的定位运算模块在这个区域内进行三维到二维的匹配,终端自己获取室内图片,并通过室内的定位参照物进行相关匹配计算,减少了往复的多次通信,提高了定位的响应速度,以便用于更实时的导航应用。
[0127] 本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现。
[0128] 结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
[0129] 尽管已示出和描述了本发明的一些实施例,但本领域技术人员应理解,在不脱离本发明的原理和精神的情况下,可对这些实施例进行各种修改,这样的修改应落入本发明的范围内。
QQ群二维码
意见反馈