基于VLC技术的室内服务机器人
专利汇可以提供基于VLC技术的室内服务机器人专利检索，专利查询，专利分析的服务。并且一种基于VLC的室内服务 机器人 ，基于VLC的室内服务机器人采用可见光通信技术进行室内 定位 ，在机器人上安装以下三种 传感器 ，即CMOS摄像头、kinect传感器以及惯性传感器，在这三种传感器上分别编写驱动程序的 电路 ，并且分别与室内服务机器人的定位系统进行定位，其通过 卷帘 效应以及便字长编码技术，通过光流法、 像素 坐标与图像坐标转换，最终获得室内机器人产品，相比于其他基于无线通行的定位技术，本 申请 提出的定位 算法 建立在已有的照明系统之上，无需附加任何特定的发送模 块 ，并利用服务机器人自带的摄像头实现高 精度 的成像定位，在增加定位精度的同时，减少系统的投入成本，符合节约型经济的要求。，下面是基于VLC技术的室内服务机器人专利的具体信息内容。
1.一种基于VLC的室内服务机器人，其特征是：基于VLC的室内服务机器人采用可见光通信技术进行室内定位，在机器人上安装以下三种传感器，即CMOS摄像头、kinect传感器以及惯性传感器，在这三种传感器上分别编写驱动程序的电路，并且分别与室内服务机器人的定位系统进行定位
CMOS摄像头工作原理是：CMOS摄像头安装启动电路，并且利用opencv获得压缩数据，再通过网络或者WIFI将压缩数据传送到定位系统的传输层，并同步进行解码，之后，利用视频驱动，然后对图像进行解码，通过LED灯检测，获得LED灯的ID号，从而获得机器人的位置坐标，再通过定量指标计算，基于粒子滤波算法进行机器人的位置坐标的估计；
Kinect传感器工作原理是：Kinect传感器安装启动电路，并且利用cartographer获得压缩数据，再通过网络或者WIFI将压缩数据传送到定位系统的传输层，并同步进行解码，之后，利用视频驱动，然后对图像进行解码，通过特征提取，创建即时地图，从而获得机器人的位置坐标，再通过定量指标计算，基于粒子滤波算法进行机器人的位置坐标的估计；
惯性传感器工作原理是：惯性传感器安装启动电路，并且利用卡尔曼获得测量信息，再通过网络或者WIFI将压缩数据传送到定位系统的传输层，并对测量信息进行信号处理，之后，更新位姿信息，再通过航迹推算，基于粒子滤波算法进行机器人的位置坐标的估计。
2.依据权利要求1所述的基于VLC的室内服务机器人，其特征是：通过以下步骤获得机器人产品：
步骤1：先利用VLC和视觉识别进行理论计算和利用电脑建模软件进行数字建模；
步骤2：利用以下三种技术，来获得可见光通信的数字符号，分别是：
2.1：利用CMOS摄像头的成像机理；
2.2：利用VLC的mB/nB变字长编码技术；
2.3：利用单摄像头的成像定位机理；
步骤3：通过光流法和贝叶斯准则，实现对LED灯具轨迹的追踪；
步骤4：融合以下两大定位系，并开发VLC移动目标跟踪定位系统，两大定位系统分别是：
4.1：cartographer开源SLAM定位系统；
4.2：惯性定位系统；
步骤5：获得基于可见光通信的服务机器人室内高精度定位系统；
步骤6：定位性能测试和稳定性测试；
步骤7：最终获得服务机器人产品。
3.依据权利要求1所述的基于VLC的室内服务机器人，其特征是：所述的获得LED灯具所传输的ID位置信息，其基本流程是：
步骤1、摄像头将摄取的图像获得缓存的一帧图像；
步骤2、对缓存的图像进行预处理；
步骤3、对图像进行筒灯图像分割；
步骤4、对图像进行筒灯特征的提取；
步骤5、 不包含筒灯，则将图像舍弃，包含筒灯，进入下一步；
步骤6、进入条纹区的选取；
步骤7、对条纹区进行预处理；
步骤8、分析条纹是否包含两个颜色头，如果不包含，则舍弃，如果包含，进入下一步；
步骤9、进行颜色校验，颜色校验主要是对色差进行校验，在RGB设备中，由于显示屏与镜头制造工艺的差别以及外部可见光干扰，造成二进制数据相同的颜色，经过显示、摄录等工艺之后，就会造成色差，但是，色差在一定程度内是可以接受的；
步骤10、经过分析，看传输的数据是否正确，如果不正确，则舍弃，如果正确，则执行解码。
4.依据权利要求1所述的基于VLC的室内服务机器人，其特征是：所述的定位系统的定位包括以下步骤：
步骤1、摄像头位于服务机器人上，对摄像头定位也就是对机器人定位，
安装在服务机器人上的CMOS摄像头开启摄像模式，通过变字长编码技术发射与接收中所提及的基于可见光通信成像定位技术在初始图像帧中检测出LED灯具的位置以及确定服务机器人的初始位置，然而当CMOS摄像头相对于LED灯具运动时，LED灯具在图像上会由于运动产生模糊效应，并且由于环境光的干扰，从而导致LED像素点与环境光像素点混合在一起，因此进入第2步；
步骤2、视觉可见光通信都是基于所捕获的图像像素强度来辨别LED信号点与背景点像素，通过获取图像的像素强度来计算某一像素点为LED信号点的条件概率，假设第n帧图像的第i个像素点的强度为f1（n），其中，f1（n）具有高斯分布；
步骤3、通过两幅连续的帧图像构建出图像中LED像素移动方向光流图，进而得出服务机器人移动方向由于相邻两帧图像的时间间隔很短，因此两帧间图像上LED的像素强度几乎是一致的，通过当前帧LED像素点的位置与上一帧对应LED像素点的位置方向与幅度的变化，即可以确定像素点的移动状态，其中，有效的运动像素点通过设定位置方向与幅度函数的阈值，当低于阈值，认为是稳定的；高于阈值的，才为有效的运动像素，计算出图像中各 LED 像素点的有效的移动矢量后，即可得到服务机器人的运动状态，此步骤为光流法；
步骤4、利用步骤2与步骤3所产生图像的特征作为类条件概率密度，再根据贝叶斯公式来计算图像中每一个像素点属于背景点或LED信号点的后验概率，将每帧图像上的像素点分为两类：W1类即LED灯具与W2类即背景像素，用概率函数P∈[0，1]来进行分类，将由上述光流法以及像素强度采集到的像素点的θ、r与f1（n）全部记录为in f1（n），作为类条件概率密度函数，而第 n-1 帧图像中，LED像素点的个数除以总的像素点的个数所获得的概率作为先验概率，对于第n帧，W1类与W2类的后验概率通过贝叶斯公式由类条件概率密度与第n-1帧图像的先验概率计算出来，通过贝叶斯判据判断第n帧图像中每一个像素点属于背景点还是LED信号点。
5.依据权利要求2所述的基于VLC的室内服务机器人，其特征是：所述的mB/nB变字长编码的技术方案是：原字长为m的码元，如果包含的0和1个数的差值大于2，则从字长为n的码元集中挑选一个码元，使得包含的0和1个数的差值不大于2，替代原来的码元进行传输；原字长为m的码元，如果包含的0和1个数的差值不大于2，则依然用m位的码元进行传输，变字长编码技术的目的是在获得较高的照明稳定度同时，提高编码效率，
具体步骤是：
步骤1、原始数据通过mB/nB变字长颜色编码；
步骤2、驱动LED灯，从而获得指定的颜色信息值；
步骤3、摄像头获得其颜色信息值；
步骤4、通过解码，获得新的颜色数据。
基于VLC技术的室内服务机器人
技术领域
背景技术
1、机器人在空间的位置、方向、环境信息的精确检测；
2、所获信息的分析及环境模型的建立；
3、使机器人安全移动的运动路径规划，在未知和不确定环境下运行时，移动机器人必须通过传感器收集数据，并通过一定的算法把传感器收集到的数据进行分析、融合用来建立外部环境的模型，为导航决策提供正确的依据。
航迹推算不需要外部传感器信息来实现对车辆位置和方向的估计，并且能够提供很高的短期定位精度。航迹推算技术的关键是要能测量出移动机器人单位时间间隔走过的距离，以及在这段时间内移动机器人航向的变化，这种方法具有自包含优点，即无需外部参考，然而，随时间有漂移，积分之后，任何小的常数误差都会无限增长，因此，对于长时间的精确定位是不适用的。
拓扑地图抽象度高，有以下优势：
①有利于进一步的路径和任务规划；
②存储和搜索空间都比较小，计算效率高；
③可以使用很多现有的成熟、高效的搜索和推理算法，缺点：拓扑地图是一个图（Graph），由节点和边组成，只考虑节点间的连通性，而不考虑路径规划，它放松了地图对精确位置的需要，不擅长表达具有复杂结构的地图，如何对地图进行分割形成结点与边，又如何使用拓扑地图进行导航与路径规划，仍是有待研究的问题。
发明内容
通信效率直接影响VLC定位系统的实时性，而定位系统的实时性虽然对静态定位影响较少，但对动态跟踪定位影响是十分显著的，高的编码效率能极大地提高通信效率，在基于VLC成像定位系统中，现有的4-PPM、模板匹配法和频率编码等编码方法存在编码效率低等问题。
2、视觉通信中绽放效应而影响通信解码的问题：
对于视觉通信中所获得的图像，在LED像素点中间区域会由于亮度过高而产生高光溢出，导致相邻两个像素之间发生电荷转移，造成明亮和黑暗的边缘的对比度降低的现象，从而导致不能正常解读明暗条纹编码的问题。
CMOS摄像头工作原理是：CMOS摄像头安装启动电路，并且利用opencv获得压缩数据，再通过网络或者WIFI将压缩数据传送到定位系统的传输层，并同步进行解码，之后，利用视频驱动，然后对图像进行解码，通过LED灯检测，获得LED灯的ID号，从而获得机器人的位置坐标，再通过定量指标计算，基于粒子滤波算法进行机器人的位置坐标的估计；
Kinect传感器工作原理是：Kinect传感器安装启动电路，并且利用cartographer获得压缩数据，再通过网络或者WIFI将压缩数据传送到定位系统的传输层，并同步进行解码，之后，利用视频驱动，然后对图像进行解码，通过特征提取，创建即时地图，从而获得机器人的位置坐标，再通过定量指标计算，基于粒子滤波算法进行机器人的位置坐标的估计；
惯性传感器工作原理是：惯性传感器安装启动电路，并且利用卡尔曼获得测量信息，再通过网络或者WIFI将压缩数据传送到定位系统的传输层，并对测量信息进行信号处理，之后，更新位姿信息，再通过航迹推算，基于粒子滤波算法进行机器人的位置坐标的估计。
步骤2：利用以下三种技术，来获得可见光通信的数字符号，分别是：
2.1：利用CMOS摄像头的成像机理；
2.2：利用VLC的mB/nB变字长编码技术；
2.3：利用单摄像头的成像定位机理；
步骤3：通过光流法和贝叶斯准则，实现对LED灯具轨迹的追踪；
步骤4：融合以下两大定位系，并开发VLC移动目标跟踪定位系统，两大定位系统分别是：
4.1：cartographer开源SLAM定位系统；
4.2：惯性定位系统；
步骤5：获得基于可见光通信的服务机器人室内高精度定位系统；
步骤6：定位性能测试和稳定性测试；
步骤7：最终获得服务机器人产品。
步骤2、对缓存的图像进行预处理；
步骤3、对图像进行筒灯图像分割；
步骤4、对图像进行筒灯特征的提取；
步骤5、 不包含筒灯，则将图像舍弃，包含筒灯，进入下一步；
步骤6、进入条纹区的选取；
步骤7、对条纹区进行预处理；
步骤8、分析条纹是否包含两个颜色头，如果不包含，则舍弃，如果包含，进入下一步；
步骤9、进行颜色校验，颜色校验主要是对色差进行校验，在RGB设备中，由于显示屏与镜头制造工艺的差别以及外部可见光干扰，造成二进制数据相同的颜色，经过显示、摄录等工艺之后，就会造成色差，但是，色差在一定程度内是可以接受的；
步骤10、经过分析，看传输的数据是否正确，如果不正确，则舍弃，如果正确，则执行解码。
安装在服务机器人上的CMOS摄像头开启摄像模式，通过变字长编码技术发射与接收中所提及的基于可见光通信成像定位技术在初始图像帧中检测出LED灯具的位置以及确定服务机器人的初始位置，然而当CMOS摄像头相对于LED灯具运动时，LED灯具在图像上会由于运动产生模糊效应，并且由于环境光的干扰，从而导致LED像素点与环境光像素点混合在一起，因此进入第2步；
步骤2、视觉可见光通信都是基于所捕获的图像像素强度来辨别LED信号点与背景点像素，通过获取图像的像素强度来计算某一像素点为LED信号点的条件概率，假设第n帧图像的第i个像素点的强度为f1（n），其中，f1（n）具有高斯分布；
步骤3、通过两幅连续的帧图像构建出图像中LED像素移动方向光流图，进而得出服务机器人移动方向由于相邻两帧图像的时间间隔很短，因此两帧间图像上LED的像素强度几乎是一致的，通过当前帧LED像素点的位置与上一帧对应LED像素点的位置方向与幅度的变化，即可以确定像素点的移动状态，其中，有效的运动像素点通过设定位置方向与幅度函数的阈值，当低于阈值，认为是稳定的；高于阈值的，才为有效的运动像素，计算出图像中各 LED 像素点的有效的移动矢量后，即可得到服务机器人的运动状态，此步骤为光流法；
步骤4、利用步骤2与步骤3所产生图像的特征作为类条件概率密度，再根据贝叶斯公式来计算图像中每一个像素点属于背景点或LED信号点的后验概率，将每帧图像上的像素点分为两类：W1类即LED灯具与W2类即背景像素，用概率函数P∈[0，1]来进行分类，将由上述光流法以及像素强度采集到的像素点的θ、r与f1（n）全部记录为in f1（n），作为类条件概率密度函数，而第 n-1 帧图像中，LED像素点的个数除以总的像素点的个数所获得的概率作为先验概率，对于第n帧，W1类与W2类的后验概率通过贝叶斯公式由类条件概率密度与第n-1帧图像的先验概率计算出来，通过贝叶斯判据判断第n帧图像中每一个像素点属于背景点还是LED信号点。
具体步骤是：
步骤1、原始数据通过mB/nB变字长颜色编码；
步骤2、驱动LED灯，从而获得指定的颜色信息值；
步骤3、摄像头获得其颜色信息值；
步骤4、通过解码，获得新的颜色数据。
附图3为卷帘效应的原理分析图；
附图4为绽放效应的效果示意图；
附图5为变字长编码技术发射与接收端框图；
附图6为颜色编码示意图；
附图7为图像识别及解码过程示意图；
附图8为室内可见光单目视觉定位示意图；
附图9为可见光单目视觉定位的几何光路图；
附图10为像素坐标与图像坐标变换图；
附图11为基于光流法的移动矢量的构建示意图；
附图12为基于ROS服务机器人的可见光通信室内定位系统示意图；
附图13为基于视觉感知的可见光通信定位系统示意图；
附图14为真实环境中的服务机器人可见光通信定位系统示意图；
附图15为服务机器人定位系统流程图。
具体实施方式
2：利用以下三种技术，来获得可见光通信的数字符号，分别是：
2.1：利用CMOS摄像头的成像机理；
2.2：利用VLC变字长编码技术；
2.3：利用单摄像头的成像定位机理；
3：通过光流法和贝叶斯准则，实现对LED灯具轨迹的追踪；
4：融合以下两大定位系，并开发VLC移动目标跟踪定位系统，两大定位系统分别是：
4.1：cartographer开源SLAM定位系统；
4.2：惯性定位系统；
5：获得基于可见光通信的服务机器人室内高精度定位系统；
6：定位性能测试和稳定性测试；
7：最终获得服务机器人产品。
换的图片数为30 60幅，若单单通过一张图片来捕获LED亮灭信息，有限的帧速率会大大限~
制了VLC的通信速率，故此必须借助CMOS摄像头的卷帘效应来提高VLC通信的速率，从而保证了摄像头低的帧速率也可以接收高速的光通信信号，CMOS即互补金属氧化物半导体，其捕获图像的时序如图3所示，一般现有的商用摄像头其核心部件为CCD，对于CCD图像传感器而言，整幅图像会同时曝光，所有的像素数据也会同时读出，而对于CMOS图像传感器，其通过逐行扫描的方式来处理每一行的像素，整合一帧图像的时间从图像传感器的第一行像素复位曝光开始，到最后一行像素读出结束，在这个阶段里，LED快速亮灭会在图像上产生亮暗的条纹，通过卷帘效应可以实现在一帧图片上检测多位的数据，进而大大提升了通信的速率。
该行第i个像素，为对应像素的灰度值，再设定为二阶多项式拟合曲线。通过设置阈值获取二阶多项式拟合曲线与灰度值曲线间的截取区域，从而获得一组灰度值，然后这些灰度值按升序排列好，选择20%时的值，当检测的为暗条纹时，所选取的灰度值将会接近于0；当检测的为亮条纹时，所选取的灰度值会远大于0，进而获得一个列矩阵的灰度值来进行解码，对于所获得一个列矩阵的灰度值其明暗条纹的消光比一般不会太高，从而大大限制了传输的距离以及抗背景光的干扰能力，因此，通过直方图均衡将图像的像素变换为均匀分布在
256阶灰度级来增强明暗条纹间的消光比，再利用索贝尔滤波器来进一步增强消光比，最后，使用三阶多项式拟合来设置一个合适的灰度阈值检测灰度值来还原编码的ID位置信息。
1、原始数据通过mB/nB变字长颜色编码；
2、驱动LED灯，从而获得指定的颜色信息值；
3、摄像头获得其颜色信息值；
4、 通过解码，获得新的颜色数据。
6所示，A0A1A2位是前置头，用于判定数据的起始位置，A3到A16为数据位，表示传输速率位长为14位。变字长颜色编码技术能够用一帧图像完成完整的数据传输，包含字节头且数据位足够长，需要注意的是，附图6中，黑色间隔的部分表示明条纹，黑色区域表示暗条纹，这里涉及到一个数据转换问题和数据的稳定性问题，在图像中，如果用明条纹表示1，暗条纹表示0，数据转换之后就是01字符串，图像传输，有更加稳定的抗干扰能力，例如，01数据传输时，只需要部分数据区域出现损坏，就能造成数据传输错误，而图像传输时，局部图像的损坏，只要损坏面积不超过一定的程度，就能正确传输数据。
视觉成像定位的过程包括ID位置信息的提取以及视觉测距两个过程。CMOS摄像头在所捕获 LED灯具发出的图像信息中提取灯具的编号（也即ID位置信息），需要进行图像识别。
图像识别是对处理后的图像进行分类。在图像分割的基础上提取由卷帘效应所产生的明暗条纹，根据明暗条纹特征的解码，获得LED灯具所传输的ID位置信息，其基本流程是：
步骤1、摄像头将摄取的图像获得缓存的一帧图像；
步骤2、对缓存的图像进行预处理；
步骤3、对图像进行筒灯图像分割；
步骤4、对图像进行筒灯特征的提取；
步骤5、 不包含筒灯，则将图像舍弃，包含筒灯，进入下一步；
步骤6、进入条纹区的选取；
步骤7、对条纹区进行预处理；
步骤8、分析条纹是否包含两个颜色头，如果不包含，则舍弃，如果包含，进入下一步；
步骤9、进行颜色校验，颜色校验主要是对色差进行校验，在RGB设备中，由于显示屏与镜头制造工艺的差别以及外部可见光干扰，造成二进制数据相同的颜色，经过显示、摄录等工艺之后，就会造成色差，但是，色差在一定程度内是可以接受的；
步骤10、经过分析，看传输的数据是否正确，如果不正确，则舍弃，如果正确，则执行解码。
图像坐标系的单位是mm，属于物理单位。而像素坐标系的单位是pixel，我们平常描述一个像素点都是几行几列。
法以及像素强度采集到的像素点的θ、r与f1 全部记录为in f1 ，作为类条件概率密度函数。而第 n-1 帧图像中，LED像素点的个数除以总的像素点的个数所获得的概率作为先验概率。对于第n帧，W1类与W2类的后验概率通过贝叶斯公式由类条件概率密度与第n-1帧图像的先验概率计算出来，通过贝叶斯判据判断第n帧图像中每一个像素点属于背景点还是LED信号点。
系统1：基于视觉感知的可见光通信定位系统；
系统2：基于Cartographer的SLAM定位系统；
系统3：基于惯性传感器的惯性定位系统。
本申请使用CMOS摄像头作为可见光通信定位系统接收端光信号检测器件，具体过程是：
步骤1、在静态或初始化时，使用CMOS摄像头捕获单帧图像，检测图像中的灯具的存在；
步骤2、解码其传输的LED标识特征；
步骤3、通过利用CMOS摄像头的卷帘效应来捕获经过变字长颜色编码技术编码的ID位置信息；
步骤4、通过单摄像头成像定位技术来确定服务机器人的三维位置坐标；
步骤5、在移动中的服务机器人，通过设定固定的图像捕获频率，采用所提出的基于贝叶斯准则的视觉追踪算法，实现图像的连续捕获和处理，可以连续进行位置信息的更新，从而实现实时定位。
Cartographer，是Google 在2016年10月06日开源的一个ROS系统支持的2D和3DSLAM库。
SLAM算法结合来自多个传感器，例如，LIDAR、IMU和摄像头的数据，同步计算传感器的位置并绘制传感器周围的环境。同时结合基于视觉感知的可见光通信定位技术和Cartographer 开源SLAM库两种技术，可对服务机器人进行实时定位坐标校正和实时定位地图创建，提高整个定位系统的稳定性，特别是解决了室内环境意外停电、LED灯意外损坏等导致可见光通信定位系统不能正常工作的恶劣情况，所述的SLAM是Simultaneous Localization And Mapping，即即时定位与地图构建。
CMOS摄像头工作原理是：CMOS摄像头安装启动电路，并且利用opencv获得压缩数据，再通过网络或者WIFI将压缩数据传送到定位系统的传输层，并同步进行解码，之后，利用视频驱动，然后对图像进行解码，通过LED灯检测，获得LED灯的ID号，从而获得机器人的位置坐标，再通过定量指标计算，基于粒子滤波算法进行机器人的位置坐标的估计；
Kinect传感器工作原理是：Kinect传感器安装启动电路，并且利用cartographer获得压缩数据，再通过网络或者WIFI将压缩数据传送到定位系统的传输层，并同步进行解码，之后，利用视频驱动，然后对图像进行解码，通过特征提取，创建即时地图，从而获得机器人的位置坐标，再通过定量指标计算，基于粒子滤波算法进行机器人的位置坐标的估计；
惯性传感器工作原理是：惯性传感器安装启动电路，并且利用卡尔曼获得测量信息，再通过网络或者WIFI将压缩数据传送到定位系统的传输层，并对测量信息进行信号处理，之后，更新位姿信息，再通过航迹推算，基于粒子滤波算法进行机器人的位置坐标的估计。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种仿信鸽地貌感知归巢机制的无人机自主导航方法 | 2020-05-14 | 919 |
| 地图构建方法、装置和计算机可读存储介质 | 2020-05-17 | 443 |
| 一种用于机器人的目标跟随方法和装置 | 2020-05-18 | 304 |
| 用于预测传感器误差的方法和装置 | 2020-05-08 | 137 |
| 一种老年人室内活动搀扶机器人系统及其应用方法 | 2020-05-11 | 877 |
| 一种基于地形特征匹配的水下地形匹配导航方法 | 2020-05-17 | 596 |
| 基于Capon波束形成定位方法及装置 | 2020-05-19 | 15 |
| 具有自主绕障行走功能的变电站巡检机器人 | 2020-05-25 | 311 |
| 一种基于AR眼镜的停车规划辅助方法及系统 | 2020-05-26 | 173 |
| 一种应用于车辆定位的定位初始化方法及车载终端 | 2020-05-13 | 592 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
