一种头戴式助视装置
阅读：555发布：2020-05-08
专利汇可以提供一种头戴式助视装置专利检索，专利查询，专利分析的服务。并且本 发明 涉及一种头戴式助视装置，包括： 图像采集 模 块 ，用于通过头戴结构中的前置摄像头实时采集视频图像；输入模块，用于接收用户输入的指令； 图像处理 模块，用于根据用户输入的指令或者预设模式对采集的视频图像进行图像增强处理，所述图像增强处理包括物体轮廓加强、画面缩放、 对比度 调整和颜 色调 整中的一种或多种；图像显示模块，用于将图像增强处理后的视频图像显示到位于双眼前方的半透视显示屏中。本发明将采集的实时视频图像以半透视的方式与现实画面 叠加 ，方便了用户在行进过程中使用；并且本发明可以根据用户指令或者预设模式对于不同视障用户提供对应的图像增强处理操作，以实现相关视 力 辅助和加强。，下面是一种头戴式助视装置专利的具体信息内容。
1.一种头戴式助视装置，其特征在于，包括：
图像采集模块，用于通过头戴结构中的前置摄像头实时采集视频图像；
输入模块，用于接收用户输入的指令；
图像处理模块，用于根据用户输入的指令或者预设模式对采集的视频图像进行图像增强处理，所述图像增强处理包括物体轮廓加强、画面缩放、对比度调整和颜色调整中的一种或多种；
图像显示模块，用于将图像增强处理后的视频图像显示到位于双眼前方的半透视显示屏中；所述图像处理模块通过以下方式对采集的视频图像进行物体轮廓加强：
根据用户输入的指令或者预设模式调整索贝尔算子的矩阵数值，并通过该调整后的索贝尔算子对视频的每帧图片进行边缘强化计算；其中所述图像处理模块通过调整后的X方向的索贝尔算子计算像素的横向灰度值：
通过调整后的Y方向的索贝尔算子计算像素的纵向灰度值：
通过以下公式结合每一个像素的横向以及纵向灰度值计算图像中该点灰度大小：
G＝|G′x|+|G′y|，随后针对G做[0,255]的归一化处理，得到的结果用来替换灰度值；
上述公式中A为原始图像，n和m为根据用户输入的指令或者预设模式确定的索贝尔算子的矩阵数值；其中针对黄斑性病变，n取值区间为[-1,3]，m取值区间为[-2,1]；针对二级盲视力障碍患者，n取值区间为[2,4]，m取值区间为[-2,2]；
所述导航模块包括虚拟导航单元，用于根据场景生成虚拟形象的连贯动画实时投射在所述半透视显示屏上；
所述虚拟导航单元在识别当前的视频图像为上下楼梯场景时，利用安装在头戴式助视装置中的三轴加速度传感器的水平朝前方向的加速度，积分得到使用者位移与时间运动曲线，使用垂直方向的加速度记录用户的步频；
通过步频以及使用者位移与时间运动曲线，生成虚拟的按照相同频率和速度行走的楼梯的动画，叠加在视频图像中对应楼梯位置。
2.根据权利要求1所述的头戴式助视装置，其特征在于，所述头戴式助视装置还包括导航模块，用于根据用户输入的目的地或者目标物名称，对采集的视频图像进行分析，识别目的地或者目标物的位置，并通过轮廓加强、虚拟形象、文字标示和/或立体语音的方式进行提示。
3.根据权利要求2所述的头戴式助视装置，其特征在于，所述导航模块包括立体语音播放单元，用于根据视频图像获取目的地或者目标物的位置，通过立体声场技术播放目的地或者目标物的提示音形成不同角度方向的声源提醒。
4.根据权利要求3所述的头戴式助视装置，其特征在于，所述立体语音播放单元至少包括位于左90°声源位置、左45°声源位置、右90°声源位置和右45°声源位置的四个喇叭，以进行声场组合形成播放角度基准值d分别为0°、±45°、±67.5°和±90°的声源方向；
所述立体语音播放单元将以用户为原点获取的目的地或者目标物的距离以及角度信息记为Bn(L,D)，其中L表示目的地或者目标物的距离，D表示目的地或者目标物的角度，并按照从近到远依次存入各个目的地或者目标物的位置信息B[]＝{B1{L1,D1}、B2{L2,D2}、….}；所述声音播放模块提取B[].D参数，并对比该参数与播放角度基准值d，取B[].D-d为最小值时的播放角度基准值，控制对应喇叭进行声场组合形成声源方向。
5.根据权利要求4所述的头戴式助视装置，其特征在于，所述立体语音播放单元在播放提示音时，还用于提取B[].L参数，并对比该参数与预设的距离区间；根据该参数所处的距离区间调取对应的音效配合立体声场技术播放提示音。
6.根据权利要求2所述的头戴式助视装置，其特征在于，所述导航模块包括记忆导航单元，用于通过预先拍摄的图像识别并记录目标物的历史位置，并在对实时视频图像进行识别时在实时视频图像上将目标物的历史位置对应的区域以轮廓加强的方式标记出来。
7.根据权利要求2所述的头戴式助视装置，其特征在于，所述导航模块包括布局导航单元，用于实时读取视频图像中的每帧图像，识别并提取图像特征，并结合预先获取的综合体或室内建筑布局图标示出目标建筑或者店面或者窗口的方向、预计距离和/或行走时间。
8.根据权利要求1所述的头戴式助视装置，其特征在于，所述图像处理模块还用于将预先拍摄的文字图片透射至半透视显示屏上，或者识别预先拍摄的文字图片中的文字转化为可编辑文本并叠加在实时采集的视频图像的文字区域。
9.根据权利要求1所述的头戴式助视装置，其特征在于，所述头戴式助视装置还包括眼动追踪模块，用于识别用户聚焦观察位置，并提供给图像处理模块作为图像增强处理的目标区域。
10.根据权利要求9所述的头戴式助视装置，其特征在于，所述头戴式助视装置还包括语音阅读模块，用于通过语音阅读功能阅读目标区域的文字，其中目标区域的文字的起始点和速度根据用户聚焦观察位置及变化进行控制。
11.根据权利要求9所述的头戴式助视装置，其特征在于，所述眼动追踪模块包括位于眼球正中的摄像头，以及位于人脸前方的投影系统，所述投影系统用于在不干扰视觉区域上向瞳孔正中投射矩形形状投影；所述眼动追踪模块通过瞳孔面积形变来计算眼球焦点位置，具体为：
预先通过所述摄像头拍摄当前用户眼球朝前方的正视眼位图像；
在需要识别用户聚焦观察位置时，拍摄实时采集的当前用户的眼位图像，并结合所述正视眼位图像计算当前用户的眼位图像中眼球表面光斑的偏移角度向量，并计算眼球映射在屏幕上的移动距离和移动角度。
12.根据权利要求11所述的头戴式助视装置，其特征在于，所述计算当前用户的眼位图像中眼球表面光斑的偏移角度向量的步骤包括：
获取正视眼位图像中眼球表面光斑最远处的像素坐标值M(xM,yM)，以及图像正中心原点位置O(x0,y0)，得到OM的距离为：
其中x0为图像横向大小的1/2，y0为图像纵向大小的1/2；
记图像内像素与实际距离的比值为K，则OM映射至实际的距离为：
根据圆锥形角度计算方式，可以得到正中位置角度：
其中LCO为眼球距离相机的距离；
采用上述同样方法计算得到当前用户的眼位图像中眼球表面光斑最远处偏移的角度：
计算眼球的偏移角度向量：
Δε＝θ'-θ。
13.根据权利要求11所述的头戴式助视装置，其特征在于，所述计算眼球映射在屏幕上的移动距离和移动角度的步骤包括：
将眼球表面光斑的偏移角度向量进行向量分解，拆分成在上下左右四个方向的投影值；
按照人体眼球直径参数，根据眼球映射实际距离计算公式将四个角度的投影值转换为眼表变化的距离；
根据眼表变化的距离计算模拟屏幕上对应的移动距离：
利用平面下勾股函数计算得到眼球运动时对应屏幕上注视点移动的距离，以及屏幕上对应眼球运动的移动角度。
14.根据权利要求1所述的头戴式助视装置，其特征在于，所述头戴式助视装置还包括距离报警模块，用于通过双摄像头的位置景深的相对算法检测前方物体距离，并在前方物体距离低于预设阈值时进行报警。
15.根据权利要求1所述的头戴式助视装置，其特征在于，所述头戴式助视装置还包括人脸识别模块，用于对采集的视频图像中的人脸进行识别，在与预存人脸照片匹配时获取该人脸提示信息进行播报。
一种头戴式助视装置
技术领域
[0001] 本发明涉及助视器技术领域，尤其涉及头戴式助视装置。
背景技术
[0002] 目前，老年人、视障用户人群总数已占我国人口总数的20％左右，并且以一定幅度缓慢上升，在通过各类举措来解决这一基数的同时，视障人群不可避免的会使用到一些视障辅具。助视器是低视力患者扩展视觉的最佳辅助产品，对于每一位低视力患者，或多或少都会接触到这些助视器，而助视器又分为光学助视器和电子助视器。电子助视器产品指利用摄像获得影像，经数码处理给予放大，如口袋式(便携)电子助视器以及固定在桌面上的闭路电视助视器或者连接在笔记本电脑上的专用摄像头，放大倍率可达到2倍至100倍以上。
[0003] 然而，目前的电子助视器不便于用户在行进过程中进行观看，并且一般只是简单的图像放大功能，不具有针对视障人员的特殊需求进行处理。
发明内容
[0005] 为了解决上述技术问题，本发明提供了一种头戴式助视装置，包括：
[0007] 输入模块，用于接收用户输入的指令；
[0009] 图像显示模块，用于将图像增强处理后的视频图像显示到位于双眼前方的半透视显示屏中。
[0010] 在根据本发明所述的头戴式助视装置中，优选地，所述图像处理模块通过以下方式对采集的视频图像进行物体轮廓加强：根据用户输入的指令或者预设模式调整索贝尔算子的矩阵数值，并通过该调整后的索贝尔算子对视频的每帧图片进行边缘强化计算。
[0011] 在根据本发明所述的头戴式助视装置中，优选地，所述头戴式助视装置还包括导航模块，用于根据用户输入的目的地或者目标物名称，对采集的视频图像进行分析，识别目的地或者目标物的位置，并通过轮廓加强、虚拟形象、文字标示和/或立体语音的方式进行提示。
[0012] 在根据本发明所述的头戴式助视装置中，优选地，所述导航模块包括虚拟导航单元，用于根据场景生成虚拟形象的连贯动画实时投射在所述半透视显示屏上。
[0013] 在根据本发明所述的头戴式助视装置中，优选地，所述虚拟导航单元在识别当前的视频图像为上下楼梯场景时，利用安装在头戴式助视装置中的三轴加速度传感器的水平朝前方向的加速度，积分得到使用者位移与时间运动曲线，使用垂直方向的加速度记录用户的步频；
[0015] 在根据本发明所述的头戴式助视装置中，优选地，所述导航模块包括立体语音播放单元，用于根据视频图像获取目的地或者目标物的位置，通过立体声场技术播放目的地或者目标物的提示音形成不同角度方向的声源提醒。
[0016] 在根据本发明所述的头戴式助视装置中，优选地，所述立体语音播放单元至少包括位于左90°声源位置、左45°声源位置、右90°声源位置和右45°声源位置的四个喇叭，以进行声场组合形成播放角度基准值d分别为0°、±45°、±67.5°和±90°的声源方向；
[0017] 所述立体语音播放单元将以用户为原点获取的目的地或者目标物的距离以及角度信息记为Bn(L,D)，其中L表示目的地或者目标物的距离，D表示目的地或者目标物的角度，并按照从近到远依次存入各个目的地或者目标物的位置信息B[]＝{B1{L1,D1}、B2{L2,D2}、….}；所述声音播放模块提取B[].D参数，并对比该参数与播放角度基准值d，取B[].D-d为最小值时的播放角度基准值，控制对应喇叭进行声场组合形成声源方向。
[0018] 在根据本发明所述的头戴式助视装置中，优选地，所述立体语音播放单元在播放提示音时，还用于提取B[].L参数，并对比该参数与预设的距离区间；根据该参数所处的距离区间调取对应的音效配合立体声场技术播放提示音。
[0019] 在根据本发明所述的头戴式助视装置中，优选地，所述导航模块包括记忆导航单元，用于通过预先拍摄的图像识别并记录目标物的历史位置，并在对实时视频图像进行识别时在实时视频图像上将目标物的历史位置对应的区域以轮廓加强的方式标记出来。
[0020] 在根据本发明所述的头戴式助视装置中，优选地，所述导航模块包括布局导航单元，用于实时读取视频图像中的每帧图像，识别并提取图像特征，并结合预先获取的综合体或室内建筑布局图标示出目标建筑或者店面或者窗口的方向、预计距离和/或行走时间。
[0021] 在根据本发明所述的头戴式助视装置中，优选地，所述图像处理模块还用于将预先拍摄的文字图片透射至半透视显示屏上，或者识别预先拍摄的文字图片中的文字转化为可编辑文本并叠加在实时采集的视频图像的文字区域。
[0022] 在根据本发明所述的头戴式助视装置中，优选地，所述头戴式助视装置还包括眼动追踪模块，用于识别用户聚焦观察位置，并提供给图像处理模块作为图像增强处理的目标区域。
[0023] 在根据本发明所述的头戴式助视装置中，优选地，所述头戴式助视装置还包括语音阅读模块，用于通过语音阅读功能阅读目标区域的文字，其中目标区域的文字的起始点和速度根据用户聚焦观察位置及变化进行控制。
[0024] 在根据本发明所述的头戴式助视装置中，优选地，所述眼动追踪模块包括位于眼球正中的摄像头，以及位于人脸前方的投影系统，所述投影系统用于在不干扰视觉区域上向瞳孔正中投射矩形形状投影；所述眼动追踪模块通过瞳孔面积形变来计算眼球焦点位置，具体为：
[0025] 预先通过所述摄像头拍摄当前用户眼球朝前方的正视眼位图像；
[0026] 在需要识别用户聚焦观察位置时，拍摄实时采集的当前用户的眼位图像，并结合所述正视眼位图像计算当前用户的眼位图像中眼球表面光斑的偏移角度向量，并计算眼球映射在屏幕上的移动距离和移动角度。
[0027] 在根据本发明所述的头戴式助视装置中，优选地，所述计算眼球映射在屏幕上的移动距离和移动角度的步骤包括：
[0028] 将眼球表面光斑的偏移角度向量进行向量分解，拆分成在上下左右四个方向的投影值；
[0029] 按照人体眼球直径参数，根据眼球映射实际距离计算公式将四个角度的投影值转换为眼表变化的距离；
[0030] 根据眼表变化的距离计算模拟屏幕上对应的移动距离：
[0031] 利用平面下勾股函数计算得到眼球运动时对应屏幕上注视点移动的距离，以及屏幕上对应眼球运动的移动角度。
[0033] 在根据本发明所述的头戴式助视装置中，优选地，所述头戴式助视装置还包括人脸识别模块，用于对采集的视频图像中的人脸进行识别，在与预存人脸照片匹配时获取该人脸提示信息进行播报。
[0034] 实施本发明的头戴式助视装置，具有以下有益效果：本发明采用头戴式结构与半透射显示屏结合，从而将采集的实时视频图像以半透视的方式与现实画面叠加，方便了用户在行进过程中使用；并且本发明可以根据用户指令或者预设模式对于不同视障用户提供对应的图像增强处理操作，以实现相关视力辅助和加强，对于一些视力损伤和病变的病人起到改善基本生活视力的作用。附图说明
[0036] 图2为根据本发明第二实施例的头戴式助视装置的模块框图；
[0037] 图3为根据本发明第三实施例的头戴式助视装置的模块框图；
[0038] 图4为根据本发明第四实施例的头戴式助视装置的模块框图；
[0040] 图6为根据本发明第五实施例的头戴式助视装置的模块框图；
[0041] 图7为根据本发明第六实施例的头戴式助视装置的模块框图；
[0042] 图8为根据本发明第九实施例的头戴式助视装置的模块框图；
[0043] 图9为根据本发明的头戴式助视装置中眼动追踪模块的硬件布局示意图；
[0044] 图10为根据本发明的头戴式助视装置拍摄的正视眼位图像的投影形变分析图；
[0045] 图11为根据本发明的头戴式助视装置实时拍摄的当前用户眼位图像的投影形变分析图；
[0046] 图12为眼表变化距离与屏幕移动距离的对应关系图；
[0047] 图13为根据本发明第十实施例的头戴式助视装置的模块框图。
具体实施方式
[0048] 为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0049] 请参阅图1，为根据本发明第一实施例的头戴式助视装置的模块框图。如图1所示，本发明第一实施例的头戴式助视装置至少包括：图像采集模块100、输入模块200、图像处理模块300和图像显示模块400。
[0050] 其中，图像采集模块100用于通过头戴结构中的前置摄像头实时采集视频图像。本发明的头戴式助视装置可以采用各种本领域基础技术人员熟知并能应用的头戴结构。优选地，该头戴结构包括用于可拆卸固定于头部的头戴本体，以及安装在头戴本体上双眼正上方的前置摄像头，该前置摄像头朝向使用者的前方拍摄，采集的视频图像用来替代使用者正常行进时看到的前方图像。
[0051] 输入模块200用于接收用户输入的指令。优选地，该输入模块200可以采用实体硬件按键、手势动作和语音命令等方式输入用户指令。
[0052] 图像处理模块300与图像采集模块100和输入模块200连接，用于根据用户输入的指令或者预设模式对采集的视频图像进行图像增强处理。该图像增强处理包括但不限于物体轮廓加强、画面缩放、对比度调整和颜色调整中的一种或多种。例如，当用户在使用时通过语音命令输入物体轮廓加强的指令后，图像处理模块300对实时采集的视频图像进行物体轮廓加强的处理。在本发明的另一些实施例中，也可以根据用户的视障情况，预先设置对应的模式，再启动对应的图像增强处理。例如预设模式可以为视力衰退或老花眼模式，或者视网膜病变模式，或者色弱模式等，分别对应不同的图像增强处理。例如，一般性的视力衰退、老花眼等用户，表现上就是看不清楚，可以通过用户主观的控制或者系统自动根据用户所属的预设模式启动，实现画面缩放的图像增强处理功能，该画面缩放包括对需要观察的区域画面的放大，从而间接达到拉近物体的效果。其放大倍率可调。针对某些视网膜病变的用户，对某些颜色或者对比度感知有问题的，则可以通过用户主观控制或者预先设置为视网膜病变模式，再由图像处理模块300进行对应的图像增强处理，例如对比度调整和颜色调整，优选地，还可以进行亮度调整和物体轮廓调整。针对另外一些病变，造成看到的物体形状有变化的，可以通过用户主观控制或者预先设置为形变纠正模式，实现形变的纠正。通常本发明中主观输入指令进行图像增强处理的方式可以是无极连续变化，当用户满意时可以停止。
[0053] 图像显示模块400与图像处理模块300连接，用于将图像增强处理后的视频图像显示到位于双眼前方的半透视显示屏中。
[0054] 本发明一方面采用头戴式结构，将采集的实时视频图像以半透视的方式与现实画面叠加，方便了用户在行进过程中使用；并且可以根据用户指令或者预设模式对于不同视障用户提供对应的图像增强处理操作，以实现相关视力辅助和加强，以至于对于一些视力损伤和病变的病人起到改善基本生活视力的作用。
[0055] 本发明的图像处理模块300实时读取前置摄像头获取的图像，对每帧图像进行数据分析，利用索贝尔算子对图像进行边缘强化计算，运算图像亮度函数的灰度近似值，根据像素点上下左右邻点的灰度加权差，在边缘处达到极值时检测边缘。
[0056] 用于轮廓加强的算法有边缘索贝尔算法，通过离散的一阶差分索贝尔算子检测图像的水平边缘和垂直边缘，计算图像亮度函数的一阶梯度之近似值，从而得到边缘图像。
[0057] 其中X方向的索贝尔算子为：
[0058] 计算像素的横向灰度值为：
[0059] 其中Y方向的索贝尔算子为：
[0060] 计算像素的纵向灰度值为：
[0061] 将每一个像素的横向以及纵向灰度值结合计算该点灰度大小：
[0062]
[0063] 为了降低计算量，方便实现，会将上述公式替换为：
[0064] G＝|G＇x|+|G＇y|，然后针对G做[0,255]的归一化处理，得到的结果用来替换灰度值；
[0066] 根据视力病症的对比度特殊要求，对图像进行细化处理和噪声信号处理，降低边缘模糊程度，利用修正后的卷积函数快速提取边缘信息，阈值化进行图片特征的处理，将轮廓细节描绘更为清晰，减少图片内信息的丢失，结合增强现实投影方法，可以实时的在视力病症的患者眼前区域进行映射周围包括物体、人物等环境的轮廓细节，达到针对视力病症患者的环境可视化效果。
[0067] 例如，根据视力病症的如黄斑性病变、白内障等视觉障碍的特征点，设定调整轮廓的索贝尔算子矩阵数值以适应不同人群。
[0068] 因此，图像处理模块300通过以下方式对采集的视频图像进行物体轮廓加强：根据用户输入的指令或者预设模式调整索贝尔算子的矩阵数值，并通过该调整后的索贝尔算子对视频的每帧图片进行边缘强化计算。其中图像处理模块300所使用的X方向的调整后的索贝尔算子为：
[0069] 调整后的X方向的索贝尔算子为：
[0070] 通过调整后的X方向的索贝尔算子计算像素的横向灰度值：
[0071]
[0072] 调整后的Y方向的索贝尔算子为：
[0073] 通过调整后的Y方向的索贝尔算子计算像素的纵向灰度值
[0074]
[0075] 通过以下公式结合每一个像素的横向以及纵向灰度值计算图像中该点灰度大小：
[0076]
[0077] 为了降低计算量，方便实现，会将公式替换为：
[0078] G＝|G＇x|+|G＇y|，然后针对G做[0,255]的归一化处理，得到的结果用来替换灰度值；
[0079] 上述公式中A为原始图像，n和m为根据用户输入的指令或者预设模式确定的索贝尔算子的矩阵数值，将矩阵的锚点放在该特定位置的像素上，同时，矩阵内的其他值与该像素邻域的各像素重合；首先将矩阵内各值与相应像素值相乘，并将乘积相加；而后将所得结果放到与锚点对应的像素上；对图像所有像素重复上述过程，即可得到边缘效果图像本发明可以根据不同视障情况设置n和m的数值，从而可以通过界面交互方式自定义修改满足各病症的轮廓加强程度需求。
[0081] 其中针对二级盲视力障碍患者，整体视觉存在光感但视物模糊，调整n取值区间为[2,4]，m取值区间为[-2,2]，调整区间内数值增强轮廓曲线；
[0082] 其中针对糖尿病性视网膜病变，视力范围内出现局部区域不可视化状态，n取值区间[1,3]，m取值区间[2,4]，调整区间数值最大化减小病变区域周围的模糊遮盖。
[0083] 其中针对其他病症，可通过修改n，m数值进行轮廓增强描绘。
[0084] 更优选地，本发明利用双边滤波器对图像进行区域平滑和边缘锐化处理，平坦化处理色彩过渡区域，在滤波器处理的基础上增加相似权重，调整各像素点周围色彩的相似度，而后通过图像插值法或将图片转为HSI色彩空间的方式，调整图片的色彩饱和度来增强视觉感受，通过边缘轮廓索贝尔算法与色彩饱和度调整算法获得轮廓模式加强效果。
[0085] 请参阅图2，为根据本发明第二实施例的头戴式助视装置的模块框图。如图2所示，本发明第二实施例的头戴式助视装置与第一实施例基本相同，区别在于：该头戴式助视装置还包括导航模块500，用于根据用户输入的目的地或者目标物名称，对采集的视频图像进行分析，识别目的地或者目标物的位置，并通过轮廓加强、虚拟形象、文字标示和/或立体语音的方式进行提示。本发明可以基于现有的即时定位地图构建技术(Simultaneous Localization and Mapping，即SLAM技术)包括单目结构光技术、双目结构光技术、双目摄像头立体视觉技术以及TOF技术，根据使用者目标物的位置信息或者深度信息三维图像，通过处理芯片对位置信息进行处理，分析得到眼前单一目标物或者多目标物的位置信息，包括距离以及角度信息。
[0086] 请参阅图3，为根据本发明第三实施例的头戴式助视装置的模块框图。如图3所示，本发明第三实施例的头戴式助视装置与第二实施例基本相同，区别在于：导航模块500包括虚拟导航单元510，用于根据场景生成虚拟形象的连贯动画实时投射在半透视显示屏上，从而叠加到实时采集的视频图像上进行导航。本发明利用半透屏特性，实现实景结合虚拟引导指示，其中虚拟引导通过实际形象直接透射至屏幕上，该形象可通过用户主观选择更改形象，例如狗、引导小姐等。系统可接受用户通过手势、语音等交互输入需要的命令，系统根据事先获得或者即时获得的图片等，后台处理后通过虚拟形象的特有特性连贯动画实时投射在半透屏上，同时提供语音等信息补充和交互。例如，狗形象结合狗的特征动作等，实现导航。本发明叠加的虚拟形象和实景有真实的交互，比如，当走楼梯时，系统就会让虚拟形象例如狗或者引导小姐显示走楼梯的动作并且叠加在实时楼梯的位置上。这些特征让用户能够根据动作和透明环境安全而快速的知道当前路况。
[0087] 优选地，虚拟导航单元510在识别当前的视频图像为上下楼梯场景时，根据九轴控制器以及视频中每帧图片的变化范围计算实时行走速度，其中应用九轴控制器内的三轴加速度传感器的水平朝前方向的加速度，积分得到使用者位移与时间运动曲线，使用垂直方向的加速度记录用户的步频，通过记录垂直方向的加速度，间隔的加速度峰值即为当前的步频，因为人体最快的跑步频率为5HZ，相邻两步的时间间隔的至少大于0.2秒，设置有效频率参数在记步过程中过滤高频噪声。同时通过和上次加速度大小进行比较，设置在一定的阀值来判断运动是否属于有效，实时计算使用者运动的步数，人平均步长设定为0.6m/步。
[0088] 通过步频以及位移情况，生成虚拟的按照相同频率和速度行走的楼梯的动画，叠加在视频图像中对应楼梯位置。
[0089] 请参阅图4，为根据本发明第四实施例的头戴式助视装置的模块框图。如图4所示，本发明第四实施例的头戴式助视装置与第二实施例基本相同，区别在于：导航模块500包括立体语音播放单元520，用于根据外部的视频获取目的地或者目标物的角度，通过立体声场技术播放目的地或者目标物的提示音形成不同角度方向的声源提醒。本发明采用SLAM技术结合立体声场技术来进行使用者眼前目标物的角度和距离判断和提醒，实现用户正面半球180°声场声音位置模拟。
[0090] 请参阅图5，为根据本发明的头戴式助视装置中立体声场技术的硬件布局图。如图5所示，本发明的立体语音播放单元520的立体声场技术结合四方向喇叭阵列，包括位于左
90°声源位置的第一喇叭501、位于左45°声源位置的第二喇叭502、位于右90°声源位置的第三喇叭503和位于右45°声源位置的第四喇叭504。图5中标号505为使用者，以该使用者为原点，双眼正前方为0°。这些喇叭通过单个或者两个组合后可以得到0°、±45°、±67.5°和±
90°的声源方向。例如，第二喇叭502和第四喇叭504组合映射0°声源，第一喇叭501和第四喇叭504组合映射-67.5°声源，第二喇叭502和第三喇叭503组合映射67.5°声源。因此，对应的播放角度基准值d为0°、±45°、±67.5°和±90°。
90°声源位置的第一喇叭501、位于左45°声源位置的第二喇叭502、位于右90°声源位置的第三喇叭503和位于右45°声源位置的第四喇叭504。图5中标号505为使用者，以该使用者为原点，双眼正前方为0°。这些喇叭通过单个或者两个组合后可以得到0°、±45°、±67.5°和±
90°的声源方向。例如，第二喇叭502和第四喇叭504组合映射0°声源，第一喇叭501和第四喇叭504组合映射-67.5°声源，第二喇叭502和第三喇叭503组合映射67.5°声源。因此，对应的播放角度基准值d为0°、±45°、±67.5°和±90°。
[0091] 立体语音播放单元520将以用户为原点获取的目的地或者目标物的距离以及角度信息记为Bn(L,D)，其中L表示目的地或者目标物的距离，距离的计算通过上述所采用的SLAM算法，包括单目结构光技术、双目结构光技术、双目摄像头立体视觉技术以及TOF技术等在内的距离监测技术，获得根据使用者与目标物的位置信息或者深度信息三维图像。其中D表示目的地或者目标物的角度。并按照从近到远依次存入各个目的地或者目标物的位置信息B[]＝{B1{L1,D1}、B2{L2,D2}、….}。声音播放模块510根据预设模式或者用户指令提取B[].D参数，并对比该参数与播放角度基准值d，取B[].D-d为最小值时的播放角度基准值，控制对应喇叭进行声场组合形成声源方向。例如取B[0]为首要处理点，提取B[0].D参数，并对比该参数与播放角度基准值d，设B[0].D最接近+45°，则此时B[0].D-d的取值最小，就控制第四喇叭504发声形成声源方向为+45°。假设B[0].D最接近+67.5°，则控制第二喇叭502和第三喇叭503组合发声。因此，本发明设定将目标物或目的地的角度与播放角度基准值对比，通过声场控制芯片，选择响应喇叭进行声场组合，通过该方式引导使用者在大脑中形成声源方向。
[0092] 更优选地，该立体语音播放单元520在播放提示音时，还用于提取B[].L参数，并对比该参数与预设的距离区间，根据该参数所处的距离区间调取对应的音效配合立体声场技术播放提示音。例如，提醒程序内设定三种音效，音效集合为M[]＝{M1,M2,M3}，如果要提醒的目标物与使用者距离2米以外，取M1配合声源角度信息做为提醒，目标物与使用者距离1m～2m时，取M2配合声源角度信息作为提醒；目标物与使用者距离0.5m～1m时，取M3配合声源角度信息作为提醒。以此来判断物体远近籍以提示使用者。
[0093] 请参阅图6，为根据本发明第五实施例的头戴式助视装置的模块框图。如图6所示，本发明第五实施例的头戴式助视装置与第二实施例基本相同，区别在于：导航模块500包括记忆导航单元530，用于通过预先拍摄的图像识别并记录目标物的历史位置，并在对实时视频图像进行识别时在实时视频图像上将目标物的历史位置对应的区域以轮廓加强的方式标记出来。
[0094] 本发明中，将预先拍摄的图像作为基础图像记忆，用户可以进行图像识别并记忆后，系统记录本张标记图像场景和相关目标物的坐标位置范围后，在获取新的图像时，通过连续帧和记录场景照片比对，一旦确认某一帧出现标记图像场景，则将原有确定坐标范围通过高亮等手段框出，从而提示之前该场景中的元素的空间位置。例如，某低视力人士购买新的生活用具，在不熟悉用具的摆放位置下，选定位置，提前获取该生活用具的照片，下次再重复放置或者找寻用具时，可以选择通过轮廓加强的方式对目标物的历史位置对应的区域进行标记。例如，对于家中摆放的花瓶而言，有两种方式可以辅助使用者找到该花瓶：第一种是系统实时拍摄到的画面中通过人工智能读图看到了花瓶，则标记出来；第二种是通过该记忆导航单元530，即通过预制记忆的位置，直接轮廓出来，与第一种的区别在于系统不会判断是不会真有，只会标记出来。例如家中新买来花瓶摆放好了之后，可以拍摄一副家中图片，识别并记录该花瓶的历史位置。当使用者再次进入该场景时，头戴式助视装置可以不用重新识别就能通过轮廓加强标出该花瓶所在位置。本发明也适用于家中有多个形状类似的花瓶时，通过实时图像识别可能会识别出多个花瓶轮廓，因而没法确定想要找的花瓶的具体位置。当使用本发明之后，就可以预先拍摄并记录一号花瓶的位置，在寻找时直接进行标注即可，无需再进行识别。除了轮廓加强之外，本发明还可以采用语音位置提示，虚拟形象等方式提示方式。
[0095] 请参阅图7，为根据本发明第六实施例的头戴式助视装置的模块框图。如图7所示，本发明第六实施例的头戴式助视装置与第二实施例基本相同，区别在于：导航模块500包括布局导航单元540，用于实时读取视频图像中的每帧图像，识别并提取图像特征，并结合预先获取的综合体或室内建筑布局图标示出目标建筑或者店面或者窗口的方向、预计距离和/或行走时间。本发明可以对现实场景的画面采集和数据处理后，对于场景和内容进行数字化记忆，在下次进到此场景时，启动布局导航功能，利用综合体或室内建筑布局图，通过局部数据比对后预测提示其他剩余场景信息，并通过交互方式有选择的提示。
[0096] 具体地，布局导航单元540可以通过预先安装或者网络下载或者终端导入的方式来预先获取综合体或室内建筑布局图，当使用者进入综合体或者室内的公共场所时，设备可以通过摄像头识别场景来启动该布局图或者手动通过语音命令或者输入控制来启动对应的布局图的方式来打开导航功能软件，软件界面通过增强现实AR形态叠加在真实场景内，使用者可以通过语音交互或者手动输入或者移动端传输或者手势识别等交互方式来获取目的地进行导航。
[0097] 导航过程中，布局导航单元540通过头戴本体上安装的六轴传感器模块记录行进的方向以及距离，距离计算方式为处理器记录按当前行走方向移动时所花时间，依据人正常行走速度与时间的乘积确定初步距离，进一步通过摄像头实时获取场景内的店面或者窗口或者指引牌的文字和图片信息，利用OCR技术实时提取文字以及图片识别技术分析场景和物体，通过文字识别与室内布局图内各标志点相对应来纠正前进的距离和方向，实时更新当前位置信息，通过比对当前位置信息和朝向来与目的地进行比对，可以通过语音反馈或者显示屏上悬停文字以及图片方式或者虚拟形象引导方式叠加与AR投影显示上，或者立体声场技术指引前进方向或者设备震动引导方向或者其他外部设备引导方式来引导使用者前往目的地。
[0098] 规定导航过程中实时更新目的地路线，规定偏离路线时，导航自动调整行进线路并提示用户线路更新，规定导航过程中可以通过操作随时中断或者更换目的地导航。
[0099] 例如，某低视力人士佩戴本发明的头戴式助视装置去到市民中心办事，可以事先获取室内建筑布局图，即该办事大厅正视图或平面布局图，当实际到达办事大厅后，系统对比实时拍摄的办事大厅图片与预先存储的办事大厅拍摄图片为同等图片后，可以提示办事大厅布局。当该低视力人士通过交互输入目的窗口时，则有选择通过轮廓加强、空间语音、虚拟形象等方式提示该目的窗口的位置。
[0100] 本发明还提供了第七实施例的头戴式助视装置，其与第二实施例基本相同，区别在于：导航模块500包括上述虚拟导航单元510、立体语音播放单元520、记忆导航单元530和布局导航单元540中的一个或多个。
[0101] 本发明还提供了第八实施例的头戴式助视装置，其与第一实施例基本相同，区别在于：图像处理模块300还用于将预先拍摄的文字图片透射至半透视显示屏上，或者识别预先拍摄的文字图片中的文字并叠加在实时采集的视频图像的文字区域。
[0102] 由此可见，本发明对于文字部分的处理有两种实现形式，分别是：方式一，预先拍摄文字图片，作为图片透射到显示屏上；方式二，预先拍摄文字图片后，通过ocr技术将文字转化为可编辑文本，之后再通过系统将文字区域叠加在实时视频，合成一路视频投射至显示屏上。
[0103] 其中方式一的实现过程如下：
[0104] 首先，用户主观拍摄带有文字的照片，随后将照片直接投射至显示屏上。进一步的，用户可以通过交互，包括眼睛、手势、声音、头部动作和手柄等实现该图片的放大、观察范围移动、变色等，核心目的是要用户主观上更加方便和清楚的实现阅读这一目的。进一步的，用户可以通过交互将该图片通过tts(文本转语音)功能将其中的文字识别后通过原生文字种类朗读出来。进一步的，用户可以交互选择是否要将将朗读出来的文字翻译成需要的目标语言，目标语言可以在系统中设置。
[0105] 方式二的实现过程如下：
[0106] 首先，用户将ocr需求交互于系统，交互手段包括手势、语音，手柄盒控制等；随后系统实时将目前摄像头拍摄的视频按照帧来处理，每一帧照片分析其中的文字信息，并进相关的文字进行ocr处理；系统再将获得的文本信息根据当前的帧的图像上的文字范围进行投射，一般是漂浮在文字上方。进一步，漂浮的位置可以用户自行在系统里设置。进一步，用户可以根据自己的需求提出朗读或者翻译的需求，交互方式包括眼睛，声音，手势动作以及手柄盒子等。
[0107] 请参阅图8，为根据本发明第九实施例的头戴式助视装置的模块框图。如图8所示，本发明第九实施例的头戴式助视装置与第二实施例基本相同，区别在于：头戴式助视装置还包括眼动追踪模块600，用于识别用户聚焦观察位置，并提供给图像处理模块300作为图像增强处理的目标区域。
[0108] 目前，眼动追踪技术通常是通过内置摄像头来检测眼球焦点。而本发明提供了一种新的通过瞳孔面积形变来获取用户聚焦观察位置的方法。请参阅图9，为根据本发明的头戴式助视装置中眼动追踪模块的硬件布局示意图。如图9所示，眼动追踪模块600包括位于眼球603正中的摄像头601，以及位于人脸前方的投影系统602。其中投影系统602用于在不干扰视觉区域上向瞳孔正中投射矩形形状投影。图9为604为眼球的角膜。本发明中眼动追踪模块600通过瞳孔面积形变来进行计算，大致原理如下：
[0109] 首先，基于人眼眼球弧度一般都大致相同，范围在8.3至8.9之间，则根据标记形状在眼球表面上面的形变推算出来的中心焦点推算，是有普适性和数学意义的。
[0110] 在头戴结构内部朝人脸方向左右各在眼球正中放置摄像头，并在显示屏上不干扰视觉区域上投射一个矩形形状，此时摄像头拍摄眼位图像，图像中瞳孔正中会有一个标准矩形投射。
[0111] 预先通过所述摄像头拍摄当前用户眼球朝前方的正视眼位图像，如图10所示[0112] 在需要识别用户聚焦观察位置时，拍摄实时采集的当前用户的眼位图像，如图11所示，并执行以下计算：
[0113] 1、首先根据光斑的形变获得眼球的偏移角度向量：
[0114] 摄像头采集图像根据一定的分辨率输出，相机位置以及矩形光阵投影位置固定，故在条件不变的情况下，考虑以图片像素位置距离作为比例数据计算实际距离。具体地，以正视眼位图像为基准，通过二值处理方式获得正视眼位图像中矩形顶点对应在眼球表面光斑最远处的像素坐标值，例如M(xM,yM)，默认图像正中心为原点位置O(x0,y0)，可以得到OM的距离为：
[0115]
[0116] 其中x0为图像横向大小的1/2，y0为图像纵向大小的1/2；
[0117] 记图像内像素与眼球的运动距离的比值为K，则OM映射至眼球的运动距离为：
[0118]
[0119] 根据圆锥形角度计算方式，可以得到正中位置角度：
[0120]
[0121] 其中LCO为眼球距离摄像机的距离；
[0122] 上述同样方法计算得到实时采集的用户眼位图像中眼球表面光斑最远处偏移的角度。以眼球向右转动为例，角膜凸点向右偏离，摄像头采集位置以及矩形光阵位置和角度不变，观测到的图像如图11所示，矩形光阵发生右边缘拉伸变形，右边顶角位置发生外部偏移，处理器得到变化后的眼球表面光斑最远处的像素坐标值M'(x'M,y'M)，在系数K不变情况下，采用上述同样方法计算得到极值眼位图像中眼球表面光斑最远处偏移的角度：
[0123]
[0124] 其中LOM'为OM'映射至眼球的运动距离；
[0125] 计算眼球的偏移角度向量：
[0126] Δε＝θ'-θ；
[0127] 2、将上述偏移角度向量进行向量分解，拆分成在上下左右四个方向的投影值作为各方向摆动角度：Δε右、Δε左、Δε上和Δε下；比较左右方向摆动的角度值，根据左右某一移动量大的方向取其为移动方向，根据|Δε左-Δε右|的大小得到左右方向的移动角度值；比较上下方向摆动的角度值，根据上下某一移动量大的方向取其为移动方向，根据|Δε上-Δε下|的大小得到上下方向的移动角度值。以此，判断具体移动的方位，然后根据平面下角度移动计算公式： 得到移动角度的数值。
[0128] 3、按照人体眼球直径参数，根据眼球映射实际距离计算公式将四个角度的投影值转换为眼表变化的距离；
[0129] 由于人眼球直径大小约为24mm，就可以通过以下眼球映射实际距离计算公式计算出四个方向上眼表变化的距离：
[0130] ΔD左＝Δε左/2π×0.12MM；
[0131] ΔD右＝Δε右/2π×0.12MM；
[0132] ΔD上＝Δε上/2π×0.12MM
[0133] ΔD下＝Δε下/2π×0.12MM；
[0134] 4、然后根据眼表变化的距离通过以下公式计算模拟屏幕上对应的移动距离：ΔD’＝ΔD/L1×L2；
[0135] 参见图12，其中L1为眼球到摄像头601的距离；
[0136] 其中L2为模拟屏幕与摄像头601的距离，为预设值。
[0137] 通过上述方法获得了眼球在左视、右视、上视和下视四个方向上对应在模拟屏幕上移动的距离ΔD'左、ΔD'右、ΔD'上和ΔD'下；
[0138] 5、利用平面下勾股函数进行计算，进而得到眼球运动时对应屏幕上注视点移动的距离为：
[0139]
[0140] 屏幕上对应眼球运动的移动角度为：
[0141]
[0142] 从而以上述注视点移动的距离 和屏幕上对应眼球运动的移动角度 得出用户注视在屏幕上的实际位置。
[0143] 在本发明的一个实施例中，以上述根据M点计算的 和 作为最终的用户现注视在屏幕上的实际位置。
[0144] 在本发明的另一些优选实施例中，由于单点的移动无法保证其方向移动和位置移动的准确性，设定同轴取N点的坐标值，同理，N点的计算方式与M点一致，通过上述方法，计算N点的像素坐标值N(XN，YN)，以及在眼位照片中变化后的像素坐标N’(XN′，YN′)，通过上述同样的方式，得到眼球四面摆动角度Δε右、Δε左、Δε上和Δε下；
[0145] 计算M点与N点的眼球向左摆动角度Δε左的2个数值的平均值作为最终的眼球向左摆动角度，以提高计算精度。同样地，计算M点与N点其它方向摆动角度的平均值作为该方向摆动角度的最终数值。在本发明的另一些优选实施例中，还可以通过对矩形形状的4个顶点均执行上述运算后进行平均，更进一步提高减小误差。
[0146] 本发明中图像处理模块300根据眼动追踪模块600判断的用户聚焦观察位置，或者用户主观交互选择文字位置，实现目标区域文字的实时视频捕捉，并通过助视相关效果实现文字加强，文字变色等，直接投射至显示屏上。
[0147] 请参阅图13，为根据本发明第十实施例的头戴式助视装置的模块框图。如图13所示，本发明第十实施例的头戴式助视装置与第九实施例基本相同，区别在于：头戴式助视装置还包括语音阅读单元700，用于通过语音阅读功能阅读目标区域的文字，其中目标区域的文字的起始点和速度根据用户聚焦观察位置及变化进行控制。因此，本发明支持语音阅读文字，并且文字的阅读起始点、速度可根据当前焦点变化或者主观通过交互等控制和关联。例如，在实现眼动追踪的前提下，通过眨眼动作和语音命令实现相关控制。起始点根据聚焦位置判断，开始阅读通过语言或者眨眼(眨几下or左右眼分开眨等等实现不同命令)，通过语音命令控制阅读速度等。根据前述立体声场技术，还可以实现用户正面半球180°位置模拟，根据文字的位置和头戴本体上的距离监测，可以通过包括红外光距离传感器、双摄像头、结构光技术等在内的SLAM算法，获得所监测的位置信息，通过获得所监测的位置来实现通过阅读声音来提示相应文字位置。
[0148] 本发明还提供了第十一实施例的头戴式助视装置。该十一实施例的头戴式助视装置与第二实施例基本相同，区别仅在于，还包括距离报警模块，用于通过双摄像头的位置景深的相对算法检测前方物体距离，并在前方物体距离低于预设阈值时进行报警。距离报警模块可以通过语音的形式进行报警。本发明在使用半透屏时，可以通过距离报警模块实现近距离安全实时警报，将靠近佩戴者的安全风险最高的物体进行提示。
[0149] 本发明还提供了第十二实施例的头戴式助视装置。该十二实施例的头戴式助视装置与第二实施例基本相同，区别仅在于，头戴式助视装置还包括人脸识别模块，用于对采集的视频图像中的人脸进行识别，在与预存人脸照片匹配时获取该人脸提示信息进行播报。其中，通过现实场景拍摄或者第三方提供的人脸照片为模板并存储相关备注数据，当低视力用户使用产品时，产品通过焦点追踪技术或者交互手段等激活相关功能，系统比对人脸信息，并实时播报。提示的信息包括但不限于预登记信息、即时的表情、性别、年龄、穿着打扮等。
[0150] 最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 眼球追踪方法及相关产品 | 2020-05-23 | 57 |
| 通话控制方法及相关产品 | 2020-05-25 | 229 |
| 用于视线追踪的标定方法、装置、移动终端及存储介质 | 2020-05-15 | 196 |
| 一种基于AR智能眼镜的局部图像识别方法及系统 | 2020-05-16 | 298 |
| 眼球追踪方法及相关产品 | 2020-05-23 | 164 |
| 全景拍摄方法及相关产品 | 2020-05-25 | 110 |
| 一种基于视线追踪的履带车枪械瞄准方法 | 2020-05-21 | 585 |
| 显示控制方法及相关产品 | 2020-05-23 | 200 |
| 图像处理方法以及电子设备和存储介质 | 2020-05-13 | 960 |
| 基于眼球追踪的电动内后视镜 | 2020-05-13 | 360 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
眼球追踪摄像头热门专利
QQ群二维码
意见反馈
意见反馈