基于增强现实的视觉辅助方法及智能穿戴设备
阅读：1017发布：2020-05-17
专利汇可以提供基于增强现实的视觉辅助方法及智能穿戴设备专利检索，专利查询，专利分析的服务。并且本 发明 涉及 增强现实 技术领域，尤其涉及一种基于增强现实的视觉辅助方法和智能穿戴设备，该方法首先获取包含内容信息的外部图像，然后将该内容信息的原本样式变换为预设样式，再发射可形成第一虚拟图像的第一光线，然后接收可形成实景图像的第二光线，最后将第一光线与第二光线作合成处理，呈现合成后的图像。因此，该方法可以将外部图像的原本样式变换为更容易识别的预设样式，并将该预设样式的内容信息形成第一虚拟图像，进而将第一虚拟图像与外部场景进行合成呈现在用户面前，这种基于增强现实的视觉辅助方法可以对用户视觉辅助，使得用户对周围环境或 物体识别 更加清晰， 视野 范围大，用户体验好，使用方便。，下面是基于增强现实的视觉辅助方法及智能穿戴设备专利的具体信息内容。
1.一种基于增强现实的视觉辅助方法，应用于智能穿戴设备，其特征在于，所述方法包括：
获取外部图像，其中，所述外部图像包含内容信息；
使用图像分析算法处理所述外部图像，以使所述内容信息的原本样式变换为预设样式；
发射第一光线，其中，所述第一光线可形成第一虚拟图像，所述第一虚拟图像包含所述预设样式的内容信息；
接收第二光线，其中，所述第二光线可形成实景图像，所述实景图像包含外部场景；
将所述第一光线与所述第二光线作合成处理，呈现合成后的图像。
2.根据权利要求1所述的方法，其特征在于，所述图像分析算法包括图像边缘检测算法，所述使用图像分析算法处理所述外部图像，以使所述内容信息的原本样式变换为预设样式，包括：
使用所述图像边缘检测算法处理所述外部图像，确定所述外部图像中内容信息的每个文字的第一连通域；
渲染每个所述文字的第一连通域，以使所述内容信息的原本样式变换为预设样式。
3.根据权利要求2所述的方法，其特征在于，所述渲染每个所述文字的第一连通域，以使所述内容信息的原本样式变换为预设样式，包括：
对所述外部图像中全部文字的第一连通域作反选处理，得到所述内容信息中非文字区域的第二连通域；
渲染所述第二连通域的原本样式至所述预设样式。
4.根据权利要求1至3任一项所述的方法，其特征在于，所述呈现合成后的图像，包括：
追踪佩戴所述智能穿戴设备的用户眼球的视力缺陷位置；
将所述第一虚拟图像呈现在所述用户的非视力缺陷位置对应的第一视野范围。
5.根据权利要求4所述的方法，其特征在于，所述将所述第一虚拟图像呈现在所述用户的非视力缺陷位置对应的第一视野范围，包括：
确定所述用户的视力缺陷位置在所述智能穿戴设备的坐标系的坐标信息；
根据所述坐标信息，确定所述用户的非视力缺陷位置对应的第一视野范围；
将所述第一虚拟图像呈现在所述第一视野范围。
6.根据权利要求1至3任一项所述的方法，其特征在于，所述获取外部图像，包括：
追踪所述用户的头部转动角度和/或眼球转动角度；
获取所述头部转动角度和/或眼球转动角度对应的第二视野范围内的外部图像。
7.根据权利要求1至3任一项所述的方法，其特征在于，还包括：
获取环境图像；
当从所述环境图像提取出匹配预设形状的物体图像时，检测所述智能穿戴设备与所述物体之间的距离；
根据所述距离，生成第三光线，其中，所述第三光线可形成第二虚拟图像，所述第二虚拟图像包含距离提示信息；
将所述第三光线与所述第二光线作合成处理。
8.根据权利要求7所述的方法，其特征在于，还包括：
使用人脸分析算法处理所述环境图像，得到人物特征信息；
判断预设数据库内是否存在与所述人物特征信息匹配的预设特征信息；
若是，选择与所述预设特征信息对应的身份信息，并根据所述身份信息，生成第四光线，将所述第四光线与所述第二光线作合成处理，其中，所述第四光线可形成第三虚拟图像，所述第三虚拟图像包含所述身份信息。
9.根据权利要求1至3任一项所述的方法，其特征在于，还包括：
获取所述智能穿戴设备的当前位置及目的地位置；
根据所述当前位置及所述目的地位置，生成语音导航信息及导航指示信息；
根据所述语音导航信息及所述导航指示信息，生成第五光线，其中，所述第五光线可形成第四虚拟图像，所述第四虚拟图像包含所述导航指示信息；
将所述第五光线与所述第二光线作合成处理。
10.根据权利要求1至3任一项所述的方法，其特征在于，还包括：
获取佩戴所述智能穿戴设备的用户的生理体征信息及周围环境的图片和/或视频；
判断所述生理特征信息是否满足预设报警条件；
若是，发送所述用户的地理位置信息及所述图片和/或视频至目标方。
11.一种智能穿戴设备，其特征在于，包括：
至少一个处理器；和
与所述至少一个处理器通信连接的存储器；
其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至10任一项所述的基于增强现实的视觉辅助方法。
基于增强现实的视觉辅助方法及智能穿戴设备
技术领域
[0001] 本发明涉及增强现实技术领域，特别是涉及一种基于增强现实的视觉辅助方法及智能穿戴设备。
背景技术
[0002] 社会上存在很多视力障碍人群，比如很多因患有眼科疾病而导致视力障碍的人群和低视力人群等，很多视力障碍人群无法通过眼镜、药物以及手术矫正视觉障碍，该人群无法清晰地看清物体，有“隧道视觉”地现象（周边视觉丧失），或者在视野区域存在不可恢复的盲点等等。视力障碍严重影响患者的生活质量和工作能力。
[0003] 目前市面上存在的视觉辅助仪器包括放大镜、电子低视力辅助仪器等，但这些仪器均存在无法看人脸、无法看远处、视野范围小且使用不方便的缺点。
发明内容
[0004] 本发明实施例一个目的旨在提供一种基于增强现实的视觉辅助方法及智能穿戴设备，其能够对用户视觉辅助，使得用户更加清晰地识别周围环境。
[0005] 为解决上述技术问题，本发明实施例提供以下技术方案：在第一方面，本发明实施例提供一种基于增强现实的视觉辅助方法，应用于智能穿戴设备，包括：
获取外部图像，其中，所述外部图像包含内容信息；
使用图像分析算法处理所述外部图像，以使所述内容信息的原本样式变换为预设样式；
发射第一光线，其中，所述第一光线可形成第一虚拟图像，所述第一虚拟图像包含所述预设样式的内容信息；
接收第二光线，其中，所述第二光线可形成实景图像，所述实景图像包含外部场景；
将所述第一光线与所述第二光线作合成处理，呈现合成后的图像。
获取外部图像，其中，所述外部图像包含内容信息；
使用图像分析算法处理所述外部图像，以使所述内容信息的原本样式变换为预设样式；
发射第一光线，其中，所述第一光线可形成第一虚拟图像，所述第一虚拟图像包含所述预设样式的内容信息；
接收第二光线，其中，所述第二光线可形成实景图像，所述实景图像包含外部场景；
将所述第一光线与所述第二光线作合成处理，呈现合成后的图像。
[0006] 在一些实施例中，所述图像分析算法包括图像边缘检测算法，所述使用图像分析算法处理所述外部图像，以使所述内容信息的原本样式变换为预设样式，包括：使用所述图像边缘检测算法处理所述外部图像，确定所述外部图像中内容信息的每个文字的第一连通域；
渲染每个所述文字的第一连通域，以使所述内容信息的原本样式变换为预设样式。
渲染每个所述文字的第一连通域，以使所述内容信息的原本样式变换为预设样式。
[0007] 在一些实施例中，所述渲染每个所述文字的第一连通域，以使所述内容信息的原本样式变换为预设样式，包括：对所述外部图像中全部文字的第一连通域作反选处理，得到所述内容信息中非文字区域的第二连通域；
渲染所述第二连通域的原本样式至所述预设样式。
渲染所述第二连通域的原本样式至所述预设样式。
[0009] 在一些实施例中，所述将所述第一虚拟图像呈现在所述用户的非视力缺陷位置对应的第一视野范围，包括：确定所述用户的视力缺陷位置在所述智能穿戴设备的坐标系的坐标信息；
根据所述坐标信息，确定所述用户的非视力缺陷位置对应的第一视野范围；
将所述第一虚拟图像呈现在所述第一视野范围。
根据所述坐标信息，确定所述用户的非视力缺陷位置对应的第一视野范围；
将所述第一虚拟图像呈现在所述第一视野范围。
[0011] 在一些实施例中，所述方法还包括：获取环境图像；
当从所述环境图像提取出匹配预设形状的物体图像时，检测所述智能穿戴设备与所述物体之间的距离；
根据所述距离，生成第三光线，其中，所述第三光线可形成第二虚拟图像，所述第二虚拟图像包含距离提示信息；
将所述第三光线与所述第二光线作合成处理。
当从所述环境图像提取出匹配预设形状的物体图像时，检测所述智能穿戴设备与所述物体之间的距离；
根据所述距离，生成第三光线，其中，所述第三光线可形成第二虚拟图像，所述第二虚拟图像包含距离提示信息；
将所述第三光线与所述第二光线作合成处理。
[0012] 在一些实施例中，所述方法还包括：使用人脸分析算法处理所述环境图像，得到人物特征信息；
判断预设数据库内是否存在与所述人物特征信息匹配的预设特征信息；
若是，选择与所述预设特征信息对应的身份信息，并根据所述身份信息，生成第四光线，将所述第四光线与所述第二光线作合成处理，其中，所述第四光线可形成第三虚拟图像，所述第三虚拟图像包含所述身份信息。
判断预设数据库内是否存在与所述人物特征信息匹配的预设特征信息；
若是，选择与所述预设特征信息对应的身份信息，并根据所述身份信息，生成第四光线，将所述第四光线与所述第二光线作合成处理，其中，所述第四光线可形成第三虚拟图像，所述第三虚拟图像包含所述身份信息。
[0013] 在一些实施例中，所述方法还包括：获取所述智能穿戴设备的当前位置及目的地位置；
根据所述当前位置及所述目的地位置，生成语音导航信息及导航指示信息；
根据所述语音导航信息及所述导航指示信息，生成第五光线，其中，所述第五光线可形成第四虚拟图像，所述第四虚拟图像包含所述导航指示信息；
将所述第五光线与所述第二光线作合成处理。
根据所述当前位置及所述目的地位置，生成语音导航信息及导航指示信息；
根据所述语音导航信息及所述导航指示信息，生成第五光线，其中，所述第五光线可形成第四虚拟图像，所述第四虚拟图像包含所述导航指示信息；
将所述第五光线与所述第二光线作合成处理。
[0014] 在一些实施例中，所述方法还包括：获取佩戴所述智能穿戴设备的用户的生理体征信息及周围环境的图片和/或视频；
判断所述生理特征信息是否满足预设报警条件；
若是，发送所述用户的地理位置信息及所述图片和/或视频至目标方。
判断所述生理特征信息是否满足预设报警条件；
若是，发送所述用户的地理位置信息及所述图片和/或视频至目标方。
[0015] 在第二方面，本发明实施例提供一种智能穿戴设备，包括：至少一个处理器；和
与所述至少一个处理器通信连接的存储器；
其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的基于增强现实的视觉辅助方法。
与所述至少一个处理器通信连接的存储器；
其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的基于增强现实的视觉辅助方法。
[0016] 本发明实施例的有益效果是：区别于现有技术的情况，在本发明实施例中，首先获取包含内容信息的外部图像，然后使用图像分析算法处理该外部图像，以使该内容信息的原本样式变换为预设样式，再发射第一光线，其中，第一光线可形成包含预设样式内容信息的第一虚拟图像，然后接收可形成实景图像的第二光线，该实景图像包含外部场景，最后将第一光线与第二光线作合成处理，呈现合成后的图像。因此，该方法可以将外部图像的原本样式变换为更容易识别的预设样式，并将该预设样式的内容信息形成第一虚拟图像，进而将第一虚拟图像与外部场景进行合成呈现在用户面前，这种基于增强现实的视觉辅助方法可以对用户视觉辅助，使得用户对外部图像识别更加清晰，视野范围大、用户体验好，使用方便。附图说明
[0017] 一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
[0018] 图1a是本发明实施例提供的一种智能穿戴设备的结构示意图；图1b是本发明另一实施例提供的一种智能穿戴设备的结构示意图；
图1c是图1a所示的透视型导光元件设置在头戴框架上时的示意图；
图1d是图1a所示的显示模块的侧视角度与显示亮度之间的第一关系图；
图1e是图1a所示的显示模块的侧视角度与显示亮度之间的第二关系图；
图1f是图1a所示的显示模块的侧视角度与显示亮度之间的第三关系图；
图2a是佩戴图1a所示的智能穿戴设备时显示模块与用户脸部的位置关系示意图；
图2b是旋转图1a所示的显示模块的示意图；
图3a是图1a所示的智能穿戴设备的成像原理示意图；
图3b是图1a所示的智能穿戴设备的其中一实施例的场景示意图；
图3c是图1a所示的智能穿戴设备的其中一实施例的场景示意图；
图3d是图1a所示的智能穿戴设备的其中一实施例的场景示意图；
图3e是图1a所示的智能穿戴设备的其中一实施例的场景示意图；
图4是图1a所示的智能穿戴设备连接外接设备工作时的示意图；
图5是本发明实施例提供一种基于增强现实的视觉辅助装置的结构示意图；
图6是本发明实施例提供一种基于增强现实的视觉辅助方法的流程示意图；
图7是图6中步骤201的流程示意图；
图8是图6中步骤202的流程示意图；
图9是图8中步骤2022的流程示意图；
图10是图6中步骤205的流程示意图；
图11是图10中步骤2052的流程示意图；
图12是本发明另一实施例提供一种基于增强现实的视觉辅助方法的流程示意图；
图13是本发明又另一实施例提供一种基于增强现实的视觉辅助方法的流程示意图；
图14是本发明又另一实施例提供一种基于增强现实的视觉辅助方法的流程示意图；
图15是本发明又另一实施例提供一种基于增强现实的视觉辅助方法的流程示意图。
图1c是图1a所示的透视型导光元件设置在头戴框架上时的示意图；
图1d是图1a所示的显示模块的侧视角度与显示亮度之间的第一关系图；
图1e是图1a所示的显示模块的侧视角度与显示亮度之间的第二关系图；
图1f是图1a所示的显示模块的侧视角度与显示亮度之间的第三关系图；
图2a是佩戴图1a所示的智能穿戴设备时显示模块与用户脸部的位置关系示意图；
图2b是旋转图1a所示的显示模块的示意图；
图3a是图1a所示的智能穿戴设备的成像原理示意图；
图3b是图1a所示的智能穿戴设备的其中一实施例的场景示意图；
图3c是图1a所示的智能穿戴设备的其中一实施例的场景示意图；
图3d是图1a所示的智能穿戴设备的其中一实施例的场景示意图；
图3e是图1a所示的智能穿戴设备的其中一实施例的场景示意图；
图4是图1a所示的智能穿戴设备连接外接设备工作时的示意图；
图5是本发明实施例提供一种基于增强现实的视觉辅助装置的结构示意图；
图6是本发明实施例提供一种基于增强现实的视觉辅助方法的流程示意图；
图7是图6中步骤201的流程示意图；
图8是图6中步骤202的流程示意图；
图9是图8中步骤2022的流程示意图；
图10是图6中步骤205的流程示意图；
图11是图10中步骤2052的流程示意图；
图12是本发明另一实施例提供一种基于增强现实的视觉辅助方法的流程示意图；
图13是本发明又另一实施例提供一种基于增强现实的视觉辅助方法的流程示意图；
图14是本发明又另一实施例提供一种基于增强现实的视觉辅助方法的流程示意图；
图15是本发明又另一实施例提供一种基于增强现实的视觉辅助方法的流程示意图。
具体实施方式
[0019] 为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
[0020] 请参阅图1a，本发明实施例提供的一种智能穿戴设备，所述智能穿戴设备的总重量小于350克，其包括：头戴框架11、两个显示模块12、两个透视型导光元件13。其中，透视型导光元件13是一种能显示部分实际图像和部分生成虚拟图像的光学合成装置。
[0021] 所述显示模块12以及透视型导光元件13皆设置在头戴框架11上，头戴框架11将显示模块12和透视型导光元件13进行固定。显示模块12设置在透视型导光元件13的上侧，显示模块12发出的光线能够经过透视型导光元件13后发生传导，然后进入人眼。可选地，所述显示模块12还可位于所述透视型导光元件13的侧方。
[0022] 所述智能穿戴设备还包括：主板17，主板17设置在头戴框架11上，且位于二显示模块12之间。所述主板17上设置有处理器，所述处理器用于处理虚拟图像信号并将虚拟图像信息显示在显示模块12上。
[0023] 请参阅图1b，头戴框架11上还设置有单目摄像头111、双目/多目摄像头112、眼球追踪摄像头113、陀螺仪114、加速度计115、磁场计116、景深传感器117、环境光传感器118和/或距离传感器119。
[0024] 单目摄像头111、双目/多目摄像头112、眼球追踪摄像头113、陀螺仪114、加速度计115、磁场计116、景深传感器117、环境光传感器118和/或距离传感器119皆电连接在主板17上。
[0025] 具体地，所述单目摄像头111为彩色单目摄像头，放置于头戴框架11的前部。用户佩戴该智能穿戴设备时，单目摄像头111朝向相对于用户脸部的另一侧，可以使用该摄像头进行拍照。
[0026] 本发明实施例中，头戴框架11用于佩戴在用户的头部，每一透视型导光元件13具有一朝内面，朝内面朝向用户的双眼设置。摄像头14拍摄外部远处的图像，或者拍摄用户想要看清晰的图像，并将该外部图像传送给主板17，该外部图像包含内容信息，由主板17中的处理器进行处理该外部图像信息，具体地：处理器使用图像分析算法处理该外部图像，以使内容信息的原本样式变换为预设样式。外部图像的内容信息包括数字和图像等信息，其原本样式包括数字的原本字体和原本颜色，也包括图像的原本颜色和背景颜色等样式。为了使得用户能够更加清晰地看到该外部图像，处理器将该外部图像的原本样式变换为预设样式，该预设样式是可以由用户自己定义，例如，预设样式是将原本样式中的字体改变以后的样式，或者是将原本样式的字体大小改变或者字体颜色改变或者字体背景颜色改变以后的样式，预设样式比原本样式更加醒目，更加容易识别。
[0027] 因此，用户在看外部图像时，通过预设样式可以更加清晰地识别外部图像的内容信息，处理器在将外部图像的内容信息的原本样式变换为预设样式时，可以采用图像边缘检测算法处理该外部图像，确定外部图像中内容信息的每个文字的第一连通域，其中，在数字图像中，边缘是指图像局部变化最显著的部分，边缘主要存在于目标与目标，目标与背景之间，是图像局部特性的不连续性，如灰度的突变、纹理结构的图标、颜色的图标等。尽管图像的边缘点产生的原因各不相同，但他们都是图形上灰度不连续或灰度急剧变化的点，图像边缘分为阶跃状、斜坡状和屋顶状。一般图像边缘检测方法主要有如下四个步骤：1、图像滤波
传统边缘检测算法主要是基于图像强度的一阶和二阶导数，但导数的计算对噪声很敏感，因此必须使用滤波器来改善与噪声有关的边缘检测器的性能。需要指出的是，大多数滤波器在降低噪声的同时也造成了了边缘强度的损失，因此，在增强边缘和降低噪声之间需要一个折衷的选择。
传统边缘检测算法主要是基于图像强度的一阶和二阶导数，但导数的计算对噪声很敏感，因此必须使用滤波器来改善与噪声有关的边缘检测器的性能。需要指出的是，大多数滤波器在降低噪声的同时也造成了了边缘强度的损失，因此，在增强边缘和降低噪声之间需要一个折衷的选择。
[0028] 2、图像增强增强边缘的基础是确定图像各点邻域强度的变化值。增强算法可以将邻域(或局部)强度值有显著变化的点突显出来。边缘增强一般是通过计算梯度的幅值来完成的。
[0029] 3、图像检测在图像中有许多点的梯度幅值比较大，而这些点在特定的应用领域中并不都是边缘，所以应该用某种方法来确定哪些点是边缘点。最简单的边缘检测判断依据是梯度幅值。
[0030] 4、图像定位如果某一应用场合要求确定边缘位置，则边缘的位置可在子像素分辨率上来估计，边缘的方位也可以被估计出来。近20多年来提出了许多边缘检测算子，在这里我们仅讨论集中常见的边缘检测算子。
[0031] 常见的图像边缘检测算法包括差分边缘检测、Reborts算子、Sobel算子、Prewitt 算子等检测方法。
[0032] 另外，连通域包括单连通区域和多连通区域，复平面上的一个区域G，如果在其中任做一条简单闭曲线，而闭曲线的内部总属于G，就称G为单连通区域。一个区域如果不是单连通区域，就称为多连通区域。
[0033] 因此，处理器通过图像边缘检测算法就可以确定外部图像中内容信息的每个文字第一连通域，也就是确定内容信息中的文字部分，然后渲染每个文字的第一连通域，以使该内容信息的原本样式变换为预设样式，例如，内容信息中的文字原本样式是黑色的文字，经过处理器的渲染，可以将文字颜色变为黄色，而人眼对黄色更加敏感，进而使得人眼更容易识别内容信息的文字。处理器不仅可以渲染外部图像中的文字，还可以渲染文字之外的图像部分，在渲染文字之外的图像部分时，处理器对外部图像中全部文字的第一连通域做反选处理，进而得到内容信息中非文字区域的第二连通域，然后处理器渲染该第二连通域的原本样式至预设样式，例如：外部图像是白底黑字，经过第一部分的渲染之后，外部图像的原本样式变为白底黄字，然后处理器获取全部文字之外的背景的第二连通域，进而将白色背景渲染成黑色背景。
[0034] 处理器将外部图像的内容信息的原本样式变换为预设样式以后，将该外部图像的内容信息传送到显示模块12，由显示模块12进行显示，并且，显示模块12向透视型导光元件13发射第一光线，该第一光线包含虚拟图像信息，同时，外部场景发射第二光线，同样由透视型导光元件13接收，该第二光线可以形成包含外部场景的实景图像，透视型导光元件13将第一光线和第二光线进行合成，然后将合成以后的光线经由一透视型导光元件13的朝内面传导进入用户的左眼，以及经由另一透视型导光元件13的朝内面传导的另一合成光线进入用户的右眼，以在用户的头脑中形成虚拟图像和外部场景的实景图像合成后的图像。
[0035] 参阅图1c，两个透视型导光元件13设置在头戴框架11上，分别独立地嵌入到头戴框架11上。可选地，可在制作透视型导光元件的原材料上设置两个对应于用户左右眼的区域，所述区域的形状大小与上述的独立设置时的每一透视型导光元件13的形状大小相同；最终的效果为一块大的透视型导光元件上设置有两个对应于用户左右眼的区域。可以理解为在一块大的透视型导光元件的原材料上加工出两个与独立设置时的透视型导光元件13的形状大小相同的区域，即两个透视型导光元件13一体成型。所述设置有对应于用户左右眼区域的透视型导光元件嵌入到头戴框架11上。
[0036] 需要说明的是，显示模块12可拆卸安装于头戴框架11上，比如，显示模块为手机、平板电脑等智能显示终端；或者，显示模块固定安装于头戴框架上，比如，显示模块与头戴框架集成设计。
[0037] 头戴框架11上可以安装两个显示模块12，用户的左眼和右眼分别对应地设置一个显示模块12，例如，一个显示模块12用于发射包含左眼虚拟图像信息的第一光线，另一个显示模块12用于发射包含右眼虚拟图像信息的另一第一光线。两个显示模块12可以分别一一对应地位于两个透视型导光元件13的上方，当智能穿戴设备佩戴在用户的头部时，两个显示模块12分别一一对应地位于用户的左眼和右眼的上方；显示模块12也可以位于透视型导光元件的侧方，即两个透视型导光元件位于两个显示模块之间，当智能穿戴设备佩戴在用户的头部时，两个显示模块分别一一对应地位于用户的左眼和右眼的侧方。
[0038] 头戴框架11上也可以安装单个显示模块12，该单个显示模块12上有两个显示区域，一个显示区域用于发射包含左眼虚拟图像信息的第一光线，另一个显示区域用于发射包含右眼虚拟图像信息的另一第一光线。
[0039] 显示模块包括但不限于LCD（Liquid Crystal Display，液晶显示器）、OLED（Organic Light-Emitting Diode，有机发光二极管）、LCOS（Liquid Crystal On Silicon，硅基液晶）等类型的显示器。
[0040] 参阅图1d，图中的横向轴标识侧视角度，纵向轴表示显示亮度。显示模块12为LCD时，显示模块12的亮度是随着观察者的角度来变化的。对于普通LCD，在显示亮度为50%时的侧观察角度θ一般都比较大。
[0041] LCD应用于对于增强现实显示系统时，则比较适用于小的侧观察角度，这样的显示模块12的亮度就会集中在靠近中心的角度区域。因为增强现实显示系统主要使用靠近中心的角度区域，这样的话投影到用户眼中的第一光线及第二光线的亮度会比较高。参阅图1e，应用于增强现实显示系统中的LCD发出的第一光线及第二光线的亮度在显示亮度为50%时的侧观察角度θ一般都比较小。并且，应用于增强现实显示系统中的LCD发出的第一光线及第二光线的亮度的分布关于0度侧视角左右对称，且侧视角度小于60度。即是，用户视角垂直于显示模块12时，显示模块12发出的第一光线及第二光线的亮度的显示亮度为最大，用户视角向两侧偏移时，显示亮度逐渐减小，在侧视角小于60度时，显示亮度为0。
[0042] 可选地，参阅图1f，应用于增强现实显示系统的LCD的发出的第一光线及第二光线的亮度分布可不关于0度侧视角对称，且显示亮度最亮时的侧视角度不为0度。
[0043] 参阅图2a，两个显示模块12分别一一对应地位于两个透视型导光元件13的上方，用户佩戴上所述智能穿戴设备时，显示模块12与用户头部的正平面形成一夹角a，所述夹角a的角度为0度至180度，优选为钝角。同时，显示模块12在水平面上的投影与正平面垂直。
[0044] 参阅图2b，在某些实例中，透视型导光元件13的位置可以绕与水平面垂直的某一转轴旋转一定角度b，所述角度b的角度为0度至180度，优选为0度至90度。同时，对应左眼和右眼的透视型导光元件13可以通过头戴框架11上的机械结构调整间距，以适应不同用户的瞳距，保证使用时的舒适度和成像质量。所述两个透视型导光元件13的边缘之间的最远距离小于150毫米，即对应于左眼设置的透视型导光元件13的左边缘到对应于右眼设置的透视型导光元件13的右边缘的距离小于150毫米。相应的，显示模块12之间通过机械结构连接，所述显示模块12之间的距离也可以进行调整，或者通过调整显示内容在显示模块12上的位置达到同样的效果。
[0045] 头戴框架11可以是用于挂在用户耳部和鼻梁部的眼镜式的框架结构，其上设置有鼻托1110和镜腿1111，通过鼻托1110与镜腿1111固定在用户的头部，所述镜腿1111为可折叠结构，其中鼻托1110对应固定在用户的鼻梁上，镜腿1111对应固定在用户的耳朵上。进一步的，镜腿1111之间还可以通过松紧带相连，佩戴时松紧带收紧镜腿，帮助框架在头部的固定。
[0046] 可选地，鼻托1110和镜腿1111为可伸缩机构，可分别调整鼻托1110的高度和镜腿1111的伸缩长度。同样，鼻托1110和镜腿1111还可以为可拆卸结构，拆卸后可对鼻托1110或者镜腿1111进行更换。
[0047] 可选地，头戴框架11可包括鼻托和伸缩皮筋，通过鼻托与伸缩皮筋固定在用户头部；或者仅包括伸缩皮筋，通过所述伸缩皮筋固定在用户头部。可选地，头戴框架11也可以是用于佩戴在用户头顶和鼻梁部的头盔式框架结构。本发明实施例中，由于头戴框架11的主要作用是用来佩戴在用户的头部以及为显示模块12、透视型导光元件13等光、电元器件提供支撑，头戴框架包括但不限于上述方式，在具备上述主要作用的前提下，本领域技术人员能够根据实际应用的需要对头戴框架作出若干变形。
[0048] 请一并参阅图1a和图3a，经过处理以后的外部图像的内容信息是包含预设样式的内容信息，将该包含预设样式的内容信息传送给显示模块12，显示模块12发射第一光线121，该第一光线121可以形成左眼的第一虚拟图像，该第一虚拟图像包含预设样式的内容信息，第一光线121经由一透视型导光元件13的朝内面131传导的第一光线121进入用户的左眼14；同理，显示模块12发射另一第一光线，该另一第一光线包含预设样式的内容信息，可以形成右眼的第一虚拟图像，该另一第一光线经由另一透视型导光元件的朝内面传导的另一第一光线进入用户的右眼，从而在用户的大脑中形成虚拟图像的视觉感受，另外，不同于谷歌眼镜中通过在用户的右眼前直接设置一块小型显示屏的方式，导致视觉区域较小，本发明实施例中，通过两个透视型导光元件传导更多的显示模块发射的第一光线分别进入用户的双眼，视觉区域较大。因此，该智能穿戴设备可以将远处的图像或者用户看不清的图像形成包含预设样式的内容信息的虚拟图像，以使得用户更加清晰地识别远处的图像。
[0049] 在本发明实施例中，当智能穿戴设备实现增强现实的功能，每一透视型导光元件13还具有一与朝内面相背设置的朝外面；经由透视型导光元件13的朝外面和朝内面透射的包含外部场景的实景图像信息的第二光线进入用户的双眼，以形成混合虚拟图像和真实实景的视觉。再次参阅图1a，一透视型导光元件13还具有与朝内面131相背设置的朝外面132，经由透视型导光元件13的朝外面132和朝内面131透射的包含外部场景的实景图像信息的第二光线151进入用户的左眼14，同理，另一透视型导光元件还具有与其朝内面相背设置的朝外面，经由该透视型导光元件的朝外面和朝内面透射的包含外部场景的实景图像信息的第二光线进入用户的右眼，用户能够看到外界的真实场景，从而形成混合虚拟图像和真实场景的视觉感受。
[0051] 所述双目/多目摄像头112可以是单色或彩色的摄像头，其设置在头戴框架11前部或侧面，且位于单目摄像头111的一侧、两侧或者四周。进一步的，所述双目/多目摄像头112可以带有红外滤光片。使用双目摄像头，可以在获得环境图像的基础上，进一步得到图像上的景深信息。使用多目摄像头，则可以进一步扩展相机的视角，获得更多的环境图像与景深信息。
[0052] 可选地，上述的单目摄像头或双目/多目摄像头中的每一目均可是RGB摄像头、单色摄像头或红外摄像头中的一种。
[0053] 所述眼球追踪摄像头113，设置在透视型导光元件13的一侧，用户佩戴该智能穿戴设备时，眼球追踪摄像头113朝向相对于用户脸部的一侧。所述眼球追踪摄像头113用于跟踪人眼焦点，对人眼所注视的虚拟物件或虚拟屏幕中的特定部位进行追踪和特殊处理。比如，在人眼所注视的物件旁边自动显示此物件的具体信息等。另外对人眼注视的区域可以显示高清晰度的虚拟物件图像，而对其他区域则只显示低清晰度图像即可，这样可以有效减少图像渲染的计算量，而不会影响用户体验。
[0054] 在一些实施例中，一些存在视力缺陷的用户可以通过佩戴该智能穿戴设备协助提高本身的视力，为了更好地呈现虚拟图像和真实场景混合的视觉感受，当用户佩戴该智能穿戴设备，在通过第一光线和第二光线给用户呈现虚拟图像和真实场景时，该眼球追踪摄像头113追踪用户眼球的视力缺陷位置，并将第一虚拟图像呈现在用户的非视力缺陷位置对应的第一视野范围，具体地：该智能穿戴设备存在坐标系，其可以标识用户的整个眼球位置，整个眼球位置对应其可以看到的视野范围，坐标系还可以标识虚拟图像在视野范围的位置，眼球追踪摄像头113可以追踪用户的眼球位置，而处理器确定用户的视力缺陷位置在该坐标系的坐标信息，然后根据该坐标信息，确定用户的非视力缺陷位置对应的第一视野范围，该第一视野范围是用户视力较好的位置，最后，将第一虚拟图像呈现在第一视野范围，例如：用户的视力缺陷位置在眼球周围，那么该智能穿戴设备就将第一虚拟图像呈现在眼球中心所对应的视野范围，或者用户眼球的中心位置视力丧失，那么该智能穿戴设备就将第一虚拟图像呈现在眼球周围所对应的视野范围。这样可以使得经过处理以后的外部图像的内容信息呈现在用户视力更好地视野范围，避开用户视力盲点区域，进而使得用户更好地识别外部图像的内容信息。
[0055] 在一些实施例中，当佩戴该智能穿戴设备的用户转动头部或者转动眼球时，眼球追踪摄像头113可以通过融合陀螺仪114、加速度计115和磁场计116的数据，得到用户头部转动角度和/或眼球转动角度，这样眼球追踪摄像头113就可以获取头部转动角度和/或眼球转动角度对应的第二视野范围内的外部图像，并将该外部图像传送给处理器，由处理器进行相应的处理。
[0056] 在一些实施例中，所述距离传感器119可以设置头戴框架11前部或侧面，其可以检测佩戴该智能穿戴设备的用户与外部环境中一些物体的距离，以此提醒用户注意避让，具体地：当单目摄像头111获取外部图像时，可以获取用户周围的环境图像，处理器从环境图像中提取出物体图像，然后遍历存储器中的预设形状，判断该物体信息是否与预设形状相匹配，该预设形状是预先存储的一些形状，其可以是人们常见物体的一些形状，例如：车子的各种形状、人的形状、建筑的各种形状、电话的形状、茶杯的形状、电脑的形状等，将这些预设形状事先存储在处理器的存储器中，当判断该物体信息与预设形状相匹配时，同时，处理器可以对获取的物体图像进行图像分析，具体可以分析出该物体所包含的具体属性，例如：
若获取的物体信息与汽车的形状相匹配，那么处理器对该物体的图像进行图像分析，分析出该物体是哪一种类型的汽车，还可以获取该汽车的颜色、汽车的车牌，甚至是汽车的车头朝向等信息，然后距离传感器119检测该智能穿戴设备与所述物体之间的距离，再根据该距离，生成第三光线，该第三光线可形成包含距离提示信息的第二虚拟图像，在一些实施例中，第三光线还可以包括物体的属性信息，进而形成包括物体属性信息和距离提示信息的第二虚拟图像，显示模块12发射该第三光线，第三光线经由一透视型导光元件13的朝内面
131传导的第三光线进入用户的左眼14；同理，显示模块12发射另一第三光线，该另一第三光线包含距离提示信息和/或物体的属性信息，可以形成右眼的第二虚拟图像，该另一第三光线经由另一透视型导光元件的朝内面传导的另一第三光线进入用户的右眼，从而在用户的大脑中形成第一虚拟图像和第二虚拟图像的视觉感受，这种操作可以提醒用户与前方物体的距离，提前规划路线，例如：请参阅图3b，如图3b所示若一辆车子在用户前方行驶，那么处理器获取用户周围环境图像以后，可以从环境图像中提取出车子图像，然后遍历存储器的预设形状，若预设形状中包括车子形状，若从环境图像中提取出的车子图像与预设的车子形状相匹配，处理器则通过对物体图像进行图像分析，分析出该物体的具体属性，具体属性可以包括车子的具体型号、车子的颜色、车子的车牌和车子的车头朝向等信息，然后该智能穿戴设备的检测模块检测智能穿戴设备与物体之间的距离，该距离为20米，然后通过第三光线将该距离提示信息和/或前方物体的属性信息形成第二虚拟图像，这样用户既可以看到外部真实场景，又可以看到自己与前方车子的距离信息，同时，该智能穿戴设备可以向用户播放相关提示音频，比如“汽车，白色，车牌号XXXXXX，正前方距离20米，注意躲避”，用户在看到第二虚拟图像和外界真实场景的基础上，又可以听到相关提示音频，进而可以根据自身情况，提前规划路线或者躲避车辆，使用户体验感增强。
若获取的物体信息与汽车的形状相匹配，那么处理器对该物体的图像进行图像分析，分析出该物体是哪一种类型的汽车，还可以获取该汽车的颜色、汽车的车牌，甚至是汽车的车头朝向等信息，然后距离传感器119检测该智能穿戴设备与所述物体之间的距离，再根据该距离，生成第三光线，该第三光线可形成包含距离提示信息的第二虚拟图像，在一些实施例中，第三光线还可以包括物体的属性信息，进而形成包括物体属性信息和距离提示信息的第二虚拟图像，显示模块12发射该第三光线，第三光线经由一透视型导光元件13的朝内面
131传导的第三光线进入用户的左眼14；同理，显示模块12发射另一第三光线，该另一第三光线包含距离提示信息和/或物体的属性信息，可以形成右眼的第二虚拟图像，该另一第三光线经由另一透视型导光元件的朝内面传导的另一第三光线进入用户的右眼，从而在用户的大脑中形成第一虚拟图像和第二虚拟图像的视觉感受，这种操作可以提醒用户与前方物体的距离，提前规划路线，例如：请参阅图3b，如图3b所示若一辆车子在用户前方行驶，那么处理器获取用户周围环境图像以后，可以从环境图像中提取出车子图像，然后遍历存储器的预设形状，若预设形状中包括车子形状，若从环境图像中提取出的车子图像与预设的车子形状相匹配，处理器则通过对物体图像进行图像分析，分析出该物体的具体属性，具体属性可以包括车子的具体型号、车子的颜色、车子的车牌和车子的车头朝向等信息，然后该智能穿戴设备的检测模块检测智能穿戴设备与物体之间的距离，该距离为20米，然后通过第三光线将该距离提示信息和/或前方物体的属性信息形成第二虚拟图像，这样用户既可以看到外部真实场景，又可以看到自己与前方车子的距离信息，同时，该智能穿戴设备可以向用户播放相关提示音频，比如“汽车，白色，车牌号XXXXXX，正前方距离20米，注意躲避”，用户在看到第二虚拟图像和外界真实场景的基础上，又可以听到相关提示音频，进而可以根据自身情况，提前规划路线或者躲避车辆，使用户体验感增强。
[0057] 上述处理器的操作不仅可以由智能穿戴设备的处理器进行，也可以由一些终端设备中的处理器进行，终端设备与该智能穿戴设备可以由电缆进行连接。
[0058] 单目摄像头111获取用户周围环境图像时，若用户周围有人物的存在，该智能穿戴设备可以检测该人物的身份信息，并将人物的身份信息以虚拟图像的方式告知用户，具体地：单目摄像头111获取用户周围外部环境图像，传送给处理器，处理器可以使用人脸分析算法处理该环境图像，分析出环境图像中包含的人物特征信息，具体可以提取出人物的身高、胖瘦、五官特征以及年龄等特征信息，然后遍历预设数据库内是否存在与上述人物特征信息匹配的预设特征信息，预设特征信息是指预先存储的一些人物特征信息，这些人物特征信息可以由用户自己定义存储，并将相应人物特征信息与相应人物身份信息一一对应，存储的人物一般是用户已知身份的人物，例如，用户可以将自己认识的所有人物的特征信息都进行编辑，并将这些人物特征信息与其对应的身份信息存储在预设数据库内，还可以将该人物对应的通讯信息、住址信息或者工作信息等相关信息一起一一对应地存储在预设数据库内。若处理器从环境图像中提取的人物特征信息与预设数据库内的某个人物特征信息相匹配，那么处理器就将与人物特征信息对应的身份信息提取出来，并将该身份信息传送到二显示模块12，由二显示模块12根据该身份信息，生成第四光线，二显示模块12再将该第四光线发射到透视元件13，该第四光线可以形成包含身份信息的第三虚拟图像，同时，外部场景发射第二光线，同样由透视型导光元件13接收，该第二光线可以形成包含外部场景的实景图像，透视型导光元件13将第四光线和第二光线进行合成，然后将合成以后的光线经由一透视型导光元件13的朝内面传导进入用户的左眼，以及经由另一透视型导光元件13的朝内面传导的另一合成光线进入用户的右眼，以在用户的头脑中形成第三虚拟图像和外部场景的实景图像合成后的图像。这样用户可以根据第三虚拟图像中的身份信息得知该人物的身份，甚至是该人物的通讯信息或者工作信息，使得用户可以提前做好相应准备，提升用户的体验感。例如，请参阅图3c，如图3c所示，在用户周围有一人物，该智能穿戴设备首先获取用户周围的环境图像，然后根据该环境图像，采用人脸分析算法对环境图像进行处理分析，具体分析出环境图像中人物的人物特征信息，然后与数据库中的预设人物特征信息进行匹配，进而匹配出该人物姓名是杨XX，性别是女，年龄35岁，身份是用户的隔壁邻居，这些身份信息形成第三虚拟图像，同时，外部场景形成实景图像，第三虚拟图像与实景图像同时呈现在用户面前，同时，该智能穿戴设备可以将该身份信息以音频的形式告知用户，具体音频内容为“杨XX，女，35岁，隔壁邻居”。因此，用户在得知人物身份信息的基础上，可以提前做好准备以应对上述情况，提升用户体验。
[0059] 在一些实施例中，另外一些距离传感器119还可以设置在该智能穿戴设备与用户面部接触的位置，用于检测该智能穿戴设备是否佩戴在用户头部。若用户摘下了该智能穿戴设备，则可以通过关闭显示模块12、处理器等方式节电。
[0060] 所述景深传感器117设置在头戴框架11的前部，可以直接获得环境中的景深信息。与双目/多目摄像头112相比，景深传感器可以获得更准确、分辨率更高的景深数据。
[0061] 在一些实施例中，该智能穿戴设备在实现增强现实的功能时，可以结合单目摄像头111和计算机视觉技术检测环境中的位置已知的标记，帮助该智能穿戴设备进行定位，获得该智能穿戴设备的当前位置，而用户可以将其目的地位置提前存入存储器中，或者用户提前将经常去的一些地址存储在存储器，用户可以从中选择本次要去的目的地位置，处理器获取该智能穿戴设备的当前位置和用户本次的目的地位置以后，可以生成从当前位置到本次目的地位置的导航信息，该导航信息包括语音导航和导航提示信息，进一步地，可以包括地图信息等，然后处理器根据该导航信息形成图像信息，并传送给二显示模块12，二显示模块12根据导航信息的图像信息，生成第五光线，并向透视型导光元件13发射第五光线，该第五光线包含根据导航信息生成的第四虚拟图像信息，同时，外部场景发射第二光线，同样由透视型导光元件13接收，该第二光线可以形成包含外部场景的实景图像，透视型导光元件13将第五光线和第二光线进行合成，然后将合成以后的光线经由一透视型导光元件13的朝内面传导进入用户的左眼，以及经由另一透视型导光元件13的朝内面传导的另一合成光线进入用户的右眼，以在用户的头脑中形成第四虚拟图像和外部场景的实景图像合成后的图像。这样可以使得用户按照导航信息更快速到达目的地，使用方便，体验感更好。例如，请参阅图3d，如图3d所示，该智能穿戴设备首先对用户所在地点进行定位，然后根据目前的位置和目的地位置，生成导航信息提示信息，并将该导航提示信息形成第四虚拟图像，该第四虚拟图像和包含外部场景的实景图像合成后呈现在用户面前，同时，该智能穿戴设备可以以音频的形式再次告知用户该导航提示信息，音频内容为“向前50步，向右转”，这样用户就可以根据该导航提示信息规划自己的路线，使用方便。
[0062] 在一些实施例中，双目/多目摄像头112捕获的环境图像和距离信息可被用于与陀螺仪114、加速度计115、磁场计116的数据相融合，以获取佩戴该智能穿戴设备的用户的生命体征信息以及周围环境的图片和/或视频，生命体征就是用来判断病人的病情轻重和危急程度的指征。主要有心率、脉搏、血压、呼吸、疼痛、血氧、瞳孔和角膜传导的改变等等。其主要包括四大体征，分别是呼吸、体温、脉搏以及血压，它们是维持机体正常活动的支柱，缺一不可，不论哪项异常也会导致严重或致命的疾病，同时某些疾病也可导致这四大体征的变化或恶化。因此处理器通过融合的数据获取用户的生命体征信息，并判断获取的生命特征信息是否正常，判断的基础是人类正常时的一些生命体征信息，当用户的生命体征信息不符合正常的生命体征时，该智能穿戴设备可以自动报警，因此用户可以预先设定预设报警条件，当用户的生命体征信息达到预设报警条件时，也就是用户生命体征信息不正常，或者说发生疾病或者意外时，该智能穿戴设备就可以给医院或者预先存储的目标联系人报警，同时，处理器可以解码周围环境的视频，并获取用户所在的地理位置信息，将用户所在的地理位置和周围环境的视频打包发送给目标方，该目标方可以是医院或者是目标联系人等，这样可以使得用户发生意外或者突发疾病时，该智能穿戴设备的处理器判断出该用户的生命体征信息不正常，那么其可以自动报警，同时将通过摄像头拍摄的周围环境的视频发送给目标方，使得目标方能够及时发现用户突发意外的情况，并根据视频迅速找到用户，并通过视频获知突发意外的过程，进而能够及时营救。因此该操作可以及时获知用户突发意外的情况，并及时进行报警。例如：请参阅图3e，如图3e所示，用户发生车祸事故，该智能穿戴设备检测到用户的生命体征信息不符合正常的生命体征信息，达到预设报警条件，进而该智能穿戴设备将双目/多目摄像头112拍摄的用户发生车祸的情况和目前周围环境的视频发送到医院120急救和用户亲属方，具体发送的内容可以为“用户与物体发生剧烈撞击，位置XXXX，当时情况请见附件视频”，这样可以及时对用户进行救治，并快速获知车祸具体详情，使用方便，用户体验感好。
[0063] 所述环境光传感器118设置在头戴框架11上，可以实时监控环境光线的强弱。该智能穿戴设备可以根据环境光的变化实时的调整显示模块12的亮度，以保证显示效果在不同环境光下的一致性。
[0064] 可选地，该智能穿戴设备还包括：红外/近红外光LED，所述红外/近红外光LED电连接在主板17上，所述红外/近红外光LED用于为双目/多目摄像头112提供光源。具体为，所述红外/近红外LED发出红外线，在红外线到达通过双目/多目摄像头112获取的物体时，所述物体将红外线传导回去，双目/多目摄像头112上的感光元件接收传导回来的红外线并转换成电信号，接着再进行成像处理。
[0065] 参阅图4，二显示模块12通过电缆连接到主板17上。
[0067] 所述视频接口用于连接计算机、手机、或其他设备接收视频信号。其中所述视频接口可以为：hmdi、display port、thunderbolt或usb type-c，micro usb, MHL( Mobile High-Definition Link) 等接口。
[0068] 所述电源接口，用于外接电源或电池供电。所述电源接口包括USB接口或者其他接口。
[0069] 所述通信芯片，用于通过通信协议与外界进行数据交互，具体为通过WiFi、WCDMA、TD-LTE等通信协议连接互联网，再通过互联网获取数据或者与其它智能穿戴设备连接；或者直接通过通信协议与其它智能穿戴设备相连。
[0070] 所述存储器，用于存储数据，主要用于存储显示模块12中显示的显示数据。
[0071] 当智能穿戴设备仅包括如上所述的头戴框架11、二显示模块12、两个透视型导光元件13及主板17，所有的虚拟场景渲染、对应双眼的图像生成均可以在与智能穿戴设备相连的外接设备中进行。所述外接设备包括：计算机、手机、平板电脑等。
[0072] 具体地，智能穿戴设备通过摄像头拍摄外部图像信息，或者通过相应接口接收外部图像信息或者视频信息，并将该外部图像和视频信息解码后在显示模块12上显示。外接设备接收基于增强现实的智能穿戴设备上的多个传感器获取的数据，进行处理后根据数据对双眼显示的图像进行调整，在显示模块12上显示的图像上进行体现。基于增强现实的智能穿戴设备上的处理器仅用于支持视频信号的传输与显示以及传感器数据的传递。
[0073] 同时，与用户的交互通过计算机、手机、平板电脑等外接设备上的应用软件进行，可通过使用外接设备上的鼠标键盘、触摸板或按钮与所述智能穿戴设备进行交互。这种基本结构的应用实例包括但不限于大屏幕便携显示器。智能穿戴设备可以将显示屏幕投射在用户视野内的某一固定位置。用户需要通过与智能穿戴设备相连的设备上的软件进行调整投射屏幕的尺寸、位置等操作。
[0074] 进一步地，该基于增强现实的智能穿戴设备将获取到的外部真实场景图像与虚拟图像合成后进行显示时，显示方式包括第一显示模式、第二显示模式或第三显示模式；所述第一显示模式为虚拟图像与实景图像之间的相对角度以及相对位置皆不固定的显示模式；所述第二显示模式为虚拟图像与实景图像之间的相对角度以及相对位置皆固定的显示模式。所述第三显示模式为虚拟图像与实景图像间的相对角度固定，相对位置不固定的显示模式。
[0075] 第一显示模式、第二显示模式以及第三显示模式与真实环境以及使用者头部之间的关系如下表所示： 与环境相对位置 与环境相对 角度 与头部相对位置 与头部相对角度 第一显示模式 不固定 不固定 固定 固定
第二显示模式 固定 固定 不固定 不固定
第三显示模式 不固定 固定 固定 不固定
需要注意的是，“第一显示模式”、“第二显示模式”或“第三显示模式”可以针对不同的虚拟图像混合使用，可以由系统软件决定也可以由使用者自主设置。
第二显示模式 固定 固定 不固定 不固定
第三显示模式 不固定 固定 固定 不固定
需要注意的是，“第一显示模式”、“第二显示模式”或“第三显示模式”可以针对不同的虚拟图像混合使用，可以由系统软件决定也可以由使用者自主设置。
[0076] 本发明实施例提供的一种基于增强现实的智能穿戴设备，通过摄像头获取外部图像，并且将外部图像中的内容信息的原本样式变换为预设样式，然后通过显示模块显示并发射第一光线，该第一光线包含预设样式的内容信息并且可以形成第一虚拟图像，通过两个透视型导光元件的朝内面将包含左眼虚拟图像信息以及右眼虚拟图像信息的第一光线分别传导进入用户的双眼，同时，通过两个透视型导光元件接收可形成实景图像的第二光线，该实景图像包含外部场景，将第一光线与第二光线作合成处理，从而在用户的大脑中形成第一虚拟图像与外部真实场景相融合的视觉感受，从而可以对用户视觉辅助，以协助用户更清晰地识别周围环境或物体，视野范围大，用户体验好，使用方便。
[0077] 作为本发明实施例的另一方面，本发明实施例提供一种基于增强现实的视觉辅助装置，该基于增强现实的视觉辅助装置作为软件系统，其可以存储在图1a-图4中的智能穿戴设备的处理器中，该基于增强现实的视觉辅助装置包括若干指令，该若干指令存储于存储器内，处理器可以访问该存储器，调用指令进行执行，以完成上述基于增强现实的视觉辅助的控制逻辑。
[0078] 如图5所示，该基于增强现实的视觉辅助装置300包括第一获取模块301，用于获取外部图像，其中，所述外部图像包含内容信息；第一处理模块302，用于使用图像分析算法处理所述外部图像，以使所述内容信息的原本样式变换为预设样式；发射模块303，用于发射第一光线，其中，所述第一光线可形成第一虚拟图像，所述第一虚拟图像包含所述预设样式的内容信息；接收模块304，用于接收第二光线，其中，所述第二光线可形成实景图像，所述实景图像包含外部场景；第一合成模块305，用于将所述第一光线与所述第二光线作合成处理，呈现合成后的图像。
[0079] 该基于增强现实的视觉辅助装置300能够通过获取摄像头拍摄的外部图像，将外部图像中的内容信息的原本样式变换为预设样式，然后发射第一光线，该第一光线包含预设样式的内容信息并且可以形成第一虚拟图像，将包含左眼虚拟图像信息以及右眼虚拟图像信息的第一光线分别传导进入用户的双眼，同时，接收可形成实景图像的第二光线，该实景图像包含外部场景，将第一光线与第二光线作合成处理，从而在用户的大脑中形成第一虚拟图像与外部真实场景相融合的视觉感受，从而可以对用户视觉辅助，以协助用户更清晰地识别周围环境或物体，视野范围大，用户体验好，使用方便。
[0080] 在一些实施例中，请继续参阅图5，第一获取模块301包括追踪单元3011，用于追踪所述用户的头部转动角度和/或眼球转动角度；第一获取单元3012，用于获取所述头部转动角度和/或眼球转动角度对应的第二视野范围内的外部图像。
[0081] 请继续参阅图5，所述图像分析算法包括图像边缘检测算法，第一处理模块302包括确定单元3021，用于使用所述图像边缘检测算法处理所述外部图像，确定所述外部图像中内容信息的每个文字的第一连通域；第一渲染单元3022，用于渲染每个所述文字的第一连通域，以使所述内容信息的原本样式变换为预设样式。
[0082] 请继续参阅图5，第一渲染单元3022包括反选子单元30221，用于对所述外部图像中全部文字的第一连通域作反选处理，得到所述内容信息中非文字区域的第二连通域；渲染子单元30222，用于渲染所述第二连通域的原本样式至所述预设样式。
[0083] 请继续参阅图5，第一合成模块305包括追踪单元3051，用于追踪佩戴所述智能穿戴设备的用户眼球的视力缺陷位置；呈现单元3052，用于将所述第一虚拟图像呈现在所述用户的非视力缺陷位置对应的第一视野范围。
[0084] 请继续参阅图5，呈现单元3052包括第一确定子单元30521，用于确定所述用户的视力缺陷位置在所述智能穿戴设备的坐标系的坐标信息；第二确定子单元30522，用于根据所述坐标信息，确定所述用户的非视力缺陷位置对应的第一视野范围；第一呈现子单元30523，用于将所述第一虚拟图像呈现在所述第一视野范围。
[0085] 在一些实施例中，请继续参阅图5，该基于增强现实的视觉辅助装置300还包括第二获取模块306，用于获取环境图像；检测模块307，用于当从所述环境图像提取出匹配预设形状的物体图像时，检测所述智能穿戴设备与所述物体之间的距离；第一生成模块308，用于根据所述距离，生成第三光线，其中，所述第三光线可形成第二虚拟图像，所述第二虚拟图像包含距离提示信息；第二合成模块309，用于将所述第三光线与所述第二光线作合成处理。
[0086] 在一些实施例中，请继续参阅图5，该基于增强现实的视觉辅助装置300还包括第二处理模块310，用于使用人脸分析算法处理所述环境图像，得到人物特征信息；第一判断模块311，用于判断预设数据库内是否存在与所述人物特征信息匹配的预设特征信息；第二生成模块312，用于选择与所述预设特征信息对应的身份信息，并根据所述身份信息，生成第四光线；第三合成模块313，用于将所述第四光线与所述第二光线作合成处理，其中，所述第四光线可形成第三虚拟图像，所述第三虚拟图像包含所述身份信息。
[0087] 在一些实施例中，请继续参阅图5，该基于增强现实的视觉辅助装置300还包括第三获取模块314，用于获取所述智能穿戴设备的当前位置及目的地位置；第四生成模块315，用于根据所述当前位置及所述目的地位置，生成语音导航信息及导航指示信息；第五生成模块316，用于根据所述语音导航信息及所述导航指示信息，生成第五光线，其中，所述第五光线可形成第四虚拟图像，所述第四虚拟图像包含所述导航指示信息；第四合成模块317，用于将所述第五光线与所述第二光线作合成处理。
[0088] 在一些实施例中，请继续参阅图5，该基于增强现实的视觉辅助装置300还包括第四获取模块318，用于获取佩戴所述智能穿戴设备的用户的生理体征信息及周围环境的图片和/或视频；第二判断模块319，用于判断所述生理特征信息是否满足预设报警条件；第一发送模块320，用于发送所述用户的地理位置信息及所述图片和/或视频至目标方。
[0089] 作为本发明实施例的又另一方面，本发明实施例提供一种基于增强现实的视觉辅助方法，应用于智能穿戴设备。本发明实施例的基于增强现实的视觉辅助方法的功能除了借助上述图5所述的基于增强现实的视觉辅助装置的软件系统来执行，其亦可以借助硬件平台来执行。例如：基于增强现实的视觉辅助方法可以在合适类型具有运算能力的处理器的电子设备中执行，例如：单片机、数字处理器（Digital Signal Processing，DSP）、可编程逻辑控制器（Programmable Logic Controller，PLC）等等。
[0090] 下述各个实施例的基于增强现实的视觉辅助方法对应的功能是以指令的形式存储在电子设备的存储器上，当要执行下述各个实施例的基于增强现实的视觉辅助方法对应的功能时，电子设备的处理器访问存储器，调取并执行对应的指令，以实现下述各个实施例的基于增强现实的视觉辅助方法对应的功能。
[0091] 存储器作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如上述实施例中的基于增强现实的视觉辅助装置300对应的程序指令/模块（例如，图5所述的各个模块和单元），或者下述实施例基于增强现实的视觉辅助方法对应的步骤。处理器通过运行存储在存储器中的非易失性软件程序、指令以及模块，从而执行基于增强现实的视觉辅助装置300的各种功能应用以及数据处理，即实现下述实施例基于增强现实的视觉辅助装置300的各个模块与单元的功能，或者下述实施例基于增强现实的视觉辅助方法对应的步骤的功能。
[0092] 存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0093] 所述程序指令/模块存储在所述存储器中，当被所述一个或者多个处理器执行时，执行上述任意方法实施例中的基于增强现实的视觉辅助方法，例如，执行下述实施例描述的图6至图15所示的各个步骤；也可实现附图5所述的各个模块和单元的功能。
[0094] 如图6所示，该基于增强现实的视觉辅助方法200包括：步骤201、获取外部图像，其中，所述外部图像包含内容信息；
步骤202、使用图像分析算法处理所述外部图像，以使所述内容信息的原本样式变换为预设样式；
步骤203、发射第一光线，其中，所述第一光线可形成第一虚拟图像，所述第一虚拟图像包含所述预设样式的内容信息；
步骤204、接收第二光线，其中，所述第二光线可形成实景图像，所述实景图像包含外部场景；
步骤205、将所述第一光线与所述第二光线作合成处理，呈现合成后的图像。
步骤202、使用图像分析算法处理所述外部图像，以使所述内容信息的原本样式变换为预设样式；
步骤203、发射第一光线，其中，所述第一光线可形成第一虚拟图像，所述第一虚拟图像包含所述预设样式的内容信息；
步骤204、接收第二光线，其中，所述第二光线可形成实景图像，所述实景图像包含外部场景；
步骤205、将所述第一光线与所述第二光线作合成处理，呈现合成后的图像。
[0095] 通过采用该方法，其能够获取外部图像，并将外部图像中的内容信息的原本样式变换为预设样式，然后发射第一光线，该第一光线包含预设样式的内容信息并且可以形成第一虚拟图像，将包含左眼虚拟图像信息以及右眼虚拟图像信息的第一光线分别传导进入用户的双眼，同时，接收可形成实景图像的第二光线，该实景图像包含外部场景，将第一光线与第二光线作合成处理，从而在用户的大脑中形成第一虚拟图像与外部真实场景相融合的视觉感受，从而可以对用户视觉辅助，以协助用户更清晰地识别周围环境或物体，视野范围大，用户体验好，使用方便。
[0096] 在一些实施例中，如图7所示，步骤201包括步骤2011、追踪所述用户的头部转动角度和/或眼球转动角度；
步骤2012、获取所述头部转动角度和/或眼球转动角度对应的第二视野范围内的外部图像。
步骤2012、获取所述头部转动角度和/或眼球转动角度对应的第二视野范围内的外部图像。
[0097] 在一些实施例中，如图8所示，步骤202还包括：步骤2021、使用所述图像边缘检测算法处理所述外部图像，确定所述外部图像中内容信息的每个文字的第一连通域；
步骤2022、渲染每个所述文字的第一连通域，以使所述内容信息的原本样式变换为预设样式。
步骤2022、渲染每个所述文字的第一连通域，以使所述内容信息的原本样式变换为预设样式。
[0098] 在一些实施例中，如图9所示，步骤2022包括：步骤20221、对所述外部图像中全部文字的第一连通域作反选处理，得到所述内容信息中非文字区域的第二连通域；
步骤20222、渲染所述第二连通域的原本样式至所述预设样式。
步骤20222、渲染所述第二连通域的原本样式至所述预设样式。
[0099] 在一些实施例中，如图10所示，步骤205包括：步骤2051、追踪佩戴所述智能穿戴设备的用户眼球的视力缺陷位置；
步骤2052、将所述第一虚拟图像呈现在所述用户的非视力缺陷位置对应的第一视野范围。
步骤2052、将所述第一虚拟图像呈现在所述用户的非视力缺陷位置对应的第一视野范围。
[0100] 在一些实施例中，如图11所示，步骤2052包括：步骤20521、确定所述用户的视力缺陷位置在所述智能穿戴设备的坐标系的坐标信息；
步骤20522、根据所述坐标信息，确定所述用户的非视力缺陷位置对应的第一视野范围；
步骤20523、将所述第一虚拟图像呈现在所述第一视野范围。
步骤20522、根据所述坐标信息，确定所述用户的非视力缺陷位置对应的第一视野范围；
步骤20523、将所述第一虚拟图像呈现在所述第一视野范围。
[0101] 在一些实施例中，如图12所示，该基于增强现实的视觉辅助的方法200还包括：步骤206、获取环境图像；
步骤207、当从所述环境图像提取出匹配预设形状的物体图像时，检测所述智能穿戴设备与所述物体之间的距离；
步骤208、根据所述距离，生成第三光线，其中，所述第三光线可形成第二虚拟图像，所述第二虚拟图像包含距离提示信息；
步骤209、将所述第三光线与所述第二光线作合成处理。
步骤207、当从所述环境图像提取出匹配预设形状的物体图像时，检测所述智能穿戴设备与所述物体之间的距离；
步骤208、根据所述距离，生成第三光线，其中，所述第三光线可形成第二虚拟图像，所述第二虚拟图像包含距离提示信息；
步骤209、将所述第三光线与所述第二光线作合成处理。
[0102] 在一些实施例中，如图13所示，该基于增强现实的视觉辅助的方法200还包括：步骤210、使用人脸分析算法处理所述环境图像，得到人物特征信息；
步骤211、判断预设数据库内是否存在与所述人物特征信息匹配的预设特征信息；
步骤212、若是，选择与所述预设特征信息对应的身份信息，并根据所述身份信息，生成第四光线，将所述第四光线与所述第二光线作合成处理，其中，所述第四光线可形成第三虚拟图像，所述第三虚拟图像包含所述身份信息。
步骤211、判断预设数据库内是否存在与所述人物特征信息匹配的预设特征信息；
步骤212、若是，选择与所述预设特征信息对应的身份信息，并根据所述身份信息，生成第四光线，将所述第四光线与所述第二光线作合成处理，其中，所述第四光线可形成第三虚拟图像，所述第三虚拟图像包含所述身份信息。
[0103] 在一些实施例中，如图14所示，该基于增强现实的视觉辅助的方法200还包括：步骤213、获取所述智能穿戴设备的当前位置及目的地位置；
步骤214、根据所述当前位置及所述目的地位置，生成语音导航信息及导航指示信息；
步骤215、根据所述语音导航信息及所述导航指示信息，生成第五光线，其中，所述第五光线可形成第四虚拟图像，所述第四虚拟图像包含所述导航指示信息；
步骤216、将所述第五光线与所述第二光线作合成处理。
步骤214、根据所述当前位置及所述目的地位置，生成语音导航信息及导航指示信息；
步骤215、根据所述语音导航信息及所述导航指示信息，生成第五光线，其中，所述第五光线可形成第四虚拟图像，所述第四虚拟图像包含所述导航指示信息；
步骤216、将所述第五光线与所述第二光线作合成处理。
[0104] 在一些实施例中，如图15所示，该基于增强现实的视觉辅助的方法200还包括：步骤217、获取佩戴所述智能穿戴设备的用户的生理体征信息及周围环境的图片和/或视频；
步骤218、判断所述生理特征信息是否满足预设报警条件；
步骤219、若是，发送所述用户的地理位置信息及所述图片和/或视频至目标方。
步骤218、判断所述生理特征信息是否满足预设报警条件；
步骤219、若是，发送所述用户的地理位置信息及所述图片和/或视频至目标方。
[0105] 由于装置实施例和方法实施例是基于同一构思，在内容不互相冲突的前提下，方法实施例的内容可以引用装置实施例的，在此不赘述。
[0106] 作为本发明实施例的又另一方面，本发明实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使微波设备执行如上任一项所述的磁控管状态检测方法，例如执行上述任意方法实施例中的磁控管状态检测方法，例如，执行上述任意装置实施例中的磁控管状态检测装置。
[0107] 通过采用该方法，其能够获取外部图像，并将外部图像中的内容信息的原本样式变换为预设样式，然后发射第一光线，该第一光线包含预设样式的内容信息并且可以形成第一虚拟图像，将包含左眼虚拟图像信息以及右眼虚拟图像信息的第一光线分别传导进入用户的双眼，同时，接收可形成实景图像的第二光线，该实景图像包含外部场景，将第一光线与第二光线作合成处理，从而在用户的大脑中形成第一虚拟图像与外部真实场景相融合的视觉感受，从而可以对用户视觉辅助，以协助用户更清晰地识别周围环境或物体，视野范围大，用户体验好，使用方便。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种上肢康复训练装置 | 2020-05-08 | 612 |
| 可调节的经皮瓣环成形术装置、递送系统、用于经皮展开瓣环成形术装置的方法和由一个或多个处理装置执行的方法 | 2020-05-08 | 526 |
| 一种头戴显示设备的反畸变调节方法、装置和虚拟现实系统 | 2020-05-11 | 732 |
| 用功能信息在渲染解剖结构中光照 | 2020-05-13 | 240 |
| 一种沉浸式cave影像制作方法 | 2020-05-13 | 949 |
| 浅景深渲染中语义分割的稳健用途 | 2020-05-14 | 874 |
| 视觉ADAS-ECU硬件在环仿真测试系统 | 2020-05-14 | 410 |
| 一种基于5G网络的沉浸式可视化校园系统 | 2020-05-12 | 407 |
| 计算机实现方法、计算机可读介质和用于混合现实的系统 | 2020-05-13 | 486 |
| 一种多媒体场景复原系统 | 2020-05-08 | 792 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈