一种基于虚拟现实中眼动捕捉的跨物体交互方法与装置
专利汇可以提供一种基于虚拟现实中眼动捕捉的跨物体交互方法与装置专利检索，专利查询，专利分析的服务。并且本 发明 公开了一种基于 虚拟现实 中眼动捕捉的跨物体交互装置，包括：头戴式虚拟现实眼镜，获取虚拟现实三维场景图像，并将其根据左右眼在视 角 上的差异显示于显示屏上；眼动追踪设备，可拆卸地固定于所述头戴式虚拟现实眼镜的目镜上，用于拍摄和记录眼睛运动的红外图像，并将该图像输送至主机；主机，输出 虚拟显示 三维场景图像至所述头戴式虚拟现实眼镜的显示屏中；接收所述眼动追踪设备输送来的红外图像；基于OpenCV计算机图形库计算红外图像中瞳孔的 位置 ，分析和处理用户眼动轨迹，根据虚拟距离激活不同 用户界面 的呈现方式和交互内容，本发明还公开了一种跨物体交互方法，该方法能够动态地决定用户界面的内容显示和交互方式。，下面是一种基于虚拟现实中眼动捕捉的跨物体交互方法与装置专利的具体信息内容。
1.一种应用基于虚拟现实中眼动捕捉的跨物体交互装置进行跨物体交互方法，所述跨物体交互装置包括：
头戴式虚拟现实眼镜，获取虚拟现实三维场景图像，并将其根据左右眼在视角上的差异显示于显示屏上；
眼动追踪设备，可拆卸地固定于所述头戴式虚拟现实眼镜的目镜上，用于拍摄和记录眼睛运动的红外图像，并将该图像输送至主机；
主机，输出虚拟现实三维场景图像至所述头戴式虚拟现实眼镜的显示屏中；接收所述眼动追踪设备输送来的红外图像；基于OpenCV计算机图形库计算红外图像中瞳孔的位置，分析和处理用户眼动轨迹，根据虚拟距离激活不同用户界面的呈现方式和交互内容；
所述进行跨物体交互方法包括以下步骤：
(1)眼动追踪设备以30Hz的采样频率连续获取眼睛运动的红外图像，并将该些红外图像发送至主机；
(2)主机根据红外图像确定每帧红外图像中的瞳孔位置，并根据连续多帧红外图像中的瞳孔位置确定眼睛运动轨迹、眼睛运动速度以及眼睛停留时长，得到眼睛运动模式；
(3)主机根据红外图像中瞳孔位置、眼动坐标系与虚拟现实图像坐标系的关系确定虚拟物体，得到虚拟距离d；
(4)主机根据虚拟距离d和眼睛运动模式激活与该虚拟距离对应的用户界面的交互方式与用户界面的内容显示，具体过程为：
当d≥3000mm时，采用用户界面悬浮于虚拟物体中心点位置上方空中的呈现方式；此时，用户界面尺寸为虚拟现实眼镜中显示屏的1/16，用户界面的交互内容为物体的标记信息，字体大小为80px；当用户头部和眼睛运动均保持静止达1秒时，保持用户界面的中心位置不变，动态持续放大用户界面的尺寸至原来的2倍，使之成为虚拟现实眼镜中显示屏的1/
8，同时交互内容增多；当用户头部或眼睛恢复移动，则自动缩小用户界面至原来尺寸，交互内容也恢复至初始状态；
当1500mm≤d＜3000mm时，采用用户界面半结合于虚拟物体的呈现方式；此时，用户界面尺寸为虚拟现实眼镜中显示屏的1/32，用户界面的宽为W/4，高为H/8，W为显示屏分辨率宽度，H为显示屏分辨率高度，用户界面的交互内容为物体的标记信息与简略的介绍文本、图片以及视频，字体大小为40px；当用户头部和眼睛运动均保持静止达1秒时，保持用户界面的中心位置不变，动态持续放大用户界面的尺寸至原来的2倍，使之成为虚拟现实眼镜中显示屏的1/16，同时交互内容增多；当用户的头部或者眼睛恢复运动，则自动缩小用户界面至原来尺寸，交互内容也恢复至初始状态；
当d＜1500mm时，采用用户界面完全结合于虚拟物体的呈现方式，即用户界面的平面完全投影在虚拟物体的表面上；此时，用户界面尺寸为注视焦点所在的物体表面的大小，用户界面交互内容为物体的标记信息、详细的文本、图片以及视频，字体大小为20px；当用户头部和眼睛运动均保持静止达1秒时，动态更新一次用户界面中的内容；当用户的头部或者眼睛恢复运动，则交互内容自动恢复至初始状态。
2.如权利要求1所述的应用基于虚拟现实中眼动捕捉的跨物体交互装置进行跨物体交互方法，其特征在于，所述的头戴式虚拟现实眼镜包括：
目镜，调整用户视线在显示屏上的对焦位置，以便用户视线能够准确地对焦于显示屏上；
显示屏，根据左右眼在视角上的差异分别显示虚拟现实三维场景，这样能使用户的左右眼感知到不一样的图像，形成对虚拟现实三维环境的空间认知；
扬声器，根据用户界面显示的内容播放相应的三维立体声；
固定支撑结构，是一个眼镜形式的可穿戴结构，用于支撑、固定所述的目镜与显示屏；
以及
连接线；连接主机，用于虚拟现实三维场景图像和交互内容的通信。
3.如权利要求1所述的应用基于虚拟现实中眼动捕捉的跨物体交互装置进行跨物体交互方法，其特征在于，所述的眼动追踪设备包括：
3D打印的框架，与所述头戴式虚拟现实眼镜的目镜形状大小一致，用于固定红外发射器、微型红外摄像头；
多个红外发射器，用于发射一定频率的红外光至眼睛上；
微型红外摄像头，用于捕捉眼球和瞳孔运动的红外图像，该红外摄像头可以有效地避免头戴式虚拟现实眼镜中显示屏发出的可见光干扰，捕捉到清晰的眼球和瞳孔的红外图像；以及
接口，用于将捕捉到的红外图像传送至主机。
4.如权利要求3所述的应用基于虚拟现实中眼动捕捉的跨物体交互装置进行跨物体交互方法，其特征在于，所述的红外发射器为贴片式红外光LED。
5.如权利要求1所述的应用基于虚拟现实中眼动捕捉的跨物体交互装置进行跨物体交互方法，其特征在于，所述眼动坐标系与虚拟现实图像坐标系的关系的获得方法为：
用户按照顺序看头戴式虚拟现实眼镜中显示屏四个角上的红色标记点，以左下角为坐标原点，则四个红色标记点分别记为(0,0)，(0,显示屏分辨率高度H)，(显示屏分辨率宽度W,H)，(W,0)；用户在看这四个红色标记点时，所记录的红外图像上瞳孔的坐标记为(0,0)，(0,h)，(w,h)，(w,0)；这样，所有在红外图像中四个坐标(0,0)，(0,h)，(w,h)，(w,0)形成的范围内的瞳孔位置(x,y)，均线性投射至头戴式虚拟现实眼镜的显示屏中四个坐标{(0,0)，(0,H)，(W,H)，(W,0)}范围内的坐标(X，Y)。
6.如权利要求5所述的应用基于虚拟现实中眼动捕捉的跨物体交互装置进行跨物体交互方法，其特征在于，所述眼动坐标系与虚拟现实图像坐标系的关系的获得方法为：所述的虚拟距离的获得过程为：
根据虚拟现实眼镜的显示屏上的眼动位置坐标(X，Y)，在显示屏上显示的虚拟现实三维场景中，找到对应的用户注视焦点所在的虚拟物体，并得到该虚拟物体的三维坐标中心点到三维场景的摄像机的中心点之间的垂直距离，该垂直距离为虚拟距离。
一种基于虚拟现实中眼动捕捉的跨物体交互方法与装置
技术领域
背景技术
发明内容
0)，(0,H)，(W,H)，(W,0)}范围内的坐标(X，Y)。
具体实施方式
0)，(0,H)，(W,H)，(W,0)}范围内的坐标(X，Y)。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种头戴式助视装置 | 2020-05-08 | 555 |
| 一种医学模拟训练系统和方法 | 2020-05-12 | 918 |
| 基于眼球追踪的测光方法及相关产品 | 2020-05-20 | 355 |
| 眼球追踪方法及相关产品 | 2020-05-23 | 57 |
| 眼动追踪设备的拍摄参数调整方法、装置、设备及介质 | 2020-05-26 | 368 |
| 传输方法以及电子设备和计算机存储介质 | 2020-05-11 | 476 |
| 眼球追踪方法及相关产品 | 2020-05-23 | 164 |
| 基于眼球追踪技术的A柱视野盲区辅助视觉系统及其方法 | 2020-05-21 | 463 |
| 一种差分走线电路、电路板、功能模组以及移动终端 | 2020-05-08 | 987 |
| 一种穿戴式视觉跟踪采集图像设备 | 2020-05-18 | 552 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
