基于眼动跟踪的虚拟现实交互方法及装置
阅读：147发布：2020-05-18
专利汇可以提供基于眼动跟踪的虚拟现实交互方法及装置专利检索，专利查询，专利分析的服务。并且本 发明 涉及一种基于眼动 跟踪 的 虚拟现实 交互方法及装置，通过测量眼睛的视觉注意 力 焦点的 位置 实现对眼球运动的实时追踪，其采用红外 光源 和红外摄像头进行眼动信息采集，通过追踪和计算眼部图像中瞳孔的中心位置来测量瞳孔的位置，建立瞳孔的运动轨迹；此外，本发明的基于眼动跟踪的虚拟现实交互装置，其能够通过监测瞳孔的变化，实时监测使用者的生理或认知状态以及情绪变化，例如，惊吓、刺激等反应，并且，本发明能够监控眼动轨迹和瞳孔的变化，例如，扩张或缩小的相应程度，反馈至主控模 块 。，下面是基于眼动跟踪的虚拟现实交互方法及装置专利的具体信息内容。
1.一种眼动跟踪的虚拟现实交互方法，其特征在于，其具体步骤如下：
S1：对屏幕中的图像进行网格划分，预设该图像的坐标点为(xsi，ysi)，预先设定眼动跟踪装置中红外光源发生器的发射频率f1，所述红外光源发生器在工作过程中连续对操作人员眼部进行照射；摄像头采集到的左眼的瞳孔坐标为(xli，yli)，摄像头采集到的右眼的瞳孔坐标为(yri，yri)；
S2：选取屏幕的中心点(xs0，ys0)，注视显示器的屏幕中心点持续第四预设时间t4，确定瞳距值d0以及各瞳孔的基准坐标原点，其中左眼瞳孔的基准坐标(xl0，yl0)，右眼瞳孔的基准坐标为(xr0,yr0)；
S3：根据S2中获得各瞳孔的基准坐标以及瞳距值d0，通过瞳距调节装置带动屈光度调节装置进行调节；通过屏幕中的选取的固定注视点，所述固定注视点的数量为N个，通过多项式拟合，建立屏幕中的坐标系与红外摄像头采集到的瞳孔坐标的映射关系；
S4：确定瞳孔在基准坐标下的瞳孔边界，得到各瞳孔面积s0，得到正常情绪下瞳孔的参数；
S5：通过眼动跟踪装置连续获取各ti时刻眼睛运动的红外图像并将所采集到的红外图像发送至主机；
所述主机根据所述红外图像，获取当前时刻下对应的瞳孔的实际位置(xl，yl)和(xr,yr)；确定瞳孔运动轨迹以及瞳孔停留时间，得到眼睛运动模式；
根据左瞳孔位置信息得到左眼的注视点坐标(xsl，ysl)，
根据右瞳孔位置信息得到右眼的注视点坐标(xsr，ysr)，
其中，(xl，yl)为当前时刻的左眼的瞳孔的实际位置；(xr,yr)为当前时刻下右眼的瞳孔的实际位置；各瞳孔的实际位置为通过红外摄像头采集到的瞳孔的位置；其中(xli，yli)为第i个固定注视点时左眼瞳孔的实际坐标；(xri，yri)为第i个固定注视点时右眼瞳孔的实际坐标；其中1≤i≤N；
当前ti时刻下注视点的坐标(xs，ys)如下：
(xs，ys)＝[ρl·(xsl，ysl)+ρr·(xsr，ysr)]/2
其中，ρl，ρr∈(0，1)，ρl+ρr＝1，ρl为第一加权系数，ρr为第二加权系数；
S6：瞳孔停留时间超过第二预设时间t2，则确定眼睛的焦点移动至该注视点；主机根据所述焦点控制显示器，将显示器屏幕中的图像重新进行显示；
S7：根据第三预设时间t3内所述红外摄像头中连续拍到的瞳孔的个数n，确定眨眼频率f2＝n/t3；
S8：根据眨眼频率f2，进行注意力等级判断：
当眨眼频率f2高于10次/分钟时，判定为操作人员疲劳；或当每次持续闭眼时间超过1s，判定为操作人员疲劳；
否则，判定为操作人员无疲劳出现；
S9：根据S8中的注意力等级判断结果给出相应提示或预警，当无疲劳出现时，视为正常；当判定为疲劳时，进行疲劳预警。
2.如权利要求1所述的基于眼动跟踪的虚拟现实交互方法，其特征在于，S3中通过在显示器的屏幕上选定多个固定注视点作为校正点，得到各校正点在屏幕上的坐标，所述校正点的数量为i个，所述矫正点中至少包括屏幕的中心点，其余i-1个校正点在屏幕上对称分布；选定屏幕中心点作为基准点，逐一点亮所选定的多个校正点，分别对各个校正点进行注视，注视时间为第一预设时间t1，在注视时通过眼动跟踪装置获取当前状态下相应的瞳孔的实际位置，以得到其在屏幕上的注视点。
3.如权利要求2所述的基于眼动跟踪的虚拟现实交互方法，其特征在于，在S4中，获取各时刻下对应的瞳孔面积sj，其中j＝1，2，…，
所述方法还包括如下步骤：
S10：根据当前时刻的瞳孔面积，确定瞳孔的扩张或缩小程度A，其中
A＝(sj-s0)/s0；
S11：进行情绪判断：
当瞳孔面积超过超过瞳孔基准坐标下的瞳孔面积s0的30％，判定操作人员处于紧张情绪状态；
当瞳孔面积超过超过瞳孔基准坐标下的瞳孔面积s0的30％-50％，判定操作人员处于惊恐情绪状态；
S12：根据情绪判断结果进行相应提示或预警。
4.如权利要求3所述的基于眼动跟踪的虚拟现实交互方法，其特征在于，所述红外摄像头采集所述红外光源发生器所发射的红外光，根据红外摄像头接受到的面光源的反射情况，来确定瞳孔的边界得到瞳孔的面积，根据瞳孔面积的变化，进行情绪判断。
5.如权利要求4所述的基于眼动跟踪的虚拟现实交互方法，其特征在于，预设所述眼动跟踪装置中红外摄像头的采集频率为30Hz～2000Hz。
6.如权利要求5所述的基于眼动跟踪的虚拟现实交互方法，其特征在于，S3中，要求各个所选定的矫正点的第一注视时间超过2s；所述眼动跟踪装置设置壳体的第六侧面的外部所述透镜的上方。
7.如权利要求6所述的基于眼动跟踪的虚拟现实交互方法，其特征在于，S6中确定焦点后，以所述焦点为中心进行放大显示，显示的范围的以焦点为圆心，作第一圆，第一圆的直径为5cm-7cm；同时，以该焦点为圆心作第二圆，第二圆的直径为4cm，当焦点处于第二圆内持续进行显示当前画面，当焦点改变后位于第一圆和第二圆形成的圆环内，将当前画面进行平移，当焦点位于第一圆以外时，缩小至初始显示比例。
8.如权利要求7所述的基于眼动跟踪的虚拟现实交互方法，其特征在于，S7中连续无瞳孔图像持续时间为200ms-400ms，则判定为眨眼；
连续无瞳孔图像持续时间超过400ms，则判定为闭眼。
9.如权利要求8所述的基于眼动跟踪的虚拟现实交互方法，其特征在于，S9中，在显示器的屏幕上滚动显示信息条，和/或报警器进行报警操作。
10.一种基于权利要求1至9中任一所述的基于眼动跟踪的虚拟现实交互装置，其特征在于，其包括壳体、显示器、透镜、主控模块、眼动跟踪装置和电源模块，所述主控模块与所述显示器相连，所述显示器、眼动跟踪装置和所述主控模块分别连接至电源模块；所述眼动跟踪装置通过有线或无线方式连接至主机，眼动跟踪装置连续采集不同时刻的眼睛运动的红外图像，并将所采集到的红外图像发送至所述主机；所述主机获取当前状态下相应的瞳孔的实际位置及瞳孔面积；并根据连续多帧红外图像中的瞳孔位置确定眼睛运动轨迹以及眼睛停留时长，得到眼睛运动模式；所述主机发送控制指令至所述主控模块，所述主控模块控制所述显示器根据当前眼睛的焦点重新进行显示。
基于眼动跟踪的虚拟现实交互方法及装置
技术领域
[0001] 本发明涉及虚拟现实技术领域，更为具体地，涉及一种基于眼动跟踪的虚拟现实交互方法及装置。
背景技术
[0002] 虚拟现实技术是一种可以创建和体验虚拟世界的计算机仿真系统，其利用计算机生成一种模拟环境，是一种多源信息融合的、交互式的三维动态视景和实体行为的系统仿真，能够在虚拟三维空间中为用户提供浸入式的交互环境。
[0003] 在虚拟现实领域中，由于价格及便利性的优势，市场上面向普通消费者的主要是头戴式虚拟现实设备，用户可以通过头戴式虚拟现实设备的显示器透过光学镜片在距离很近的屏幕上观看虚拟场景。目前现有技术中的虚拟现实设备，例如，头戴式虚拟现实设备，其对视力缺陷的人员，例如，对于眼睛存在近视、远视、散光等问题需要佩戴眼镜的操作人员不够友好，佩戴舒适性差，影响使用效果。
[0004] 现有技术当中的虚拟现实装置，例如，头戴式虚拟现实设备，仅能够对虚拟场景进行简单呈现或观察，而与相机拍摄视频相比，头戴式虚拟现实设备的显示器中呈现的视频通常含有大量静止和/或活动的由计算机生成的图形、文字，还可能包含较大的、与自然界不同的运动，渐进、渐出等特性，考虑到在现实空间中用户的视觉注意力会在不同距离物体上移动、注视和扫描等，在虚拟现实空间中的用户视觉注意力焦点的变化也有着类似的行为，人类视力的敏锐度随着偏离视网膜中心的距离增大而急剧下降，在通过虚拟现实头戴式设备观看虚拟场景时，用户的视力在同一时刻不可能对屏幕上所有区域保持高敏锐度，现有技术中的虚拟现实装置并未充分考虑到用户的视觉特性。
[0005] 眼动捕捉是通过测量眼睛的视觉注意力焦点的位置实施追踪。此外，现有技术中的头戴式虚拟现实设备虽然能够对虚拟现实设备的使用者的较大的头部动作进行监控，但是其不能对使用者的生理或认知状态以及情绪变化，例如，惊吓、刺激等反应，进行监控。因此，期望提出一种能够对用户瞳孔的状态及运动轨迹进行监测的虚拟现实交互方法及装置。
发明内容
[0006] 针对现有技术中存在的问题，本发明的目的在于提出一种基于眼动跟踪的虚拟现实交互方法及装置，其能够对眼球，例如，瞳孔的运动进行跟踪，通过测量眼睛的视觉注意力焦点的位置实现对眼球运动的实施追踪，具体地，其采用红外光源和红外摄像头进行眼动信息采集，通过追踪和计算眼部图像中瞳孔的中心位置来测量眼球的位置，建立眼球的运动轨迹，此外，本发明的基于眼动跟踪的虚拟现实交互装置，其能够通过监测瞳孔的变化，实时监测使用者的生理或认知状态以及情绪变化，例如，惊吓、刺激等反应，并且，本发明能够根据眼动轨迹和瞳孔的变化，例如，扩张或缩小的相应程度，反馈至主控模块。
[0007] 优选地，本发明的基于眼动跟踪的虚拟现实交互方法及装置还设置有相应的屈光度调节方法及瞳距调节方法，以及所对应的屈光度调节装置和瞳距调节装置，其能够针对不同的操作者进行适应性调节，提高佩戴的舒适性。
[0008] 本发明的技术方案如下：
[0009] 一种眼动跟踪的虚拟现实交互方法，其具体步骤如下：
[0010] S1：对屏幕中的图像进行网格划分，该图像的坐标点为(xsi，ysi)，预先设定眼动跟踪装置中红外光源发生器的发射频率f1，所述红外光源发生器在工作过程中连续对操作人员眼部进行照射；摄像头采集到的左眼的瞳孔坐标为(xli，yli)，摄像头采集到的右眼的瞳孔坐标为(yri，yri)；
[0011] S2：选取屏幕的中心点(xs0，ys0)，注视显示器的屏幕中心点持续第四预设时间t4，确定瞳距值d0以及各瞳孔的基准坐标原点，其中左眼瞳孔的基准坐标(xl0，yl0)，右眼瞳孔的基准坐标为(xr0,yr0)；
[0012] S3：根据S2中获得各瞳孔的基准坐标以及瞳距值d0，通过瞳距调节装置带动屈光度调节装置进行调节；通过屏幕中的选取的固定注视点，所述固定注视点的数量为N个，通过多项式拟合，建立屏幕中的坐标系与红外摄像头采集到的瞳孔坐标的映射关系；
[0013] S4：确定瞳孔在基准坐标下的瞳孔边界，得到各瞳孔面积s0，得到正常情绪下瞳孔的参数；
[0014] S5：通过眼动跟踪装置连续获取各ti时刻眼睛运动的红外图像并将所采集到的红外图像发送至主机；
[0015] 所述主机根据所述红外图像，获取当前时刻下对应的瞳孔的实际位置(xl，yl)和(xr,yr)；确定瞳孔运动轨迹以及瞳孔停留时间，得到眼睛运动模式；
[0016] 根据左瞳孔位置信息得到左眼的注视点坐标(xsl，ysl)，
[0017]
[0018] 根据右瞳孔位置信息得到右眼的注视点坐标(xsr，ysr)，
[0019]
[0020] 其中，(xl，yl)为当前时刻的左眼的瞳孔的实际位置；(xr,yr)为当前时刻下右眼的瞳孔的实际位置；各瞳孔的实际位置为通过红外摄像头采集到的瞳孔的位置；其中(xli，yli)为第i个固定注视点时左眼瞳孔的实际坐标；(xri，yri)为第i个固定注视点时右眼瞳孔的实际坐标；其中1≤i≤N；
[0021] 当前ti时刻下注视点的坐标(xs，ys)如下：
[0022] (xs,ys)＝[ρl.(xsl，ysl)+ρr·(xsr,ysr)]/2
[0023] 其中，ρl，ρr∈(0，1)，ρl+ρr＝1，ρl为第一加权系数，ρr为第二加权系数；
[0024] S6：瞳孔停留时间超过第二预设时间t2，则确定眼睛的焦点移动至该注视点；主机根据所述焦点控制显示器，将显示器屏幕中的图像重新进行显示；
[0025] S7：根据第三预设时间t3内所述红外摄像头中连续拍到的瞳孔的个数n，确定眨眼频率f2＝n/t3；
[0026] S8：根据眨眼频率f2，进行注意力等级判断：
[0027] 当眨眼频率f2高于10次/分钟时，判定为操作人员疲劳；或当每次持续闭眼时间超过1s，判定为操作人员疲劳；
[0028] 否则，判定为操作人员无疲劳出现；
[0029] S9：根据S8中的注意力等级判断结果给出相应提示或预警，当无疲劳出现时，视为正常；当判定为疲劳时，进行疲劳预警。
[0030] 优选地，S3中通过在显示器的屏幕上选定多个固定注视点作为校正点，得到各校正点在屏幕上的坐标，所述校正点的数量为i个，所述矫正点中至少包括屏幕的中心点，其余i-1个校正点在屏幕上对称分布；选定屏幕中心点作为基准点，逐一点亮所选定的多个校正点，分别对各个校正点进行注视，注视时间为第一预设时间t1，在注视时通过眼动跟踪装置获取当前状态下相应的瞳孔的实际位置，以得到其在屏幕上的注视点。
[0032] 所述方法还包括如下步骤：
[0033] S10：根据当前时刻的瞳孔面积，确定瞳孔的扩张或缩小程度A，A＝(sj-s0)/s0；
[0034] S11：进行情绪判断：
[0035] 当瞳孔面积超过超过瞳孔基准坐标下的瞳孔面积s0的30％，判定操作人员处于紧张情绪状态；
[0036] 当瞳孔面积超过超过瞳孔基准坐标下的瞳孔面积s0的30％-50％，判定操作人员处于惊恐情绪状态；
[0037] S12：根据情绪判断结果进行相应提示或预警。
[0038] 优选地，所述红外摄像头采集所述红外光源发生器所发射的红外光，根据红外摄像头接受到的面光源的反射情况，来确定瞳孔的边界得到瞳孔的面积，根据瞳孔面积的变化，进行情绪判断。
[0039] 优选地，预设所述眼动跟踪装置中红外摄像头的采集频率为30Hz～2000Hz。
[0040] 优选地，S3中，要求各个所选定的矫正点的第一注视时间超过2s；所述眼动跟踪装置设置壳体的第六侧面的外部所述透镜的上方。
[0041] 优选地，S6中确定焦点后，以所述焦点为中心进行放大显示，显示的范围的以焦点为圆心，作第一圆，第一圆的直径为5cm-7cm；同时，以该焦点为圆心作第二圆，第二圆的直径为4cm，当焦点处于第二圆内持续进行显示当前画面，当焦点改变后位于第一圆和第二圆形成的圆环内，将当前画面进行平移，当焦点位于第一圆以外时，缩小至初始显示比例。
[0042] 优选地，S7中
[0043] 连续无瞳孔图像持续时间为200ms-400ms，则判定为眨眼；
[0044] 连续无瞳孔图像持续时间超过400ms，则判定为闭眼。
[0045] 优选地，S9中，在显示器的屏幕上滚动显示信息条，和/或报警器进行报警操作。
[0046] 一种基于眼动跟踪的虚拟现实交互装置，其包括壳体、显示器、透镜、主控模块、眼动跟踪装置和电源模块，所述主控模块与所述显示器相连，所述显示器、眼动跟踪装置和所述主控模块分别连接至电源模块；所述眼动跟踪装置通过有线或无线方式连接至主机，眼动跟踪装置连续采集不同时刻的眼睛运动的红外图像，并将所采集到的红外图像发送至所述主机；所述主机获取当前状态下相应的瞳孔的实际位置及瞳孔面积；并根据连续多帧红外图像中的瞳孔位置确定眼睛运动轨迹以及眼睛停留时长，得到眼睛运动模式；所述主机发送控制指令至所述主控模块，所述主控模块控制所述显示器根据当前眼睛的焦点重新进行显示。
[0047] 与现有技术相比，本发明的基于眼动跟踪的虚拟现实交互方法及装置，设置有屈光度调节装置和瞳距调节装置，其能够针对不同的操作者进行适应性调节，提高佩戴的舒适性。
[0048] 本发明的基于眼动跟踪的虚拟现实交互方法及装置其对眼球的运动进行跟踪，通过测量眼睛的视觉注意力焦点的位置实现对眼球运动的实施追踪，具体地，其通过对屏幕中的图像进行网格划分，确定屏幕中图像的坐标点，并预设眼动追踪装置中的红外光源发生器的发射频率，通过摄像头，例如，红外摄像头进行眼动信息采集，采集到操作人员的瞳距值以及各瞳孔的坐标。优选地，选取屏幕上的多个固定注视点对瞳孔的坐标进行矫正，得到各瞳孔的基准坐标。之后，通过瞳距调节装置带动屈光度调节装置进行调节；建立屏幕中的坐标系与红外摄像头采集到的瞳孔坐标的映射关系；通过追踪和计算眼部图像中瞳孔的中心位置来测量眼球的位置，建立眼球的运动轨迹。
[0049] 此外，本发明的基于眼动跟踪的虚拟现实交互方法及装置，其能够通过监测瞳孔的变化，例如，确定瞳孔在基准坐标下的瞳孔边界，得到各瞳孔面积s0，得到正常情绪下瞳孔的参数；并且将其与各时刻下对应的瞳孔面积sj进行对比，进而进行情绪判断：实时监测使用者的生理或认知状态以及情绪变化，例如，惊吓、刺激等反应。并且，本发明能够根据眼动轨迹和瞳孔的变化，例如，扩张或缩小的相应程度，反馈至主控模块并进行相应的提示或预警。附图说明
[0050] 本发明上述和/或附加方面的优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
[0051] 图1是根据本发明的基于眼动跟踪的虚拟现实交互方法的流程图；
[0052] 图2是根据本发明的基于眼动跟踪的虚拟现实交互方法的情绪判断的流程图；
[0053] 图3是根据本发明的基于眼动跟踪的虚拟现实交互装置的结构示意框图。
具体实施方式
[0054] 为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
[0055] 根据本发明的实施例的基于眼动跟踪的虚拟现实交互方法，如图1至图3所示，其具体步骤如下：
[0056] S1：对屏幕中的图像进行网格划分，该图像的坐标点为(xsi，ysi)，预先设定眼动跟踪装置中红外光源发生器的发射频率f1，所述红外光源发生器在工作过程中连续对操作人员眼部进行照射；摄像头采集到的左眼的瞳孔坐标为(xli，yli)，摄像头采集到的右眼的瞳孔坐标为(yri，yri)；；
[0057] 优选地，预设所述红外光源发生器的发射频率为100Hz～2000Hz。
[0058] 优选地，所述红外光源发生器的发射频率为500Hz。
[0059] 优选地，预设所述眼动跟踪装置中红外摄像头的采集频率为30Hz～2000Hz，以便稳定采样。
[0060] 优选地，所述红外摄像头的采集频率为300Hz～500Hz。
[0061] S2：打开显示器，通过显示器的屏幕中示出的内容，选取屏幕的中心点(xs0，ys0)，注视显示器的屏幕中心点持续第四预设时间t4，确定瞳距值d0以及各瞳孔的基准坐标原点，其中左眼瞳孔的基准坐标(xl0，yl0)，右眼瞳孔的基准坐标为(xr0,yr0)；
[0062] S3：根据S2中获得各瞳孔的基准坐标以及瞳距值d0，通过瞳距调节装置带动屈光度调节装置进行调节；通过屏幕中的选取的固定注视点，所述固定注视点的数量为N个，通过多项式拟合，建立屏幕中的坐标系与红外摄像头采集到的瞳孔坐标的映射关系；
[0063] 具体地，对左眼瞳孔和右眼瞳孔的位置分别进行矫正，在显示器的屏幕上选定多个矫正点，依次点亮所选定的多个矫正点，并按照第一预设时间t1分别对各个矫正点进行注视，在注视时通过眼动跟踪装置中的红外摄像头采集在第一预设时间内相应的瞳孔所反射的红外光源发生器所发射的红外光，获取当前状态下所述瞳孔的实际位置。计算得到该瞳孔的基准坐标；
[0064] 优选地，要求各个所选定的矫正点的第一注视时间t1超过2s，以便采集到更稳定的眼动数据；
[0065] 优选地，眼动跟踪装置设置壳体的第六侧面的外部所述透镜的上方。
[0066] 进一步地，通过五点法或者九点法对初始状态下瞳孔的位置进行矫正，获取瞳孔的基准坐标。
[0067] 具体地，五点法中分别在左眼对应的屏幕上设置五个点，所述五个点的分布规律如下，设定五个点的一个点为第一中心点，其余四个点分布在所述第一中心点的周围，所述四个点的连线呈矩形或正方形，在右眼对应的屏幕上设置五个点，所述五个点的分布规律如下，设定五个点的一个点为第二中心点，其余四个点分布在所述第二中心点的周围，所述四个点的连线呈矩形或正方形.
[0068] 具体地，九点法中分别在左眼对应的屏幕上设置九个点，所述九个点的分布规律如下，所述九个点呈三行三列均匀排布；在右眼对应的屏幕上设置九个点，所述九个点的分布规律如下，所述九个点呈三行三列均匀排布。
[0069] 并列地，S3中通过在显示器的屏幕上选定多个固定注视点作为校正点，得到各校正点在屏幕上的坐标，所述校正点的数量为i个，所述矫正点中至少包括屏幕的中心点，其余i-1个校正点在屏幕上对称分布；选定屏幕中心点作为基准点，逐一点亮所选定的多个校正点，分别对各个校正点进行注视，注视时间为第一预设时间t1，在注视时通过眼动跟踪装置获取当前状态下相应的瞳孔的实际位置，以得到其在屏幕上的注视点。
[0070] S4：确定瞳孔在基准坐标下的瞳孔边界，得到各瞳孔面积s0，得到正常情绪下瞳孔的参数；；
[0071] 优选地，确定瞳孔在基准坐标下的瞳孔边界，以确定瞳孔边界初始参考值，得到正常情绪状态下瞳孔边界的参考值。
[0072] S5：当眼睛运动时，通过眼动跟踪装置连续获取眼睛运动的红外图像，即眼动跟踪装置连续采集不同时刻的眼睛运动的红外图像，并将该些红外图像发送至主机；主机根据红外图像确定各红外图像中的瞳孔位置，并根据连续多个红外图像中的瞳孔位置确定眼睛运动轨迹以及眼睛停留时间，得到瞳孔运动模式；
[0073] 进一步地，通过眼动跟踪装置连续获取各ti时刻眼睛运动的红外图像并将所采集到的红外图像发送至主机；
[0074] 所述主机根据所述红外图像，获取当前时刻下对应的瞳孔的实际位置(xl，yl)和(xr,yr)；确定瞳孔运动轨迹以及瞳孔停留时间，得到眼睛运动模式；
[0075] 根据左瞳孔位置信息得到左眼的注视点坐标(xsl，ysl)，
[0076]
[0077] 根据右瞳孔位置信息得到右眼的注视点坐标(xsr，ysr)，
[0078]
[0079] 其中，(xl，yl)为当前时刻的左眼的瞳孔的实际位置；(xr，yr)为当前时刻下右眼的瞳孔的实际位置；各瞳孔的实际位置为通过红外摄像头采集到的瞳孔的位置；其中(xli，yli)为第i个固定注视点时左眼瞳孔的实际坐标；(xri，yri)为第i个固定注视点时右眼瞳孔的实际坐标；其中1≤i≤N；
[0080] 当前ti时刻下注视点的坐标(xs，ys)如下：
[0081] (xs，ys)＝[ρl·(xsl，ysl)+ρr·(xsr，ysr)]/2
[0082] 其中，ρl，ρr∈(0，1)，ρl+ρr＝1，ρl为第一加权系数，ρr为第二加权系数；
[0083] S6：瞳孔某一坐标点处停留时间超过第二预设时间t2，则确定眼睛的焦点移动至该坐标点处；主机根据所述焦点控制显示器，将显示器屏幕中的图像重新进行显示；优选地，第二预设时间t2小于2秒。
[0084] 优选地，S6中确定焦点后，以所述焦点为中心进行放大显示，显示的范围的以焦点为圆心，做半径为5cm的第一圆，同时，以焦点为圆心做半径为4cm的第二圆，当焦点处于第二圆内持续进行显示当前画面，当焦点处于第一圆和第二圆形成的圆环内，将当前画面进行平移，当焦点位于第一圆以外时，缩小至初始显示比例。
[0085] S7：根据第三预设时间t3内所述红外摄像头中连续拍到的瞳孔的个数n，确定眨眼频率f2＝n/t3；
[0086] 优选地，S7中
[0087] 连续无瞳孔图像持续时间为200ms-400ms，则判定为眨眼；
[0088] 连续无瞳孔图像持续时间超过400ms，则判定为闭眼。
[0089] 优选地，S9中，在显示器的屏幕上滚动显示信息条，和/或报警器进行报警操作。
[0090] S8：根据眨眼频率f2，进行注意力等级判断：
[0091] 当眨眼频率f2高于10次/分钟时，判定为操作人员疲劳；或当每次持续闭眼时间超过1s，判定为操作人员疲劳；
[0092] 否则，判定为操作人员无疲劳出现；
[0093] 根据S8中的注意力等级判断结果给出相应提示或预警，当无疲劳出现时，视为正常；当判定为疲劳时，进行疲劳预警。
[0094] S9：根据注意力等级判断结果，给出相应提示或预警。当无疲劳出现时，视为正常；当判定为疲劳时，进行疲劳预警；
[0095] 优选地，主机控制显示器，在显示器的屏幕上滚动显示信息条；
[0096] 优选地，主机控制报警器进行报警。
[0097] 优选地，在S4中，获取各时刻下对应的瞳孔面积sj，其中j＝1，2，…，[0098] 所述方法还包括如下步骤：
[0099] S10：根据当前时刻的瞳孔面积，确定瞳孔的扩张或缩小程度A，A＝(sj-s0)/s0；
[0100] S11：进行情绪判断：
[0101] 当瞳孔面积超过超过瞳孔基准坐标下的瞳孔面积s0的30％，判定操作人员处于紧张情绪状态；
[0102] 当瞳孔面积超过超过瞳孔基准坐标下的瞳孔面积s0的30％-50％，判定操作人员处于惊恐情绪状态；
[0103] S12：根据情绪判断结果进行相应提示或预警。
[0104] 优选地，S6中确定焦点后，以所述焦点为中心进行放大显示，显示的范围的以焦点为圆心，作第一圆，第一圆的直径为5cm-7cm；同时，以该焦点为圆心作第二圆，第二圆的直径为4cm，当焦点处于第二圆内持续进行显示当前画面，当焦点改变后位于第一圆和第二圆形成的圆环内，将当前画面进行平移，当焦点位于第一圆以外时，缩小至初始显示比例。
[0105] 优选地，所述红外摄像头采集所述红外光源发生器所发射的红外光源，根据红外摄像头接受到的面光源的多少，来确定瞳孔的边界，进行情绪判断。
[0106] 优选地，所述红外图像中瞳孔为红外光反射特征最明显的部分，形成一个最亮的光点，该亮点即为瞳孔位置，该亮点所在的位置为瞳孔在红外图像中的平面坐标，记为(x，y)，优选地，设定所述眼动坐标系为红外图像内的坐标系，获得并标记瞳孔的位置，根据红外图像中瞳孔位置、眼动坐标系与虚拟现实图像坐标系的关系确定虚拟物体，得到虚拟距离d。
[0107] 在本实施例中，采用置于透镜的第二端端正上方的壳体上的两个眼动追踪设备，分别获得左、右眼睛运动的红外图像。
[0108] 优选地，所述红外光源发生器采用贴片式红外光LED，且均匀地贴于所述壳体的外围一周且面向操作人员人眼方向，红外摄像头固定于眼动跟踪装置的边缘处。
[0109] 优选地，根据红外图像中瞳孔位置和瞳孔的偏移角度确定显示屏上眼睛注视的焦点，这个焦点是根据单眼的瞳孔位置确定的焦点，双眼的焦点在看一个物体的时候视线交叉，交叉点就落在焦点物体上，
[0111] 进一步地，保持用户界面的中心位置不变，动态持续放大用户界面的尺寸至设定的倍数同时交互内容增多；当眼睛恢复移动，则主机控制用户界面自动缩小至原来尺寸，交互内容也恢复至初始状态。
[0112] 根据本发明的基于眼动跟踪的虚拟现实交互装置，其包括壳体、显示器、透镜、主控模块、眼动跟踪装置和电源模块，所述主控模块与所述显示器相连，所述显示器、眼动跟踪装置和所述主控模块分别连接至电源模块。
[0113] 所述壳体具有第一部分、第二部分、第三部分、第四部分、第五部分和第六部分，其中所述第一部分为壳体的顶部，所述第二部分为所述壳体的底部，所述第三部分为所述壳体的第一侧部，所述第四部分为所述壳体的第二侧部，所述壳体的各个部分连接处采用圆角过渡，所述第五部分为所述壳体的前部，所述第六部分为所述壳体的后部，所述壳体的后部靠近操作人员的眼部。
[0114] 所述壳体的两个侧部均设置有连接固定装置，所述连接固定装置将本发明的基于眼动跟踪的虚拟现实交互装置连接至所述操作人员的头部。优选地，所述连接固定装置为固定带。
[0115] 所述壳体的第六部分上设置透镜孔，所述透镜的镜筒的第一端位于所述壳体内部，通过第一夹持装置，将所述透镜支撑在所述壳体的内部，所述透镜的镜筒的第二端穿过所述壳体的第六部分上的透镜孔伸出所述壳体外，所述透镜的镜筒依靠所述透镜孔的边缘进行支撑以及固定。优选地，所述透镜设置有透镜调节机构，所述透镜调节机构根据操作人员的瞳距至调节透镜的两个镜筒之间的距离。优选地，所述透镜孔的水平方向的尺寸大于透镜孔的直径，以便进行瞳距调节。
[0116] 优选地，所述透镜的镜筒上设置有第一贴片和第二贴片，所述各贴片与透镜的镜筒固接，随镜筒移动，以便在进行瞳距调节时，挡住所述透镜孔上的空隙，保护壳体内部结构。
[0117] 优选地，所述透镜调节装置分别与透镜的各镜筒连接。
[0119] 所述透镜的镜筒的第一端位于所述显示器的屏幕和所述壳体的第六部分之间。
[0120] 所述主控模块位于所述壳体内部，所述主控模块依靠第三夹持定位装置进行固定；所述主控模块设置有多个接口，所述接口至少包括显示器接口、电机接口、红外光源发生器接口和锁紧机构接口；优选地，所述主控模块通过有线方式连接至主机。
[0121] 并列地，所述主控模块通过无线方式与主机进行通讯，所述主控模块与所述第一无线收发模块相连，所述第一无线收发模块与主机上的第二无线收发模块相互通讯，以便主控模块与主机进行相互通讯。
[0122] 从所述壳体的第六部分的外侧壁设置有沿着远离所述壳体的本体部进行延伸的支撑部，所述支撑部与操作人员的面部接触，在所述操作人员的面部，例如，操作人员的眼部与透镜的镜筒的第二端之间形成容纳空间。优选地，在所述支撑部的外层设置有与人体皮肤接触有弹性垫，所述弹性垫能够增加使用过程中操作人员的舒适性，避免在低温时设备温度随之下降，影响眼部周围血液流通；同时，可避免使用过程中所述支撑部直接接触皮肤造成的勒痕，影响眼部周围血液流通。
[0123] 优选地，所述弹性垫可拆卸地连接至所述支撑部。
[0124] 优选地，所述支撑部为环形结构件，所述环境结构件的内部为中空，支撑部远离所述壳体的第六部分的端部设置有凹槽，所述弹性垫的基部压入所述凹槽内，当所述弹性垫损坏或被污染后，或气温过高被汗液浸湿后，可根据需要进行更换。
[0125] 优选地，所述支撑部的侧部和下部均设置透气结构和透光结构，以维持本发明的基于眼动跟踪的虚拟现实交互装置的容纳空间内的环境与外部环境一致，避免在全封闭黑暗环境下瞳孔收缩，影响眼部肌肉动作，长期以往对视力造成影响。
[0126] 与所述支撑部相连的所述壳体的第六部分的区域内设置有多个第一孔，所述第一孔配置用于导线和控制线的进出。
[0127] 本发明的基于眼动跟踪的虚拟现实交互模块，还包括屈光度调节装置和瞳距调节装置，以便精准地解决屈光不正的问题。
[0128] 所述屈光度调节装置包括镜片、托架、托架连接件；所述瞳距调节装置包括导轨、滑块、电机、传动装置、限位装置和锁紧装置，所述电机和所述锁紧装置与所述电源模块相连所述电机、锁紧装置分别与所述主控模块相连，主控模块控制所述电机带动所述传动装置进行运动，所述传动装置与电机的输出轴相连，所述传动装置的输出端与滑块相连，从而带动所述滑块进行动作进行瞳距调整，所述限位机构分别位于导轨的中部和两侧，其限制所述滑块的移动范围，当瞳距等于通过眼动跟踪装置测得的初始参考瞳距值时，主控模块控制所述锁紧机构进行动作将所述滑块固定在该位置。
[0129] 所述托架与所述滑块的底部通过所述托架连接件进行连接，所述托架为框架结构，所述托架具有支撑边缘，以避免镜片从框架结构中滑出，所述托架的底部设置托板，所述托板托住所述镜片以避免所述镜片从所述托架的底部滑出，所述托架的四周设置有卡爪，所述卡爪为弹性结构件，镜片安装至托架后，拨动所述卡爪将镜片卡紧固定至所述托架，通过放置相应的使用者的所需要的镜片，实现屈光度的调节。
[0131] 优选地，所述卡爪的数量为四个。
[0132] 所述电机包括第一电机和第二电机，所述导轨包括第一导轨和第二导轨。所述限位装置包括第一限位装置、第二限位装置和第三限位装置，所述滑块包括第一滑块和第二滑块，所述锁紧装置包括第一缩紧装置和第二锁紧装置，所述托架连接件包括第一托架连接件和第二托架连接件，所述传动装置包括第一传动位置和第二传动装置。
[0133] 所述第一电机、第一锁紧装置分别与所述主控模块相连，主控模块控制所述第一电机带动第一传动装置进行运动，所述第一传动装置与第一电机的输出轴相连，所述第一传动装置的输出端与第一滑块相连，从而带动所述第一滑块进行动作实现瞳距调整，所述第三限位装置位于第一限位装置和第二限位装置之间；具体地，所述第三限位装置位于第一导轨和第二导轨之间，所述第一限位中装置位于第一导轨远离所述第三限位装置的一侧，第一限位装置和第三限位装置共同限制所述第一滑块的移动范围，当瞳距等于通过眼动跟踪装置测得的初始参考瞳距值，主控模块控制所述第一锁紧机构进行动作将所述第一滑块固定在该侧瞳孔所对应的位置。
[0134] 所述第一电机与所述电源模块相连，所述第一托架与所述第一滑块的底部通过所述第一托架连接件进行连接，所述第一托架为框架结构，所述第一托架具有支撑边缘，以避免镜片从框架结构中滑出的边缘，所述第一托架的底部设置托板，所述托板托住所述镜片以避免所述镜片从所述第一托架的底部滑出，所述第一托架的四周设置有卡爪，所述卡爪为弹性结构件，镜片安装至托架后，拨动所述卡爪将镜片卡紧固定至所述第一托架，通过放置相应的使用者的所需要的镜片，实现屈光度的调节。
[0135] 所述第二电机、第二锁紧装置分别与所述主控模块相连，主控模块控制所述第二电机带动所述第二传动装置进行运动，所述第二传动装置与第二电机的输出轴相连，所述第二传动装置的输出端与第二滑块相连，从而带动所述第二滑块进行动作进行瞳距调整，所述第二限位装置位于第二导轨远离第三限位装置的一侧，第二限位装置和第三限位装置共同限制所述第二滑块的移动范围，当瞳距等于通过眼动跟踪装置测得的初始参考瞳距时，主控模块通过控制所述第二锁紧机构进行动作将所述第二滑块固定在该侧瞳孔所对应的位置。
[0136] 所述第二托架与所述第二滑块的底部通过所述第二托架连接件进行连接，所述第二托架为框架结构，所述第二托架具有支撑边缘，以避免镜片从框架结构中滑出的边缘，所述第二托架的底部设置托板，所述托板托住所述镜片以避免所述镜片从所述托架的底部滑出，所述托架的四周设置有卡爪，所述卡爪为弹性结构件，镜片安装至托架后，拨动所述卡爪将镜片卡紧固定至所述托架，通过放置相应的使用者的所需要的镜片，实现屈光度的调节。
[0137] 优选地，各电机、各传动装置、各滑块位于支撑部的内部，所述第三限位装置位于导轨的中部，所述第一限位装置和所述第二限位装置分别各导轨远离所述第三限位装置的一侧的端部。
[0138] 优选地，所述支撑部的第一部分的内部还设置有伸缩单元，所述伸缩单元调节所述屈光度调节单元的竖直方向的高度，所述伸缩单元与导轨固接，所述伸缩单元包括伸缩电机、齿轮、齿条，所述伸缩电机的输出轴连接所述齿轮，所述齿轮与齿条啮合，所述齿条与所述导轨固接，如此设置以调整所述镜片相对于操作人员的瞳孔的竖直距离。
[0139] 优选地，所述伸缩单元的数量为两个，其在所述导轨上对称分布，以便保证伸缩单元动作的平稳性。
[0140] 替换地，所述伸缩单元为蜗轮蜗杆机构。
[0142] 所述眼动跟踪装置包括红外光源发生器和摄像头，所述红外光源发生器位于所述壳体的第六部分的外侧壁，即朝向操作人员眼部的方向，所述红外光源发生器位于所述支撑部和所述透镜的镜筒的第二端所围成的区域内。优选地，所述红外光源发生器位于泪腺的上方，通过所述眼动跟踪装置得到初始参考瞳距值。
[0143] 优选地，所述红外光源为面光源。
[0144] 具体地，所述红外光源发生器位于摄像头的外侧，且所述红外光源发生器与所述摄像头处于同一水平线上，所述摄像头为红外摄像头，所述红外摄像头捕捉眼球和瞳孔的运动轨迹，该红外摄像头能够有效地避免根据本发明中的基于眼动跟踪的虚拟现实交互装置中显示屏发出的可见光的干扰，捕捉到清晰的眼球和瞳孔的运动轨迹；以及所述红外光源发生器与主控模块相连，所述主控模块上设置有红外光源发生器接口，主控模块控制所述红外光源发生器发射预先设定的频率的红外光至眼睛上，所述红外摄像头通过有线或无线方式将捕捉到的眼动信息传输至主机。
[0146] 优选地，所述红外光源发生器的数量为两个，其分别为第一红外光源发生器和第二红外光源发生器，所述红外摄像头的数量为两个，其分别为第一组红外摄像头和第二组红外摄像头。
[0147] 具体地，第一组红外摄像头位于第一红外光源发生器的内侧，所述第一组红外摄像头与第一红外光源发生器的位于第一水平线上，第二组红外摄像头位于第二红外光源发生器的内侧，第二组红外摄像头与第二红外光源发生器位于第二水平线上，第一水平线和第二水平线平行且二者位于同一水平上，所述第一红外光源发生器发射的红外光分别进入操作人员的左眼和操作人员的右眼，所述第一组红外摄像头包括第一摄像头和第二摄像头，所述第二组红外摄像头包括第三摄像头和第四摄像头，所述第一摄像头接受左眼反射的第一红外光源发生器发射的红外光的反射光，所述第二摄像头接受右眼反射的第一红外光源发生器发射的红外光的反射光，所述第二红外光源发生器发射的红外光分别进入操作操作人员的右眼和操作人员的左眼，所述第三摄像头接受右眼反射的第二红外光源发生器发射的红外光的反射光，所述第四摄像头接受左眼反射的第二红外光源发生器发射的红外光的反射光，根据第一摄像头和第四摄像头采集到的数据，对左眼的轨迹进行矫正，根据第三摄像头和第二摄像头采集到的数据，对右眼的轨迹进行矫正。
[0148] 所述第一红外发射器和第二红外发射器之间的距离为d1。
[0149] 优选地，各红外光源发生器的发射频率为100Hz至2kHz。
[0150] 优选地，各红外光源发生器的发射频率预设为500Hz。
[0151] 所述眼动跟踪装置拍摄和记录操作人员眼球的运动轨迹，并将该运动轨迹输送至主机。
[0152] 所述主机输出虚拟显示的三维场景图像至所述基于眼动跟踪的虚拟现实交互装置的显示器的显示屏中；同时，接收所述眼动跟踪装置输送来的眼球运动轨迹，通过分析处理用户的眼动轨迹，计算得到瞳孔的位置坐标和偏转角度；所述显示器与所述主机，例如，通过连接线，相连，用于虚拟现实三维场景图像和交互内通的通信。
[0153] 所述显示器具有显示屏，所述显示屏根据左右眼在视角上的差异分别显示虚拟现实三维场景，这样能使用户的左右眼感知到不一样的图像，形成对虚拟现实三维环境的空间认知。
[0154] 所述透镜的镜筒的第二端设置有目镜，其配置用于调整用户视线在显示屏上的对焦位置，以便用户视线能够准确地对焦于显示屏上。
[0155] 优选地，根据本发明的基于眼动跟踪的虚拟现实交互装置还包括扬声器，扬声器根据用户界面显示的交互内容播放相应的三维立体声。
[0156] 并列地，所述眼动跟踪装置固定在根据本发明的基于眼动跟踪的虚拟现实交互装置的托架上，用于拍摄和记录操作人员眼球的运动轨迹，并将该运动轨迹输送至主机，优选地，所述托架与所述头戴式虚拟现实眼镜的目镜形状大小一致，用于固定红外发射器、红外摄像头；优选地，在所述托架朝向操作人员眼部的一侧均匀设置有多个等间距布置的红外光源发生器，且所述红外摄像头均设置在所述红外光源发生器的内侧的边缘，如此设置以便能够更加准确地记录眼睛运动的轨迹。
[0157] 所述主机接收红外摄像头的捕捉结果，通过检测瞳孔反光位置，计算瞳孔的中心点以及瞳孔的边缘，并记录和分析连续多帧图像上的眼动位置判断用户视觉焦点的运动轨迹。
[0158] 优选地，根据本发明的基于眼动跟踪的虚拟现实交互装置，还包括报警器；所述报警器与主控模块相连。
[0159] 优选地，所述报警器为声、光、电、磁、振动报警器，
[0160] 并列地，当参数超过设定值后，屏幕出现提示条。本发明的基于眼动跟踪的虚拟现实交互方法能够通过基于本发明的基于眼动跟踪的虚拟现实交互装置进行实现。
[0161] 可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或全部技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
[0162] 在本发明的描述中，需要说明的是，术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。
[0163] 在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“连通”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接连通，也可以通过中间媒介间接连通，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。此外，在本发明的描述中，除非另有说明，“至少三个”的含义是两个或两个以上。
[0164] 以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种头戴式助视装置 | 2020-05-08 | 555 |
| 基于虚拟现实及多模态信息的孤独症辅助干预系统及方法 | 2020-05-12 | 224 |
| 一种医学模拟训练系统和方法 | 2020-05-12 | 918 |
| 眼球追踪方法及相关产品 | 2020-05-23 | 57 |
| 折叠屏防偷窥方法与具有防偷窥功能的折叠屏电子设备 | 2020-05-15 | 547 |
| 一种基于AR智能眼镜的局部图像识别方法及系统 | 2020-05-16 | 298 |
| 提醒方法、系统、终端及车辆 | 2020-05-12 | 836 |
| 显示面板和电子装置以及电子装置的操作方法 | 2020-05-15 | 652 |
| 基于眼球追踪的拍照方法及相关产品 | 2020-05-20 | 808 |
| 基于眼球追踪的电动内后视镜 | 2020-05-13 | 360 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
眼球追踪摄像头热门专利
QQ群二维码
意见反馈
意见反馈