使用双目注视约束的眼睛凝视跟踪
阅读：428发布：2024-01-07
专利汇可以提供使用双目注视约束的眼睛凝视跟踪专利检索，专利查询，专利分析的服务。并且本主题公开总体上指向基于双眼注视在相同的凝视 位置 上的眼睛凝视检测。在一方面，包括对象的左眼和右眼的图像被捕获，从图像中提取左亮点和右亮点以及左瞳孔中心信息和右瞳孔中心信息。使用左亮点数据和右亮点数据以及左瞳孔数据和右瞳孔数据与左偏差校正矩阵和右偏差校正矩阵一起来联合确定凝视位置。，下面是使用双目注视约束的眼睛凝视跟踪专利的具体信息内容。
1.一种用于在联合误差最小化中计算对象的当前凝视位置的方法，所述方法包括：
使用相机和至少四个光源捕获所述对象的左眼中的多个亮点和所述对象的右眼中的多个亮点；
基于所述左眼中捕获的所述多个亮点和所述左眼的瞳孔中心，计算左单应矩阵；
基于所述右眼中捕获的所述多个亮点和所述右眼的瞳孔中心，计算右单应矩阵；以及将所述左单应矩阵与所述右单应矩阵组合，以确定所述当前凝视位置。
2.根据权利要求1所述的方法，进一步包括将所述左单应矩阵与左偏差校正单应矩阵相乘以及将所述右单应矩阵与右偏差校正单应矩阵相乘。
3.根据权利要求2所述的方法，进一步包括，计算所述左偏差校正单应矩阵和所述右偏差校正单应矩阵包括：在多个凝视校准位置处获得左眼亮点数据的元组和右眼亮点数据的元组。
4.根据权利要求3所述的方法，其中计算所述左偏差校正单应矩阵和所述右偏差校正单应矩阵进一步包括：使用在所述多个凝视校准位置处获得的所述左眼亮点数据和所述右眼亮点数据来计算相应凝视校准位置处的附加左单应矩阵和附加右单应矩阵。
5.根据权利要求4所述的方法，进一步包括：计算所述相应凝视校准位置处的左屏幕映射的瞳孔位置和右屏幕映射的瞳孔位置。
6.根据权利要求5所述的方法，其中计算所述左偏差校正单应矩阵和所述右偏差校正单应矩阵包括：
通过确定实际凝视位置与所述相应凝视校准位置处的所述左屏幕映射的瞳孔位置之间的第一距离，来计算所述左偏差校正单应矩阵；以及
通过确定所述实际凝视位置与所述相应凝视校准位置处的所述右屏幕映射的瞳孔位置之间的第二距离，来计算所述右偏差校正单应矩阵。
7.一种用于确定对象的凝视位置的系统，包括：
多个光源，所述多个光源被配置成生成角膜反射，分别作为来自所述对象的左眼的第一多个亮点和来自所述对象的右眼的第二多个亮点，所述第一多个亮点包括与所述多个光源对应的亮点的第一集合，并且所述第二多个亮点包括与所述多个光源对应的亮点的第二集合；
相机，所述相机被配置成捕获当前图像，所述当前图像包含所述第一多个亮点和所述第二多个亮点、所述左眼的瞳孔中心和所述右眼的瞳孔中心；以及
双目计算校正器，被配置成：
基于所述第一多个亮点和所述右眼的所述瞳孔中心计算左单应矩阵；
基于所述第二多个亮点和所述右眼的所述瞳孔中心计算右单应矩阵；以及将所述左单应矩阵与所述右单应矩阵组合，以确定所述对象的所述凝视位置。
8.根据权利要求7所述的系统，其中所述双目计算校正器进一步被配置成使用左偏差校正单应矩阵和右偏差校正单应矩阵。
9.根据权利要求8所述的系统，其中所述双目计算校正器进一步被配置成执行校准过程，所述校准过程被配置成获得所述左偏差校正单应矩阵和右偏差校正单应矩阵，所述校准过程包括：
在多个凝视校准位置处获得左眼亮点数据的元组；
在所述多个凝视校准位置处获得右眼亮点数据的元组；以及
在多个凝视校准位置处获得左眼亮点数据的元组和右眼亮点数据的元组。
10.根据权利要求9所述的系统，其中所述校准过程进一步被配置成使用在所述多个凝视校准位置处获得的所述左眼亮点数据和所述右眼亮点数据来计算相应凝视校准位置处的附加左单应矩阵和附加右单应矩阵，以计算所述左偏差校正单应矩阵和所述右偏差校正单应矩阵。
11.根据权利要求10所述的系统，其中所述校准过程进一步被配置成计算所述相应凝视校准位置处的左屏幕映射的瞳孔位置和右屏幕映射的瞳孔位置。
12.根据权利要求11所述的系统，其中所述校准过程进一步被配置成：
确定实际凝视位置与所述相应凝视校准位置处的所述左屏幕映射的瞳孔位置之间的第一距离，以计算所述左偏差校正单应矩阵；以及
确定所述实际凝视位置与所述相应凝视校准位置处的所述右屏幕映射的瞳孔位置之间的第二距离，以计算所述右偏差校正单应矩阵。
13.根据权利要求7所述的系统，其中所述多个光源是共面的。
14.根据权利要求7所述的系统，其中所述多个光源以四边形图案布置。
15.具有可执行指令的一个或多个计算机存储设备，所述可执行指令在被执行时实施包括以下的操作：
捕获包括对象的左眼和所述对象的右眼的图像；
从所述图像中提取多个左亮点和多个右亮点分别作为左亮点数据和右亮点数据；
从所述图像中提取左瞳孔中心信息和右瞳孔中心信息分别作为左瞳孔数据和右瞳孔数据；
使用所述左亮点数据和所述左瞳孔数据来计算左偏差校正矩阵；
使用所述右亮点数据和所述右瞳孔数据来计算右偏差校正矩阵；以及
将所述左偏差校正矩阵和所述右偏差校正矩阵组合，以确定所述对象的凝视位置。
16.根据权利要求15所述的一个或多个计算机存储设备，具有另外的可执行指令，其包括使用所述左亮点数据来计算左单应矩阵以及使用所述右亮点数据来计算右单应矩阵。
17.根据权利要求16所述的一个或多个计算机存储设备，进一步包括计算左屏幕映射的瞳孔位置和右屏幕映射的瞳孔位置。
18.根据权利要求17所述的一个或多个计算机存储设备，进一步包括确定实际凝视位置和所述左屏幕映射的瞳孔位置之间的距离以计算所述左偏差校正矩阵，以及确定所述实际凝视位置和所述右屏幕映射的瞳孔位置之间的距离以计算所述右偏差校正矩阵。
19.根据权利要求16所述的一个或多个计算机存储设备，进一步包括将所述左单应矩阵与所述左偏差校正矩阵相乘以及将所述右单应矩阵与所述右偏差校正矩阵相乘。
20.根据权利要求15所述的一个或多个计算机存储设备，其中捕获图像包括捕获用于多个凝视校准位置的多个图像，所述多个图像中的相应图像对应于所述多个凝视校准位置中的相应凝视校准位置。
使用双目注视约束的眼睛凝视跟踪
背景技术
[0001] 随着包括移动设备、手持式设备和诸如显示器的关联的技术的演进，人工输入机制也已类似地发展。诸如基于语音识别、头部和骨骼跟踪以及手势识别的自然的用户接口变得更加广泛，以补充或在一些情况下代替键盘、定点设备(鼠标或触笔)和/或公认的符号/手写输入。眼睛凝视检测是另一自然的用户接口技术。
[0002] 一种类型的眼睛跟踪技术被称为基于交比(CR)的眼睛跟踪。该技术利用平面投影的不变性，以使得使用未校准设置中的单个相机进行对象的远程凝视估计。通常，向用户投射红外光，来自用户眼睛的角膜反射(亮点)由相机感测并被处理以跟踪凝视。发明内容
[0003] 提供本发明内容以简要的形式引入一系列的代表性概念，其在下文具体实施方式中进一步被描述。本发明内容并不旨在标识要求保护的主题的关键特征或必要特征，也并不旨在以限制要求保护的主题的范围的任何方式使用。
[0004] 概括地说，本文描述的主题的各个方面指向基于从双眼获得的数据和将一只眼睛的数据与另一只眼睛的数据关联的约束的凝视检测技术。方面包括以联合误差最小化计算对象的当前凝视位置(其中在每只眼睛中捕获至少四个亮点)，包括计算当前左单应矩阵和当前右单应矩阵以与左瞳孔数据和右瞳孔数据一起用于联合误差最小化。
[0005] 在一方面，至少四个光源从对象的左眼和右眼生成作为成对的左亮点和右亮点的角膜反射。相机捕获包含左亮点和右亮点以及左瞳孔数据和右瞳孔数据的当前图像。双目计算校正器基于左亮点和右亮点计算左单应矩阵和右单应矩阵以与左瞳孔数据和右瞳孔数据一起用于凝视位置的联合计算。双目计算校正器还可以使用左偏差校正单应矩阵和右偏差校正单应矩阵。
[0006] 一个或多个方面指向捕获包括对象的左眼和右眼的图像，从图像中提取左亮点和右亮点以及左瞳孔中心信息和右瞳孔中心信息分别作为左亮点数据和右亮点数据以及左瞳孔数据和右瞳孔数据。左亮点数据和右亮点数据以及左瞳孔数据和右瞳孔数据与左偏差校正矩阵和右偏差校正矩阵一起使用来联合确定凝视位置。
附图说明
[0008] 本发明以示例的方式被图示并且在附图中不受限制，其中相同的附图标记指示相似的元件并且其中：
[0009] 图1是图示根据一个或多个示例实施方式的包括可以用在眼睛凝视检测中的双目计算模型的示例部件的框图。
[0010] 图2是根据一个或多个示例实施方式的用在凝视检测中的左亮点和右亮点如何被捕获以与双目计算模型一起使用以用于凝视检测的表示。
[0011] 图3是根据一个或多个示例实施方式的用在凝视检测中的光源的几何形状以及左眼和右眼中的对应的亮点的表示。
[0012] 图4是根据一个或多个示例实施方式的如何使用亮点和瞳孔相关数据(例如，瞳孔中心)从学习的自适应单应映射模型获得凝视信息的表示。
[0013] 图5是根据一个或多个示例实施方式的可以如何使用基于交比的变换校准偏差校正模型的表示。
[0014] 图6是图示根据一个或多个示例实施方式的可以被采取以从自适应单应映射模型获得凝视信息的示例步骤的流程图。
具体实施方式
[0016] 本文描述的技术的各个方面总体上指向用来与基于交比(单应)技术一起使用的基于双目注视约束的眼睛凝视检测(其中，双目注视是使两个眼睛同时指向同一位置的过程)。在实践中，这在基于交比的方案中提供了对眼睛凝视跟踪更精确的估计。注意，当在给定场景中需要深度感知(3D眼睛凝视)时，双目注视约束尤其有用。
[0017] 在一个方面，通过每个凝视点处使用多个凝视位置作为亮点和瞳孔中心的基本事实针对用户校准左偏差校正单应矩阵和右偏差校正单应矩阵。注意，代替使用单眼，来自双眼的亮点和瞳孔数据(例如，瞳孔中心)与双眼的瞳孔数据一起被捕获，并且在每个凝视位置处用于计算偏差校正矩阵。
[0018] 在在线操作期间，在每帧中，鉴于包括对象的左眼和右眼的一组亮点和瞳孔中心的当前数据计算左交比单应矩阵和右交比单应矩阵。基于计算的单应矩阵和校准的偏差校正矩阵，当前凝视位置被联合计算。如将理解，联合计算是基于由它们的关系约束的对应的成对的左眼亮点和右眼亮点，也即每个左亮点和右亮点对通常从光源中的同一光源反射。此外，联合计算是基于由他们注视在同一凝视位置所约束的瞳孔数据(例如，瞳孔中心)。
[0019] 应当理解，本文中的任何的示例是非限制性的。例如，尽管例示了四个光源和相机，然而可以以任意多种方式定位任意数量的相机和光源(提供合适的亮点图案)。而且，用来检测眼睛凝视的算法等仅是示例，并且本文描述的技术独立于并且不限于任何特定的技术，并且进一步地能够随着新算法的开发而调整。如此，本发明不限于本文描述的特定的实施例、方面、概念、结构、功能或示例。相反，本文描述的任何的实施例、方面、概念、结构、功能或示例是非限制性的，并且可以以总体上在眼睛凝视检测上提供益处和优点的各种方式使用本发明。
[0020] 图1是图示可以用来执行眼睛凝视检测/跟踪的示例部件的总体框图。在图1中示出了计算设备102和显示器104。显示器104可以是耦合到计算设备的外部显示器或者合并到计算机设备中(例如，其外壳)的显示器。
[0021] 如在图1中所示，示出了多个IR光源106(1)-106(m)以及一个或多个IR光敏相机108(1)-108(n)。注意，对于基于交比的眼睛凝视检测，单个相机通常足够，然而，如果存在，来自多个相机的图像可以以一些方式处理和组合(例如，平均)以便减少噪声的影响。
[0022] 光源可以是通过衍射/反射光的光学元件投射的独立的光源(诸如激光发光二极管(LED)和/或LED等)，由此提供多个光源。注意，IR光敏相机中的一些或所有可以与可见光相机组合。另外注意，一个相机(或多个相机)可以附接到设备(例如，嵌入到边缘中(例如图2中的由被圆包围的X表示的相机208)或物理耦合到设备)或者可以在设备的外部(例如，图
5的相机508)或者二者的组合。
5的相机508)或者二者的组合。
[0023] 应当理解，在基于交比的眼睛跟踪中，至少需要4个光源来提供计算单应所需的亮点，并且布置这些光源以便它们中的任意一个和其他几个之间至少存在三个不同的方向，从而提供一个四边形，例如在图2中的典型布置，光源222-225的矩形图案。尽管如此，包括更多光源的其他布置是可行的，例如，可以提供诸如当其他亮点中的一个未被检测到时，至少提供4个亮点的好处。
[0024] 控制器110可以被用来控制IR光源106(1)-106(m)和/或IR光敏相机108(1)-108(n)的操作，但是在一个或多个实施方式中，光源和相机可以是“常开的”，由此，可推测除了具有开/关能力的电源之外，不再需要“控制器”。注意，使用IR光是因为它对人来说不可识别，然而，在一些场景中可能需要使用可见光，诸如，在对象的眼睛戴着阻挡特定可见光波长的隐形眼镜的情况下使用。因此，如本文所使用的，“光源”并不限于IR波长。
[0025] 通常，如本文所描述的，一个或多个相机108(1)-108(n)捕获图像，该图像被馈送到包括眼睛凝视检测器114的图像处理部件112，眼睛凝视检测器114耦合到双目计算校正器116(可以包括其他偏差校正)。图像处理部件112提供眼睛凝视检测输出118，诸如表示在被处理的给定帧等中用户当前正在凝视的位置的凝视坐标。这种输出118可以被缓存(诸如与其他输入配合使用(例如，鼠标点击或手势))，可以被操作系统使用(例如，移动光标)，可以被应用使用(例如，高亮菜单项)等等。通常，当前凝视信息可以用来采取关于改变用户接口的状态的行动。眼睛凝视检测(可能与诸如眨眼模式的其他(诸如，手势)检测结合)可以用于其他状态改变，例如，将显示器从待机状态或关闭状态开启到活跃状态(或者反之亦然)。
[0026] 对于眼睛凝视检测器114，可以采用任何现有的或待开发的技术(诸如交比技术)将感测的亮点、瞳孔数据和任何其他捕获的特征转变成眼睛凝视信息输出118。一个或多个这种技术的决定可以被组合(例如，平均)以做出最后的输出。如本文所描述的，双目计算校正器提供倾向于比单目技术更精确的具有偏差校正的眼睛凝视检测算法114。
[0027] 通常，远程凝视跟踪系统使用红外光源操作以生成被称为亮点的角膜反射，亮点作为对象的眼睛图像的一部分被捕获。捕获的图像被处理以提取对光照和视角不变的信息特征(诸如瞳孔中心、角膜反射(例如，指示眼球的位置)和/或角膜缘轮廓)。
[0028] 注意，在图2中，当用户正在看屏幕上的当前凝视位置226时，来自IR光源225的从每只眼睛反射的亮点的概念被示为被相机208捕获。如可以容易理解的，从其他光源222-224的亮点被同时捕获(尽管图2中只示出了到眼睛/反射到相机的一组这种箭头)。
[0029] 图3和图4分别示出了几何表示和图像表示的左和右亮点数据和瞳孔数据的概念(注意，在图像442中左和右反转)。在图3中L1-L4表示光源并且G表示相对于屏幕332的凝视位置。HL和HR分别表示左单应矩阵和右单应矩阵。如下文描述的，这些矩阵通过左右成对的亮点(例如，( ))相关并且因此可以由矩阵HLR表示。在图3和图4中， 表示来自光源L1-L4的左亮点，并且pL表示左瞳孔中心； 表示右亮点并且pR表示右瞳孔中心。
[0030] 图4示出了经由数据提取444从图像442中提取的亮点数据的使用模型。每只眼睛的包括亮点数据和瞳孔数据的这一数据被馈送到双目计算校正器116，双目计算校正器116将从该数据计算的凝视信息448(例如，屏幕坐标等)输出到程序450(诸如应用、操作系统用户界面、远程设备等)。如下文描述的，双目计算校正器116计算左单应矩阵和右单应矩阵，并且可以使用左偏差校正矩阵和右偏差校正矩阵来联合估计凝视信息。
[0031] 如本文所描述的，精确和鲁棒的凝视估计技术是基于用于凝视估计偏差校正的基于单应的方法，该方法经由偏差校正单应变化而操作。可以在校准训练阶段通过求解从通过基本交比方法预测的凝视点到屏幕上的基本事实目标的点集配准问题计算偏差校正单应转换。如下文阐述的，使用两只眼睛以代替单眼计算。
[0032] 通常，如在图5中总体表示的，基于单应的方法在校准位置处通常运作良好，因为它们有效地建模光学和视觉轴偏移。在图5中图示的基于单应的CR方法是基于具有围绕屏幕定位的4个或更多的红外(IR)光源L1-L4，其中i＝1,…,N并且N≥4。它们是共平面的。指向用户的相机捕获用户的眼睛的图像。眼睛上的每个光源Li的角膜反射被称为亮点，由G1-G4表示。在捕获的图像中，通过g1-g4表示所检测的亮点。此外，p表示在图像中的所检测的瞳孔的中心。交比方法假定亮点Gi共平面。然后，在Li和gi之间存在平面投影(表达为单应矩阵)并且Gi和gi之间存在另一平面投影。两个单应矩阵的组合仍然是单应矩阵，因此，Li和gi由称为CR单应H的单应矩阵相关，使得
[0033]
[0034] 其中 将齐次向量x转换成2D向量，并且该2D向量在齐次坐标中，其实际上是前两个元素等于Li并且最后一个元素等于1的3D向量。
[0035] 当Li和gi之间的映射已知时，瞳孔中心p可以被映射到屏幕坐标空间，由下式给出[0036]
[0037] 然而，公知的是，由从角膜中心到眼睛上的瞳孔中心的向量定义的眼睛的光学轴与定义实际凝视的视觉轴不同。两个轴之间的角度依赖于人。因此，基于对象的校准被用来校正该偏差。为了执行偏差校正，要求用户看着屏幕上的多个校准点(凝视位置)，其被认为是凝视校准点的基本事实，由Gj表示，j是凝视位置的索引。对于每个凝视位置，该过程检测图像中的亮点(由gi，j表示)和瞳孔中心(由pj表示)。从gi，j，该过程从方程(1)计算交比单应Hj。根据方程(2)，瞳孔中心pj按照 被映射到屏幕空间。给定一组pj及其对应的基本事实凝视位置Gj，基于单应的交比方法通过单应映射建模该差异
[0038]
[0039] 其中Hb是偏差校正单应矩阵。在实际的眼睛跟踪期间，在每帧处，系统被给定一组亮点gi和瞳孔中心p，并且根据方程(1)计算交比单应矩阵H。通过组合方程(2)和方程(3)，然后由下式给出凝视
[0040]
[0041] 转向在双目注视约束下从双眼的凝视估计，左参数和右参数相关。一方面，每个左和右一对的亮点是同一光源的投影，因此成对的亮点相关。另一方面，对于双目注视，左眼和右眼正看着同一凝视位置。然而，注意，由于噪声相关误差等，凝视位置的独立的左眼估计和右眼估计可能不相同。如将理解，通过将它们一起视为相关，存在可用的左测量和右测量以及它们的关系，并且该冗余例如导致更高准确度和对噪声的鲁棒性。
[0042] 如下文阐述的，可以通过方程(5)和方程(6)表示亮点之间的关系。瞳孔相关数据之间的关系(例如，分别为左和右瞳孔中心pL和pR)源自眼睛看着同一凝视位置G，由此，来自pL的映射与pR应当映射到同一凝视位置G，这可以通过方程(7)和方程(8)表示。
[0043] 因此，左眼和右眼之间的亮点通过HLR相关，其通过下式给出：
[0044] HLR＝HRHL-1 (5)
[0045] 为了估计HL和HR，需要求解以下问题：
[0046]
[0047] 最后两项的系数1/2被用来补偿在两个方向上的 的两次使用。
[0048] 通过多双眼扩展方程(4)推导出屏幕上的凝视点：
[0049]
[0050]
[0051] 注意， 和 分别是左眼偏差校正单应矩阵和右眼偏差校正单应矩阵，它们调整从凝视位置到映射的瞳孔位置的差异。在当用户注视在屏幕的同一点的情况下(即，GL＝GR＝G)，可以通过使用交比和偏差校正单应矩阵两者最小化图像中的瞳孔中心和来自凝视点的它们对应的估计之间的重投影误差来联合估计凝视点，即，
[0052]
[0053] 可以假定在左瞳孔位置和右瞳孔位置中的噪声是独立的、各向同性的并且同分布的。
[0054] 转向用于估计偏差校正单应矩阵(对于使用双眼的左眼和右眼，为 )的校准，用户看着屏幕上的M个凝视位置：{Gj|j＝1，...，M}。对于每个凝视位置，存在左眼和右眼的一组亮点(由i索引， )以及左眼和右眼的瞳孔位置( )。因此，在凝视校准位置存在包括亮点数据和瞳孔数据的组的
元组。
元组。
[0055] 在一个或多个实施方式中，校准操作包括三个步骤。第一步是使用方程(6)针对每个凝视位置j估计
[0056] 第二步是计算在屏幕空间中的映射的瞳孔位置： 即：
[0057] 和
[0058] 第三步是通过最小化凝视位置和屏幕中的对应的映射的瞳孔位置之间的距离分别估计偏差校正单应矩阵 即：
[0059]
[0060]
[0061] 图6是示出学习的自适应单应模型的在线使用中的示例步骤的一般化的流程图。步骤602表示上文描述的校准以获得左偏差校正矩阵和右偏差校正矩阵；注意，当校准后，可以存储针对对象的这一信息而不是每次重新校准。
[0062] 步骤604捕获图像，例如，一系列帧中的一帧。步骤606表示关于双眼(例如，每只眼睛中的4个亮点)是否被恰当地捕获的评估。如果只捕获一只眼睛，那么在步骤608通过被恰当捕获的那只眼睛来估计凝视。(注意，如果没有合适的眼睛数据可用(例如在这一帧期间对象眼睑闭合)，那么过程可以跳到步骤618以捕获另一帧。)
[0063] 如果来自双眼的数据可用，那么步骤610将图像数据处理成亮点数据和瞳孔相关数据，以如上文描述的用于计算左交比单应矩阵和右交比单应矩阵(步骤612)。也如在上文描述的(方程(9))，步骤614使用这些矩阵与偏差校正矩阵一起来联合计算凝视位置。
[0064] 步骤616输出结果，例如，凝视位置。步骤618对另一帧重复该过程(例如，直到关闭眼睛凝视检测)。可以配置帧率和/或可以使用一些平滑操作以防止过多的跳转。
[0065] 上述技术可以与其他眼睛凝视跟踪技术组合。例如，步骤614还可以可选地考虑针对对象的当前头部位置而调整。如所理解，对象的头部位置容易影响捕获的闪烁的位置和大小。因此，作为一个示例，可以将本文描述的技术与基于头部定位方面的另一技术(诸如在与本文同时提交、题目为“EYE GAZE TRACKING BASED UPON ADAPTIVE HOMOGRAPHY MAPPING”的共同待决的美国专利申请中描述)组合在系统中。
[0066] 如可以看到，提供了基于从双眼获得的数据和将一只眼睛的数据与另一只眼睛的数据关联的约束的眼睛凝视检测技术。方面指向以联合误差最小化来计算对象的当前凝视位置(其中在每只眼睛中捕获至少4个亮点)，包括计算当前左单应矩阵和当前右单应矩阵以与左瞳孔数据和右瞳孔数据一起用于联合误差最小化。可以使用光源位置、左眼亮点位置和右眼亮点位置基于最小化误差来计算当前左单应矩阵和当前右单应矩阵。
[0067] 确定当前凝视位置可以包括将左单应矩阵与左偏差校正单应矩阵相乘以及将右单应矩阵与右偏差校正单应矩阵相乘。可以通过在多个凝视校准位置获得左眼亮点数据、瞳孔数据以及右眼亮点数据、瞳孔数据的元组来计算校正矩阵。在每个凝视校准位置处的左亮点数据和右亮点数据可以被分别用来计算在每个凝视位置处的左单应矩阵和右单应矩阵。在每个凝视位置处的左屏幕映射的瞳孔位置和右屏幕映射的瞳孔位置，在每个凝视位置分别通过确定实际凝视位置与左屏幕映射的瞳孔位置之间的距离以及实际凝视位置与右屏幕映射的瞳孔位置之间的距离来计算左偏差校正单应矩阵和右偏差校正单应矩阵。
[0068] 一方面，至少4个光源从对象的左眼和右眼生成作为左右成对的亮点的角膜反射。相机捕获包括左闪烁和右闪烁以及左瞳孔数据和右瞳孔数据的当前图像。双目计算模型基于左闪烁和右闪烁计算左单应矩阵和右单应矩阵，以与左瞳孔数据和右瞳孔数据一起用于凝视位置的联合计算。双目计算模型可以使用左偏差校正单应矩阵和右偏差校正单应矩阵。
[0069] 可以通过在多个凝视校准位置获取左眼亮点数据、瞳孔数据和右眼亮点数据、瞳孔数据的元组来计算左偏差校正单应矩阵和右偏差校正单应矩阵。校准过程使用在每个凝视校准位置处的左亮点数据计算在每个凝视位置处的左单应矩阵并且使用在每个凝视位置处的右亮点数据计算在每个凝视位置处的右单应矩阵来计算左偏差校正单应矩阵和右偏差校正单应矩阵。校准过程计算在每个凝视位置处的左屏幕映射的瞳孔位置和右屏幕映射的瞳孔位置，并且确定在每个凝视位置处的实际凝视位置和左屏幕映射的瞳孔位置之间的距离来计算左偏差校正单应矩阵，以及确定在每个凝视位置处的实际凝视位置和右屏幕映射的瞳孔位置之间的另一距离来计算右偏差校正单应矩阵。
[0070] 一个或多个方面指向捕获包括对象的左眼和右眼的图像，从该图像提取左亮点和右亮点以及左瞳孔中心信息和右瞳孔中心信息分别作为左亮点数据和右亮点数据以及左瞳孔数据和右瞳孔数据。左亮点数据和右亮点数据、左瞳孔数据和右瞳孔数据与左偏差校正矩阵和右偏差校正矩阵一起使用来联合确定凝视位置。左亮点数据和右亮点数据可以被用来从中计算左单应矩阵和右单应矩阵。
[0071] 可以针对多个凝视校准位置获得左和右亮点数据和瞳孔数据以用于计算左和右偏差校正矩阵。这可以包括使用每个凝视校准位置处的左亮点数据计算每个凝视位置处的左单应矩阵和使用每个凝视校准位置处的右亮点数据计算在每个凝视位置处的右单应矩阵来计算左偏差校正单应矩阵和右偏差校正单应矩阵，计算在每个凝视校准位置处的左屏幕映射的瞳孔位置和右屏幕映射的瞳孔位置，以及确定在每个凝视位置处的实际凝视位置和左屏幕映射的瞳孔位置之间的距离来提供左偏差校正矩阵，以及确定在每个凝视位置处的实际凝视位置和右屏幕映射的瞳孔位置之间的距离来提供右偏差校正矩阵。头部位置信息也可以被用作确定凝视位置的一部分。
[0072] 操作环境的示例
[0073] 图7图示了可在其上实现本文所描述的主题的各方面的合适的移动设备700的示例。移动设备700仅是设备的一个示例，并非旨在对本文所描述的主题的各方面的使用或功能性的范围提出任何限制。移动设备700也不应被解释成对在示例性移动设备700中图示的任一部件或其组合有任何依赖或要求。移动设备可以包括手持式设备，诸如智能电话、平板、笔记本电脑等。例如，也可以备选地使用具有安装到显示器的相机和光源的个人计算机。
[0074] 示例移动设备700可以戴在眼镜、护目镜或帽子或诸如腕表型设备的其他可穿戴设备上，包括外部计算机都是合适的环境。注意，尽管眼镜和帽子戴在头上，然而它们也可以戴在与头部关联的其他位置，并且因此头部位置偏差校正可能是合适的。
[0075] 参考图7，用于实施本文所描述的主题的各方面的示例性设备包括移动设备700。在一些实施例中，移动设备700包括蜂窝电话、允许与其他设备语音通信的手持设备、一些其他语音通信设备等。在这些实施例中，移动设备700可以装备用于拍摄照片的相机，虽然这在其他实施例中可能不是必需的。在其他实施例中，移动设备700包括个人数字助理(PDA)、手持式游戏设备、笔记本计算机、打印机、包括机顶盒、媒体中心的电器、或其他电器、其他移动设备等。在又一些实施例中，移动设备700可包括通常被认作非移动的设备，诸如个人计算机、服务器等。
[0076] 移动设备700的部件可以包括但不限于，处理单元705、系统存储器710和将包括系统存储器710在内的各种系统部件耦合至处理单元705的总线715。总线715可包括几种类型的总线结构中的任何一种，包括存储器总线、存储器控制器、外围总线以及使用各种总线体系结构中的任一种的局部总线等。总线715允许在移动设备700的各种部件之间传送数据。
[0077] 移动设备700可以包括各种计算机可读/机器可读介质。这种介质可以是能由移动设备700访问的任何可用介质，并且包括易失性和非易失性介质以及可移动、不可移动媒介。作为示例而非限制，计算机可读介质可包括计算机存储介质和通信介质。计算机存储介质包括用于存储诸如计算机可读指令、数据结构、程序模块或其他数据的信息的以任意方法或技术来实施的易失性和非易失性、可移动和不可移动媒介。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁带盒、磁带、磁盘存储或其他磁存储设备、或者可用来存储所需的信息并且可由移动设备700访问的任何其他介质。
[0078] 通信介质通常以诸如载波或其他传输机制等已调制数据信号来实施计算机可读指令、数据结构、程序模块或其他数据并且包括任何信息传送介质。术语“已调制数据信号”是指具有以在信号中编码信息的方式被设定或改变其一个或多个特征的信号。作为示例而非限制，通信介质包括有线介质(诸如有线网络或直接线连接)，以及无线介质(诸如声学、RF、蓝牙、无线USB、红外、WiFi、WiMAX、和其他无线介质)。上述的任意组合也应包含在计算机可读介质的范围内。
[0079] 系统存储器710包括以易失性和/或非易失性存储器形式的计算存储介质，并且可以包括只读存储器(ROM)和随机存取存储器(RAM)。在诸如蜂窝电话等移动设备上，操作系统720有时被包括ROM中，虽然在其他实施例中，这不是必需的。类似地，应用程序725通常被布置在RAM中，尽管再次地，在其他实施例中，应用程序可以被布置在ROM中或其他计算机可读存储器中。堆730提供用于与操作系统720和应用程序725关联的状态的存储器。例如，操作系统720和应用程序725可在它们的操作期间将变量和数据结构存储在堆730中。
[0080] 移动设备700还可包括其他可移动/不可移动、易失性/非易失性存储器。作为示例，图7示出闪存卡735、硬盘驱动器736以及记忆棒737。例如，可小型化硬盘驱动器736以适应存储器槽。移动设备700可经由可移动存储器接口731与这些类型的非易失性可移动存储器对接，或可经由通用串行总线(USB)、IEEE 1394、一个或多个有线端口740或天线765连接。在这些实施例中，可移动存储器设备735-737可经由通信模块732与移动设备对接。在一些实施例中，并非所有这些类型的存储器都可被包括在单个移动设备上。在其他实施例中，可将这些和其他类型的可移动存储器中的一个或多个包括在单个移动设备上。
[0081] 在一些实施例中，可按更永久地附接到移动设备700的方式连接硬盘驱动器736。例如，硬盘驱动器736可连接到诸如并行高级技术附件(PATA)、串行高级技术附件(SATA)或其他可连接到总线715的附件等接口。在这种实施例中，移除硬盘驱动器可涉及移除移动设备700的外壳并移除将硬盘驱动器736连接到移动设备700内的支承结构的螺丝钉或其他紧固件。
[0082] 上文讨论和在图7中图示的可移动存储设备735-737及其关联的计算机存储介质提供对用于移动设备700的计算机可读指令、程序模块、数据结构和其他数据的存储。例如，可移动存储器设备735-737可存储由移动设备700拍摄的图像、语音录音、联系人信息、程序、用于程序的数据等。
[0083] 用户可通过诸如键区741和麦克风742等输入设备向移动设备700中输入命令和信息。在一些实施例中，显示器743可以是触敏屏幕并且可允许用户在其上输入命令和信息。键区741和显示器743可通过耦合到总线715的用户输入接口750连接到处理单元705，但也可由其他接口和总线结构连接，诸如通信模块732和有线端口740。运动检测器752可用于确定对设备700作出的姿势。
[0085] 例如，用户可经由对麦克风742讲话并经由在键区741或触敏显示器上输入的文本消息来与其他用户通信。音频单元755可提供电信号以驱动扬声器744以及接收并数字化接收自麦克风742的音频信号。
[0086] 移动设备700可包括提供信号以驱动相机761的视频单元760。视频单元760还可接收由相机761获得的图像并将这些图像提供给包括在移动设备700上的处理单元705和/或存储器。由相机761获得的图像可以包括视频、不形成视频的一个或多个图像或其一些组合。
[0087] 通信模块732可向一根或多根天线765提供信号并从其接收信号。天线765中的一个可发射并接收用于蜂窝电话网络的消息。另一天线可发射并接收 消息。又一天线(或共享天线)可以经由无线以太网网络标准发射并接收网络消息。
[0088] 更进一步，天线将例如GPS信号的基于位置的信息提供给GPS接口和GPS机构772。GPS机构772又使对应的GPS数据(例如时间和坐标)可用于处理。
[0089] 在一些实施例中，可使用单根天线来发射和/或接收用于超过一种类型的网络的消息。例如，单根天线可发射并接收语音和分组消息。
[0090] 当在网络化环境中操作时，移动设备700可连接到一个或多个远程设备。远程设备可包括个人计算机、服务器、路由器、网络PC、蜂窝电话、媒体回放设备、对等设备或其他常见的网络节点，并且通常包括上面描述的与移动设备700关联的许多或全部元件。
[0091] 本文所描述的主题的各方面可与众多其他通用或专用计算系统环境或配置一起操作。适用于本文所描述的主题的各方面的公知的计算系统、环境和/或配置的示例包括，但不限于，个人计算机、服务器计算机、手持式或膝上型设备、多处理器系统、基于微处理器的系统、机顶盒、可编程消费电子产品、网络PC、小型计算机、大型计算机、包括上述系统或设备中的任一个的分布式计算环境等。
[0092] 本文所描述的主题的各方面可在由移动设备执行的诸如程序模块等计算机可执行指令的一般上下文中描述。一般而言，程序模块包括执行特定任务或实施特定抽象数据类型的例程、程序、对象、部件、数据结构等等。本文所描述的主题的各方面也可以在其中任务由通过通信网络链接的远程处理设备执行的分布式计算环境中实现。在分布式计算环境中，程序模块可以位于包括存储器存储设备在内的本地和远程计算机存储介质中。
[0093] 此外，虽然本文使用术语服务器，但可以认识到，该术语也可涵盖客户机、分布在一个或多个计算机上的一个或多个进程的集合、一个或多个独立的存储设备、一个或多个其他设备的集合、以上的一个或多个的组合，等等。
[0094] 结论
[0095] 尽管本发明易于作出各种修改和替换构造，但其某些说明性实施例在附图中示出并在上面被详细地描述。然而应当了解，这不旨在将本发明限于所公开的具体形式，而是相反地，旨在涵盖落入本发明的精神和范围之内的所有修改、替换构造和等效方案。
[0096] 除本文中所述的各实施例以外，应当理解，可使用其他类似实施例，或者可对所描述的实施例作出修改和添加以用于执行对应的实施例的相同或等效功能而不偏离这些实施例。此外，多个处理芯片或多个设备可以共享本文中所描述的一个或多个功能的性能，并且类似地，存储可跨多个设备实现。因此，本发明不限于任何单个实施例，而是要根据所附权利要求书的广度、精神和范围来解释。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种包含参数跟踪的感应电机状态强跟踪滤波估计方法 | 2020-05-08 | 995 |
| 一种高压输电线路取电功率变换系统 | 2020-05-08 | 290 |
| 磁阻同步电机的控制切换过渡方法、系统和控制方法 | 2020-05-08 | 956 |
| 一种基于骨骼点检测的无人机快速姿势控制系统与方法 | 2020-05-08 | 865 |
| 虚拟FPGA管理和优化系统 | 2020-05-08 | 990 |
| 一种适用于水下机器人目标抓取的连续跟踪方法 | 2020-05-08 | 185 |
| 目标跟踪方法、计算机设备及存储介质 | 2020-05-08 | 967 |
| 一种激光跟踪测量系统测量站位优化方法 | 2020-05-08 | 580 |
| 一种基于特征关联的视频群体人物运动轨迹跟踪方法 | 2020-05-08 | 683 |
| 一种基于信标值的陀螺稳定漂移补偿方法 | 2020-05-11 | 472 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈