可安装在眼镜上的眼睛跟踪设备

申请号 CN201580061537.1 申请日 2015-11-10 公开(公告)号 CN107111360A 公开(公告)日 2017-08-29
申请人 微软技术许可有限责任公司; 发明人 G·叶海弗; D·科恩; S·卡茨;
摘要 公开了可被安装到标准眼镜的眼睛移动 跟踪 设备。该设备包括照明源、飞行时间(TOF)相机和处理器。该源从接近人的眼睛的 位置 发射处于频带内的 能量 ,使得所发射的能量的至少第一部分从该人所佩戴的眼镜的透镜反射以随后从该眼睛反射,并使得所发射的能量的至少第二部分透射经过该透镜以从该人的环境中的对象反射。TOF相机检测所发射的能量的至少第一部分的反射,并基于TOF原理将其与由该TOF相机检测到的处于所述频带中的其他能量区分开。该处理器使用检测到的所发射的能量的第一部分的反射来确定眼睛位置。
权利要求

1.一种眼睛移动跟踪设备,包括:
第一照明源,所述第一照明源用于从接近人的眼睛的位置发射处于频带内的能量,使得所发射的能量的至少第一部分从所述人所佩戴的眼镜的透镜反射以随后从所述人的所述眼睛反射,并使得所发射的能量的至少第二部分透射经过所述透镜以从所述人的环境中的对象反射;
飞行时间检测器,所述飞行时间检测器用于检测所发射的能量的至少所述第一部分的反射,并基于检测到的所发射能量的所述第一部分的反射的飞行时间以及由飞行时间检测器检测到的处于所述频带中的其他能量来将所发射的能量的所述第一部分的反射与所述其他能量区分开;以及
处理器,所述处理器被配置成使用检测到的所发射的能量的所述第一部分的反射来确定所述人的所述眼睛的位置。
2.根据权利要求1所述的眼睛移动跟踪设备,其特征在于,进一步包括:
固件,通过所述紧固件,所述眼睛移动跟踪设备能够被可拆卸地安装到标准眼镜。
3.根据权利要求1到2中的任一项所述的眼睛移动跟踪设备,其特征在于,所述第一照明源被控制成在成像的第一快窗口期间发射能量,并且在所述成像帧的第二快门窗口期间不发射能量;以及
其中所述处理器还被配置为:
基于由所述飞行时间检测器在所述第一快门窗口期间检测到的能量和由所述飞行时间检测器在所述第二快门窗口期间检测到的能量之间的差异来标识所述环境中的环境能量;以及
滤除所述环境能量,使得所述眼睛的注视方向的确定不受所述环境能量影响。
4.根据权利要求1到3中的任一项所述的眼睛移动跟踪设备,其特征在于,所述第一和第二快门窗口不重叠。
5.如权利要求1到4中的任一项所述的眼睛移动跟踪设备,其特征在于,进一步包括:
第二照明源,所述第二照明源被控制为在所述成像帧的第三快门窗口期间发射能量;
其中所述第一照明源在所述第三快门窗口期间不发射,而所述第二照明源在所述第一快门窗口期间不发射。
6.根据权利要求1到5中的任一项所述的眼睛移动跟踪设备,其特征在于,所述处理器还被配置成:
将由所述传感器在所述第一快门窗口期间检测到的能量与由所述传感器在所述第三快门窗口期间检测到的能量区分开;以及
基于由所述传感器在所述第一快门窗口期间检测到的能量和由所述传感器在所述第三快门窗口期间检测到的能量之间的差异来标识所述眼睛中的膜闪光。
7.根据权利要求1到6中的任一项所述的眼睛移动跟踪设备,其特征在于,所发射的能量是红外能量。
8.一种跟踪人的眼睛移动的方法,所述方法包括:
从位于所述人的眼睛附近的第一源发射能量,使得所发射的能量的至少第一部分从所述人所佩戴的眼镜的透镜的内表面反射,并且所发射的能量的至少第二部分透射经过所述透镜以从所述人的环境中的对象反射;
由传感器检测所发射的能量的所述第一部分和所述第二部分两者的反射;
使用所发射的能量的所述第一和第二部分的相应飞行时间来将检测到的所发射的能量的所述第一部分的反射与检测到的所发射的能量的所述第二部分的反射区分开;以及通过使用检测到的所发射的能量的所述第一部分的反射而不使用检测到的所发射的能量的所述第二部分的反射来确定所述眼睛的注视方向。
9.根据权利要求8所述的方法,其特征在于,所述发射和所述检测由可移除地安装到所述人所佩戴的眼镜的装置执行。
10.根据权利要求8到9中的任一项所述的方法,其特征在于,从所述第一源发射的能量包括处于电磁谱的红外部分中的电磁能量,而不包括处于所述电磁谱的人类可见部分中的能量。
11.根据权利要求8到10中的任一项所述的方法,其特征在于,所述眼镜包括常规的处方眼镜,并且所述源和所述检测器被可移除地安装到所述眼镜。
12.根据权利要求8到11中的任一项所述的方法,其特征在于,所述从所述第一源发射能量包括在多个顺序成像帧中的每一者中,在第一快门窗口期间从所述第一源发射能量;
其中在所述多个顺序成像帧中的每一者中,所述第一源在第二快门窗口期间不发射;
所述方法还包括:
在所述多个成像帧中的每一者中,基于由所述传感器在所述第一快门窗口期间检测到的能量和由所述传感器在所述第二快门窗口期间检测到的能量之间的差异来标识所述环境中的环境能量;以及
滤除所述环境能量,使得所述确定所述眼睛的注视方向不受所述环境能量影响。
13.根据权利要求8到12中的任一项所述的方法,其中所述第一和第二快门窗口不重叠。
14.如权利要求8到13中的任一项所述的方法,其特征在于,进一步包括:
在所述多个顺序成像帧中的每一者中,在第三快门窗口期间从第二源传送能量;
其中在所述多个顺序成像帧中的每一者中,所述第一源在所述第三快门窗口期间不发射,而所述第二源在所述第一快门窗口期间不发射;
所述方法进一步包括:
在所述多个顺序成像帧中的至少一者中,将由所述传感器在所述第一快门窗口期间检测到的能量与由所述传感器在所述第三快门窗口期间检测到的能量区分开;以及在所述多个成像帧中的所述至少一者中,基于由所述传感器在所述第一快门窗口期间检测到的能量和由所述传感器在所述第三快门窗口期间检测到的能量之间的差异来标识所述眼睛中的角膜闪光,其中确定所述眼睛的注视方向包括使用所述角膜闪光。

说明书全文

可安装在眼镜上的眼睛跟踪设备

发明领域

[0001] 本发明的至少一个实施例涉及眼睛跟踪技术,并且更具体地,涉及可与标准眼镜一起使用的眼睛跟踪设备。
[0002] 背景
[0003] 眼睛跟踪(也被称为注视跟踪)技术正演变成为下一代人机接口的重要部分。眼睛跟踪技术在娱乐、研究以及作为身体损伤的人的交互工具方面具有许多潜在应用。
[0004] 最公知的基于视频的眼睛跟踪系统使用具有IR光源的红外(IR)相机来检测瞳孔/虹膜以及来自照明的闪光。此外,这些系统一般使用直接成像或间接成像。直接成像系统通过将一个或多个IR传感器放置成直接瞄准眼睛来直接对眼睛区域进行成像。然而,这些系统具有与传感器的遮挡(例如,来自睫毛)以及用户的视(例如,来自传感器)有关的问题。这些系统对于跟踪佩戴眼镜的人的眼睛尤其有麻烦,至少部分因为这些眼镜通过形成错误的镜面反射而引起了遮挡或干扰了计算机视力算法
[0005] 间接成像系统通过经由所谓的“热镜”透镜来查看眼睛而部分地解决了遮挡问题,该“热镜”透镜对近IR限制充当反射镜,但对可见光充当穿透玻璃。通过这种方式,传感器可从正面位置查看眼睛,同时避免遮挡用户的视野。然而,间接成像方法需要专用玻璃(即,配备有热镜透镜),因此不适合于依赖于标准(处方(prescription))眼镜的人。
[0006] 概述
[0007] 本文中引入的技术包括一种眼睛跟踪设备,该设备可被用于执行针对佩戴标准眼镜的用户的眼睛跟踪。在至少一些实施例中,该设备包括照明源、飞行时间(TOF)相机和处理器。照明源从接近人的眼睛的位置发射处于频带内的能量,使得所发射的能量的至少第一部分从该人所佩戴的眼镜的透镜反射以随后从该人的眼睛反射,并使得所发射的能量的至少第二部分透射经过该透镜以从在该人的环境中的对象反射。TOF相机检测所发射的能量的至少第一部分的反射,并基于检测到的所发射的能量的第一部分的反射的飞行时间来将这些反射与由TOF相机检测到的处于所述频带中的其他能量区分开。处理器被配置成使用检测到的所发射的能量的第一部分的反射来确定人的眼睛的注视方向。根据附图和详细描述,该技术的其他方面将显而易见。
[0008] 提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征,也不旨在用于限制所要求保护主题的范围。
[0009] 附图简述
[0010] 在附图中的各图中作为示例而非限制解说了本发明的一个或多个实施例,其中相同的标记指示相似的元素。
[0011] 图1A和1B示出根据本文中引入的技术的一实施例的眼睛跟踪设备的透视图。
[0012] 图2是示出眼睛跟踪设备的一实施例的各功能元件的框图
[0013] 图3示出安装在一副标准眼镜上的眼睛跟踪设备的示例。
[0014] 图4示意性地解说在典型使用场景中IR照明的传播。
[0015] 图5解说用于具有两个照明源的实施例的IR照明方案的示例。
[0016] 图6解说具有两个照明源的眼睛跟踪设备的实施例。
[0017] 图7是示出眼睛跟踪设备的操作过程的示例的流程图
[0018] 详细描述
[0019] 在该描述中,对“一实施例”、“一个实施例”等的引用意味着描述的特定特征、功能、结构或特性被包括在本文中引入的技术的至少一个实施例中。这样的短语在本说明书中的出现不一定全部涉及同一实施例。另一方面,所涉及的各实施例也不一定是相互排斥的。
[0020] 本文中引入的技术包括一种间接成像、安装在眼镜上的眼睛跟踪设备,该设备可被用于执行针对佩戴标准眼镜的用户的眼睛跟踪。然而,注意,该设备也可与其他类型的眼镜一起使用,诸如(例如,用于游戏或虚拟/增强现实应用的)专用眼镜或机。该设备可被实现为可拆卸地安装到标准(例如,处方)眼镜并且不遮挡用户的视野的附加产品。该设备将TOF原理应用到其自己的IR照明中,以在期望的IR能量(例如,从其自己的(诸)源发射并从用户的眼睛反射的IR,该设备使用该IR来进行眼睛跟踪)和非期望的IR能量(例如,环境IR能量和已从其自己的(诸)源发射并从用户的环境中的各对象反射的IR)之间进行区分。
[0021] 在至少一些实施例中,眼睛跟踪设备包括:一个或多个IR照明源,其用于发射IR能量;与(诸)IR源同步的控“高速快门”IR TOF相机(此后被简称为“IR”相机),其用于检测所发射的IR能量;人类可见光谱(例如,红-绿-蓝(RGB))摄像机(“实景摄像机”),其用于生成用户在眼睛跟踪期间正在看的大方向的视频,并由此允许在那个视频上标记用户的注视点(POR);存储器,其用于存储由前述相机收集的图像数据;处理单元,其用于基于IR相机的输出来计算用户的眼睛位置(或至少一通信单元,其用于允许与位于该设备外部的这样的处理单元的通信);外壳,其至少部分地包含前述元件;以及,与标准眼镜兼容的固件,通过所述紧固件,将该外壳可拆卸地安装到眼镜的框架上。
[0022] 在一些实施例中,该设备使用高速快门IR相机,该高速快门IR相机采用光学聚焦系统来收集从邻近距离(也就是,用户的眼睛)反射的IR光,并避免收集环境IR照明和该设备自己的IR照明从用户的环境中的对象的反射。这可通过设置IR相机的快门定时,使得从该设备发射的IR光将在其返回IR相机传感器的路上被快门(其可以是纯电子快门)切断,从而仅从非常邻近传感器之处(例如,在几厘米以内)从对象反射或源自这些对象的IR被IR相机捕捉;即,仅具有足够短的TOF的能量被允许被捕捉。这使得IR相机能够仅捕捉眼睛的图像,而没有来自外部对象的反射。因此,该特征避免需要使用热镜。IR相机是“高速快门”相机,因为它可通过在非常短的时间段内反复地关闭和打开其“快门”(例如,电子快门)(例如,每几纳秒关闭和打开其快门一次)来在几乎同一时间瞬间捕捉多个图像。
[0023] 可用于这个目的的一种类型的IR相机是“门控”TOF深度相机。门控TOF深度相机利用了一系列光脉冲,以便照明由深度相机成像的场景。对于每一光脉冲,深度相机在再次被“门控”关闭之前,被“门控”打开达特定曝光时段,由此在该曝光时段期间对该场景进行成像。距该场景中的特征的距离可根据在曝光时段期间所发射的脉冲中被该特征反射并被相机传感器的像素配准的光的量来确定。这种类型的脉冲IR TOF深度相机可被使用。替换地,使用相位调制原理的TOF相机也可用于本文中引入的技术的这种目的。
[0024] 附加地,该设备可使用不同的照明设置在几乎相同的时间采集两个或多个这样的IR图像,以滤除环境IR照明和/或标识来自眼睛的不同镜面反射(闪光)。该特征使得该设备能够执行环境不变的眼睛跟踪,即允许它在具有不受控制的环境照明的环境中正确运作。该设备还可(使用TOF原理)计算深度以供在姿势识别和/或其他应用中使用。
[0025] 图1A和1B解说了根据至少一个实施例的安装在眼镜上的眼睛跟踪设备。如所示出的,眼睛跟踪设备1可被安装到标准眼镜2的框架上(图1B),诸如两个镜腿框架部件3中接近用户的双眼之一的任一者。在该上下文中“接近”意指在几厘米内,诸如小于约5cm。注意,如图1所示的设备1的物理形状仅是眼睛跟踪设备可具有的形状的许多可能示例之一。如以下进一步讨论的,设备1具有外壳4,其至少部分地包含向前看的人类可见光谱摄像机5(例如,RGB摄像机)、至少一个近IR照明源6以及包括IR传感器7的门控的“高速快门”IR相机。该设备进一步包括用于将设备1可拆卸地连接到眼镜框架3的紧固件8(例如,弹簧加载夹子、尼龙搭扣等)。紧固件8可以是能够将该设备安装到任何标准眼镜的“通用”紧固件,或者它可以被专门设计用于给定模型或制造商的眼镜。
[0026] 图2是进一步示出根据至少一个实施例的眼睛跟踪设备的一实施例的这些或其他元件的框图。如所解说的,设备1包括电源21(例如,电池)、中央处理单元(CPU)22、存储器23、包括IR传感器7的门控“高速快门”IR相机20、一个或多个IR照明源6、人类可见光谱摄像机(“实景摄像机”)5和通信单元24。设备1进一步包括与IR相机相关联的透镜(未示出)。
[0027] 实景摄像机5可以是任何常规摄像机。IR相机20可以是使其深度测量中的分辨率到几厘米内的高速快门门控TOF IR相机。注意,在一些实施例中,IR相机20可包括其自己的处理器和/或存储器(未示出),其与CPU 22和存储器23分开,并用于执行图像捕捉和/或图像处理操作。
[0028] 在一些实施例中,CPU 22控制设备1的其他组件的操作,并确定注视方向或执行与注视确定有关的眼睛跟踪计算。CPU 22可以是或者包括任何已知或方便形式的处理器和/或控制器,诸如经适当编程的通用微处理器、专用微处理器或数字信号处理器、可编程微控制器、专用集成电路(ASIC)、可编程逻辑设备(PLD)等或任何两个或更多个这样的设备的组合。此外,如果CPU 22是可编程的微处理器,它可以是单核处理器或多核处理器
[0029] 存储器23可被用于存储以下中的任一者或多者:通过IR相机获得的图像数据、通过可见光谱获得的图像数据、供CPU执行的程序代码、由CPU的计算或运算得到的中间数据、或其他数据和/或程序代码。因此,存储器23的部分可实际上驻留在CPU 22、可见光谱相机5或IR相机20中。存储器23可包括一个或多个物理存储设备,其可以是或包括随机存取存储器(RAM)、只读存储器(ROM)(其可以是可擦写并可编程的)、闪存、微型硬盘驱动器、或其他合适类型的存储设备、或这样的设备的组合。
[0030] 通信单元24使得眼睛跟踪设备1能够与诸如计算机或其他类型的处理设备之类的外部设备或系统(未示出)通信。例如,在某些实施例中,眼睛跟踪计算中的至少一些可由外部设备(例如,个人计算机)基于由眼睛跟踪设备获得并由通信单元传送到外部设备的数据来完成。这可允许CPU 22的编程或配置变得简单的多,或者它可允许CPU 22被简单的多的类型的控制器替换或者甚至被完全从眼睛跟踪设备1中省略。通信单元24可以是或包括执行有线通信、无线通信或两者的收发机。例如,通信单元24可以是或包括以下中的任一者或多者:通用串行总线(USB)适配器、以太网适配器、调制解调器、Wi-Fi适配器、蜂窝收发机、基带处理器、蓝牙或低功耗蓝牙(BLE)收发机等或其组合。
[0031] 该设备的每一IR源6可以是或包括例如一个或多个发光二极管(LED)或漫射激光源。激光源可结合TOF原理一起用于提供高质量深度确定,诸如供在姿势识别时使用。如以下进一步讨论的,(诸)IR源6的照明被控制为使得对于成像的每一快门窗口,该照明可被设置为打开或关闭。对于其中存在一个以上IR源6的各实施例,设备1能够独立地打开或关闭每一源。
[0032] 图3和4解说了根据至少一个实施例的眼睛跟踪设备的操作原理。注意,图3在本质上旨在是示意性的,使得源6和传感器7在一实际实现中的实际位置可不同于它们如图3所示的位置。IR源6以朝向眼镜2的透镜34之一的度发射IR能量。如上所述,眼镜2被假定为是标准眼镜,使得透镜被制成标准验光质量玻璃或适合于标准眼镜透镜的任何其他材料。所发射的IR能量31的部分31A(通常约其5%,利用玻璃)被从最近的透镜34的内表面反射以到达用户的眼睛32。所发射的IR能量31的剩余部分31B(通常约其95%,利用玻璃)完全被透射经过透镜一直到用户的环境。如图3所示,到达用户的眼睛的IR能量的至少一部分31C被从角膜反射回到透镜的内表面,其中那个剩余能量的部分31D被进一步反射回到IR相机(在图3和4中没有被完全示出)的传感器7。到达IR传感器7的IR能量31D被检测并被CPU 22(或者替换地被外部设备)用来(即,使用瞳孔和/或虹膜标识)确定眼睛位置。一旦眼睛位置被确定,就有可能通过使用用于注视跟踪的标准方法来标识RGB视频图像上的注视位置。实现这个的一种方式是通过使用多项式来将瞳孔中心或瞳孔-闪光向量映射到RGB坐标。
[0033] 此外,被透射经过透镜一直到用户的环境的IR能量31B的至少一部分31E(图4)被从环境中的对象41反射回到IR传感器7,如所示出的。此外,环境中的(例如,来自对象41的)环境IR能量32也可到达IR传感器7。然而,IR相机20的高速快门和TOF原理使得眼睛跟踪设备1能够滤除那个IR能量中除了从用户的眼睛反射的IR能量中到达传感器7的部分31D以外的全部能量。这可通过设置IR相机20的快门定时,使得从设备1发射的IR能量将在其返回IR相机的传感器7的路上被快门(其可以是电子的)切断,从而仅从非常邻近传感器7之处(例如,在几厘米以内)从对象反射或源自这些对象的IR被IR相机20捕捉;即,仅具有足够短的TOF的能量被允许被捕捉。这使得IR相机20能够仅捕捉眼睛的图像,而没有来自外部对象的反射。
[0034] 此外,通过在每一成像帧中使用多个快门(时间)窗口,有可能消除来自不源自设备1的IR光的反射,即滤除环境IR。实现这个的一种方式是将在一个快门窗口期间获得的非照明图像从在紧接在前或紧接在后的快门窗口期间获得的IR照明图像中减去。
[0035] 此外,通过每一成像帧使用一个以上的照明快门窗口,且不同的IR源在每一帧中的不同连续快门窗口期间活跃,设备1可执行或允许稳健的闪光和瞳孔标识(闪光检测可被用于注视稳定化以允许头部上的相机移动,而不会牺牲注视确定的准确性)。图5针对使用两个IR源6(被称为源1和源2)的示例IR照明方案解说了该原理。在所解说的方案中,IR相机对每一成像帧使用三个快门窗口,即快门窗口S0、S1和S2,其中IR源被(例如,CPU 22)如下控制为被同步到快门窗口:在快门窗口S0,源1打开并且源2关闭;在快门窗口S1期间,源2打开且源1关闭;并且在快门窗口S2期间,两个IR源都关闭。源1和源2各自从眼睛上的不同位置产生分开的镜面反射,这可被用于准确的闪光和瞳孔标识。因此,在该实施例中,IR相机20实际上每一成像帧捕捉三个独立的图像,即每一快门窗口一个图像,所有图像均对应于基本上同一时间瞬间(即,至少出于注视跟踪的目的是相同的)。每一帧的那些分开的图像被分开地存储在存储器23中,并且可被独立地取回以允许进行如上所述的处理。
[0036] 图6示出具有两个照明源的眼睛跟踪设备的实施例。第二IR源6B可被定位在接近例如用户的鼻梁的眼镜框架3之上或附近。第二IR源6B可通过诸如线之类的连接器61(它可以是刚性或半刚性的以使得它能够符合透镜框架的轮廓)或通过任何其他合适的连接机构连接到该设备的外壳。
[0037] 图7是根据一些实现的眼睛跟踪设备的操作过程的示例的流程图。在步骤701,设备1从IR源6发射IR能量。在步骤702,高速快门IR相机20的IR传感器7检测红外能量。IR相机20随后在步骤703基于其TOF应用一个或多个门控功能以从检测到的IR中滤除外部IR反射。
IR相机20还在步骤704基于其TOF应用一个或多个门控功能以从检测到的IR中滤除环境IR。
CPU 23随后在步骤705仅基于邻近的IR能量反射(例如,来自用户的眼睛的反射)来确定用户的眼睛位置。
[0038] 以上描述的机器实现的操作可由通过软件和/或固件来编程/配置的可编程电路、或完全由专用电路、或由这样的形式的组合来实现。这样的专用电路(如果有的话)可采用例如一个或多个专用集成电路(ASIC)、可编程逻辑设备(PLD)、现场可编程门阵列(FPGA)、片上系统(SOC)等的形式。
[0039] 用于实现本文中引入的技术的软件或固件可被存储在机器可读存储介质上,并可由一个或多个通用或专用可编程微处理器来执行。如本文中所使用的术语“机器可读介质”包括可存储机器(机器可以是例如计算机、网络设备、蜂窝电话、个人数字助理(PDA)、制造工具、具有一个或多个处理器的任意设备等)可访问的形式的信息的任何机制。例如,机器可访问介质包括可记录/不可记录介质(例如,只读存储器(ROM);随机存取存储器(RAM);磁盘存储介质、光学存储介质;闪存设备等)等。
[0040] 某些实施例的示例
[0041] 本文中引入的技术的某些实施例被概括在以下经编号的示例中:
[0042] 1.一种眼睛移动跟踪设备,包括:第一照明源,所述第一照明源用于从接近人的眼睛的位置发射处于频带内的能量,使得所发射的能量的至少第一部分从所述人所佩戴的眼镜的透镜反射以随后从所述人的所述眼睛反射,并使得所发射的能量的至少第二部分透射经过所述透镜以从在所述人的环境中的对象反射;飞行时间检测器,所述飞行时间检测器用于检测所发射的能量的至少所述第一部分的反射,并基于检测到的所发射能量的所述第一部分的反射的飞行时间以及由飞行时间检测器检测到的处于所述频带中的其他能量来将所发射的能量的第一部分的反射与所述其他能量区分开;以及,处理器,所述处理器被配置成使用检测到的所发射的能量的所述第一部分的反射来确定所述人的所述眼睛的位置。
[0043] 2.根据示例1所述的眼睛移动跟踪设备,进一步包括紧固件,通过所述紧固件,所述眼睛移动跟踪设备可被可拆卸地安装到标准眼镜。
[0044] 3.根据示例1和2中的任一者所述的眼睛移动跟踪设备,其中所发射的能量是红外能量。
[0045] 4.根据示例1到3中的任一项所述的眼睛移动跟踪设备,进一步包括用于捕捉与所述人的注视方向相对应的场景的图像的人类可见光谱相机。
[0046] 5.根据示例1到4中的任一项所述的眼睛移动跟踪设备,其特征在于,进一步包括第二照明源。
[0047] 6.根据示例1到5中的任一项所述的眼睛移动跟踪设备,其中所述第一照明源被控制成在成像帧的第一快门窗口期间发射能量,并且在所述成像帧的第二快门窗口期间不发射能量;并且,其中所述处理器还被配置成:基于由所述飞行时间检测器在所述第一快门窗口期间检测到的能量和由所述飞行时间检测器在所述第二快门窗口期间检测到的能量之间的差异来标识所述环境中的环境能量;以及,滤除所述环境能量,使得所述眼睛的注视方向的确定不受所述环境能量影响。
[0048] 7.根据示例1到6中的任一项所述的眼睛移动跟踪设备,其特征在于,所述第一和第二快门窗口不重叠。
[0049] 8.根据前述示例1到7中的任一项所述的眼睛移动跟踪设备,进一步包括被控制为在所述成像帧的第三快门窗口期间发射能量的第二照明源,其中所述第一照明源在所述第三快门窗口期间不发射,并且所述第二照明源在所述第一快门窗口期间不发射。
[0050] 9.根据示例1到8中的任一项所述的眼睛移动跟踪设备,其中所述处理器还被配置成:将由所述传感器在所述第一快门窗口期间检测到的能量与由所述传感器在所述第三快门窗口期间检测到的能量区分开;以及,基于由所述传感器在所述第一快门窗口期间检测到的能量和由所述传感器在所述第三快门窗口期间检测到的能量之间的差异来标识所述眼睛中的角膜闪光。
[0051] 10.根据示例1到9中的任一项所述的眼睛移动跟踪设备,其中所述处理器被配置成基于所述角膜闪光执行注视稳定化。
[0052] 11.一种跟踪人的眼睛移动的方法,所述方法包括:从位于所述人的眼睛附近的第一源发射能量,使得所发射的能量的至少第一部分从所述人所佩戴的眼镜的透镜的内表面反射,并且所发射的能量的至少第二部分透射经过所述透镜以从所述人的环境中的对象反射;由传感器检测所发射的能量的所述第一部分和所述第二部分两者的反射;使用所发射的能量的所述第一和第二部分相应的飞行时间来将检测到的所发射的能量的所述第一部分的反射与检测到的所发射的能量的所述第二部分的反射区分开;以及,通过使用检测到的所发射的能量的所述第一部分的反射而不使用检测到的所发射的能量的所述第二部分的反射来确定所述眼睛的注视方向。
[0053] 12.根据示例11所述的方法,其中所述发射和所述检测由可移除地安装到所述人所佩戴的眼镜的装置执行。
[0054] 13.根据前述示例11和12中的任一者所述的方法,其中从所述第一源发射的能量包括处于电磁谱的红外部分中的电磁能量,而不包括处于所述电磁谱的人类可见部分中的能量。
[0055] 14.根据示例11到13中的任一项所述的方法,其中所述眼镜包括常规的处方眼镜,并且所述源和所述检测器被可移除地安装到所述眼镜。
[0056] 15.根据示例11到14中的任一项所述的方法,其中所发射的能量包括红外光,而不包括处于所述电磁谱的人类可见部分中的能量。
[0057] 16.根据示例11到15中的任一项所述的方法,其中所述从所述第一源发射能量包括在多个顺序成像帧中的每一者中,在第一快门窗口期间从所述第一源发射能量;其中在所述多个顺序成像帧中的每一者中,所述第一源在第二快门窗口期间不发射;并且所述方法进一步包括:在所述多个成像帧中的每一者中,基于由所述传感器在所述第一快门窗口期间检测到的能量和由所述传感器在所述第二快门窗口期间检测到的能量之间的差异来标识所述环境中的环境能量;以及,滤除所述环境能量,使得所述确定所述眼睛的注视方向不受所述环境能量影响。
[0058] 17.根据示例11到16中的任一项所述的方法,其中所述第一和第二快门窗口不重叠。
[0059] 18.根据示例11到17中的任一项所述的方法,进一步包括:在所述多个顺序成像帧中的每一者中在第三快门窗口期间从第二源传送能量;其中在所述多个顺序成像帧中的每一者中,所述第一源在所述第三快门窗口期间不发射,而所述第二源在所述第一快门窗口期间不发射;所述方法进一步包括:在所述多个顺序成像帧中的至少一者中,将由所述传感器在所述第一快门窗口期间检测到的能量与由所述传感器在所述第三快门窗口期间检测到的能量区分开;以及,在所述多个成像帧中的所述至少一者中,基于由所述传感器在所述第一快门窗口期间检测到的能量和由所述传感器在所述第三快门窗口期间检测到的能量之间的差异来标识所述眼睛中的角膜闪光,其中确定所述眼睛的注视方向包括使用所述角膜闪光。
[0060] 19.一种跟踪眼睛移动的方法,所述方法包括:仅从安装在人所佩戴的眼镜上的第一源发射红外光,使得所发射的红外光的至少第一部分从所述眼镜的透镜的内表面反射,并随后从所述人的眼睛反射,并且所发射的红外光的至少第二部分透射经过所述透镜以从所述人所位于的环境中的对象反射;由安装在所述人所佩戴的眼镜上的传感器检测从所述人的眼睛反射的所发射的红外光的所述第一部分以及从所述环境中的对象反射的所发射的红外光的所述第二部分两者的反射;确定检测到的所发射的光的所述第一和第二部分的反射的相应飞行时间;基于检测到的所发射的红外光的所述第一和第二部分的反射的飞行时间来滤除检测到的所发射的红外光的所述第二部分的反射;从由所述传感器检测到的光中滤除环境红外光;以及,通过使用检测到的所发射的红外光的所述第一部分的反射来基于所述传感器的经过滤的输出跟踪所述眼睛的位置。
[0061] 20.根据示例19所述的方法,其中所述从所述第一源发射红外光包括在多个顺序成像帧中的每一者中,在第一快门窗口期间从所述第一源发射红外光;并且其中在所述多个顺序成像帧中的每一者中,所述第一源在第二快门窗口期间不发射,并且其中所述第一和第二快门窗口不重叠。
[0062] 21.根据示例19和20中的任意一项所述的方法,进一步包括:
[0063] 在所述多个顺序成像帧中的每一者中,在第三快门窗口期间从第二源发射红外光,其中在所述多个顺序成像帧中的每一者中,所述第一源在所述第三快门窗口期间不发射,而所述第二源在所述第一快门窗口期间不发射;在所述多个成像帧中的每一者中,基于由所述传感器在所述第一快门窗口期间检测到的能量和由所述传感器在所述第二快门窗口期间检测到的能量之间的差异来标识所述环境中的环境能量;在所述多个顺序成像帧中的至少一者中,将由所述传感器在所述第一快门窗口期间检测到的能量与由所述传感器在所述第三快门窗口期间检测到的能量区分开;以及,在所述多个成像帧中的所述至少一者中,基于由所述传感器在所述第一快门窗口期间检测到的能量和由所述传感器在所述第三快门窗口期间检测到的能量之间的差异来标识所述眼睛中的角膜闪光,其中所述跟踪所述眼睛的位置包括基于所述角膜闪光来执行注视稳定化。
[0064] 22.一种用于跟踪人的眼睛移动的设备,所述设备包括:用于从位于所述人的眼睛附近的第一源发射能量,使得所发射的能量的至少第一部分从所述人所佩戴的眼镜的透镜的内表面反射,并且所发射的能量的至少第二部分透射经过所述透镜以从所述人的环境中的对象反射的装置;由传感器检测所发射的能量的所述第一部分和所述第二部分两者的反射;用于使用所发射的能量的所述第一和第二部分相应的飞行时间来将检测到的所发射的能量的所述第一部分的反射与检测到的所发射的能量的所述第二部分的反射区分开的装置;以及,用于通过使用检测到的所发射的能量的所述第一部分的反射而不使用检测到的所发射的能量的所述第二部分的反射来确定所述眼睛的注视方向。
[0065] 23.根据示例22所述的设备,其中所述设备能可移除地安装到所述人所佩戴的所述眼镜。
[0066] 24.根据前述示例22和23中的任一者所述的设备,其中从所述第一源发射的能量包括处于电磁谱的红外部分中的电磁能量,而不包括处于所述电磁谱的人类可见部分中的能量。
[0067] 25.根据示例22到24中的任一项所述的设备,其中所述眼镜包括常规的处方眼镜,并且所述源和所述检测器被可移除地安装到所述眼镜。
[0068] 26.根据示例22到25中的任一项所述的设备,其中所发射的能量包括红外光,而不包括处于所述电磁谱的人类可见部分中的能量。
[0069] 27.根据示例22到26中的任一项所述的设备,其中所述用于从所述第一源发射能量的装置包括用于在多个顺序成像帧中的每一者中在第一快门窗口期间从所述第一源发射能量的装置;其中在所述多个顺序成像帧中的每一者中,所述第一源在第二快门窗口期间不发射;并且所述设备进一步包括:用于在所述多个成像帧中的每一者中,基于由所述传感器在所述第一快门窗口期间检测到的能量和由所述传感器在所述第二快门窗口期间检测到的能量之间的差异来标识所述环境中的环境能量的装置;以及,用于滤除所述环境能量,使得所述确定所述眼睛的注视方向不受所述环境能量影响的装置。
[0070] 28.根据示例22到27中的任一者所述的设备,其中所述第一和第二快门窗口不重叠。
[0071] 29.根据示例22到28中的任一项所述的设备,进一步包括:用于在所述多个顺序成像帧中的每一者中在第三快门窗口期间从第二源传送能量的装置;其中在所述多个顺序成像帧中的每一者中,所述第一源在所述第三快门窗口期间不发射,而所述第二源在所述第一快门窗口期间不发射;所述设备进一步包括:用于在所述多个顺序成像帧中的至少一者中,将由所述传感器在所述第一快门窗口期间检测到的能量与由所述传感器在所述第三快门窗口期间检测到的能量区分开的装置;以及,用于在所述多个成像帧中的所述至少一者中,基于由所述传感器在所述第一快门窗口期间检测到的能量和由所述传感器在所述第三快门窗口期间检测到的能量之间的差异来标识所述眼睛中的角膜闪光的装置,其中确定所述眼睛的注视方向包括使用所述角膜闪光。
[0072] 30.一种跟踪眼睛移动的设备,所述设备包括:用于从安装在所述人所佩戴的眼镜上的第一源仅发射红外光,使得所发射的红外光的至少第一部分从所述眼镜的透镜的内表面反射,并随后从所述人的眼睛反射,并且所发射的红外光的至少第二部分透射经过所述透镜以从所述人所位于的环境中的对象反射的装置;用于由安装在所述人所佩戴的眼镜上的传感器检测所发射的红外光的从所述人的眼睛反射的第一部分以及所发射的红外光的从所述环境中的对象反射的第二部分两者的反射的装置;用于确定检测到的所发射的光的所述第一和第二部分的反射的相应的飞行时间的装置;用于基于检测到的所发射的红外光的所述第一和第二部分的反射的飞行时间来滤除检测到的所发射的红外光的所述第二部分的反射的装置;用于从由所述传感器检测到的光中滤除环境红外光的装置;以及,通过使用检测到的所发射的红外光的所述第一部分的反射来基于所述传感器的经过滤的输出来跟踪所述眼睛的位置。
[0073] 31.根据示例30所述的设备,其中所述用于从所述第一源发射红外光的装置包括用于在多个顺序成像帧中的每一者中,在第一快门窗口期间从所述第一源发射红外光的装置;并且其中在所述多个顺序成像帧中的每一者中,所述第一源在第二快门窗口期间不发射,并且其中所述第一和第二快门窗口不重叠。
[0074] 32.根据示例30和31中的任一项所述的设备,进一步包括:
[0075] 用于在所述多个顺序成像帧中的每一者中,在第三快门窗口期间从第二源发射红外光的装置,其中在所述多个顺序成像帧中的每一者中,所述第一源在所述第三快门窗口期间不发射,而所述第二源在所述第一快门窗口期间不发射;用于在所述多个成像帧中的每一者中,基于由所述传感器在所述第一快门窗口期间检测到的能量和由所述传感器在所述第二快门窗口期间检测到的能量之间的差异来标识所述环境中的环境能量的装置;用于在所述多个顺序成像帧中的至少一者中,将由所述传感器在所述第一快门窗口期间检测到的能量与由所述传感器在所述第三快门窗口期间检测到的能量区分开的装置;以及,用于在所述多个成像帧中的所述至少一者中,基于由所述传感器在所述第一快门窗口期间检测到的能量和由所述传感器在所述第三快门窗口期间检测到的能量之间的差异来标识所述眼睛中的角膜闪光的装置,其中所述跟踪所述眼睛的位置包括使用所述角膜闪光来执行注视稳定化。
[0076] 以上所述的特征和功能中的任一者和全部可彼此组合,除了其可在以上被按其他方式被陈述或者任何这样的实施例可由于其功能或结构而不兼容的范畴以外,如对本领域的普通技术人员所显而易见的。除非与物理可能性相反,否则可预期(i)本文中描述的方法/步骤可按任何顺序和/或任何组合被执行,以及(ii)相应的实施例的组件可按任何方式被组合。
[0077] 尽管用结构特征和/或动作专用的语言描述了本主题,但可以理解,所附权利要求书中定义的主题不必限于上述具体特征或动作。相反,上述特定特征和动作是作为实现权利要求书的示例而公开的,并且其他等价特征和动作旨在处于权利要求书的范围内。
QQ群二维码
意见反馈