眼球追踪方法及相关产品
阅读：164发布：2020-05-23
专利汇可以提供眼球追踪方法及相关产品专利检索，专利查询，专利分析的服务。并且本 申请 实施例 公开了一种眼球追踪方法及相关产品，应用于 电子 设备，电子设备包括前置红外灯、前置RGB摄像头、前置深度摄像头、显示屏和处理器，在前置红外灯对目标对象进行照射时，通过前置RGB摄像头获取目标对象的眼部区域的RGB图像，以及通过前置深度摄像头获取眼部区域的 深度图 像 ，根据RGB图像确定目标对象的瞳孔在RGB图像上的第一 位置 ，根据深度图像将第一位置进行校准，得到第二位置，根据第二位置确定目标对象的眼球关注显示屏上的目标位置，如此，可通过深度图像对RGB图像中目标对象的瞳孔的第一位置进行校准，从而，可对眼球追踪过程中 精度 较低的问题进行优化，提高眼球追踪的精确度。，下面是眼球追踪方法及相关产品专利的具体信息内容。
1.一种眼球追踪方法，其特征在于，应用于电子设备，所述电子设备包括前置红外灯、前置RGB摄像头、前置深度摄像头、显示屏和处理器，所述方法包括：
在所述前置红外灯对目标对象进行照射时，通过所述前置RGB摄像头获取所述目标对象的眼部区域的RGB图像，以及通过所述前置深度摄像头获取所述眼部区域的深度图像；
所述处理器根据所述RGB图像确定所述目标对象的瞳孔在所述RGB图像上的第一位置；
所述处理器根据所述深度图像将所述第一位置进行校准，得到第二位置；
所述处理器根据所述第二位置确定所述目标对象的眼球关注所述显示屏上的目标位置。
2.根据权利要求1所述的方法，其特征在于，所述处理器根据所述RGB图像确定所述目标对象的瞳孔在所述RGB图像上的第一位置，包括：
所述处理器对所述RGB图像进行人眼特征提取，得到所述目标对象的瞳孔特征点；
根据所述瞳孔特征点确定所述瞳孔在所述RGB图像中的第一位置。
3.根据权利要求1或2所述的方法，其特征在于，所述处理器根据所述深度图像将所述第一位置进行校准，得到第二位置，包括：
所述处理器根据所述第一位置对应的深度图像中的深度信息确定所述第一位置与所述电子设备之间的第一距离；
选取所述RGB图像中以所述第一位置为中心的第一半径区域中的多个像素点；
根据所述多个像素点对应的深度图像中的深度信息确定所述多个像素点中每一像素点对应的参考距离，得到多个参考距离；
根据所述RGB图像中第一位置为中心的第二半径区域中除所述第一半径区域以外的部分区域对应的深度图像中的深度信息确定所述部分区域与所述电子设备之间的第二距离，所述第一半径区域的第一半径小于所述第二半径区域的第二半径；
确定所述多个像素点对应的多个参考距离中与所述第一距离和第二距离中较大的距离更加接近的多个目标距离对应的多个目标像素点，所述多个目标距离与所述多个目标像素点一一对应；
根据所述多个目标像素点确定所述RGB图像中的第二位置。
4.根据权利要求3所述的方法，在所述选取所述RGB图像中以所述第一位置为中心的第一半径区域中的多个像素点之前，所述方法还包括：
所述处理器根据预设的距离与半径之间的对应关系确定与所述第一距离对应的第一半径。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述处理器根据所述第二位置确定所述目标对象的眼球关注所述显示屏上的目标位置，包括：
所述处理器获取所述前置RGB摄像头的工作参数和所述显示屏的显示参数；
根据所述工作参数和所述显示参数将所述第一位置转换为所述目标位置。
6.一种眼球追踪装置，其特征在于，应用于电子设备，所述电子设备包括前置红外灯、前置RGB摄像头、前置深度摄像头、显示屏和处理器，所述眼球追踪装置包括：
获取单元，用于在所述前置红外灯对目标对象进行照射时，通过所述前置RGB摄像头获取所述目标对象的眼部区域的RGB图像，以及通过所述前置深度摄像头获取所述眼部区域的深度图像；
确定单元，用于通过所述处理器根据所述RGB图像确定所述目标对象的瞳孔在所述RGB图像上的第一位置；
校准单元，用于所述处理器根据所述深度图像将所述第一位置进行校准，得到第二位置；
所述确定单元，用于所述处理器根据所述第二位置确定所述目标对象的眼球关注所述显示屏上的目标位置。
7.根据权利要求6所述的眼球追踪装置，其特征在于，在所述处理器根据所述RGB图像确定所述目标对象的瞳孔在所述RGB图像上的第一位置方面，所述确定单元具体用于：
所述处理器对所述RGB图像进行人眼特征提取，得到所述目标对象的瞳孔特征点；
根据所述瞳孔特征点确定所述瞳孔在所述RGB图像中的第一位置。
8.根据权利要求7所述的眼球追踪装置，其特征在于，在所述处理器根据所述深度图像将所述第一位置进行校准，得到第二位置方面，所述追踪单元具体用于：
所述处理器根据所述第一位置对应的深度图像中的深度信息确定所述第一位置与所述电子设备之间的第一距离；
选取所述RGB图像中以所述第一位置为中心的第一半径区域中的多个像素点；
根据所述多个像素点对应的深度图像中的深度信息确定所述多个像素点中每一像素点对应的参考距离，得到多个参考距离；
根据所述RGB图像中第一位置为中心的第二半径区域中除所述第一半径区域以外的部分区域对应的深度图像中的深度信息确定所述部分区域与所述电子设备之间的第二距离，所述第一半径区域的第一半径小于所述第二半径区域的第二半径；
确定所述多个像素点对应的多个参考距离中与所述第一距离和第二距离中较大的距离更加接近的多个目标距离对应的多个目标像素点，所述多个目标距离与所述多个目标像素点一一对应；
根据所述多个目标像素点确定所述RGB图像中的第二位置。
9.一种电子设备，其特征在于，包括：前置红外灯、前置RGB摄像头、前置深度摄像头、显示屏、处理器、存储器和通信接口；以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置成由所述处理器执行，所述程序包括用于如权利要求1-5任一项所述的方法的指令。
10.一种计算机可读存储介质，其特征在于，其用于存储计算机程序，其中，所述计算机程序使得计算机执行如权利要求1-5任一项所述的方法。
眼球追踪方法及相关产品
技术领域
[0001] 本申请涉及眼球追踪技术领域，具体涉及一种眼球追踪方法及相关产品。
背景技术
[0005] 第一方面，本申请实施例提供了一种眼球追踪方法，应用于电子设备，所述电子设备包括前置红外灯、前置RGB摄像头、前置深度摄像头、显示屏和处理器，所述方法包括：
[0006] 在所述前置红外灯对目标对象进行照射时，通过所述前置RGB摄像头获取所述目标对象的眼部区域的RGB图像，以及通过所述前置深度摄像头获取所述眼部区域的深度图像；
[0007] 所述处理器根据所述RGB图像确定所述目标对象的瞳孔在所述RGB图像上的第一位置；
[0008] 所述处理器根据所述深度图像将所述第一位置进行校准，得到第二位置；
[0009] 所述处理器根据所述第二位置确定所述目标对象的眼球关注所述显示屏上的目标位置。
[0010] 第二方面，本申请实施例提供了一种眼球追踪装置，应用于电子设备，所述电子设备包括前置红外灯、前置RGB摄像头、前置深度摄像头、显示屏和处理器，所述眼球追踪装置包括：
[0011] 获取单元，用于在所述前置红外灯对目标对象进行照射时，通过所述前置RGB摄像头获取所述目标对象的眼部区域的RGB图像，以及通过所述前置深度摄像头获取所述眼部区域的深度图像；
[0012] 确定单元，用于通过所述处理器根据所述RGB图像确定所述目标对象的瞳孔在所述RGB图像上的第一位置；
[0013] 校准单元，用于所述处理器根据所述深度图像将所述第一位置进行校准，得到第二位置；
[0014] 所述确定单元，用于所述处理器根据所述第二位置确定所述目标对象的眼球关注所述显示屏上的目标位置。
[0015] 第三方面，本申请实施例提供了一种电子设备，包括：前置红外灯、前置RGB摄像头、前置深度摄像头、显示屏、处理器、存储器和通信接口；以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置成由所述处理器执行，所述程序包括用于如本申请实施例第一方面中所描述的部分或全部步骤的指令。
[0016] 第四方面，本申请实施例提供了一种计算机可读存储介质，其中，所述计算机可读存储介质用于存储计算机程序，其中，所述计算机程序使得计算机执行如本申请实施例第一方面中所描述的部分或全部步骤的指令。
[0017] 第五方面，本申请实施例提供了一种计算机程序产品，其中，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序可操作来使计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
[0018] 实施本申请实施例，具有如下有益效果：
[0019] 可以看出，本申请实施例中所描述的眼球追踪方法及相关产品，应用于电子设备，电子设备包括前置红外灯、前置RGB摄像头、前置深度摄像头、显示屏和处理器，在前置红外灯对目标对象进行照射时，通过前置RGB摄像头获取目标对象的眼部区域的RGB图像，以及通过前置深度摄像头获取眼部区域的深度图像，根据RGB图像确定目标对象的瞳孔在RGB图像上的第一位置，根据深度图像将第一位置进行校准，得到第二位置，根据第二位置确定目标对象的眼球关注显示屏上的目标位置，如此，可通过深度图像对RGB图像中目标对象的瞳孔的第一位置进行校准，从而，可对眼球追踪过程中精度较低的问题进行优化，提高眼球追踪的精确度。附图说明
[0020] 为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0021] 图1A是本申请实施例提供的一种电子设备的结构示意图；
[0022] 图1B是本申请实施例提供的一种眼球追踪方法的流程示意图；
[0023] 图1C是本申请实施例提供的一种通过电子设备的前置RGB摄像头获取目标对象的眼部区域的RGB图像的场景示意图；
[0024] 图1D是本申请实施例提供的一种RGB图像的演示示意图；
[0025] 图2是本申请实施例提供的另一种眼球追踪方法的流程示意图；
[0026] 图3是本申请实施例提供的另一种眼球追踪方法的流程示意图；
[0027] 图4是本申请实施例提供的另一种电子设备的结构示意图；
[0028] 图5是本申请实施例提供的一种眼球追踪装置的结构示意图；
[0029] 图6是本申请实施例提供的电子设备的另一种结构示意图。
具体实施方式
[0030] 为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0031] 本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
[0032] 在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
[0033] 本申请实施例所涉及到的电子设备可以包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其他处理设备，以及各种形式的用户设备(user equipment，UE)，移动台(mobile station，MS)，终端设备(terminal device)等等。为方便描述，上面提到的设备统称为电子设备。
[0034] 下面对本申请实施例进行详细介绍。
[0035] 请参阅图1A，图1A是本申请实施例提供的一种电子设备100的结构示意图，上述电子设备100包括：壳体110、设置于所述壳体110内的电路板120和设置于所述壳体110上的显示屏130、前置红外灯140、前置RGB摄像头150和前置深度摄像头160，所述电路板120上设置有处理器121和存储器122。
[0036] 其中，前置RGB摄像头可以获取彩色图像。前置深度摄像头可以是由两个RGB摄像头组成的摄像头组合构成，前置深度摄像头还可以是结构光摄像头或者飞行时间(time of flight，TOF)摄像头，其中，通过两个RGB摄像头组成的摄像头组合，可获取包含深度信息的深度图像，通过结构光摄像头或者TOF摄像头，也可以获取包含深度信息的深度图像。
[0037] 请参阅图1B，图1B是本申请实施例提供的一种眼球追踪方法的流程示意图，本实施例中所描述的眼球追踪方法，应用于如图1A所示的电子设备，所述电子设备包括前置红外灯、前置RGB摄像头、前置深度摄像头、显示屏和处理器，该眼球追踪方法包括：
[0038] 101、在所述前置红外灯对目标对象进行照射时，通过所述前置RGB摄像头获取所述目标对象的眼部区域的RGB图像，以及通过所述前置深度摄像头获取所述眼部区域的深度图像。
[0039] 请参阅图1C，图1C为本申请实施例提供的一种通过电子设备的前置RGB摄像头获取目标对象的眼部区域的RGB图像的场景示意图。如图1C所示，可通过电子设备的前置红外灯对目标对象进行照射，此时，可通过前置RGB摄像头目标对象的眼部区域的RGB图像，以及，通过前置深度摄像头获取眼部区域的深度图像。其中，目标对象是指被进行眼球追踪的用户，具体实施中，目标对象可握持电子设备，将显示屏和前置RGB摄像头一侧面对目标对象的眼睛，从而，可通过电子设备上的前置RGB摄像头获取目标对象的眼部区域的RGB图像，以及通过前置深度摄像头获取眼部区域的深度图像。
[0040] 102、所述处理器根据所述RGB图像确定所述目标对象的瞳孔在所述RGB图像上的第一位置。
[0041] 其中，第一位置是指目标对象的瞳孔在RGB图像上对应的位置。
[0042] 本申请实施例中，红外灯发射红外光照射到目标对象的眼球后，会在目标对象的瞳孔上形成光斑，目标对象在观看显示屏的过程中，若目标对象的视线发生变化，瞳孔在眼球区域的位置会发生变化，前置RGB摄像头可追踪瞳孔位置变化，对瞳孔位置进行定位，得到目标对象的瞳孔在RGB图像上的的第一位置。
[0043] 可选地，上述步骤102中，处理器根据所述RGB图像确定所述目标对象的瞳孔在所述RGB图像上的第一位置，可包括以下步骤：
[0044] 21、所述处理器对所述RGB图像进行人眼特征提取，得到所述目标对象的瞳孔特征点；
[0045] 22、根据所述瞳孔特征点确定所述瞳孔在所述RGB图像中的第一位置。
[0046] 如图1D所示，图1D为本申请实施例提供的一种眼部区域的RGB图像的演示示意图，其中，可通过对RGB图像进行人眼特征提取，得到目标对应的瞳孔特征点，然后，根据瞳孔特征点确定瞳孔在RGB图像中的第一位置。
[0047] 103、所述处理器根据所述深度图像将所述第一位置进行校准，得到第二位置。
[0048] 其中，第二位置为校准后的目标对象的瞳孔在RGB图像上对应的位置。
[0049] 本申请实施例中，考虑到目标对象的眼睛与电子设备相隔一段距离，在前置红外灯照射目标对象的眼睛后，发射的红外光会中有一部分会分散，导致发射至眼部的红外光变少，其中，目标对象的眼睛与电子设备的距离越远，发射至眼部的红外光越少，从而，会导致确定的第一位置的精度会受到影响，目标对象的眼睛与电子设备的距离越远，进而，确定目标对象眼球关注的目标位置的精度越低。因此，可根据深度图像将第一位置进行校准，得到第二位置，具体地，可先根据深度图像中的深度信息确定目标对象的瞳孔与电子设备之间的距离，然后根据第一位置、瞳孔与电子设备之间的距离以及目标对象的眼球的注视方向确定第二位置。
[0050] 可见，通过根据RGB图像确定瞳孔在RGB图像中的第一位置，然后根据深度图像对第一位置进行校准，得到第二位置，提高确定目标对象的瞳孔位置的准确度，进而可提高根据瞳孔位置确定目标对象的眼球关注显示屏的目标位置的精确度。
[0051] 可选地，上述步骤103中，处理器根据所述深度图像将所述第一位置进行校准，得到第二位置，可包括以下步骤：
[0052] 31、所述处理器根据所述第一位置对应的深度图像中的深度信息确定所述第一位置与所述电子设备之间的第一距离；
[0053] 本申请实施例中，考虑到目标对象的眼球的不同区域与电子设备之间的距离不同，因此，可根据深度图像中不同区域的深度信息确定哪些区域为瞳孔对应的区域，哪些区域为瞳孔以外的区域。
[0054] 其中，在确定瞳孔在RGB图像中的第一位置后，可根据第一位置对应的深度图像中的深度信息确定第一位置与电子设备之间的第一距离，具体地，可获取RGB图像中第一位置对应的至少一个像素点对应的深度图像中的深度信息确定第一位置与电子设备之间的第一距离，例如，首先根据至少一个像素点中每一像素点对应的深度信息确定每一像素点与电子设备之间的第一像素点距离，得到多个第一像素点距离，然后确定多个第一像素点距离的平均值，得到第一距离。
[0055] 32、选取所述RGB图像中以所述第一位置为中心的第一半径区域中的多个像素点；
[0056] 其中，第一半径区域对应的第一半径，可以预先设定，或者还可以根据步骤31中得到的第一距离进行确定。
[0057] 可选地，本申请实施例中，在步骤31之后，所述选取所述RGB图像中以所述第一位置为中心的第一半径区域中的多个像素点之前，还可包括以下步骤：
[0058] 根据预设的距离与半径之间的对应关系确定与所述第一距离对应的第一半径。
[0059] 本申请实施例中，可预先统计第一位置处于多个不同距离下，确定的目标位置的多个精确度，每一距离对应一个精确度，然后，针对每一精确度设定一个半径，进而，可根据设定在每个精确度对应的半径估计准确的瞳孔位置处于第一半径区域。因此，可根据统计的多个不同距离下多个精确度对应设定的多个距离设定距离与半径之间的对应关系，从而，可在确定第一位置与电子设备的第一距离之后，根据该对应关系确定与第一距离对应的第一半径。
[0060] 33、根据所述多个像素点对应的深度图像中的深度信息确定所述多个像素点中每一像素点对应的参考距离，得到多个参考距离；
[0061] 其中，可选取RGB图像中以第一位置为中心的第一半径区域中的多个像素点，并根据多个像素点对应的深度图像中的深度信息确定多个像素点中每一像素点对应的参考距离，得到多个参考距离。
[0062] 34、根据所述RGB图像中第一位置为中心的第二半径区域中除所述第一半径区域以外的部分区域对应的深度图像中的深度信息确定所述部分区域与所述电子设备之间的第二距离，所述第一半径区域的第一半径小于所述第二半径区域的第二半径；
[0063] 其中，第二半径区域对应的第二半径大于第一半径，第二半径可以预先设定，也可以根据第一距离进行确定。根据RGB图像中第一位置为中心的第二半径区域中除所述第一半径区域以外的部分区域对应的深度图像中的深度信息确定所述部分区域与所述电子设备之间的第二距离，具体地，可获取该部分区域对应的多个像素点对应的深度图像中的深度信息确定多个像素点对应的多个第二像素点距离，然后根据确定多个第二像素点距离的平均值，得到第二距离。
[0064] 35、确定所述多个像素点对应的多个参考距离中与所述第一距离和第二距离中较大的距离更加接近的多个目标距离对应的多个目标像素点，所述多个目标距离与所述多个目标像素点一一对应；
[0065] 其中，可将多个参考距离中每一参考距离分别与第一距离和第二距离进行比较，确定每一参考距离中第一距离和第二距离中哪一距离更加接近，从而，可确定与第一距离和第二距离中较大的距离更加接近的多个目标距离对应的多个目标像素点。
[0066] 36、根据所述多个目标像素点确定所述RGB图像中的第二位置。
[0067] 其中，在确定多个目标像素点后，可根据多个目标像素点所处的位置确定第二位置。具体实施中，若多个目标像素点中相邻的两个目标像素点之间的距离均小于预设距离，可确定多个目标像素点所处的位置为第二位置。可选地，若多个像素点中，存在相邻的两个目标像素点之间的距离不小于预设距离，可进一步筛选出多个目标像素点中相邻的两个目标像素点之间的距离均小于预设距离的目标像素点，确定筛选后的目标像素点所处的位置为第二位置。
[0068] 104、所述处理器根据所述第二位置确定所述目标对象的眼球关注所述显示屏上的目标位置。
[0069] 可选地，上述步骤104中，所述处理器根据所述第二位置确定所述目标对象的眼球关注所述显示屏上的目标位置，可包括以下步骤：
[0070] 所述处理器获取所述前置RGB摄像头的工作参数和所述显示屏的显示参数；
[0071] 根据所述工作参数和所述显示参数将所述第一位置转换为所述目标位置。
[0072] 其中，前置RGB摄像头的工作参数可包括以下至少一种：前置RGB摄像头的分辨率、前置RGB摄像头的拍摄角度、前置RGB摄像头在电子设备上的位置等等。显示屏的显示参数可包括显示屏的分辨率或显示屏的倾斜角度。
[0073] 其中，根据所述工作参数和所述显示参数将所述第二位置转换为所述目标位置，具体可根据前置RGB摄像头的分辨率、前置RGB摄像头的拍摄角度或前置RGB摄像头在电子设备上的位置，显示屏的分辨率或显示屏的倾斜角度将RGB图像中的第二位置转换成用户关注显示屏中的目标位置。
[0074] 可以看出，本申请实施例中所描述的眼球追踪方法，应用于电子设备，电子设备包括前置红外灯、前置RGB摄像头、前置深度摄像头、显示屏和处理器，在前置红外灯对目标对象进行照射时，通过前置RGB摄像头获取目标对象的眼部区域的RGB图像，以及通过前置深度摄像头获取眼部区域的深度图像，根据RGB图像确定目标对象的瞳孔在RGB图像上的第一位置，根据深度图像将第一位置进行校准，得到第二位置，根据第二位置确定目标对象的眼球关注显示屏上的目标位置，如此，可通过深度图像对RGB图像中目标对象的瞳孔的第一位置进行校准，从而，可对眼球追踪过程中精度较低的问题进行优化，提高眼球追踪的精确度。
[0075] 请参阅图2，图2是本申请实施例提供的另一种眼球追踪方法的流程示意图，本实施例中所描述的眼球追踪方法，应用于如图1A所示的电子设备，所述电子设备包括前置红外灯、前置RGB摄像头、前置深度摄像头、显示屏和处理器，该方法可包括以下步骤：
[0076] 201、在前置红外灯对目标对象进行照射时，通过前置RGB摄像头获取所述目标对象的眼部区域的RGB图像，以及通过前置深度摄像头获取所述眼部区域的深度图像。
[0077] 202、处理器根据所述RGB图像确定所述目标对象的瞳孔在所述RGB图像上的第一位置。
[0078] 203、所述处理器根据所述第一位置对应的深度图像中的深度信息确定所述第一位置与所述电子设备之间的第一距离。
[0079] 204、所述处理器选取所述RGB图像中以所述第一位置为中心的第一半径区域中的多个像素点。
[0080] 205、所述处理器根据所述多个像素点对应的深度图像中的深度信息确定所述多个像素点中每一像素点对应的参考距离，得到多个参考距离。
[0081] 206、所述处理器根据所述RGB图像中第一位置为中心的第二半径区域中除所述第一半径区域以外的部分区域对应的深度图像中的深度信息确定所述部分区域与所述电子设备之间的第二距离，所述第一半径区域的第一半径小于所述第二半径区域的第二半径。
[0082] 207、所述处理器确定所述多个像素点对应的多个参考距离中与所述第一距离和第二距离中较大的距离更加接近的多个目标距离对应的多个目标像素点，所述多个目标距离与所述多个目标像素点一一对应。
[0083] 208、所述处理器根据所述多个目标像素点确定所述RGB图像中的第二位置。
[0084] 209、所述处理器根据所述第二位置确定所述目标对象的眼球关注所述显示屏上的目标位置。
[0085] 其中，上述步骤201-209的具体实现过程可参照步骤101-104中相应的描述，在此不再赘述。
[0086] 可以看出，本申请实施例中所描述的眼球追踪方法，通过在前置红外灯对目标对象进行照射时，通过前置RGB摄像头获取目标对象的眼部区域的RGB图像，以及通过前置深度摄像头获取眼部区域的深度图像，根据RGB图像确定目标对象的瞳孔在RGB图像上的第一位置，根据第一位置对应的深度图像中的深度信息确定第一位置与所述电子设备之间的第一距离，选取RGB图像中以第一位置为中心的第一半径区域中的多个像素点，确定多个像素点中每一像素点对应的参考距离，得到多个参考距离，根据RGB图像中第一位置为中心的第二半径区域中除所述第一半径区域以外的部分区域的深度信息确定部分区域与电子设备之间的第二距离，确定多个参考距离中与第一距离和第二距离中较大的距离更加接近的多个目标距离对应的多个目标像素点，根据多个目标像素点确定RGB图像中的第二位置，根据第二位置确定目标对象的眼球关注显示屏上的目标位置，如此，可对眼球追踪过程中精度较低的问题进行优化，提高眼球追踪的精确度。
[0087] 与上述一致地，请参阅图3，为本申请实施例提供的另一种眼球追踪方法的流程示意图，本实施例中所描述的眼球追踪方法，应用于如图1A所示的电子设备，所述电子设备包括前置红外灯、前置RGB摄像头、前置深度摄像头、显示屏和处理器，该方法可包括以下步骤：
[0088] 301、在前置红外灯对目标对象进行照射时，通过前置RGB摄像头获取所述目标对象的眼部区域的RGB图像，以及通过前置深度摄像头获取所述眼部区域的深度图像。
[0089] 302、处理器根据所述RGB图像确定所述目标对象的瞳孔在所述RGB图像上的第一位置。
[0090] 303、所述处理器根据所述第一位置对应的深度图像中的深度信息确定所述第一位置与所述电子设备之间的第一距离。
[0091] 304、所述处理器选取所述RGB图像中以所述第一位置为中心的第一半径区域中的多个像素点。
[0092] 305、所述处理器根据所述多个像素点对应的深度图像中的深度信息确定所述多个像素点中每一像素点对应的参考距离，得到多个参考距离。
[0093] 306、所述处理器根据所述RGB图像中第一位置为中心的第二半径区域中除所述第一半径区域以外的部分区域对应的深度图像中的深度信息确定所述部分区域与所述电子设备之间的第二距离，所述第一半径区域的第一半径小于所述第二半径区域的第二半径。
[0094] 307、所述处理器确定所述多个像素点对应的多个参考距离中与所述第一距离和第二距离中较大的距离更加接近的多个目标距离对应的多个目标像素点，所述多个目标距离与所述多个目标像素点一一对应。
[0095] 308、所述处理器根据所述多个目标像素点确定所述RGB图像中的第二位置。
[0096] 309、所述处理器获取所述前置RGB摄像头的工作参数和所述显示屏的显示参数。
[0097] 310、所述处理器根据所述工作参数和所述显示参数将所述第一位置转换为所述目标位置。
[0098] 其中，步骤301-310的具体实现过程可参见步骤101-104中相应的描述，在此不再赘述。
[0099] 可以看出，本申请实施例中所描述的眼球追踪方法，通过在前置红外灯对目标对象进行照射时，通过前置RGB摄像头获取目标对象的眼部区域的RGB图像，以及通过前置深度摄像头获取眼部区域的深度图像，根据RGB图像确定目标对象的瞳孔在RGB图像上的第一位置，根据第一位置对应的深度图像中的深度信息确定第一位置与所述电子设备之间的第一距离，选取以第一位置为中心的第一半径区域中的多个像素点，确定多个像素点中每一像素点对应的参考距离，得到多个参考距离，根据第一位置为中心的第二半径区域中除所述第一半径区域以外的部分区域的深度信息确定部分区域与电子设备之间的第二距离，确定多个参考距离中与第一距离和第二距离中较大的距离更加接近的多个目标距离对应的多个目标像素点，根据多个目标像素点确定RGB图像中的第二位置，获取前置RGB摄像头的工作参数和显示屏的显示参数，根据工作参数和显示参数将所述第一位置转换为目标位置，如此，可对眼球追踪过程中精度较低的问题进行优化，提高眼球追踪的精确度。
[0100] 以下是实施上述眼球追踪方法的装置，具体如下：
[0101] 与上述一致地，请参阅图4，图4是本申请实施例提供的一种电子设备的结构示意图，该电子设备包括：处理器410、显示屏430、前置红外灯440、前置RGB摄像头450、前置深度摄像头460、通信接口470和存储器420；以及一个或多个程序，所述一个或多个程序421被存储在所述存储器中，并且被配置成由所述处理器执行，所述程序421包括用于执行以下步骤的指令：
[0102] 在所述前置红外灯对目标对象进行照射时，通过所述前置RGB摄像头获取所述目标对象的眼部区域的RGB图像，以及通过所述前置深度摄像头获取所述眼部区域的深度图像；
[0103] 所述处理器根据所述RGB图像确定所述目标对象的瞳孔在所述RGB图像上的第一位置；
[0104] 所述处理器根据所述深度图像将所述第一位置进行校准，得到第二位置；
[0105] 所述处理器根据所述第二位置确定所述目标对象的眼球关注所述显示屏上的目标位置。
[0106] 在一个可能的示例中，在所述处理器根据所述RGB图像确定所述目标对象的瞳孔在所述RGB图像上的第一位置方面，所述程序421包括用于执行以下步骤的指令：
[0107] 所述处理器对所述RGB图像进行人眼特征提取，得到所述目标对象的瞳孔特征点；
[0108] 根据所述瞳孔特征点确定所述瞳孔在所述RGB图像中的第一位置。
[0109] 在一个可能的示例中，在所述处理器根据所述深度图像将所述第一位置进行校准，得到第二位置方面，所述程序421包括用于执行以下步骤的指令：
[0110] 所述处理器根据所述第一位置对应的深度图像中的深度信息确定所述第一位置与所述电子设备之间的第一距离；
[0111] 选取所述RGB图像中以所述第一位置为中心的第一半径区域中的多个像素点；
[0112] 根据所述多个像素点对应的深度图像中的深度信息确定所述多个像素点中每一像素点对应的参考距离，得到多个参考距离；
[0113] 根据所述RGB图像中第一位置为中心的第二半径区域中除所述第一半径区域以外的部分区域对应的深度图像中的深度信息确定所述部分区域与所述电子设备之间的第二距离，所述第一半径区域的第一半径小于所述第二半径区域的第二半径；
[0114] 确定所述多个像素点对应的多个参考距离中与所述第一距离和第二距离中较大的距离更加接近的多个目标距离对应的多个目标像素点，所述多个目标距离与所述多个目标像素点一一对应；
[0115] 根据所述多个目标像素点确定所述RGB图像中的第二位置。
[0116] 在一个可能的示例中，在所述选取所述RGB图像中以所述第一位置为中心的第一半径区域中的多个像素点之前，所述程序421还包括用于执行以下步骤的指令：
[0117] 所述处理器根据预设的距离与半径之间的对应关系确定与所述第一距离对应的第一半径。
[0118] 在一个可能的示例中，在所述处理器根据所述第二位置确定所述目标对象的眼球关注所述显示屏上的目标位置方面，所述程序421包括用于执行以下步骤的指令：
[0119] 所述处理器获取所述前置RGB摄像头的工作参数和所述显示屏的显示参数；
[0120] 根据所述工作参数和所述显示参数将所述第一位置转换为所述目标位置。
[0121] 请参阅图5，图5是本实施例提供的一种眼球追踪装置的结构示意图，应用于电子设备，所述电子设备包括前置红外灯、前置RGB摄像头、前置深度摄像头、显示屏和处理器，所述眼球追踪装置包括获取单元501、确定单元502和校准单元503，其中，[0122] 所述获取单元501，用于在所述前置红外灯对目标对象进行照射时，通过所述前置RGB摄像头获取所述目标对象的眼部区域的RGB图像，以及通过所述前置深度摄像头获取所述眼部区域的深度图像；
[0123] 所述确定单元502，用于通过所述处理器根据所述RGB图像确定所述目标对象的瞳孔在所述RGB图像上的第一位置；
[0124] 所述校准单元503，用于所述处理器根据所述深度图像将所述第一位置进行校准，得到第二位置；
[0125] 所述确定单元502，用于所述处理器根据所述第二位置确定所述目标对象的眼球关注所述显示屏上的目标位置。
[0126] 可选地，在所述处理器根据所述RGB图像确定所述目标对象的瞳孔在所述RGB图像上的第一位置方面，所述确定单元具体用于：
[0127] 所述处理器对所述RGB图像进行人眼特征提取，得到所述目标对象的瞳孔特征点；
[0128] 根据所述瞳孔特征点确定所述瞳孔在所述RGB图像中的第一位置。
[0129] 可选地，在所述处理器根据所述深度图像将所述第一位置进行校准，得到第二位置方面，所述校准单元503具体用于：
[0130] 所述处理器根据所述第一位置对应的深度图像中的深度信息确定所述第一位置与所述电子设备之间的第一距离；
[0131] 选取所述RGB图像中以所述第一位置为中心的第一半径区域中的多个像素点；
[0132] 根据所述多个像素点对应的深度图像中的深度信息确定所述多个像素点中每一像素点对应的参考距离，得到多个参考距离；
[0133] 根据所述RGB图像中第一位置为中心的第二半径区域中除所述第一半径区域以外的部分区域对应的深度图像中的深度信息确定所述部分区域与所述电子设备之间的第二距离，所述第一半径区域的第一半径小于所述第二半径区域的第二半径；
[0134] 确定所述多个像素点对应的多个参考距离中与所述第一距离和第二距离中较大的距离更加接近的多个目标距离对应的多个目标像素点，所述多个目标距离与所述多个目标像素点一一对应；
[0135] 根据所述多个目标像素点确定所述RGB图像中的第二位置。
[0136] 可选地，在所述选取所述RGB图像中以所述第一位置为中心的第一半径区域中的多个像素点之前，所述确定单元502还用于：
[0137] 所述处理器根据预设的距离与半径之间的对应关系确定与所述第一距离对应的第一半径。
[0138] 可选地，可选地，在所述处理器根据所述第二位置确定所述目标对象的眼球关注所述显示屏上的目标位置方面，所述确定单元具体用于：
[0139] 所述处理器获取所述前置RGB摄像头的工作参数和所述显示屏的显示参数；
[0140] 根据所述工作参数和所述显示参数将所述第一位置转换为所述目标位置。
[0141] 可以看出，本申请实施例中所描述的眼球追踪装置，应用于电子设备，电子设备包括前置红外灯、前置RGB摄像头、前置深度摄像头、显示屏和处理器，在前置红外灯对目标对象进行照射时，通过前置RGB摄像头获取目标对象的眼部区域的RGB图像，以及通过前置深度摄像头获取眼部区域的深度图像，根据RGB图像确定目标对象的瞳孔在RGB图像上的第一位置，根据深度图像将第一位置进行校准，得到第二位置，根据第二位置确定目标对象的眼球关注显示屏上的目标位置，如此，可通过深度图像对RGB图像中目标对象的瞳孔的第一位置进行校准，从而，可对眼球追踪过程中精度较低的问题进行优化，提高眼球追踪的精确度。
[0142] 可以理解的是，本实施例的眼球追踪装置的各程序模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。
[0143] 本申请实施例还提供了另一种电子设备，如图6所示，为了便于说明，仅示出了与本申请实施例相关的部分，具体技术细节未揭示的，请参照本申请实施例方法部分。该电子设备可以为包括手机、平板电脑、PDA(personal digital assistant，个人数字助理)、POS(point of sales，销售终端)、车载电脑等任意终端设备，以电子设备为手机为例：
[0144] 图6示出的是与本申请实施例提供的电子设备相关的手机的部分结构的框图。参考图6，手机包括：射频(Radio Frequency，RF)电路910、存储器920、输入单元930、显示单元940、传感器950、音频电路960、无线保真(Wireless Fidelity，Wi-Fi)模块970、处理器980、电源990、摄像头9100、以及前置红外灯9200等部件。本领域技术人员可以理解，图6中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
[0145] 下面结合图6对手机的各个构成部件进行具体的介绍：
[0146] RF电路910可用于信息的接收和发送。通常，RF电路910包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low Noise Amplifier，LNA)、双工器等。此外，RF电路910还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(Global System of Mobile communication，GSM)、通用分组无线服务(General Packet Radio Service，GPRS)、码分多址(Code Division Multiple Access，CDMA)、宽带码分多址(Wideband Code Division Multiple Access,WCDMA)、长期演进(Long Term Evolution，LTE)、电子邮件、短消息服务(Short Messaging Service，SMS)等。
[0147] 存储器920可用于存储软件程序以及模块，处理器980通过运行存储在存储器920的软件程序以及模块，从而执行手机的各种功能应用以及数据处理。存储器920可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据手机的使用所创建的数据等。此外，存储器920可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
[0148] 输入单元930可用于接收输入的数字或字符信息，以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地，输入单元930可包括指纹识别模组931以及其他输入设备932。指纹识别模组931，可采集用户在其上的指纹数据。除了指纹识别模组931，输入单元930还可以包括其他输入设备932。具体地，其他输入设备932可以包括但不限于触控屏、物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
[0149] 显示单元940可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元940可包括显示屏941，可选的，可以采用液晶显示器(Liquid Crystal Display，LCD)、有机或无机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示屏941。
[0150] 手机还可包括至少一种传感器950，比如光传感器、运动传感器、压力传感器、温度传感器以及其他传感器。具体地，光传感器可包括环境光传感器(也称为光线传感器)及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节手机的背光亮度，进而调节显示屏941的亮度，接近传感器可在手机移动到耳边时，关闭显示屏941和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
[0151] 音频电路960、扬声器961，传声器962可提供用户与手机之间的音频接口。音频电路960可将接收到的音频数据转换后的电信号，传输到扬声器961，由扬声器961转换为声音信号播放；另一方面，传声器962将收集的声音信号转换为电信号，由音频电路960接收后转换为音频数据，再将音频数据播放处理器980处理后，经RF电路910以发送给比如另一手机，或者将音频数据播放至存储器920以便进一步处理。
[0152] Wi-Fi属于短距离无线传输技术，手机通过Wi-Fi模块970可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图6示出了Wi-Fi模块970，但是可以理解的是，其并不属于手机的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。
[0153] 处理器980是手机的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器920内的软件程序和/或模块，以及调用存储在存储器920内的数据，执行手机的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器980可包括一个或多个处理单元；优选的，处理器980可集成应用处理器AP和调制解调处理器，其中，应用处理器AP主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器980中。
[0154] 手机还包括给各个部件供电的电源990(比如电池)，优选的，电源可以通过电源管理系统与处理器980逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
[0155] 手机还可以包括摄像头9100，摄像头9100可包括前置RGB摄像头和前置深度摄像头，前置RGB摄像头可以用于获取彩色图像，前置深度摄像头可用于获取包含深度信息的深度图像，并将拍摄的图像传输到处理器980进行处理。
[0156] 手机还可以包括蓝牙模块等，在此不再赘述。
[0157] 前述图1B、图2和图3所示的实施例中，各步骤方法流程可以基于该手机的结构实现。
[0158] 本申请实施例还提供一种计算机可读存储介质，其中，该计算机可读存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述眼球追踪方法实施例中记载的任一方法的部分或全部步骤，上述计算机包括电子设备。
[0159] 本申请实施例还提供一种计算机程序产品，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一眼球追踪方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包，上述计算机包括电子设备。
[0160] 需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
[0161] 在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
[0162] 在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
[0163] 上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0164] 另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0165] 上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
[0166] 本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取器(英文：Random Access Memory，简称：RAM)、磁盘或光盘等。
[0167] 以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种头戴式助视装置 | 2020-05-08 | 555 |
| 基于虚拟现实及多模态信息的孤独症辅助干预系统及方法 | 2020-05-12 | 224 |
| 自动匹配乘员的电梯广告投放系统 | 2020-05-17 | 929 |
| 基于眼球追踪的测光方法及相关产品 | 2020-05-20 | 355 |
| 传输方法以及电子设备和计算机存储介质 | 2020-05-11 | 476 |
| 眼球追踪方法及相关产品 | 2020-05-23 | 164 |
| 提醒方法、系统、终端及车辆 | 2020-05-12 | 836 |
| 图像显示方法、装置、终端及存储介质 | 2020-05-19 | 215 |
| 一种自主学习辅助装置 | 2020-05-22 | 527 |
| 一种障碍人员眼控的多功能轮椅 | 2020-05-11 | 484 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
眼球追踪摄像头热门专利
QQ群二维码
意见反馈
意见反馈