用于视线追踪的标定方法、装置、移动终端及存储介质
阅读：196发布：2020-05-15
专利汇可以提供用于视线追踪的标定方法、装置、移动终端及存储介质专利检索，专利查询，专利分析的服务。并且本 申请 实施例 提供一种用于视线追踪的标定方法、装置、移动终端及存储介质，方法应用于包括N边形显示屏的移动终端，N边形显示屏包括N个 角 点，该方法包括：在N边形显示屏的N个角点 位置 生成N个标定点；N为大于或等于3的整数；在用户视线分别注视N个标定点的情况下，分别采集N个视线特征参数；根据N个视线特征参数生成M个拟合视线特征参数；基于N个视线特征参数和M个拟合视线特征参数对待拟合函数模型进行拟合，得到拟合好的函数模型。本申请实施例可以在保证视线估计的 精度 的前提下提高标定速度。，下面是用于视线追踪的标定方法、装置、移动终端及存储介质专利的具体信息内容。
1.一种用于视线追踪的标定方法，其特征在于，所述方法应用于包括N边形显示屏的移动终端，所述N边形显示屏包括N个角点，所述方法包括：
在所述N边形显示屏的N个角点位置生成N个标定点；N为大于或等于3的整数；
在用户视线分别注视所述N个标定点的情况下，分别采集N个视线特征参数；
根据所述N个视线特征参数生成M个拟合视线特征参数；
基于所述N个视线特征参数和所述M个拟合视线特征参数对待拟合函数模型进行拟合，得到拟合好的函数模型。
2.根据权利要求1所述的方法，其特征在于，所述在用户视线分别注视所述N个标定点的情况下，分别采集N个视线特征参数，包括：
在用户视线注视第一标定点的情况下，通过显示屏摄像头获取第一用户眼部图片；
从所述第一用户眼部图片中提取所述第一标定点对应的用户眼球瞳孔中心坐标和所述第一标定点对应的用户眼球角膜反射光斑中心坐标；
所述第一标定点为所述N个标定点中的任一个，所述第一标定点对应的用户眼球瞳孔中心坐标和所述第一标定点对应的用户眼球角膜反射光斑中心坐标为第一视线特征参数，所述第一视线特征参数为所述N个视线特征参数中与所述第一标定点对应的视线特征参数。
3.根据权利要求2所述的方法，其特征在于，所述根据所述N个视线特征参数生成M个拟合视线特征参数，包括：
获取所述N个视线特征参数中第二视线特征参数和第三视线特征参数，所述第二视线特征参数为用户视线注视第二标定点的情况下采集，所述第三视线特征参数为用户视线注视第三标定点的情况下采集；所述第二标定点和所述第三标定点为所述N个标定点中任意两个不同的标定点；
根据第二视线特征参数和第三视线特征参数，采用特征参数线性差值算法计算第一虚拟标定点的第一拟合视线特征参数，所述第一虚拟标定点为所述第二标定点与所述第三标定点的中点；所述第一拟合视线特征参数为所述M个拟合视线特征参数中的一个。
4.根据权利要求3所述的方法，其特征在于，所述第二视线特征参数包括所述第二标定点对应的用户眼球瞳孔中心坐标和所述第二标定点对应的用户眼球角膜反射光斑中心坐标，所述第三视线特征参数包括所述第三标定点对应的用户眼球瞳孔中心坐标和所述第三标定点对应的用户眼球角膜反射光斑中心坐标；所述根据第二视线特征参数和第三视线特征参数，采用特征参数线性差值算法计算第一虚拟标定点的第一拟合视线特征参数，包括：
根据所述第二标定点对应的用户眼球瞳孔中心坐标和所述第三标定点对应的用户眼球瞳孔中心坐标计算所述第一虚拟标定点对应的用户眼球瞳孔中心坐标；根据所述第二标定点对应的用户眼球角膜反射光斑中心坐标和所述第三标定点对应的用户眼球角膜反射光斑中心坐标计算所述第一虚拟标定点对应的用户眼球角膜反射光斑中心坐标；
将所述第一虚拟标定点对应的用户眼球瞳孔中心坐标和所述第一虚拟标定点对应的用户眼球角膜反射光斑中心坐标作为所述第一拟合视线特征参数。
5.根据权利要求1所述的方法，其特征在于，所述基于所述N个视线特征参数和所述M个拟合视线特征参数对待拟合函数模型进行拟合，得到拟合好的函数模型，包括：
获取待拟合函数模型，获取与所述M个拟合视线特征参数对应的M个虚拟标定点的坐标；
将所述N个视线特征参数和所述M个拟合视线特征参数、所述N个标定点的坐标、所述M个虚拟标定点的坐标输入所述待拟合函数模型，计算所述待拟合函数模型的P个标定参数，得到拟合好的函数模型；M与N之和大于P。
6.根据权利要求5所述的方法，其特征在于，所述计算所述待拟合函数模型的P个标定参数，包括：
采用最小二乘法计算所述待拟合函数模型的P个标定参数。
7.根据权利要求1～6任一项所述的方法，其特征在于，所述基于所述N个视线特征参数和所述M个拟合视线特征参数对待拟合函数模型进行拟合，得到拟合好的函数模型之后，所述方法还包括：
在进行视线追踪的情况下，通过显示屏摄像头获取目标用户眼部图片；
从所述目标用户眼部图片中提取目标用户视线特征参数；
将所述目标用户视线特征参数输入所述拟合好的函数模型，得到用户视线映射到显示屏的视线坐标参数。
8.一种用于视线追踪的标定装置，其特征在于，所述装置应用于包括N边形显示屏的移动终端，所述N边形显示屏包括N个角点，所述装置包括：
第一生成单元，用于在所述N边形显示屏的N个角点位置生成N个标定点；N为大于或等于3的整数；
采集单元，用于在用户视线分别注视所述N个标定点的情况下，分别采集N个视线特征参数；
第二生成单元，用于根据所述N个视线特征参数生成M个拟合视线特征参数；
拟合单元，用于基于所述N个视线特征参数和所述M个拟合视线特征参数对待拟合函数模型进行拟合，得到拟合好的函数模型。
9.一种移动终端，其特征在于，包括处理器和存储器，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求1～7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1～7任一项所述的方法。
用于视线追踪的标定方法、装置、移动终端及存储介质
技术领域
背景技术
[0002] 当前，最常用的眼球跟踪技术是瞳孔中心角膜反射技术(pupil centre corneal reflection简称PCCR)。PCCR技术的原理是，通过物理追踪设备的摄像头捕捉光源对瞳孔照射形成的高度可见反射光的图像，通过这些图像确定光源在角膜和瞳孔中的反射情况，最后通过对角膜、瞳孔反射形成向量的方向以及其他几何特征的计算，得出人眼注视的方向。
[0003] 在计算人眼注视的方向之前，一般会采用参数标定的过程。参数标定时，要求用户注视标定点，然后点击屏幕确认注视，摄像头会拍摄用户注视当前的图像多帧，并且与此时的注视点一一对应。标定时，为满足参数求解的需求，标定点的数量不少于待拟合参数的数量，并且待标定参数越多，标定点越多，视线估计的精度越好。
[0004] 为满足标定参数求解的需求，标定点的数量必须大于等于待拟合的未知标定参数的数量，而未知标定参数的数量在一定范围内与视线估计的精度成正比；但是标定点的数量越多意味着标定过程需要的时间越长，标定过程越繁琐。目前的实际开发应用过程中，要么视线估计的精度来保证标定过程的快速；要么采用冗长的标定过程来获得更高的精度，这两者不能得到很好的统一。发明内容
[0005] 本申请实施例提供一种用于视线追踪的标定方法、装置、移动终端及存储介质，可以在保证视线估计的精度的前提下提高标定速度。
[0006] 本申请实施例的第一方面提供了一种用于视线追踪的标定方法，所述方法应用于包括N边形显示屏的移动终端，所述N边形显示屏包括N个角点，所述方法包括：
[0007] 在所述N边形显示屏的N个角点位置生成N个标定点；N为大于或等于3的整数；
[0008] 在用户视线分别注视所述N个标定点的情况下，分别采集N个视线特征参数；
[0009] 根据所述N个视线特征参数生成M个拟合视线特征参数；
[0010] 基于所述N个视线特征参数和所述M个拟合视线特征参数对待拟合函数模型进行拟合，得到拟合好的函数模型。
[0011] 本申请实施例的第二方面提供了一种用于视线追踪的标定装置，所述装置应用于包括N边形显示屏的移动终端，所述N边形显示屏包括N个角点，所述装置包括：
[0012] 第一生成单元，用于在所述N边形显示屏的N个角点位置生成N个标定点；N为大于或等于3的整数；
[0013] 采集单元，用于在用户视线分别注视所述N个标定点的情况下，分别采集N个视线特征参数；
[0014] 第二生成单元，用于根据所述N个视线特征参数生成M个拟合视线特征参数；
[0015] 拟合单元，用于基于所述N个视线特征参数和所述M个拟合视线特征参数对待拟合函数模型进行拟合，得到拟合好的函数模型。
[0016] 本申请实施例的第三方面提供了一种移动终端，包括处理器和存储器，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如本申请实施例第一方面中的步骤指令。
[0017] 本申请实施例的第四方面提供了一种计算机可读存储介质，其中，上述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，上述计算机程序使得计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。
[0018] 本申请实施例的第五方面提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
[0019] 本申请实施例中，在对视线追踪进行标定时，在N边形显示屏的N个角点位置生成N个标定点；N为大于或等于3的整数；在用户视线分别注视N个标定点的情况下，分别采集N个视线特征参数；根据N个视线特征参数生成M个拟合视线特征参数；基于N个视线特征参数和M个拟合视线特征参数对待拟合函数模型进行拟合，得到拟合好的函数模型。本申请实施例中，根据N个视线特征参数生成M个拟合视线特征参数，使用N个视线特征参数和M个拟合视线特征参数对待拟合函数模型进行拟合，只需采集N个视线特征参数，即可达到采集N+M个视线特征参数的标定效果，采集N个视线特征参数要比采集N+M个视线特征参数的速度快，可以在保证视线估计的精度的前提下提高标定速度。附图说明
[0020] 为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0021] 图1是本申请实施例提供的一种用于视线追踪的标定方法的流程示意图；
[0022] 图2是本申请实施例提供的一种标定点布局示意图；
[0023] 图3是本申请实施例提供的另一种标定点布局示意图；
[0024] 图4是本申请实施例提供的一种眼球转动时眼球瞳孔与摄像头、显示屏的位置关系示意图；
[0025] 图5是本申请实施例提供的另一种用于视线追踪的标定方法的流程示意图；
[0026] 图6为本申请实施例提供的一种用于视线追踪的标定装置的结构示意图；
[0027] 图7是本申请实施例提供的一种移动终端的结构示意图。
具体实施方式
[0028] 下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0029] 本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
[0030] 在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本申请所描述的实施例可以与其它实施例相结合。
[0031] 本申请实施例所涉及到的移动终端可以包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其他处理设备，以及各种形式的用户设备(user equipment，UE)，移动台(mobile station，MS)，终端设备(terminal device)等等。为方便描述，上面提到的设备统称为移动终端。
[0032] 请参阅图1，图1是本申请实施例提供的一种用于视线追踪的标定方法的流程示意图。如图1所示，该用于视线追踪的标定方法应用于包括N边形显示屏的移动终端，该N边形显示屏包括N个角点，该用于视线追踪的标定方法可以包括如下步骤。
[0033] 101，移动终端在N边形显示屏的N个角点位置生成N个标定点；N为大于或等于3的整数。
[0034] 本申请实施例中，N边型显示屏可以是三角形显示屏、四边形显示屏、五边形显示屏、六边形显示屏等。其中，四边形显示屏可以包括矩形显示屏。目前商用的显示屏以矩形显示屏居多，下面的N边型显示屏可以以矩形显示屏为例进行说明。
[0035] 移动终端在视线追踪之前，一般需要进行标定。标定是为了后续进行视线追踪使用拟合函数模型时提供一定精度的拟合参数。
[0036] 一般而言，选取的标定点越多，后续视线追踪时的精度越高。而标定的过程需要用户视线注视每一个标定点一段时间，如果标定点的数量过多，会增加标定所需时长。同时，标定点的数量过多会引起用户反感，降低用户使用体验。
[0037] 请参阅图2，图2是本申请实施例提供的一种标定点布局示意图。如图2所示，对于矩形显示屏而言，可以在矩形的4个角分别显示4个标定点。每个标定点可以以特定颜色的圆形区域在显示屏上显示，便于用户的视线被标定点吸引。图2中，标定点的颜色为黑色，背景的颜色为白色，可以让用户快速找到标定点，提高标定速度。标定点与背景的差异越大越好，并不限于图2中标定点的颜色为黑色，背景的颜色为白色的方式，还可以是标定点的颜色为白色，背景的颜色为黑色等方式，本申请实施例不做限定。
[0038] 在标定过程中，4个标定点可以依次显示，也可以同时显示。当依次显示时，每显示一个标定点，引导用户注视显示的标定点，当确定采集到该标定点对应的视线特征参数时，则该标定点在显示屏上消失，继续显示下一个标定点，引导用户注视下一个标定点，继续采集下一次视线特征参数，直到4个标定点对应的视线特征参数都采集完成，则结束标定过程。当4个标定点同时显示时，可以引导用户按照顺序依次注视每个标定点，当确定采集到第一个标定点对应的视线特征参数时，引导用户注视第二个标定点，继续采集第二个标定点对应的视线特征参数，直到4个标定点对应的视线特征参数都采集完成，则结束标定过程。
[0039] 102，在用户视线分别注视N个标定点的情况下，移动终端分别采集N个视线特征参数。
[0040] 本申请实施例中，移动终端可以通过显示屏上的前置摄像头拍摄用户眼部图像，从拍摄的用户眼部图像中分析出视线特征参数。视线特征参数可以包括用户两只眼睛的瞳孔中心坐标、用户两只眼睛的角膜反射光斑中心坐标。
[0041] 可选的，步骤102可以包括如下步骤：
[0042] (11)在用户视线注视第一标定点的情况下，移动终端通过显示屏摄像头获取第一用户眼部图片；
[0043] (12)移动终端从第一用户眼部图片中提取第一标定点对应的用户眼球瞳孔中心坐标和第一标定点对应的用户眼球角膜反射光斑中心坐标。
[0044] 其中，第一标定点为N个标定点中的任一个，第一标定点对应的用户眼球瞳孔中心坐标和第一标定点对应的用户眼球角膜反射光斑中心坐标为第一视线特征参数，第一视线特征参数为N个视线特征参数中与第一标定点对应的视线特征参数。
[0045] 本申请实施例中，显示屏摄像头为设置在显示屏这一侧的前置摄像头。移动终端可以通过显示屏摄像头在用户视线注视第一标定点的情况下获取第一用户眼部图片。第一用户眼部图片可以是显示屏摄像头在用户视线注视第一标定点的情况下拍摄的多张眼部图片中选择的一张，也可以是显示屏摄像头在用户视线注视第一标定点的情况下拍摄的多张眼部图片中选择的至少两张符合条件的图片合成的。
[0046] 第一用户眼部图片指的是包含用户眼部区域的图片。
[0047] 第一标定点对应的用户眼球瞳孔中心坐标可以包括第一标定点对应的用户两只眼球的瞳孔中心坐标；第一标定点对应的用户眼球角膜反射光斑中心坐标可以包括第一标定点对应的用户两只眼球的用户眼球角膜反射光斑中心坐标。
[0048] 移动终端从第一用户眼部图片中提取第一标定点对应的用户眼球瞳孔中心坐标和第一标定点对应的用户眼球角膜反射光斑中心坐标，包括：
[0049] 移动终端确定第一用户眼部图片中的参考点为坐标原点，计算第一标定点对应的用户眼球瞳孔中心坐标和第一标定点对应的用户眼球角膜反射光斑中心坐标。
[0050] 其中，参考点是眼部图片中眼球转动过程中位置不会发生变化的点，比如，左眼角、右眼角、鼻尖等。
[0051] 需要说明的是，移动终端每次提取用户眼球瞳孔中心坐标和用户眼球角膜反射光斑中心坐标都是在同一参考点的情况下提取的。
[0052] 103，移动终端根据N个视线特征参数生成M个拟合视线特征参数。
[0053] 本申请实施例中，移动终端可以根据N个视线特征参数生成M个虚拟标定点对应的M个拟合视线特征参数。M个虚拟标定点可以根据N个标定点生成，N个标定点中任意两个标定点可以按照预设规则生成一个虚拟标定点。
[0054] 比如，虚拟标定点可以是N个标定点中任意两个标定点连成的直线的中点、N个标定点中任意两个标定点连成的直线的三分之一点、N个标定点中任意两个标定点连成的直线的四分之一点等。
[0055] 请参阅图3，图3是本申请实施例提供的另一种标定点布局示意图。如图3所示，虚拟标定点是图3中的黑圈白色点，每个黑圈白色点都是其中两个黑色实心点连成的直线的中点。
[0056] M个拟合视线特征参数可以包括用户两只眼睛分别虚拟注视M个虚拟标定点时用户两只眼睛的M个瞳孔中心坐标、用户两只眼睛分别虚拟注视M个虚拟标定点时用户两只眼睛的M个角膜反射光斑中心坐标。
[0057] 虚拟注视，即假定用户注视，并不是用户真实的注视。M个拟合视线特征参数是拟合而成的，并不是移动终端采集的。M个拟合视线特征参数中的每个拟合视线特征参数都会对应一个虚拟标定点。
[0058] 可选的，步骤103可以包括如下步骤：
[0059] (21)移动终端获取N个视线特征参数中第二视线特征参数和第三视线特征参数，第二视线特征参数为用户视线注视第二标定点的情况下采集，第三视线特征参数为用户视线注视第三标定点的情况下采集；第二标定点和第三标定点为N个标定点中任意两个不同的标定点；
[0060] (22)移动终端根据第二视线特征参数和第三视线特征参数，采用特征参数线性差值算法计算第一虚拟标定点的第一拟合视线特征参数，第一虚拟标定点为第二标定点与第三标定点的中点；第一拟合视线特征参数为M个拟合视线特征参数中的一个。
[0061] 本申请实施例中，第二视线特征参数可以包括第二标定点对应的用户眼球瞳孔中心坐标、第二标定点对应的用户眼球角膜反射光斑中心坐标中的至少一种；第三视线特征参数可以包括第三标定点对应的用户眼球瞳孔中心坐标、第三标定点对应的用户眼球角膜反射光斑中心坐标中的至少一种；第一拟合视线特征参数可以包括第一虚拟标定点对应的用户眼球瞳孔中心坐标、第一虚拟标定点对应的用户眼球角膜反射光斑中心坐标中的至少一种。
[0062] 特征参数线性差值算法具体可以为：确定第二标定点对应的用户眼球瞳孔中心坐标与第三标定点对应的用户眼球瞳孔中心坐标的平均值为第一虚拟标定点对应的用户眼球瞳孔中心坐标；确定第二标定点对应的用户眼球角膜反射光斑中心坐标与第三标定点对应的用户眼球角膜反射光斑中心坐标的平均值为第一虚拟标定点对应的用户眼球角膜反射光斑中心坐标。
[0063] 可选的，第二视线特征参数包括第二标定点对应的用户眼球瞳孔中心坐标和第二标定点对应的用户眼球角膜反射光斑中心坐标，第三视线特征参数包括第三标定点对应的用户眼球瞳孔中心坐标和第三标定点对应的用户眼球角膜反射光斑中心坐标；移动终端根据第二视线特征参数和第三视线特征参数，采用特征参数线性差值算法计算第一虚拟标定点的第一拟合视线特征参数，包括：
[0064] 移动终端根据第二标定点对应的用户眼球瞳孔中心坐标和第三标定点对应的用户眼球瞳孔中心坐标计算第一虚拟标定点对应的用户眼球瞳孔中心坐标；根据第二标定点对应的用户眼球角膜反射光斑中心坐标和第三标定点对应的用户眼球角膜反射光斑中心坐标计算第一虚拟标定点对应的用户眼球角膜反射光斑中心坐标；
[0065] 移动终端将第一虚拟标定点对应的用户眼球瞳孔中心坐标和第一虚拟标定点对应的用户眼球角膜反射光斑中心坐标作为第一拟合视线特征参数。
[0066] 本申请实施例中，移动终端根据第二标定点对应的用户眼球瞳孔中心坐标和第三标定点对应的用户眼球瞳孔中心坐标计算第一虚拟标定点对应的用户眼球瞳孔中心坐标；根据第二标定点对应的用户眼球角膜反射光斑中心坐标和第三标定点对应的用户眼球角膜反射光斑中心坐标计算第一虚拟标定点对应的用户眼球角膜反射光斑中心坐标，具体为：
[0067] 移动终端确定第二标定点对应的用户眼球瞳孔中心坐标与第三标定点对应的用户眼球瞳孔中心坐标的平均值为第一虚拟标定点对应的用户眼球瞳孔中心坐标；确定第二标定点对应的用户眼球角膜反射光斑中心坐标与第三标定点对应的用户眼球角膜反射光斑中心坐标的平均值为第一虚拟标定点对应的用户眼球角膜反射光斑中心坐标。
[0068] 104，移动终端基于N个视线特征参数和M个拟合视线特征参数对待拟合函数模型进行拟合，得到拟合好的函数模型。
[0069] 其中，待拟合函数模型最少需要的(拟合)视线特征参数的个数小于M+N。比如，待拟合函数模型最少需要P个视线特征参数即可得到拟合好的函数模型。
[0070] 可选的，步骤104可以包括如下步骤：
[0071] (31)移动终端获取待拟合函数模型，获取与M个拟合视线特征参数对应的M个虚拟标定点的坐标；
[0072] (32)移动终端将N个视线特征参数和M个拟合视线特征参数、N个标定点的坐标、M个虚拟标定点的坐标输入待拟合函数模型，计算待拟合函数模型的P个标定参数，得到拟合好的函数模型；M与N之和大于P。
[0073] 其中，标定点的坐标、虚拟标定点的坐标均可以包括X轴坐标和Y轴坐标。视线特征参数、拟合视线特征参数均可以包括用户眼球瞳孔中心坐标和用户眼球角膜反射光斑中心坐标。
[0074] 本申请实施例中，待拟合函数模型可以包括多元多次多项式函数模型。比如，以二元二次多项式函数模型为例：
[0075]
[0076]
[0077] 其中，xgaze指的是用户视线注视在显示屏上的X轴坐标，在标定过程中为标定点的X轴坐标；ygaze指的是用户视线注视在显示屏上的Y轴坐标，在标定过程中为标定点的Y轴坐标；vx指的是视线特征参数(比如，用户眼球瞳孔中心坐标或用户眼球角膜反射光斑中心坐标)中的X轴坐标；vy指的是视线特征参数(比如，用户眼球瞳孔中心坐标或用户眼球角膜反射光斑中心坐标)中的Y轴坐标。a0、b0、a1、b1、a2、b2、a3、b3、a4、b4、a5、b5为待拟合函数模型的标定参数。
[0078] 可选的，步骤(32)中，移动终端计算待拟合函数模型的P个标定参数，包括：移动终端采用最小二乘法计算待拟合函数模型的P个标定参数。
[0079] 本申请实施例中，根据N个视线特征参数生成M个拟合视线特征参数，使用N个视线特征参数和M个拟合视线特征参数对待拟合函数模型进行拟合，只需采集N个视线特征参数，即可达到采集N+M个视线特征参数的标定效果，采集N个视线特征参数要比采集N+M个视线特征参数的速度快，可以在保证视线估计的精度的前提下提高标定速度。
[0080] 采用本申请实施例中的虚拟标定点和对应的拟合视线特征参数，并不会对函数模型的精度。下面进行理论说明。
[0081] 下面对本方法不会降低函数模型精度的结论进行理论证明。
[0082] 如图4所示，摄像头(camera)安装在显示屏(screen)的上部(上边缘)，从眼球中心引出的三条黑色粗线分别对应着眼球注视显示屏的上边缘，显示屏的下边缘以及显示屏中点位置。设显示屏在当前视角下的长度为2H，显示屏中点与过眼球中心的水平线之间的距离为Δ，眼球与显示屏之间的距离为D，眼球半径为R，图像平面(image plane)与显示屏之间的等效距离为f，则图中的其它变量计算如下：
[0083]
[0084]
[0085]
[0086]
[0087]
[0088] d1＝Rtanθ1
[0089] d2＝Dtanθ4-H-Δ
[0090] d3＝H+Δ-Dtanθ5
[0091] 则根据注视显示屏上下边缘时候的瞳孔位置计算得到的中点与实际注视显示屏中点时候瞳孔中心的位置，可以计算得到这两点在图像平面(image plane)上的距离为：
[0092]
[0093] 其中，
[0094] (1)移动终端(比如，手机)显示屏的尺寸通常在50～150mm之间，因此H的取值为25～75mm之间；
[0095] (2)使用户在使用移动终端(比如，手机)时会下意识平视移动终端(比如，手机)中心，因此Δ在0～0.2H之间；
[0096] (3)用户自然使用状态下眼睛距离移动终端(比如，手机)显示屏的距离D为300～450mm之间；
[0097] (4)成年人的眼球半径R为12mm；
[0098] (5)图像平面(image plane)与镜头的等效焦距f的取值为60mm左右(FOV＝77.9°，1280*800)；
[0100] 其中，PPI＝402；屏幕尺寸为6.42英寸，屏幕分辨率为2340*1080。
[0101] 其中，FOV指的是视场角(field of view，FOV)；PPI指的是像素密度(pixels per inch，PPI)。
[0102] 在上述一系列的限制之下，这个距离小于图像平面(image plane)上的像素距离，换句话说，在图像平面(image plane)上，通过计算两个瞳孔中心位置的中点位置与实际上注视显示屏中点时的瞳孔位置是完全相同的。
[0103] 为更加直观的理解，取Δ＝0，D＝300mm，R＝12mm，H＝34mm，进行上述计算，得到的两点之间的位置差距为：
[0104] η＝-0.0008532mm<<0.0632731285mm/pixel
[0105] 综上，通过两点瞳孔位置计算产生中点的方法不会产生精度上的降低。
[0106] 请参阅图5，图5是本申请实施例提供的另一种用于视线追踪的标定方法的流程示意图。如图5所示，该用于视线追踪的标定方法应用于包括N边形显示屏的移动终端，该N边形显示屏包括N个角点，该用于视线追踪的标定方法可以包括如下步骤。
[0107] 501，移动终端在N边形显示屏的N个角点位置生成N个标定点；N为大于或等于3的整数。
[0108] 502，在用户视线分别注视N个标定点的情况下，移动终端分别采集N个视线特征参数。
[0109] 503，移动终端根据N个视线特征参数生成M个拟合视线特征参数。
[0110] 504，移动终端基于N个视线特征参数和M个拟合视线特征参数对待拟合函数模型进行拟合，得到拟合好的函数模型。
[0111] 其中，步骤501至步骤504为本申请实施例中的标定过程。
[0112] 本申请实施例中，步骤501至步骤504的具体实施可以参见图1所示的步骤101至步骤104，此处不再赘述。
[0113] 505，在进行视线追踪的情况下，移动终端通过显示屏摄像头获取目标用户眼部图片。
[0114] 本申请实施例中，移动终端可以开启视线追踪模式，也可以关闭视线追踪模式，当开启视线追踪模式时，移动终端可以执行步骤505至步骤507进行视线追踪。当关闭视线追踪模式时，则不会执行上述步骤。
[0115] 可选的，移动终端可以自动开启视线追踪模式。比如，移动终端检测是否进入阅读模式，在进入阅读模式后，则可以自动开启视线追踪模式。
[0116] 显示屏摄像头为设置在显示屏这一侧的前置摄像头。移动终端通过显示屏摄像头获取目标用户眼部图片。目标用户眼部图片可以是显示屏摄像头拍摄的多张用户眼部图片中选择的一张，也可以是显示屏摄像头拍摄的多张用户眼部图片中选择的至少两张符合条件的图片合成的。
[0117] 506，移动终端从目标用户眼部图片中提取目标用户视线特征参数。
[0118] 其中，目标用户视线特征参数可以包括目标用户眼球瞳孔中心坐标、目标用户眼球角膜反射光斑中心坐标。步骤506的具体实施可以参见步骤(12)的具体实施，此处不再赘述。
[0119] 507，移动终端将目标用户视线特征参数输入拟合好的函数模型，得到用户视线映射到显示屏的视线坐标参数。
[0120] 本申请实施例中，以上述二元二次多项式函数模型为例。通过上述标定过程可以得知a0、b0、a1、b1、a2、b2、a3、b3、a4、b4、a5、b5的大小，目标用户视线特征参数包括vx和vy，则可以通过上述二元二次多项式函数模型计算xgaze和ygaze，得到用户视线映射到显示屏的视线坐标参数(用户视线注视在显示屏上的X轴坐标和Y轴坐标)。
[0121] 其中，步骤505至步骤507为本申请实施例中的视线追踪过程。在进行视线追踪的情况下，步骤505至步骤507可以重复执行。
[0122] 可选的，在执行步骤507之后，还可以执行如下步骤：
[0123] 移动终端根据用户视线映射到显示屏的视线坐标参数确定用户视线注视在显示屏的坐标。
[0124] 本申请实施例中，根据N个视线特征参数生成M个拟合视线特征参数，使用N个视线特征参数和M个拟合视线特征参数对待拟合函数模型进行拟合，只需采集N个视线特征参数，即可达到采集N+M个视线特征参数的标定效果，采集N个视线特征参数要比采集N+M个视线特征参数的速度快，可以在保证视线估计的精度的前提下提高标定速度。在标定之后，可以通过拟合好的函数模型得到用户视线映射到显示屏的视线坐标参数，进而可以计算出用户视线注视在显示屏的位置，可以快速追踪到用户的视线。
[0125] 上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是，移动终端为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所提供的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
[0126] 本申请实施例可以根据上述方法示例对移动终端进行功能单元的划分，例如，可以对应各个功能划分各个功能单元，也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。需要说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
[0127] 与上述一致的，请参阅图6，图6为本申请实施例提供的一种用于视线追踪的标定装置的结构示意图，该装置应用于包括N边形显示屏的移动终端，该用于视线追踪的标定装置600可以包括第一生成单元601、采集单元602、第二生成单元603和拟合单元604，其中：
[0128] 所述第一生成单元601，用于在所述N边形显示屏的N个角点位置生成N个标定点；N为大于或等于3的整数；
[0129] 所述采集单元602，用于在用户视线分别注视所述N个标定点的情况下，分别采集N个视线特征参数；
[0130] 所述第二生成单元603，用于根据所述N个视线特征参数生成M个拟合视线特征参数；
[0131] 所述拟合单元604，用于基于所述N个视线特征参数和所述M个拟合视线特征参数对待拟合函数模型进行拟合，得到拟合好的函数模型。
[0132] 可选的，所述采集单元602在用户视线分别注视所述N个标定点的情况下，分别采集N个视线特征参数，具体为：在用户视线注视第一标定点的情况下，通过显示屏摄像头获取第一用户眼部图片；从所述第一用户眼部图片中提取所述第一标定点对应的用户眼球瞳孔中心坐标和所述第一标定点对应的用户眼球角膜反射光斑中心坐标；所述第一标定点为所述N个标定点中的任一个，所述第一标定点对应的用户眼球瞳孔中心坐标和所述第一标定点对应的用户眼球角膜反射光斑中心坐标为第一视线特征参数，所述第一视线特征参数为所述N个视线特征参数中与所述第一标定点对应的视线特征参数。
[0133] 可选的，所述第二生成单元603根据所述N个视线特征参数生成M个拟合视线特征参数，具体为：获取所述N个视线特征参数中第二视线特征参数和第三视线特征参数，所述第二视线特征参数为用户视线注视第二标定点的情况下采集，所述第三视线特征参数为用户视线注视第三标定点的情况下采集；所述第二标定点和所述第三标定点为所述N个标定点中任意两个不同的标定点；根据第二视线特征参数和第三视线特征参数，采用特征参数线性差值算法计算第一虚拟标定点的第一拟合视线特征参数，所述第一虚拟标定点为所述第二标定点与所述第三标定点的中点；所述第一拟合视线特征参数为所述M个拟合视线特征参数中的一个。
[0134] 可选的，所述第二视线特征参数包括所述第二标定点对应的用户眼球瞳孔中心坐标和所述第二标定点对应的用户眼球角膜反射光斑中心坐标，所述第三视线特征参数包括所述第三标定点对应的用户眼球瞳孔中心坐标和所述第三标定点对应的用户眼球角膜反射光斑中心坐标；所述第二生成单元603所述根据第二视线特征参数和第三视线特征参数，采用特征参数线性差值算法计算第一虚拟标定点的第一拟合视线特征参数，具体为：根据所述第二标定点对应的用户眼球瞳孔中心坐标和所述第三标定点对应的用户眼球瞳孔中心坐标计算所述第一虚拟标定点对应的用户眼球瞳孔中心坐标；根据所述第二标定点对应的用户眼球角膜反射光斑中心坐标和所述第三标定点对应的用户眼球角膜反射光斑中心坐标计算所述第一虚拟标定点对应的用户眼球角膜反射光斑中心坐标；将所述第一虚拟标定点对应的用户眼球瞳孔中心坐标和所述第一虚拟标定点对应的用户眼球角膜反射光斑中心坐标作为所述第一拟合视线特征参数。
[0135] 可选的，所述拟合单元604基于所述N个视线特征参数和所述M个拟合视线特征参数对待拟合函数模型进行拟合，得到拟合好的函数模型，具体为：获取待拟合函数模型，获取与所述M个拟合视线特征参数对应的M个虚拟标定点的坐标；将所述N个视线特征参数和所述M个拟合视线特征参数、所述N个标定点的坐标、所述M个虚拟标定点的坐标输入所述待拟合函数模型，计算所述待拟合函数模型的P个标定参数，得到拟合好的函数模型；M与N之和大于P。
[0136] 可选的，所述拟合单元604计算所述待拟合函数模型的P个标定参数，具体为：采用最小二乘法计算所述待拟合函数模型的P个标定参数。
[0137] 可选的，该用于视线追踪的标定装置600还可以包括获取单元605、提取单元606和处理单元607。
[0138] 所述获取单元605，用于在所述拟合单元604基于所述N个视线特征参数和所述M个拟合视线特征参数对待拟合函数模型进行拟合，得到拟合好的函数模型之后，在进行视线追踪的情况下，通过显示屏摄像头获取目标用户眼部图片；
[0139] 所述提取单元606，用于从所述目标用户眼部图片中提取目标用户视线特征参数；
[0140] 所述处理单元607，用于将所述目标用户视线特征参数输入所述拟合好的函数模型，得到用户视线映射到显示屏的视线坐标参数。
[0141] 本申请实施例中，根据N个视线特征参数生成M个拟合视线特征参数，使用N个视线特征参数和M个拟合视线特征参数对待拟合函数模型进行拟合，只需采集N个视线特征参数，即可达到采集N+M个视线特征参数的标定效果，采集N个视线特征参数要比采集N+M个视线特征参数的速度快，可以在保证视线估计的精度的前提下提高标定速度。
[0142] 请参阅图7，图7是本申请实施例提供的一种移动终端的结构示意图，如图7所示，该移动终端700包括处理器701和存储器702，处理器701、存储器702可以通过通信总线703相互连接。通信总线703可以是外设部件互连标准(Peripheral Component Interconnect，简称PCI)总线或扩展工业标准结构(Extended Industry Standard Architecture，简称EISA)总线等。通信总线704可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。存储器702用于存储计算机程序，计算机程序包括程序指令，处理器701被配置用于调用程序指令，上述程序包括用于执行图1至图5所示的方法。
[0143] 处理器701可以是通用中央处理器(CPU)，微处理器，特定应用集成电路(application-specific integrated circuit，ASIC)，或一个或多个用于控制以上方案程序执行的集成电路。
[0144] 存储器702可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在，通过总线与处理器相连接。存储器也可以和处理器集成在一起。
[0145] 该移动终端700还可以包括摄像头704和显示屏705。摄像头704可以包括前置摄像头、后置摄像头等。显示屏705可以包括液晶显示屏、LED显示屏、OLED显示屏等。
[0147] 本申请实施例中，根据N个视线特征参数生成M个拟合视线特征参数，使用N个视线特征参数和M个拟合视线特征参数对待拟合函数模型进行拟合，只需采集N个视线特征参数，即可达到采集N+M个视线特征参数的标定效果，采集N个视线特征参数要比采集N+M个视线特征参数的速度快，可以在保证视线估计的精度的前提下提高标定速度。
[0148] 本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任何一种用于视线追踪的标定方法的部分或全部步骤。
[0149] 本申请实施例还提供一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，该计算机程序使得计算机执行如上述方法实施例中记载的任何一种用于视线追踪的标定方法的部分或全部步骤。
[0150] 需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
[0151] 在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
[0152] 在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
[0153] 所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0154] 另外，在申请明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件程序模块的形式实现。
[0155] 所述集成的单元如果以软件程序模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
[0156] 本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器、随机存取器、磁盘或光盘等。
[0157] 以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种头戴式助视装置 | 2020-05-08 | 555 |
| 基于虚拟现实及多模态信息的孤独症辅助干预系统及方法 | 2020-05-12 | 224 |
| 一种医学模拟训练系统和方法 | 2020-05-12 | 918 |
| 眼球追踪方法及相关产品 | 2020-05-23 | 57 |
| 折叠屏防偷窥方法与具有防偷窥功能的折叠屏电子设备 | 2020-05-15 | 547 |
| 一种基于AR智能眼镜的局部图像识别方法及系统 | 2020-05-16 | 298 |
| 提醒方法、系统、终端及车辆 | 2020-05-12 | 836 |
| 显示面板和电子装置以及电子装置的操作方法 | 2020-05-15 | 652 |
| 基于眼球追踪的拍照方法及相关产品 | 2020-05-20 | 808 |
| 基于眼球追踪的电动内后视镜 | 2020-05-13 | 360 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
眼球追踪摄像头热门专利
QQ群二维码
意见反馈
意见反馈