眼球追踪方法及相关产品专利检索-眼球追踪摄像头视听技术与设备专利检索查询-专利查询网

眼球追踪方法及相关产品

阅读：57发布：2020-05-23

专利汇可以提供眼球追踪方法及相关产品专利检索，专利查询，专利分析的服务。并且本申请实施例公开了一种眼球追踪方法及相关产品所述方法应用于电子设备，所述电子设备包括：前置摄像头，所述前置摄像头支持HDR模式，其特征在于，所述方法包括如下步骤：电子设备通过前置摄像头采集第一图像，判断该第一图片是否包含瞳孔白斑；电子设备在确定该第一图片包含瞳孔白斑时，触发HDR模式采集n张图像，所述n张图像中每张图像的EV值不同；所述n取值大于等于3的整数；电子设备将n张图像通过HDR 算法合成第二图像，将第二图像传输给眼球追踪算法识别实现眼球追踪提高了用户的体验度。，下面是眼球追踪方法及相关产品专利的具体信息内容。

权利要求

1.一种眼球追踪方法，所述方法应用于电子设备，所述电子设备包括：前置摄像头，所述前置摄像头支持HDR模式，其特征在于，所述方法包括如下步骤：
电子设备通过前置摄像头采集第一图像，判断该第一图片是否包含瞳孔白斑；
电子设备在确定该第一图片包含瞳孔白斑时，触发HDR模式采集n张图像，所述n张图像中每张图像的EV值不同；所述n取值大于等于3的整数；
电子设备将n张图像通过HDR 算法合成第二图像，将第二图像传输给眼球追踪算法识别实现眼球追踪。
2.根据权利要求1所述的方法，其特征在于，所述触发HDR模式采集n张图像具体包括：
如n＝3，则触发HDR模式在EV0、EV-1以及EV1分别采集一张图像，其中，EV0为所述第一图片的曝光值。
3.根据权利要求1所述的方法，其特征在于，所述电子设备将n张图像通过HDR算法合成第二图像具体包括：
电子设备将n张图像配准，恢复n张图像的n张辐射度图像；计算n张辐射度图像中每张图像的权重值，使用每张图像的权重值将n张图像合成得到第二图像。
4.根据权利要求3所述的方法，其特征在于，所述恢复n张图像的n张辐射度图像具体包括：
从n张图像中提取E1图像，依据曝光时间以及CMOS灰度值计算E1图像所有像素点的辐照度，将E1图像所有像素点的辐照度组合起来即得到E1图像的辐射度图像S1；
其中，
E(i,j)＝Func(T(i)*I(j))
其中，E(i,j)为第i次曝光的第j个像素点的辐照度，T(i)为第i次曝光的时长，I(j)图像E1的第j个像素点的cmos灰度。
5.根据权利要求1所述的方法，其特征在于，所述判断所述第一图片是否包含瞳孔白斑具体包括：
将第一图片输入到预设的神经网络模型执行计算得到计算结果，依据该计算结果确定所述第一图片是否包含瞳孔白斑。
6.一种电子设备，所述方法应用于电子设备，所述电子设备包括：前置摄像头和处理器，所述前置摄像头支持HDR模式；其特征在于，
所述前置摄像头，用于采集第一图像；
所述处理器，用于判断该第一图片是否包含瞳孔白斑，如包含瞳孔白斑时，开启所述前置摄像头的HDR模式采集n张图像，所述n张图像中每张图像的EV值不同；所述n取值大于等于3的整数；将n张图像通过HDR算法合成第二图像，将第二图像传输给眼球追踪算法识别实现眼球追踪。
7.根据权利要求6所述的电子设备，其特征在于，如n＝3；
所述处理器，具体用于开启所述前置摄像头的HDR模式在EV0、EV-1以及EV1分别采集一张图像，其中，EV0为所述第一图片的曝光值。
8.根据权利要求6所述的电子设备，其特征在于，
所述处理器，具体用于将n张图像配准，恢复n张图像的n张辐射度图像；计算n张辐射度图像中每张图像的权重值，使用每张图像的权重值将n张图像合成得到第二图像。
9.根据权利要求8所述的电子设备，其特征在于，
所述处理器，具体用于从n张图像中提取E1图像，依据曝光时间以及CMOS灰度值计算E1图像所有像素点的辐照度，将E1图像所有像素点的辐照度组合起来即得到E1图像的辐射度图像S1；
其中，
E(i,j)＝Func(T(i)*I(j))
其中，E(i,j)为第i次曝光的第j个像素点的辐照度，T(i)为第i次曝光的时长，I(j)图像E1的第j个像素点的cmos灰度。
10.一种眼球追踪装置，其特征在于，应用于电子设备，所述电子设备包括前置摄像头，所述前置摄像头支持HDR模式，所述装置包括：
所述前置摄像头，用于采集第一图像；
判断单元，用于判断该第一图片是否包含瞳孔白斑；
HDR单元，用于在所述判断单元确定所述第一图片包含瞳孔白斑时，采用HDR模式采集n张图像，所述n张图像中每张图像的EV值不同；所述n取值大于等于3的整数；
合成单元，用于将所述n张图像通过HDR算法合成第二图像；
追踪单元，用于将第二图像传输给眼球追踪算法识别实现眼球追踪。
11.一种电子设备，其特征在于，包括处理器、存储器，所述存储器用于存储一个或多个程序，并且被配置由所述处理器执行，所述程序包括用于执行如权利要求1-5任一项所述的方法中的步骤的指令。
12.一种计算机可读存储介质，其特征在于，存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1-5任一项所述的方法。

说明书全文

眼球追踪方法及相关产品

技术领域

[0001] 本申请涉及电子设备技术领域，具体涉及一种眼球追踪方法及相关产品。

背景技术

[0002] 随着电子设备(如手机、平板电脑等等)的大量普及应用，电子设备能够支持的应用越来越多，功能越来越强大，电子设备向着多样化、个性化的方向发展，成为用户生活中不可缺少的电子用品。

[0003] 眼球追踪是一项科学应用技术，用户无需触摸屏幕即可翻动页面。从原理上看，眼球追踪主要是研究眼球运动信息的获取、建模和模拟，用途颇广。当人的眼睛看向不同方向时，眼部会有细微的变化，这些变化会产生可以提取的特征，计算机可以通过图像捕捉或扫描提取这些特征，从而实时追踪眼睛的变化，预测用户的状态和需求，并进行响应，达到用眼睛控制设备的目的。

[0004] 现有的眼球追踪采集的眼球的图片会出现白斑，白斑对于眼球追踪的精度影响较大，现有技术无法对眼球的白斑进行处理，这样使得现有的眼球追踪技术的精度低，影响了用户的体验度。发明内容

[0005] 本申请实施例提供了一种眼球追踪方法及相关产品，能够对图片中的白斑进行去除，提高了眼球追踪的精度，提高了用户体验度。

[0006] 第一方面，本申请实施例提供一种眼球追踪方法，所述方法应用于电子设备，所述电子设备包括：前置摄像头，所述前置摄像头支持HDR模式，所述方法包括如下步骤：

[0007] 电子设备通过前置摄像头采集第一图像，判断该第一图片是否包含瞳孔白斑；

[0008] 电子设备在确定该第一图片包含瞳孔白斑时，触发HDR模式采集n张图像，所述n张图像中每张图像的EV值不同；所述n取值大于等于3的整数；

[0009] 电子设备将n张图像通过HDR 算法合成第二图像，将第二图像传输给眼球追踪算法识别实现眼球追踪

[0010] 第二方面，提供一种电子设备，所述方法应用于电子设备，所述电子设备包括：前置摄像头和处理器，所述前置摄像头支持HDR模式；

[0011] 所述前置摄像头，用于采集第一图像；

[0012] 所述处理器，用于判断该第一图片是否包含瞳孔白斑，如包含瞳孔白斑时，开启所述前置摄像头的HDR模式采集n张图像，所述n张图像中每张图像的EV值不同；所述n取值大于等于3的整数；将n张图像通过HDR算法合成第二图像，将第二图像传输给眼球追踪算法识别实现眼球追踪。

[0013] 第三方面，本申请实施例提供一种眼球追踪装置，应用于电子设备，所述电子设备包括前置摄像头，所述前置摄像头支持HDR模式，所述装置包括：

[0014] 所述前置摄像头，用于采集第一图像；

[0015] 判断单元，用于判断该第一图片是否包含瞳孔白斑；

[0016] HDR单元，用于在所述判断单元确定所述第一图片包含瞳孔白斑时，采用HDR模式采集n张图像，所述n张图像中每张图像的EV值不同；所述n取值大于等于3的整数；

[0017] 合成单元，用于将所述n张图像通过HDR算法合成第二图像；

[0018] 追踪单元，用于将第二图像传输给眼球追踪算法识别实现眼球追踪。

[0019] 第四方面，本申请实施例提供一种电子设备，包括处理器、存储器、通信接口以及一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，上述程序包括用于执行本申请实施例第一方面中的步骤的指令。

[0020] 第五方面，本申请实施例提供了一种计算机可读存储介质，其中，上述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，上述计算机程序使得计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。

[0021] 第六方面，本申请实施例提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。

[0022] 可以看出，本申请提供的技术方案当通过普通模式，即前置摄像头采集第一图像，通过对第一图像识别确定该第一图像具有虹膜白斑时，启动HDR模式采集n张图像，然后将n张图像合并成第二图像，此时第二图像通过合成改善瞳孔白斑的问题，然后将第二图像输入到眼球追踪算法识别实现眼球追踪，这样即能够实现对眼球的追踪，并且能够降低瞳孔白斑对眼球识别精度的影响。附图说明

[0023] 为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

[0024] 图1A是本申请实施例提供的一种电子设备的结构示意图；

[0025] 图1B是本申请实施例提供的一种眼球追踪方法的流程示意图；

[0026] 图2A是本申请实施例提供的静脉识别验证方法的流程示意图；

[0027] 图2B是本申请实施例提供的图片合成方法的流程示意图；

[0028] 图2C是本申请实施例提供的基于HDR技术解决眼球追踪系统中白斑的方法的流程示意图；

[0029] 图3是本申请实施例提供的一种电子设备的示意图；

[0030] 图4A是本申请实施例提供的一种眼球追踪装置的功能单元组成框图；

[0031] 图4B是本申请实施例提供的另一种眼球追踪装置的功能单元组成框图。

[0032] 图4C是本申请实施例提供的又一种眼球追踪装置的功能单元组成框图。

具体实施方式

[0033] 为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

[0034] 本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

[0035] 在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

[0036] 由于终端对ID的要求，这样导致了采集图像的距离很近，距离很近导致IR摄像头和IR灯之间的近距离造成眼球追踪采集的瞳孔出现白斑，白斑的问题影响追踪系统的准确性，甚至导致无法追踪，是眼球追踪系统非常关键的环节。因此其导致了体验距离近和准确度不足。

[0037] 体验距离近：眼球追踪技术对距离要求比较高，即IR摄像头和IR灯的Baseline，所以现在的眼球追踪技术一般要求近距离体验，例如应用于VR头戴设备；

[0038] 准确度和精确度不足：当眼球追踪系统应用于如手机之类的移动终端设备中，采集的数据出现瞳孔白斑，导致算法识别错误或识别地下，导致准确度和精确度不足。

[0039] 本申请实施例所涉及到的电子设备可以包括各种具有无线通信功能的手持设备(例如智能手机或平板电脑)、计算设备或连接到无线调制解调器的其他处理设备，以及各种形式的用户设备(user equipment，UE)，移动台(mobile station，MS)，终端设备(terminal device)等等。

[0040] 下面对本申请实施例进行详细介绍。

[0041] 请参阅图1A，图1A是本申请实施例公开的一种电子设备的结构示意图，电子设备100包括存储和处理电路110，以及与所述存储和处理电路110连接的传感器170，传感器170包括前置摄像头和后置摄像头，其中：

[0042] 电子设备100可以包括控制电路，该控制电路可以包括存储和处理电路110。该存储和处理电路110可以存储器，例如硬盘驱动存储器，非易失性存储器(例如闪存或用于形成固态驱动器的其它电子可编程只读存储器等)，易失性存储器(例如静态或动态随机存取存储器等)等，本申请实施例不作限制。存储和处理电路110中的处理电路可以用于控制电子设备100的运转。该处理电路可以基于一个或多个微处理器，微控制器，数字信号处理器，基带处理器，功率管理单元，音频编解码器芯片，专用集成电路，显示驱动器集成电路等来实现。

[0043] 存储和处理电路110可用于运行电子设备100中的软件，例如互联网浏览应用程序，互联网协议语音(Voice over Internet Protocol,VOIP)电话呼叫应用程序，电子邮件应用程序，媒体播放应用程序，操作系统功能等。这些软件可以用于执行一些控制操作，例如，基于照相机的图像采集，基于环境光传感器的环境光测量，基于接近传感器的接近传感器测量，基于诸如发光二极管的状态指示灯等状态指示器实现的信息显示功能，基于触摸传感器的触摸事件检测，与在多个(例如分层的)显示屏上显示信息相关联的功能，与执行无线通信功能相关联的操作，与收集和产生音频信号相关联的操作，与收集和处理按钮按压事件数据相关联的控制操作，以及电子设备100中的其它功能等，本申请实施例不作限制。

[0044] 电子设备100可以包括输入-输出电路150。输入-输出电路150可用于使电子设备100实现数据的输入和输出，即允许电子设备100从外部设备接收数据和也允许电子设备
100将数据从电子设备100输出至外部设备。输入-输出电路150可以进一步包括传感器170。
传感器170静脉识别模组，还可以包括环境光传感器，基于光和电容的接近传感器，指纹识别模组，、触摸传感器(例如，基于光触摸传感器和/或电容式触摸传感器，其中，触摸传感器可以是触控显示屏的一部分，也可以作为一个触摸传感器结构独立使用)，加速度传感器，摄像头，和其它传感器等，摄像头可以为前置摄像头或者后置摄像头，指纹识别模组可集成于显示屏下方，用于采集指纹图像，指纹识别模组可以为以下至少一种：光学指纹识别模组、或者超声波指纹识别模组等等，在此不作限定。上述前置摄像头可以设置前面显示屏的下方，上述后置摄像头可以设置在后面显示屏的下方。当然上述前置摄像头或后置摄像头也可以不和显示屏集成设置，当然在实际应用中，上述前置摄像头或后置摄像头还可以为升降结构，本申请具体实施方式并不限制上述前置摄像头或后置摄像头的具体结构。

[0045] 输入-输出电路150还可以包括一个或多个显示屏，当为多个显示屏时，例如2个显示屏时，一个显示屏可以设置在电子设备的前面，另一个显示屏可以设置在电子设备的后面，例如显示屏130。显示屏130可以包括液晶显示屏，有机发光二极管显示屏，电子墨水显示屏，等离子显示屏，使用其它显示技术的显示屏中一种或者几种的组合。显示屏130可以包括触摸传感器阵列(即，显示屏130可以是触控显示屏)。触摸传感器可以是由透明的触摸传感器电极(例如氧化铟锡(ITO)电极)阵列形成的电容式触摸传感器，或者可以是使用其它触摸技术形成的触摸传感器，例如音波触控，压敏触摸，电阻触摸，光学触摸等，本申请实施例不作限制。

[0046] 电子设备100还可以包括音频组件140。音频组件140可以用于为电子设备100提供音频输入和输出功能。电子设备100中的音频组件140可以包括扬声器，麦克风，蜂鸣器，音调发生器以及其它用于产生和检测声音的组件。

[0047] 通信电路120可以用于为电子设备100提供与外部设备通信的能力。通信电路120可以包括模拟和数字输入-输出接口电路，和基于射频信号和/或光信号的无线通信电路。通信电路120中的无线通信电路可以包括射频收发器电路、功率放大器电路、低噪声放大器、开关、滤波器和天线。举例来说，通信电路120中的无线通信电路可以包括用于通过发射和接收近场耦合电磁信号来支持近场通信(Near Field Communication，NFC)的电路。例如，通信电路120可以包括近场通信天线和近场通信收发器。通信电路120还可以包括蜂窝电话收发器和天线，无线局域网收发器电路和天线等。

[0048] 电子设备100还可以进一步包括电池，电力管理电路和其它输入-输出单元160。输入-输出单元160可以包括按钮，操纵杆，点击轮，滚动轮，触摸板，小键盘，键盘，照相机，发光二极管和其它状态指示器等。

[0049] 用户可以通过输入-输出电路150输入命令来控制电子设备100的操作，并且可以使用输入-输出电路150的输出数据以实现接收来自电子设备100的状态信息和其它输出。

[0050] 基于上述图1A所描述的电子设备，可以用于实现如下功能：

[0051] 所述前置摄像头，用于采集第一图像；

[0052] 存储和处理电路110，用于判断该第一图片是否包含瞳孔白斑，如包含瞳孔白斑时，开启所述前置摄像头的HDR模式采集n张图像，所述n张图像中每张图像的EV值不同；所述n取值大于等于3的整数；将n张图像通过HDR算法合成第二图像，将第二图像传输给眼球追踪算法识别实现眼球追踪。

[0053] 在一种可选的方案中，存储和处理电路110，具体用于开启所述前置摄像头的HDR模式在EV0、EV-1以及EV1分别采集一张图像，其中，EV0为所述第一图片的曝光值。

[0054] 在一种可选的方案中，存储和处理电路110，具体用于将n张图像配准，恢复n张图像的n张辐射度图像；计算n张辐射度图像中每张图像的权重值，使用每张图像的权重值将n张图像合成得到第二图像。

[0055] 在一种可选的方案中，存储和处理电路110，具体用于从n张图像中提取E1图像，依据曝光时间以及CMOS灰度值计算E1图像所有像素点的辐照度，将E1图像所有像素点的辐照度组合起来即得到E1图像的辐射度图像S1；

[0056] 其中，

[0057] E(i,j)＝Func(T(i)*I(j))

[0058] 其中，E(i,j)为第i次曝光的第j个像素点的辐照度，T(i)为第i次曝光的时长，I(j)图像E1的第j个像素点的cmos灰度。

[0059] 请参阅图1B，图1B是本申请实施例提供的一种眼球追踪方法的流程示意图，如图所示，应用于如图1A所示的电子设备，所述电子设备包括前置摄像头，本眼球追踪方法包括：

[0060] 步骤S101、电子设备通过前置摄像头采集第一图像，判断该第一图片是否包含瞳孔白斑；

[0061] 上述电子设备启动前置摄像头的方式可以有多种，例如在一种可选的实施例中，可以通过一个特定的按钮来确定是否启动前置摄像头。当然在另一种可选的实施例中，可以通过满足设定触发条件时，启动或获取摄像头采集的第一图像，该触发条件可以是一个特定的操作来确定是否启动前置摄像头，该特定的操作包括但不限于，特定的手势、或者生物识别验证，该生物识别验证包括但不限于：人脸识别验证、指纹识别验证、静脉识别验证等等。本申请具体实施方式并不限制上述启动前置摄像头和后置摄像头的方案。

[0062] 上述静脉识别验证启动前置摄像头的方法如图2A所示，具体可以包括：

[0063] B1、分析静脉图片中的目标静脉区域图像的特征点分布；

[0064] B2、按照M个不同圆心对所述目标静脉区域图像进行圆形图像截取，得到M个圆形静脉区域图像，所述M为大于3的整数；

[0065] B3、从所述M个圆形静脉区域图像中选出目标圆形静脉区域图像，所述目标圆形静脉区域图像所包含的特征点的数量大于所述M个圆形静脉区域图像中的其他圆形静脉区域图像；

[0066] B4，将所述目标圆形静脉区域图像划分得到N个圆环，所述N个圆环的环宽相同；

[0067] B5，从所述N个圆环中半径最小的圆环开始，将所述N个圆环依次与预设静脉模板进行特征点匹配，并累计已匹配圆环的匹配值；

[0068] B6，当累计的匹配值大于预设匹配阈值时立即停止进行特征点匹配，并输出启动前置摄像头的命令。

[0069] 步骤S102、电子设备在确定该第一图片包含瞳孔白斑时，触发HDR(High Dynamic Range Imaging，高动态范围成像)模式采集n张图像，所述n张图像中每张图像的EV值不同；

[0070] 上述步骤S102中的触发HDR模式采集n张图像具体可以包括：

[0071] 触发HDR模式在EV0、EV-1以及EV1分别采集一张图像，其中，EV0为该第一图片的曝光值。

[0072] 需要说明的是，上述EV-1可以为EV0的下一档的曝光值，EV1可以为EV0的上一档的曝光值。此种设置让正常的曝光值即第一图像的曝光值位于n张图像的中间，避免了单边调整导致的瞳孔白斑放大的问题。

[0073] 高动态范围图像，相比普通的图像，可以提供更多的动态范围和图像细节，根据不同的曝光时间的LDR(Low-Dynamic Range)图像，利用每个曝光时间相对应最佳细节的LDR图像来合成最终HDR图像，能够更好的反映出真实环境中的视觉效果。

[0074] 曝光值(Exposure Value，EV)代表能够给出同样曝光的所有相机光圈快门组合。这一概念是在一九五零年代在德国发展起来的，被试图用以简化在等价的拍摄参数之间进行选择的过程。曝光值同样也可以表示曝光刻度上的一个级差，1EV对应于两倍的曝光比例并通常被称为“一挡”。上述通过不同的EV值能够去除光线对瞳孔白斑的影响。

[0075] 步骤S103、电子设备将n张图像通过HDR算法合成第二图像，将第二图像传输给眼球追踪算法识别实现眼球追踪。

[0076] 上述电子设备将n张图像通过HDR算法合成第二图像的方法具体如图2B所示，包括如下步骤：

[0077] S201、将n张图像配准；

[0078] 参照光流的实现，这一步主要是用在n 帧不同曝光(即不同EV值)图像合成的情况。

[0079] S202、恢复n张图像(E1,E2,E3…En)的辐射度图像(S1,S2,S3…Sn)，即根据曝光时间(大部分情况下是通过曝光时间来获取高动态范围)，以及CMOS灰度值，得到该像素点原本的辐照度。

[0080] 一种辐照度与曝光时间和cmos灰度的对应关系是这样的

[0081] E(i,j)＝Func(T(i)*I(j))

[0082] E(i,j)为第i次曝光的辐照度，T(i)为第i次曝光的时长，I(j)图像I的第j个像素点的cmos灰度。

[0083] 可以根据标定的方式结合最小二乘，得到这个曲线的参数。

[0084] 这里由于噪声较小，可以不考虑噪声，即如果不存在噪声，那么根据步骤S201，完全可以融合成一张HDR的图片了(用其他图像补偿一幅图像中过曝以及欠曝，以至于算出来的辐照度不准确的点)。当然现实不是这样的，考虑到算出来的辐照度是有一定的不确定性的，需要不确定性最小的那个，所以需要步骤S202。

[0085] S203、计算S1,S2,S3...Sn的权重值w1(x,y),w2(x,y),w3(x,y)，...wn(x,y)使用权重值w1(x,y),w2(x,y),w3(x,y)...wn(x,y)来合成得到第二图像；

[0086] 有各种生成权重图的方式，主要是考虑到这个点邻域的梯度，亮度，运动与否(长短曝光相比)，来考察这个点生成的辐照度图像的可靠程度，进而确定权重图。

[0087] 上述眼球追踪的算法可以采用普通的眼球追踪的算法，例如Google、Facebook或Apple公司提供的眼球追踪算法，当然在实际应用中，也可以采用其他的眼球追踪算法，本申请对眼球追踪的算法并不限定。

[0088] 本申请提供的技术方案当通过普通模式，即前置摄像头采集第一图像，通过对第一图像识别确定该第一图像具有虹膜白斑时，启动HDR模式采集n张图像，然后将n张图像合并成第二图像，此时第二图像通过合成改善瞳孔白斑的问题，然后将第二图像输入到眼球追踪算法识别实现眼球追踪，这样即能够实现对眼球的追踪，并且能够降低瞳孔白斑对眼球识别精度的影响。

[0089] 参阅图2C，图2C为本申请实施例提供了一种基于HDR技术解决眼球追踪系统(该系统可以设置在如图1A所示的电子设备内)中白斑的方法，该方案有效的利用图像原理与传感器相结合的方法有效的改善白斑问题，如图2C所示，系统实现的方法具体包括：

[0090] 眼球追踪算法库在处理过程中判断当前的图像是否有白斑现象，判断方法如(瞳孔过亮、图像整体亮等)；当前状态中如果已经产生瞳孔白斑问题，系统会触发HDR模式采集图像。

[0091] 当系统触发HDR模式获取数据，首先在采集数据前先要设置当前的EV值，例如三张图像的HDR(EV+1,EV-1和正常EV值)，但HDR不限于三张。

[0092] 当触发HDR模式，系统将采集的多种图像通过HDR算法进行合成，HDR算法为传统或深度学习的成熟算法。将生成的图像传给算法，从而改善瞳孔的白斑问题，进而解决眼球追踪瞳孔白斑问题导致系统无法追踪。

[0093] 如图3所示，图3提供了一种电子设备，该所述电子设备包括前置摄像头301、显示屏303、处理器304和存储器302，前置摄像头301支持HDR模式；其中，

[0094] 前置摄像头301，用于采集第一图像；

[0095] 处理器304，用于判断该第一图片是否包含瞳孔白斑，如包含瞳孔白斑时，开启所述前置摄像头的HDR模式采集n张图像，所述n张图像中每张图像的EV值不同；所述n取值大于等于3的整数；将n张图像通过HDR算法合成第二图像，将第二图像传输给眼球追踪算法识别实现眼球追踪。

[0096] 在一种可选的技术方案中，如n＝3；

[0097] 处理器304，具体用于开启所述前置摄像头的HDR模式在EV0、EV-1以及EV1分别采集一张图像，其中，EV0为所述第一图片的曝光值。

[0098] 在一种可选的技术方案中，处理器304，具体用于将n张图像配准，恢复n张图像的n张辐射度图像；计算n张辐射度图像中每张图像的权重值，使用每张图像的权重值将n张图像合成得到第二图像。

[0099] 在一种可选的技术方案中，处理器304，具体用于从n张图像中提取E1图像，依据曝光时间以及CMOS灰度值计算E1图像所有像素点的辐照度，将E1图像所有像素点的辐照度组合起来即得到E1图像的辐射度图像S1；

[0100] 其中，

[0101] E(i,j)＝Func(T(i)*I(j))

[0102] 其中，E(i,j)为第i次曝光的第j个像素点的辐照度，T(i)为第i次曝光的时长，I(j)图像E1的第j个像素点的cmos灰度。

[0103] 在一种可选的方案中，

[0104] 前置摄像头，用于采集静脉图片；

[0105] 处理器304，用于分析静脉图片中的目标静脉区域图像的特征点分布；按照M个不同圆心对所述目标静脉区域图像进行圆形图像截取，得到M个圆形静脉区域图像，所述M为大于3的整数；从所述M个圆形静脉区域图像中选出目标圆形静脉区域图像，所述目标圆形静脉区域图像所包含的特征点的数量大于所述M个圆形静脉区域图像中的其他圆形静脉区域图像；，将所述目标圆形静脉区域图像划分得到N个圆环，所述N个圆环的环宽相同；，从所述N个圆环中半径最小的圆环开始，将所述N个圆环依次与预设静脉模板进行特征点匹配，并累计已匹配圆环的匹配值；当累计的匹配值大于预设匹配阈值时立即停止进行特征点匹配，并输出启动前置摄像头的命令。

[0106] 参阅图4A，本申请实施例还提供一种眼球追踪装置，应用于电子设备，所述电子设备包括前置摄像头401，所述前置摄像头支持HDR模式，所述装置包括：

[0107] 前置摄像头401，用于采集第一图像；

[0108] 判断单元402，用于判断该第一图片是否包含瞳孔白斑；

[0109] HDR单元403，用于在所述判断单元确定所述第一图片包含瞳孔白斑时，采用HDR模式采集n张图像，所述n张图像中每张图像的EV值不同；所述n取值大于等于3的整数；

[0110] 合成单元404，用于将所述n张图像通过HDR算法合成第二图像；

[0111] 追踪单元405，用于将第二图像传输给眼球追踪算法识别实现眼球追踪。

[0112] 本申请提供的技术方案当通过普通模式，即前置摄像头采集第一图像，通过对第一图像识别确定该第一图像具有虹膜白斑时，启动HDR模式采集n张图像，然后将n张图像合并成第二图像，此时第二图像通过合成改善瞳孔白斑的问题，然后将第二图像输入到眼球追踪算法识别实现眼球追踪，这样即能够实现对眼球的追踪，并且能够降低瞳孔白斑对眼球识别精度的影响。

[0113] 在一种可选的方案中，

[0114] 如n＝3，HDR单元403，具体用于启动HDR模式在EV0、EV-1以及EV1分别采集一张图像，其中，EV0为所述第一图片的曝光值。

[0115] 在一种可选的方案中，如图4B所示，上述合成单元404具体可以包括：

[0116] 配准模块4041，用于将n张图像配准；

[0117] 辐射模块4042，用于恢复n张图像的n张辐射度图像；

[0118] 计算合成模块4043，用于计算n张辐射度图像中每张图像的权重值，使用每张图像的权重值将n张图像合成得到第二图像。

[0119] 可选的，上述辐射模块4042，具体用于从n张图像中提取E1图像，依据曝光时间以及CMOS灰度值计算E1图像所有像素点的辐照度，将E1图像所有像素点的辐照度组合起来即得到E1图像的辐射度图像S1；

[0120] 其中，

[0121] E(i,j)＝Func(T(i)*I(j))

[0122] 其中，E(i,j)为第i次曝光的第j个像素点的辐照度，T(i)为第i次曝光的时长，I(j)图像E1的第j个像素点的cmos灰度。

[0123] 在一种可选的方案中，如图4C所示，上述装置还可以包括：

[0124] 静脉识别单元406，用于分析静脉图片(该静脉图片可以有专用的摄像头采集)中的目标静脉区域图像的特征点分布；按照M个不同圆心对所述目标静脉区域图像进行圆形图像截取，得到M个圆形静脉区域图像，所述M为大于3的整数；从所述M个圆形静脉区域图像中选出目标圆形静脉区域图像，所述目标圆形静脉区域图像所包含的特征点的数量大于所述M个圆形静脉区域图像中的其他圆形静脉区域图像；，将所述目标圆形静脉区域图像划分得到N个圆环，所述N个圆环的环宽相同；，从所述N个圆环中半径最小的圆环开始，将所述N个圆环依次与预设静脉模板进行特征点匹配，并累计已匹配圆环的匹配值；当累计的匹配值大于预设匹配阈值时立即停止进行特征点匹配，并输出启动前置摄像头的命令。

[0125] 本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤，上述计算机包括电子设备。

[0126] 本申请实施例还提供一种计算机程序产品，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包，上述计算机包括电子设备。

[0127] 需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

[0128] 在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

[0129] 在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。

[0130] 上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

[0131] 另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

[0132] 上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

[0133] 本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取器(英文：Random Access Memory，简称：RAM)、磁盘或光盘等。

[0134] 以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

标题	发布/更新时间	阅读量
一种头戴式助视装置	2020-05-08	555
一种医学模拟训练系统和方法	2020-05-12	918
基于眼球追踪的测光方法及相关产品	2020-05-20	355
眼球追踪方法及相关产品	2020-05-23	57
眼动追踪设备的拍摄参数调整方法、装置、设备及介质	2020-05-26	368
传输方法以及电子设备和计算机存储介质	2020-05-11	476
眼球追踪方法及相关产品	2020-05-23	164
基于眼球追踪技术的A柱视野盲区辅助视觉系统及其方法	2020-05-21	463
一种差分走线电路、电路板、功能模组以及移动终端	2020-05-08	987
一种穿戴式视觉跟踪采集图像设备	2020-05-18	552

眼球追踪方法及相关产品

眼球追踪方法及相关产品

技术领域

背景技术

具体实施方式

该功能需要专业版企业版VIP权限，您可以：