基于眼球追踪的测光方法及相关产品
阅读：355发布：2020-05-20
专利汇可以提供基于眼球追踪的测光方法及相关产品专利检索，专利查询，专利分析的服务。并且本 申请 实施例 公开了一种基于眼球追踪的测光方法及相关产品，所述方法应用于 电子 设备，所述方法包括如下步骤：采集目标对象的瞳孔图片；处理所述图片，获取瞳孔坐标以及获取外眼 角 坐标；依据所述瞳孔坐标以及所述外眼角坐标计算得到眼球的注视点落点，依据所述注视点落点调整测光结果值。采用本申请实施例提高测光结果值的准确性，提高曝光效果，提高用户体验度。，下面是基于眼球追踪的测光方法及相关产品专利的具体信息内容。
1.一种基于眼球追踪的测光方法，其特征在于，所述方法应用于电子设备，所述方法包括如下步骤：
采集目标对象的瞳孔图片；
处理所述图片，获取瞳孔坐标以及获取外眼角坐标；
依据所述瞳孔坐标以及所述外眼角坐标计算得到眼球的注视点落点，依据所述注视点落点调整测光结果值。
2.根据权利要求1所述的方法，其特征在于，所述获取瞳孔坐标具体包括：
将所述图片处理得到瞳孔待定范围，求取所述瞳孔待定范围内的每个像素点的所有方向的位移向量以及梯度方向的和，求所有方向和的平均值，取瞳孔待定范围内所有像素点的和的平均值中最大值对应的c点，所述c点的坐标为所述瞳孔坐标。
3.根据权利要求1所述的方法，其特征在于，所述获取瞳孔坐标具体包括：
将该图片处理得到瞳孔待定范围，将该瞳孔待定范围划分为多个核，求取瞳孔待定范围内的每个核的所有方向的位移向量以及梯度方向的和，求所有方向和的平均值，取瞳孔待定范围内所有核的和的平均值中最大值对应的核的中心点c*，该c*的坐标即为瞳孔坐标；所述核为多个像素点的集合。
4.根据权利要求2或3所述的方法，其特征在于，所述方法还包括：
如所述外眼角坐标为多个，获取每个外眼角坐标与所述C点或c*的距离值，从多个距离值中选择距离最小的第一距离对应的第一外眼角坐标作为所述获取外眼角坐标。
5.根据权利要求1所述的方法，其特征在于，所述依据该瞳孔坐标以及外眼角坐标计算得到眼球的注视点落点具体包括：
依据下述公式计算得到眼球的注视点落点坐标；
zx＝a0+a1vecx+a2vecy+a3vecxvecy+a4vecx2+a5vecy2
Zy＝b0+b1vecx+b2vecy+b3vecxvecy+b4vecx2+b5vecy2
其中，zx为注视点落点的x轴坐标，zy为注视点落点的y轴坐标；a0、a1、a2、a3、a4、a5、b0、b1、b2、b3、b4、b5为设定值；Vecx＝x-x1；Vecy＝y-y1；其中，x，y为瞳孔坐标，x1，y1为外眼角坐标。
6.一种电子设备，所述电子设备包括：摄像头以及处理器，其特征在于，
所述摄像头，用于采集目标对象的瞳孔图片；
所述处理器，用于处理所述图片，获取瞳孔坐标以及获取外眼角坐标；依据所述瞳孔坐标以及所述外眼角坐标计算得到眼球的注视点落点，依据所述注视点落点调整测光结果值。
7.根据权利要求6所述的电子设备，其特征在于，
所述处理器，具体用于将所述图片处理得到瞳孔待定范围，求取所述瞳孔待定范围内的每个像素点的所有方向的位移向量以及梯度方向的和，求所有方向和的平均值，取瞳孔待定范围内所有像素点的和的平均值中最大值对应的c点，所述c点的坐标为所述瞳孔坐标。
8.根据权利要求6所述的电子设备，其特征在于，
所述处理器，具体用于将该图片处理得到瞳孔待定范围，将该瞳孔待定范围划分为多个核，求取瞳孔待定范围内的每个核的所有方向的位移向量以及梯度方向的和，求所有方向和的平均值，取瞳孔待定范围内所有核的和的平均值中最大值对应的核的中心点c*，该c*的坐标即为瞳孔坐标；所述核为多个像素点的集合。
9.根据权利要求7或8所述的电子设备，其特征在于，
所述处理器，具体用于如所述外眼角坐标为多个，获取每个外眼角坐标与所述C点或c*的距离值，从多个距离值中选择距离最小的第一距离对应的第一外眼角坐标作为所述获取外眼角坐标。
10.根据权利要求6所述的电子设备，其特征在于，
所述处理器，具体用于依据下述公式计算得到眼球的注视点落点坐标；
zx＝a0+a1vecx+a2vecy+a3vecxvecy+a4vecx2+a5vecy2
Zy＝b0+b1vecx+b2vecy+b3vecxvecy+b4vecx2+b5vecy2
其中，zx为注视点落点的x轴坐标，zy为注视点落点的y轴坐标；a0、a1、a2、a3、a4、a5、b0、b1、b2、b3、b4、b5为设定值；Vecx＝x-x1；Vecy＝y-y1；其中，x，y为瞳孔坐标，x1，y1为外眼角坐标。
11.一种基于眼球追踪的测光装置，其特征在于，应用于电子设备，所述装置包括：采集单元、处理单元、计算单元，其中，
所述采集单元，用于采集目标对象的瞳孔图片；
所述处理单元，用于处理所述图片，获取瞳孔坐标以及获取外眼角坐标；
所述计算单元，用于依据所述瞳孔坐标以及所述外眼角坐标计算得到眼球的注视点落点，依据所述注视点落点调整测光结果值。
12.一种电子设备，其特征在于，包括处理器、摄像头、存储器，所述存储器用于存储一个或多个程序，并且被配置由所述处理器执行，所述程序包括用于执行如权利要求1-5任一项所述的方法中的步骤的指令。
13.一种计算机可读存储介质，其特征在于，存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1-5任一项所述的方法。
基于眼球追踪的测光方法及相关产品
技术领域
背景技术
[0002] 随着电子设备(如手机、平板电脑等等)的大量普及应用，电子设备能够支持的应用越来越多，功能越来越强大，电子设备向着多样化、个性化的方向发展，成为用户生活中不可缺少的电子用品。
[0003] 测光模式是指根据摄入光线的条件来确定后续的曝光量，曝光量的调节可能涉及调整光圈大小，调整曝光时间，调整传感器的感光度，目的使图像更加符合人眼感知。现有的传统模式借助用户主观选择ROI(英文：Region of Interest，感兴趣区域)，其测光的准确性低，进而影响曝光的准确性，降低用户体验度。发明内容
[0004] 本申请实施例提供了一种基于眼球追踪的测光方法及相关产品，可以提高测光的准确性以及曝光的准确性，提升用户体验度。
[0005] 第一方面，本申请实施例提供一种基于眼球追踪的测光方法，所述方法应用于电子设备，所述方法包括如下步骤：
[0006] 采集目标对象的瞳孔图片；
[0007] 处理所述图片，获取瞳孔坐标以及获取外眼角坐标；
[0008] 依据所述瞳孔坐标以及所述外眼角坐标计算得到眼球的注视点落点，依据所述注视点落点调整测光结果值。
[0009] 第二方面，提供一种电子设备，所述电子设备包括：摄像头以及处理器，[0010] 所述摄像头，用于采集目标对象的瞳孔图片；
[0011] 所述处理器，用于处理所述图片，获取瞳孔坐标以及获取外眼角坐标；依据所述瞳孔坐标以及所述外眼角坐标计算得到眼球的注视点落点，依据所述注视点落点调整测光结果值。
[0012] 第三方面，提供一种基于眼球追踪的测光装置，应用于电子设备，所述装置包括：采集单元、处理单元、计算单元，其中，
[0013] 所述采集单元，用于采集目标对象的瞳孔图片；
[0014] 所述处理单元，用于处理所述图片，获取瞳孔坐标以及获取外眼角坐标；
[0015] 所述计算单元，用于依据所述瞳孔坐标以及所述外眼角坐标计算得到眼球的注视点落点，依据所述注视点落点调整测光结果值。
[0016] 第四方面，本申请实施例提供一种电子设备，包括处理器、存储器、通信接口以及一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，上述程序包括用于执行本申请实施例第一方面中的步骤的指令。
[0017] 第五方面，本申请实施例提供了一种计算机可读存储介质，其中，上述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，上述计算机程序使得计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。
[0018] 第六方面，本申请实施例提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
[0019] 实施本申请实施例，具备如下有益效果：
[0020] 可以看出，本申请提供的技术方案通过采集图片后，对图片进行处理得到瞳孔坐标以及外眼角坐标，然后依据两个坐标能够计算得到眼球的注视方向以及注视点落点，从而实现对眼球的追踪，不能够依据该追踪的值来调整测光结果值，因此其具有测光准确以及曝光效果好的优点。附图说明
[0021] 为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0022] 图1A是本申请实施例提供的一种电子设备的结构示意图；
[0023] 图1B是本申请实施例提供的基于眼球追踪的测光方法流程示意图；
[0025] 图2B是本申请实施例提供的核的位移向量以及梯度方向的示意图；
[0026] 图3A是本申请实施例提供的参数确定方法的流程示意图；
[0027] 图3B是本申请实施例提供的关注点的示意图；
[0028] 图4是本申请实施例提供的一种静脉识别的流程示意图；
[0029] 图5A是本申请实施例提供的一种电子设备的功能单元组成框图；
[0030] 图5B是本申请实施例提供的一种基于眼球追踪的测光装置的功能单元组成框图；
[0031] 图5C是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
[0032] 为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0033] 本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
[0034] 在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
[0035] 本申请实施例所涉及到的电子设备可以包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备(智能手表、智能手环、无线耳机、增强现实/虚拟现实设备、智能眼镜)、计算设备或连接到无线调制解调器的其他处理设备，以及各种形式的用户设备(user equipment，UE)，移动台(mobile station，MS)，终端设备(terminal device)等等。为方便描述，上面提到的设备统称为电子设备。
[0036] 下面对本申请实施例进行详细介绍。
[0037] 请参阅图1A，图1A是本申请实施例公开的一种电子设备的结构示意图，电子设备100包括存储和处理电路110，以及与所述存储和处理电路110连接的传感器170，其中：
[0038] 电子设备100可以包括控制电路，该控制电路可以包括存储和处理电路110。该存储和处理电路110可以存储器，例如硬盘驱动存储器，非易失性存储器(例如闪存或用于形成固态驱动器的其它电子可编程只读存储器等)，易失性存储器(例如静态或动态随机存取存储器等)等，本申请实施例不作限制。存储和处理电路110中的处理电路可以用于控制电子设备100的运转。该处理电路可以基于一个或多个微处理器，微控制器，数字信号处理器，基带处理器，功率管理单元，音频编解码器芯片，专用集成电路，显示驱动器集成电路等来实现。
[0039] 存储和处理电路110可用于运行电子设备100中的软件，例如互联网浏览应用程序，互联网协议语音(Voice over Internet Protocol,VOIP)电话呼叫应用程序，电子邮件应用程序，媒体播放应用程序，操作系统功能等。这些软件可以用于执行一些控制操作，例如，基于照相机的图像采集，基于环境光传感器的环境光测量，基于接近传感器的接近传感器测量，基于诸如发光二极管的状态指示灯等状态指示器实现的信息显示功能，基于触摸传感器的触摸事件检测，与在多个(例如分层的)显示屏上显示信息相关联的功能，与执行无线通信功能相关联的操作，与收集和产生音频信号相关联的操作，与收集和处理按钮按压事件数据相关联的控制操作，以及电子设备100中的其它功能等，本申请实施例不作限制。
[0040] 电子设备100可以包括输入-输出电路150。输入-输出电路150可用于使电子设备100实现数据的输入和输出，即允许电子设备100从外部设备接收数据和也允许电子设备
100将数据从电子设备100输出至外部设备。输入-输出电路150可以进一步包括传感器170。
传感器170可以包括超声波指纹识别模组，还可以包括环境光传感器，基于光和电容的接近传感器，触摸传感器(例如，基于光触摸传感器和/或电容式触摸传感器，其中，触摸传感器可以是触控显示屏的一部分，也可以作为一个触摸传感器结构独立使用)，加速度传感器，和其它传感器等，超声波指纹识别模组可以集成于屏幕下方，或者，超声波指纹识别模组可以设置于电子设备的侧面或者背面，在此不作限定，该超声波指纹识别模组可以用于采集指纹图像。
100将数据从电子设备100输出至外部设备。输入-输出电路150可以进一步包括传感器170。
传感器170可以包括超声波指纹识别模组，还可以包括环境光传感器，基于光和电容的接近传感器，触摸传感器(例如，基于光触摸传感器和/或电容式触摸传感器，其中，触摸传感器可以是触控显示屏的一部分，也可以作为一个触摸传感器结构独立使用)，加速度传感器，和其它传感器等，超声波指纹识别模组可以集成于屏幕下方，或者，超声波指纹识别模组可以设置于电子设备的侧面或者背面，在此不作限定，该超声波指纹识别模组可以用于采集指纹图像。
[0041] 传感器170可以包括红外(IR)摄像头或RGB摄像头，IR摄像头在拍摄时，瞳孔反射红外光，因此IR摄像头在拍摄瞳孔图像会比RGB相机更加准确；RGB摄像头需要进行更多的后续图像处理，计算精度和准确性比IR摄像头要高，通用性比IR摄像头更好，但是计算量大。
[0042] 输入-输出电路150还可以包括一个或多个显示屏，例如显示屏130。显示屏130可以包括液晶显示屏，有机发光二极管显示屏，电子墨水显示屏，等离子显示屏，使用其它显示技术的显示屏中一种或者几种的组合。显示屏130可以包括触摸传感器阵列(即，显示屏130可以是触控显示屏)。触摸传感器可以是由透明的触摸传感器电极(例如氧化铟锡(ITO)电极)阵列形成的电容式触摸传感器，或者可以是使用其它触摸技术形成的触摸传感器，例如音波触控，压敏触摸，电阻触摸，光学触摸等，本申请实施例不作限制。
[0043] 电子设备100还可以包括音频组件140。音频组件140可以用于为电子设备100提供音频输入和输出功能。电子设备100中的音频组件140可以包括扬声器，麦克风，蜂鸣器，音调发生器以及其它用于产生和检测声音的组件。
[0044] 通信电路120可以用于为电子设备100提供与外部设备通信的能力。通信电路120可以包括模拟和数字输入-输出接口电路，和基于射频信号和/或光信号的无线通信电路。通信电路120中的无线通信电路可以包括射频收发器电路、功率放大器电路、低噪声放大器、开关、滤波器和天线。举例来说，通信电路120中的无线通信电路可以包括用于通过发射和接收近场耦合电磁信号来支持近场通信(Near Field Communication，NFC)的电路。例如，通信电路120可以包括近场通信天线和近场通信收发器。通信电路120还可以包括蜂窝电话收发器和天线，无线局域网收发器电路和天线等。
[0045] 电子设备100还可以进一步包括电池，电力管理电路和其它输入-输出单元160。输入-输出单元160可以包括按钮，操纵杆，点击轮，滚动轮，触摸板，小键盘，键盘，照相机，发光二极管和其它状态指示器等。
[0046] 用户可以通过输入-输出电路150输入命令来控制电子设备100的操作，并且可以使用输入-输出电路150的输出数据以实现接收来自电子设备100的状态信息和其它输出。
[0047] 基于上述图1A所描述的电子设备，可以用于实现如下功能：
[0048] 传感器170，用于采集目标对象的瞳孔图片；
[0049] 存储和处理电路110，用于处理所述图片，获取瞳孔坐标以及获取外眼角坐标；依据所述瞳孔坐标以及所述外眼角坐标计算得到眼球的注视点落点，依据所述注视点落点调整测光结果值。
[0050] 在一种可选的方案中：
[0051] 存储和处理电路110，具体用于将所述图片处理得到瞳孔待定范围，求取所述瞳孔待定范围内的每个像素点的所有方向的位移向量以及梯度方向的和，求所有方向和的平均值，取瞳孔待定范围内所有像素点的和的平均值中最大的和的平均值对应的c点，所述c点的坐标为所述瞳孔坐标。
[0052] 在一种可选的方案中：
[0053] 存储和处理电路110，具体用于将该图片处理得到瞳孔待定范围，将该瞳孔待定范围划分为多个核，求取瞳孔待定范围内的每个核的所有方向的位移向量以及梯度方向的和，求所有方向和的平均值，取瞳孔待定范围内所有核的和的平均值中最大的和的平均值对应的核的中心点c*，该c*的坐标即为瞳孔坐标；所述核为多个像素点的集合。
[0054] 在一种可选的方案中：
[0055] 存储和处理电路110，具体用于如所述外眼角坐标为多个，获取每个外眼角坐标与所述C点或c*的距离值，从多个距离值中选择距离最小的第一距离对应的第一外眼角坐标作为所述获取外眼角坐标。
[0056] 在一种可选的方案中：
[0057] 存储和处理电路110，具体用于依据下述公式计算得到眼球的注视点落点坐标；
[0058] zx＝a0+a1vecx+a2vecy+a3vecxvecy+a4vecx2+a5vecy2
[0059] Zy＝b0+b1vecx+b2vecy+b3vecxvecy+b4vecx2+b5vecy2
[0060] 其中，zx为注视点落点的x轴坐标，zy为注视点落点的y轴坐标；a0、a1、a2、a3、a4、a5、b0、b1、b2、b3、b4、b5为设定值；Vecx＝x-x1；Vecy＝y-y1；其中，x，y为瞳孔坐标，x1，y1为外眼角坐标。
[0061] 在一种可选的方案中：
[0062] 存储和处理电路110，具体用于提取该图片的虹膜图像，对该虹膜图像机型识别确定目标对象的身份。
[0063] 在一种可选的方案中：
[0064] 存储和处理电路110，具体用于提取该图片的虹膜图像，对该虹膜图像进行虹膜的局部纹理提取，获取该虹膜图像的第一虹膜代码，从预设的虹膜模板中提取该模板对应的一组虹膜代码，将该第一虹膜代码与该一组虹膜代码进行比对确定其相似度，如该相似度大于设定阈值，确定该图片的身份为该一组虹膜代码对应的第一身份。
[0065] 在一种可选的方案中：
[0066] 存储和处理电路110，还用于对虹膜图像进行预处理，该预处理的方法具体可以包括：采用harr-like特征和Boosting训练后的瞳孔分类器对虹膜图像进行检测，选择虹膜有效区域，去除其他区域后将图像做归一化处理，获取合理尺寸的虹膜图像，采用圆形拟合法拟合合理尺寸的虹膜图像中的虹膜内边缘信息，检测并去除合理尺寸的虹膜图像中的高光。去除的具体方法包括但不限于：双线性插值法或高光检测和去除法。对合理尺寸的虹膜图像中的虹膜图像进行上、下眼睑的检测和睫毛去除得到过滤后的虹膜图像；对过滤后的虹膜图像中的虹膜外边缘信息进行虹膜归一化处理，将虹膜内、外边缘所在的两个不同心圆归一化为一个矩形区域，并采用二值化图像标记无效区域，该无效区域包括标记处的眼睑、高光、睫毛信息，完成对虹膜图像的预处理。
[0067] 在一种可选的方案中：
[0068] 存储和处理电路110，具体用于基于自动阈值的方法来确定合理尺寸的虹膜图像中虹膜的二值分割图像；将该二值分割图像中，通过求取连通区域的方法消除干扰因素的影响，该干扰因素包括图像的噪声，例如睫毛、高光或阴影等。通过集合方法求取该去除干扰因素后的虹膜内边缘的参数信息。
[0069] 测光模式是指根据摄入光线的条件来确定后续的曝光量，曝光量的调节可能涉及调整光圈大小，调整曝光时间，调整Sensor的感光度，目的使图像更加符合人眼感知。现有的传统模式常见的几种测光模式(中央重点平均测光，局部测光，点测光)，或是借助用户主观选择感兴趣区域或是使用其他信息来找出ROI(Region of Interest)感兴趣区域增加对应的权重来获取，都有一定的被动型根据图像不同的区域的阈值来调节确定的亮度范围。因此在曝光控制中，测光结果值是一个非常重要的参数，该测光结果值的准确度直接影响了曝光的准确度。
[0070] 请参阅图1B，图1B是本申请实施例提供的一种基于眼球追踪的测光方法的流程示意图，如图所示，应用于如图1A所示的电子设备，所述电子设备包括摄像头，该摄像头可以为IR摄像头或RGB摄像头，本申请提供的基于眼球追踪的测光方法包括：
[0071] 步骤S101、电子设备采集目标对象的包含瞳孔的图片；
[0072] 上述步骤S101中的采集包含瞳孔的图片可以通过电子设备的摄像头来采集，上述摄像头可以为多个或多种模式的摄像头。例如，在一种可选的实施例中，可以通过设置在电子设备前端的RGB摄像头采集包含瞳孔的图片。当然在另一种可选实施例中，可以通过RGB摄像头以及红外摄像头分别采集包含瞳孔的图片。即上述图片可以为多张也可以为一张，本申请对上述步骤S101的图片的数量并不限定，对采集该图片的具体实现方式也不限定。
[0073] 步骤S102、电子设备处理图片，获取瞳孔坐标以及外眼角坐标；
[0075] 步骤S103、电子设备依据该瞳孔坐标以及外眼角坐标计算得到眼球的注视点落点，依据所述注视点落点调整测光结果值。
[0076] 本申请提供的技术方案通过采集图片后，对图片进行处理得到瞳孔坐标以及外眼角坐标，然后依据两个坐标能够计算得到眼球的注视方向以及注视点落点，从而实现对眼球的追踪，不能够依据该追踪的值来调整测光结果值，因此其具有测光准确以及曝光效果好的优点。
[0077] 可选的，上述获取瞳孔坐标的方法具体可以包括：
[0078] 将该图片处理得到瞳孔待定范围，求取瞳孔待定范围内的每个像素点的所有方向的位移向量以及梯度方向的和，求所有方向和的平均值，取瞳孔待定范围内所有像素点的和的平均值中最大的和的平均值对应的c点，该c点的坐标即为瞳孔坐标。
[0079] 参阅图2A，图2A为一种像素点的位移向量以及梯度方向的示意图，如图2A所示，该C点需要满足如下公式1；
[0080]
[0081] 其中，xi待球点的梯度向量，di为单位位移向量，gi为单位梯度方向。
[0082] 可选的，上述获取瞳孔坐标的方法具体可以包括：
[0083] 将该图片处理得到瞳孔待定范围，将该瞳孔待定范围划分为多个核，(每个核可以为多个像素点的集合，例如该核可以为一个3*3像素点的集合，当然也可以为5*5像素点的集合)，求取瞳孔待定范围内的每个核的所有方向的位移向量以及梯度方向的和，求所有方向和的平均值，取瞳孔待定范围内所有核的和的平均值中最大的和的平均值对应的核的中心点c*，该c*即为瞳孔坐标。
[0084] 参阅图2B，图2B为一种核的位移向量以及梯度方向的示意图，如图2B所示，该c*需要满足如下公式2；
[0085]
[0086] dcellTi为核大小，例如3*3或5*5；其中dcelli＝xcelli-ccell。
[0087] 上述技术方案的在减少噪声数据的干扰，其原理为，对于基于像素点的求解时，由于仅仅只有一个像素点，那么在实际应用中，如果该像素点为噪声数据，例如睫毛、头发等噪声数据，那么其计算出的C点没有任何的意义。而采用上述公式2的技术方案，其划定的为核，即一个范围内的像素点，这样对于一个小范围的像素点来说，有一个或几个像素点为噪声数据对于整体运算的准确度影响不大，因此其对于具有噪声数据的处理具有很好的降噪性。另外，对于低像素的图片也具有很好的增强中心点的鲁棒性。
[0088] 上述步骤S102中的外眼角坐标可以采用多种方式来获取，例如可以通过经典霍夫变换来得到，当然在实际应用中，也可以采用其他的方式来获取，例如通过，边缘处理算法来获取外眼角坐标，上述外眼角坐标的数量可以为至少一个。
[0089] 可选的，上述步骤S102中外眼角坐标为多个时(例如2个)，则分别计算多个外眼角坐标与瞳孔中心(x、y)的多个距离，取距离最小值对应的点确定为外眼角坐标。此技术方案当为多个外眼角坐标为多个时，取的是离瞳孔中心最近的那个点作为外眼角坐标，通过实验发现，取离瞳孔中心最近的那个点作为外眼角坐标时，能够很好的提高视线的准确性。
[0090] 可选的，上述电子设备依据该瞳孔坐标以及外眼角坐标计算得到眼球的注视方向以及注视点落点具体可以包括：
[0091] zx＝a0+a1vecx+a2vecy+a3vecxvecy+a4vecx2+a5vecy2
[0092] Zy＝b0+b1vecx+b2vecy+b3vecxvecy+b4vecx2+b5vecy2
[0093] 其中，zx为注视点Z的x轴坐标，zy为注视点Z的y轴坐标；
[0094] Vecx＝x-x1；Vecx＝y-y1；
[0095] 其中，x为C点的X轴坐标，y为C点的Y轴坐标，x1为外眼角的X轴坐标，y1为外眼角的Y轴坐标，上述a0、a1、a2、a3、a4、a5为常数，b0、b1、b2、b3、b4、b5为常数。
[0096] 可选的，上述方法还可以包括：
[0097] 依据该注视点坐标确定该注视区域，依据该注视区域以及测光权重因子确定测光结果值，依据该测光结果值调整相机的曝光参数(此曝光参数的调整方案可以采用现有的依据测光结果值调整曝光参数的方案)。
[0098] pmeter'＝f(x'，y')*α+F(a，b)*k
[0099] 其中，pmeter'为测光结果值，α为测光权重因子(为设定值，0＜α＜1)，k为权重因子(为设定值，且α≤k＜1)，f(x'，y')为依据注视点坐标确定的注视区域。
[0100] 参阅图3A，上述a0、a1、a2、a3、a4、a5以及b0、b1、b2、b3、b4、b5的确定方式可以包括如下步骤：
[0101] 步骤S301、人眼依次注释1-9位置(这9个位置的注视点坐标为定值，如图3B所示)，分别拍摄对应9张图像；
[0102] 步骤S302、每张图像依次进行人脸检测，人眼检测，查找出人眼ROI区域，确定ROI区域的瞳孔坐标(x，y)(具体的实现方式可以参见公式1或公式2的描述)；
[0103] 步骤S303、对每张图片使用混合梯度和SUSAN边缘检测进行眼角检测得到至多2个眼角(vec1、vec2)。
[0104] 步骤S304、通过多项式拟合方式计算得到a0、a1、a2、a3、a4、a5以及b0、b1、b2、b3、b4、b5。
[0105] z1＝a0+a1vecx+a2vecy+a3vecxvecy+a4vecx2+a5vecy2
[0106] Z2＝b0+b1vecx+b2vecy+b3vecxvecy+b4vecx2+b5vecy2
[0107] 上述vecx＝(x1-x)，vecy＝(y1-x)。
[0108] 参见上式，Z1表示9个注视点坐标为X值，Z2表示9个注视点的Y值，那么，9张图片可以得到18个眼角位置坐标，由于9个注视点坐标已知，通过计算能够得到18个vecx、vecy，代入上述多项式得到32个方程组，最优求解即能够得到a0、a1、a2、a3、a4、a5以及b0、b1、b2、b3、b4、b5的值。
[0109] 可选的，上述方法在步骤S102之前还可以包括：
[0110] 对该目标对象进行识别确定目标对象的身份后，执行步骤S102。上述识别的方式可以为生物识别、声音识别或其他的识别方式，上述生物识别的方式包括但不限于：指纹识别、掌纹识别、虹膜识别或人脸识别等方式。
[0111] 其中，本申请实施例中，上述目标对象可以为人。不同的人，其身体状况不一样，这样其生物识别采集的参数也可能不同，以指纹为例，身体状况不一样对应的指纹采集参数不一样，当然，同一个人，由于身体部位之间的差异性，其对应的指纹采集参数也不一样(例如手指的指纹以及手掌的指纹其采集参数即不同)。电子设备中可以预先存储预设的身体部位与采集参数之间的映射关系，每一映射关系均为指纹采集部位与指纹采集参数之间的映射关系。具体实现中，电子设备可以获取目标对象的目标采集部位，进而，按照预设的采集部位与映射关系之间的对应关系，确定采集部位对应的指纹采集参数，确定目标对象的采集部位，可以通过图像识别的方式识别，例如，采集一张指纹图像，将其输入到预设神经网络模型中，即可以得到该指纹图像对应的采集部位，由于人体的每个部位的指纹在大体上存在一定的相似性，因此，可以通过预先准备的预设神经网络模型通过指纹图像识别出其相应的部位，当然，采集部位也可以由用户输入，上述预设神经网络模型可以由系统默认，进而，根据目标映射关系集，可以确定目标指纹采集部位对应的第一指纹采集参数，如此，可以依据用户的生理状况以及采集部位，选择合理的指纹采集参数，有助于提升指纹图像采集效率。上述采集部位可以由用户自行设置或者系统默认，采集部位可以为以下至少一种：手指、手掌、胳膊、大腿、颈部等等，在此不做限定。
[0112] 可选的，如上述生物识别可以为静脉识别，上述对该目标对象进行识别确定目标对象的身份的实现方法具体可以包括：
[0113] 采集静脉图片，对静脉图片进行识别确定是否与该静脉图片对应的模板图片，确定该模板图片对应的身份为该静脉图片的第一身份，如图4所示，可以包括如下步骤：
[0114] S401、对所述静脉图像进行图像分割，得到目标静脉区域图像；
[0115] S402、分析所述目标静脉区域图像的特征点分布；
[0116] S403、按照M个不同圆心对所述目标静脉区域图像进行圆形图像截取，得到M个圆形静脉区域图像，所述M为大于3的整数；
[0117] S404、从所述M个圆形静脉区域图像中选出目标圆形静脉区域图像，所述目标圆形静脉区域图像所包含的特征点的数量大于所述M个圆形静脉区域图像中的其他圆形静脉区域图像；
[0118] S405、将所述目标圆形静脉区域图像划分得到N个圆环，所述N个圆环的环宽相同；
[0119] S406、从所述N个圆环中半径最小的圆环开始，将所述N个圆环依次与预设静脉模板进行特征点匹配，并累计已匹配圆环的匹配值；
[0120] S407、当累计的匹配值大于预设匹配阈值时立即停止进行特征点匹配，并输出确定该静脉图片与该模块图片匹配。
[0121] 其中，电子设备可以对静脉图像进行图像分割，得到目标静脉区域图像，进而，分析该目标静脉区域图像的特征点分布，按照M个不同圆心对该目标静脉区域图像进行圆形图像截取，得到M个圆形静脉区域图像，M为大于3的整数，从M个圆形静脉区域图像中选出目标圆形静脉区域图像，目标圆形静脉区域图像所包含的特征点的数量大于M个圆形静脉区域图像中的其他圆形静脉区域图像，将目标圆形静脉区域图像划分得到N个圆环，N个圆环的环宽相同，从N个圆环中半径最小的圆环开始，将N个圆环依次与预设静脉模板进行特征点匹配，并累计已匹配圆环的匹配值，如此，在静脉识别过程中，可以将不同位置或者不同静脉的特征点用于匹配，相当于对整个静脉图像进行采样，且该采样能够覆盖整个静脉区域，从而，从每个区域中均可以找到相应的达标性特征以用于匹配，当累计的匹配值大于预设匹配阈值时立即停止进行特征点匹配，并输出静脉识别成功的提示消息，如此，能够快速且精准识别静脉识别。
[0122] 可选的，上述获取瞳孔坐标的方法具体可以包括：
[0123] 对该图片采用二值化方法寻找潜在瞳孔区域，对图像中相同像素的连通域进行分析去除该潜在瞳孔区域明显非瞳孔区域得到过滤后的瞳孔区域，对于该过滤后的瞳孔区域的形状进行判断确定该过滤后的瞳孔区域是否为椭圆，如过滤后的瞳孔区域为非椭圆，则将该过滤后的瞳孔区域删除，如过滤后的瞳孔区域为椭圆，对该过滤后的瞳孔区域通过椭圆拟合获得椭圆的中心点，该中心点的坐标即为瞳孔坐标。
[0124] 可选的，如上述生物识别方式为虹膜识别，上述对该目标对象进行识别确定目标对象的身份的实现方法具体可以包括：
[0125] 提取该图片的虹膜图像，对该虹膜图像进行虹膜的局部纹理提取，获取该虹膜图像的第一虹膜代码，从预设的虹膜模板中提取该模板对应的一组虹膜代码，将该第一虹膜代码与该一组虹膜代码进行比对确定其相似度，如该相似度大于设定阈值，确定该图片的身份为该一组虹膜代码对应的第一身份。
[0126] 需要说明的是，上述提取该图片的虹膜图像具体可以包括：对虹膜图像进行预处理，该预处理的方法具体可以包括：采用harr-like特征和Boosting训练后的瞳孔分类器对虹膜图像进行检测，选择虹膜有效区域，去除其他区域后将图像做归一化处理，获取合理尺寸的虹膜图像，采用圆形拟合法拟合合理尺寸的虹膜图像中的虹膜内边缘信息，检测并去除合理尺寸的虹膜图像中的高光。去除的具体方法包括但不限于：双线性插值法或高光检测和去除法。对合理尺寸的虹膜图像中的虹膜图像进行上、下眼睑的检测和睫毛去除得到过滤后的虹膜图像；对过滤后的虹膜图像中的虹膜外边缘信息进行虹膜归一化处理，将虹膜内、外边缘所在的两个不同心圆归一化为一个矩形区域，并采用二值化图像标记无效区域，该无效区域包括标记处的眼睑、高光、睫毛信息，完成对虹膜图像的预处理。
[0127] 可选的，上述上、下眼睑的检测方法具体可以包括：通过阈值法和微分图像获取眼睑的二值图像信息，然后通过迭代的方法选择有效边缘区域，拟合出上、下眼睑信息；获取上、下眼睑信息后，通过由上及下的连通区域检测方法编辑并去除睫毛区域。
[0128] 可选的，上述采用圆形拟合法拟合合理尺寸的虹膜图像中的虹膜内边缘信息具体可以包括：
[0129] 基于自动阈值的方法来确定合理尺寸的虹膜图像中虹膜的二值分割图像；将该二值分割图像中，通过求取连通区域的方法消除干扰因素的影响，该干扰因素包括图像的噪声，例如睫毛、高光或阴影等。通过集合方法求取该去除干扰因素后的虹膜内边缘的参数信息。
[0130] 上述基于自动阈值的方法来确定合理尺寸的虹膜图像中虹膜的二值分割图像具体可以包括：
[0131] 求取虹膜图像的直方图，选择滤波器对该直方图进行高斯滤波，去除小波谷得到滤波后的直方图，检测滤波后的直方图的波谷个数，确定该个数是否大于或等于2，如果该波谷个数或等于2，继续执行滤波处理；如该波谷个数小于2，则选择第一波谷作为阈值对虹膜图像进行二值分割得到二值图像，标记该二值图像所有的连通区域，并通过比较获取最大的连通区域，对该最大的连通区域进行二值化处理后得到二值化处理后的图像，将该二值化处理后的图像求反获得反向二值图像，标记反向二值图像中所有的连通区域，通过比较获得最大连通区域，对最大连通区域进行二值化处理后得到这个连通区域，这个连通区域不再包括瞳孔内部的普尔钦斑，然后对反向二值图像二次求反得到二值图像的瞳孔区域为实心区域，采用几何方法估计实心区域的圆心和半径，求取落在圆外的有效像素占圆形面积的比例，如比例小于上限阈值，确定分割错误，删除该虹膜图像，如比例大于上限阈值，将实心区域的圆心和半径作为虹膜图像中虹膜的二值分割图像。
[0132] 参阅图5A，如图5A所示为一种电子设备，所述电子设备包括：摄像头501以及处理器502，
[0133] 摄像头501，用于采集目标对象的瞳孔图片；
[0134] 处理器502，用于处理所述图片，获取瞳孔坐标以及获取外眼角坐标；依据所述瞳孔坐标以及所述外眼角坐标计算得到眼球的注视点落点，依据所述注视点落点调整测光结果值。
[0135] 在一种可选的实施例中，
[0136] 处理器502，具体用于将所述图片处理得到瞳孔待定范围，求取所述瞳孔待定范围内的每个像素点的所有方向的位移向量以及梯度方向的和，求所有方向和的平均值，取瞳孔待定范围内所有像素点的和的平均值中最大的和的平均值对应的c点，所述c点的坐标为所述瞳孔坐标。
[0137] 处理器502，具体用于将该图片处理得到瞳孔待定范围，将该瞳孔待定范围划分为多个核，求取瞳孔待定范围内的每个核的所有方向的位移向量以及梯度方向的和，求所有方向和的平均值，取瞳孔待定范围内所有核的和的平均值中最大的和的平均值对应的核的中心点c*，该c*的坐标即为瞳孔坐标；所述核为多个像素点的集合。
[0138] 处理器502，具体用于如所述外眼角坐标为多个，获取每个外眼角坐标与所述C点或c*的距离值，从多个距离值中选择距离最小的第一距离对应的第一外眼角坐标作为所述获取外眼角坐标。
[0139] 处理器502，具体用于依据下述公式计算得到眼球的注视点落点坐标；
[0140] zx＝a0+a1vecx+a2vecy+a3vecxvecy+a4vecx2+a5vecy2
[0141] Zy＝b0+b1vecx+b2vecy+b3vecxvecy+b4vecx2+b5vecy2
[0142] 其中，zx为注视点落点的x轴坐标，zy为注视点落点的y轴坐标；a0、a1、a2、a3、a4、a5、b0、b1、b2、b3、b4、b5为设定值；Vecx＝x-x1；Vecy＝y-y1；其中，x，y为瞳孔坐标，x1，y1为外眼角坐标。
[0143] 可选的，处理器502，具体用于依据该注视点坐标确定该注视区域，依据该注视区域以及测光权重因子确定测光结果值，依据该测光结果值调整相机的曝光参数。
[0144] pmeter'＝f(x'，y')*α+F(a，b)*k
[0145] 其中，pmeter'为测光结果值，α为测光权重因子(为设定值，0＜α＜1)，k为权重因子(为设定值，且α≤k＜1)，f(x'，y')为依据注视点坐标确定的注视区域。
[0146] 可选的，处理器502，具体还用于对该图片采用二值化方法寻找潜在瞳孔区域，对图像中相同像素的连通域进行分析去除该潜在瞳孔区域明显非瞳孔区域得到过滤后的瞳孔区域，对于该过滤后的瞳孔区域的形状进行判断确定该过滤后的瞳孔区域是否为椭圆，如过滤后的瞳孔区域为非椭圆，则将该过滤后的瞳孔区域删除，如过滤后的瞳孔区域为椭圆，对该过滤后的瞳孔区域通过椭圆拟合获得椭圆的中心点，该中心点的坐标即为瞳孔坐标。
[0147] 参阅图5B，图5B为一种基于眼球追踪的测光装置，应用于电子设备，所述装置包括：采集单元505、处理单元506、计算单元507，其中，
[0148] 采集单元505，用于采集目标对象的瞳孔图片；
[0149] 处理单元506，用于处理所述图片，获取瞳孔坐标以及获取外眼角坐标；
[0150] 计算单元507，用于依据所述瞳孔坐标以及所述外眼角坐标计算得到眼球的注视点落点，依据所述注视点落点调整测光结果值。
[0151] 本申请提供的技术方案通过采集图片后，对图片进行处理得到瞳孔坐标以及外眼角坐标，然后依据两个坐标能够计算得到眼球的注视方向以及注视点落点，从而实现对眼球的追踪，不能够依据该追踪的值来调整测光结果值，因此其具有测光准确以及曝光效果好的优点。
[0152] 如图5B所示实施例中的处理单元以及计算单元的细化方案可以参见如图1B所示实例的描述，这里不再赘述。
[0153] 可以理解的是，本实施例的指纹识别装置的各程序模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。
[0154] 参阅图5C，本申请实施例提供一种电子设备，包括处理器601、存储器602、摄像头603以及一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，上述程序包括用于执行本申请实施例任一方法中的步骤的指令。
[0155] 本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤，上述计算机包括电子设备。
[0156] 本申请实施例还提供一种计算机程序产品，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包，上述计算机包括电子设备。
[0157] 需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
[0158] 在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
[0159] 在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
[0160] 上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0161] 另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0162] 上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
[0163] 本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取器(英文：Random Access Memory，简称：RAM)、磁盘或光盘等。
[0164] 以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种头戴式助视装置 | 2020-05-08 | 555 |
| 基于虚拟现实及多模态信息的孤独症辅助干预系统及方法 | 2020-05-12 | 224 |
| 一种医学模拟训练系统和方法 | 2020-05-12 | 918 |
| 眼球追踪方法及相关产品 | 2020-05-23 | 57 |
| 折叠屏防偷窥方法与具有防偷窥功能的折叠屏电子设备 | 2020-05-15 | 547 |
| 一种基于AR智能眼镜的局部图像识别方法及系统 | 2020-05-16 | 298 |
| 提醒方法、系统、终端及车辆 | 2020-05-12 | 836 |
| 显示面板和电子装置以及电子装置的操作方法 | 2020-05-15 | 652 |
| 基于眼球追踪的拍照方法及相关产品 | 2020-05-20 | 808 |
| 基于眼球追踪的电动内后视镜 | 2020-05-13 | 360 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
眼球追踪摄像头热门专利
QQ群二维码
意见反馈
意见反馈