获取注视点数据的方法及相关装置专利检索-眼球追踪摄像头视听技术与设备专利检索查询-专利查询网

获取注视点数据的方法及相关装置

阅读：793发布：2020-05-11

专利汇可以提供获取注视点数据的方法及相关装置专利检索，专利查询，专利分析的服务。并且本申请实施例公开了一种获取注视点数据的方法及相关装置，方法包括：第三方应用获取媒体平台版本信息；根据媒体平台版本信息确定电子设备的摄像头支持的至少一种能力；确定至少一种能力中包括眼球追踪能力；通过媒体服务模块向眼球追踪服务模块发送注视点数据的获取请求；通过媒体服务模块接收眼球追踪服务模块发送的注视点数据。可见，实施本申请实施例有利于第三方应用获取电子设备的注视点数据，提升了电子设备的兼容性。，下面是获取注视点数据的方法及相关装置专利的具体信息内容。

权利要求

1.一种获取注视点数据的方法，其特征在于，应用于电子设备，所述电子设备包括媒体服务模块和安卓系统、所述安卓系统包括应用层和框架层；所述应用层设置有第三方应用，所述框架层包括眼球追踪服务模块，所述方法包括：
所述第三方应用获取媒体平台版本信息；
所述第三方应用根据所述媒体平台版本信息确定所述电子设备的摄像头支持的至少一种能力；
所述第三方应用确定所述至少一种能力中包括眼球追踪能力；
所述第三方应用通过所述媒体服务模块向所述眼球追踪服务模块发送注视点数据的获取请求；
所述第三方应用通过所述媒体服务模块接收所述眼球追踪服务模块发送的注视点数据。
2.根据权利要求1所述的方法，其特征在于，所述框架层还包括相机服务模块，所述安卓系统还包括硬件抽象层，所述硬件抽象层包括相机硬件抽象模块，所述第三方应用通过所述媒体服务模块向所述眼球追踪服务模块发送注视点数据的获取请求之后，所述第三方应用通过所述媒体服务模块接收所述眼球追踪服务模块发送的注视点数据之前，所述方法还包括：
所述眼球追踪服务模块向所述相机服务模块发送眼球追踪数据获取请求；
所述相机服务模块向所述相机硬件抽象模块发送眼球追踪数据获取请求；
所述相机硬件抽象模块获取图像数据；
所述相机硬件抽象模块向所述相机服务模块发送所述图像数据；
所述相机服务模块向所述眼球追踪服务模块发送所述图像数据；
所述眼球追踪服务模块根据所述图像数据生成注视点数据。
3.根据权利要求1或2所述的方法，其特征在于，所述第三方应用通过所述媒体服务模块接收所述眼球追踪服务模块发送的注视点数据之后，所述方法还包括：
若所述注视点数据表示的注视点为第一位置点，且表示所述第一位置点的时长大于预设时长；
则确定所述电子设备的显示屏上所述第一位置点显示的内容信息；
确定所述内容信息的种类；
根据所述内容信息的种类确定可执行的至少一种操作；
在所述电子设备的显示屏上显示所述至少一种操作；
根据更新后的所述注视点数据确定所述至少一种操作中的第一操作；
针对所述内容信息执行所述第一操作。
4.根据权利要求2或3所述的方法，其特征在于，所述应用层设置有本地相机应用，在执行所述方法的过程中；
若所述相机服务模块检测到所述本地相机应用发送的数据通信请求，则所述相机服务模块停止向所述眼球追踪服务模块发送所述图像数据；
所述媒体服务模块向所述第三方应用发送忙碌状态信息。
5.根据权利要求4所述的方法，其特征在于，所述媒体服务模块向所述第三方应用发送忙碌状态信息之后，所述方法还包括：
若所述相机服务模块检测到所述本地相机应用发送的通信终止指令；
则所述相机服务模块恢复向所述眼球追踪服务模块发送所述图像数据；
所述媒体服务模块向所述第三方应用发送工作状态信息。
6.根据权利要求3所述的方法，其特征在于，所述电子设备设置有眼球追踪传感器，所述安卓系统还包括内核与硬件层，所述内核与硬件层还包括图像信号处理模块，所述相机硬件抽象模块获取图像数据，包括：
所述相机硬件抽象模块向所述图像信号处理模块发送相机数据的获取请求；
所述图像信号处理模块调用所述眼球追踪传感器获取图像数据；
所述图像信号处理模块根据预设算法处理所述图像数据，以更新所述图像数据；
所述图像信号处理模块向所述相机硬件抽象模块发送更新后的所述图像数据。
7.根据权利要求1-6任一项所述的方法，其特征在于，所述第三方应用获取媒体平台版本信息，包括：
所述第三方应用向所述媒体服务模块发送获取所述媒体平台版本信息的请求，所述请求包括鉴权码；
所述媒体服务模块鉴权所述鉴权码；
若所述鉴权码通过鉴权，则所述媒体服务模块向所述第三方应用发送所述版本信息。
8.一种获取注视点数据的装置，其特征在于，应用于电子设备，所述电子设备包括媒体服务模块和安卓系统、所述安卓系统包括应用层和框架层；所述应用层设置有第三方应用和本地相机应用，所述框架层包括眼球追踪服务模块，所述获取注视点数据的装置包括处理单元，其中，
所述处理单元，用于所述第三方应用获取媒体平台版本信息；以及用于所述第三方应用根据所述媒体平台版本信息确定所述电子设备的摄像头支持的至少一种能力；以及用于所述第三方应用确定所述至少一种能力中包括眼球追踪能力；以及用于所述第三方应用通过所述媒体服务模块向所述眼球追踪服务模块发送注视点数据的获取请求；所述第三方应用通过所述媒体服务模块接收所述眼球追踪服务模块发送的注视点数据。
9.一种电子设备，其特征在于，包括处理器、存储器、通信接口，以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行如权利要求1-7任一项所述的方法中的步骤的指令。
10.一种计算机可读存储介质，其特征在于，存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1-7任一项所述的方法。

说明书全文

获取注视点数据的方法及相关装置

技术领域

[0001] 本申请涉及电子技术领域，具体涉及一种获取注视点数据的方法及相关装置。

背景技术

[0002] 随着电子技术的进步，电子设备可设置有眼球追踪传感器，电子设备可通过眼球追踪传感器确定出当前用户注视显示屏的位置。随着硬件设备的提升，软件系统的同步支持才能发挥出硬件设备真正作用，满足用户利用注视点执行更多操作的需求。发明内容

[0003] 本申请实施例提供了一种获取注视点数据的方法及相关装置，有利于第三方应用获取电子设备的注视点数据，提升了电子设备的兼容性。

[0004] 第一方面，本申请实施例提供一种获取注视点数据的方法，应用于电子设备，所述电子设备包括媒体服务模块和安卓系统、所述安卓系统包括应用层和框架层；所述应用层设置有第三方应用和本地相机应用，所述框架层包括眼球追踪服务模块，所述方法包括：

[0005] 所述第三方应用获取媒体平台版本信息；

[0006] 所述第三方应用根据所述媒体平台版本信息确定所述电子设备的摄像头支持的至少一种能力；

[0007] 所述第三方应用确定所述至少一种能力中包括眼球追踪能力；

[0008] 所述第三方应用通过所述媒体服务模块向所述眼球追踪服务模块发送注视点数据的获取请求；

[0009] 所述第三方应用通过所述媒体服务模块接收所述眼球追踪服务模块发送的注视点数据。

[0010] 第二方面，本申请实施例提供一种获取注视点数据的装置，应用于电子设备，所述电子设备包括媒体服务模块和安卓系统、所述安卓系统包括应用层和框架层；所述应用层设置有第三方应用和本地相机应用，所述框架层包括眼球追踪服务模块，所述获取注视点数据的装置包括处理单元，其中，

[0011] 所述处理单元，用于所述第三方应用获取媒体平台版本信息；以及用于所述第三方应用根据所述媒体平台版本信息确定所述电子设备的摄像头支持的至少一种能力；以及用于所述第三方应用确定所述至少一种能力中包括眼球追踪能力；以及用于所述第三方应用通过所述媒体服务模块向所述眼球追踪服务模块发送注视点数据的获取请求；所述第三方应用通过所述媒体服务模块接收所述眼球追踪服务模块发送的注视点数据。

[0012] 第三方面，本申请实施例提供一种电子设备，包括控制器、存储器、通信接口以及一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置由上述控制器执行，上述程序包括用于执行本申请实施例第一方面任一方法中的步骤的指令。

[0013] 第四方面，本申请实施例提供了一种计算机可读存储介质，其中，上述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，上述计算机程序使得计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。

[0014] 第五方面，本申请实施例提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。

[0015] 可以看出，本申请实施例中，电子设备中的第三方应用首先获取媒体平台版本信息；其次第三方应用根据媒体平台版本信息确定电子设备的摄像头支持的至少一种能力；在第三方应用确定至少一种能力中包括眼球追踪能力的情况下，第三方应用通过媒体服务模块向眼球追踪服务模块发送注视点数据的获取请求；最后通过媒体服务模块接收眼球追踪服务模块发送的注视点数据。可见，本申请实施例中电子设备中的第三方应用通过媒体平台框架中的模块实现了与系统内置的眼球追踪服务模块的通信连接，进而获取到注视点数据，丰富了注视点数据的使用途径，提升了电子设备的兼容性。
附图说明

[0016] 为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

[0017] 图1是本申请实施例提供的一种电子设备的结构示意图；

[0018] 图2A是本申请实施例提供的一种获取注视点数据的方法的流程示意图；

[0019] 图2B是本申请实施例提供的一种系统框架图；

[0020] 图3为本申请实施例提供的另一种获取注视点数据的方法的流程示意图；

[0021] 图4是本申请实施例提供的一种电子设备的结构示意图；

[0022] 图5是本申请实施例提供的一种获取注视点数据的装置的功能单元组成框图。

具体实施方式

[0023] 为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

[0024] 本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

[0025] 在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

[0026] 下面对本申请实施例进行详细介绍。

[0027] 请参阅图1，请参阅图1，图1是本申请实施例提供的一种电子设备100的结构示意图，如图所示，电子设备100的显示屏所在的平面包括眼球追踪装置101，眼球追踪装置101可以包括红外设备(如红外灯)和图像采集设备(如摄像头)；其中，当电子设备100想要获取用户的注视点数据时，电子设备将会启动眼球追踪装置101；图像采集设备可采集拍照画面，电子设备根据预设的算法处理拍照画面得到人脸信息以及人脸信息对应的眼球运动信息，根据眼球运动信息计算得到注视点数据。具体的，眼球追踪装置101可以先启动红外设备，红外设备照射到人眼上出现光斑，图像采集设备将光斑和瞳孔的图片进行拍摄；通过视线估计算法处理图片，计算得到人眼注视的方向以及在显示屏上的注视点。

[0028] 其中，眼球追踪主要是研究眼球运动信息的获取、建模和模拟，当人的眼睛看向不同的方向时，眼部会有细微的变化，眼球追踪装置包括红外设备(如红外灯)和图像采集设备(如摄像头)，因此可以获取到这种变化相关的特征信息，如通过图像捕捉或扫描来提取这些变化特征，通过实时追踪眼睛的变化，可以预测用户的状态和需求，并进行响应，达到通过眼睛来控制设备的目的。

[0029] 其中，电子设备可以包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备(例如智能手表、智能手环、计步器等)、计算设备或连接到无线调制解调器的其他处理设备，以及各种形式的用户设备(User Equipment，UE)，移动台(Mobile Station，MS)，终端设备(terminal device)等等。为方便描述，上面提到的设备统称为终端。

[0030] 请参阅图2A，图2A是本申请实施例提供的一种获取注视点数据的方法的流程示意图，应用于电子设备，所述电子设备包括媒体服务模块和安卓系统、所述安卓系统包括应用层和框架层；所述应用层设置有第三方应用和本地相机应用，所述框架层包括眼球追踪服务模块，如图所示，本获取注视点数据的方法包括：

[0031] 步骤201，第三方应用获取媒体平台版本信息。

[0032] 具体地，第三应用向媒体服务模块发送携带有鉴权码的版本信息请求，媒体服务模块针对鉴权码进行鉴权，如果鉴权通过则媒体服务模块将正确的版本信息发送给第三方应用，如果鉴权失败，则媒体服务模块向第三方应用发送空字符串。

[0033] 可选的，电子设备的应用层可以包括媒体管理模块，第三方应用与媒体服务模块可以通过媒体管理模块进行通信，媒体管理模块可以包括控制接口等。

[0034] 步骤202，所述第三方应用根据所述媒体平台版本信息确定所述电子设备的摄像头支持的至少一种能力。

[0035] 其中，媒体平台版本信息中包括电子设备设置的摄像头信息，摄像头信息中包括每个摄像头支持的能力；例如版本信息中可包含：当前电子设备包括六个摄像头，其中三个摄像头为前置摄像头，三个摄像头为后置摄像头，三个前置摄像头中包括3D深感摄像头，人像摄像头和用于与红外光灯配套实现眼球追踪的红外传感摄像头。三个后置摄像头可以包括超广角摄像头、广角摄像头和长焦摄像头。版本信息中包括每个摄像头可实现功能，第三方应用可对可实现功能进行选择。

[0036] 步骤203，所述第三方应用确定所述至少一种能力中包括眼球追踪能力。

[0037] 步骤204，所述第三方应用通过所述媒体服务模块向所述眼球追踪服务模块发送注视点数据的获取请求。

[0038] 其中，媒体服务模块提供常驻系统的服务，在电子设备开机后运行，执行鉴权、响应第三方应用的配置请求，将第三应用的配置信息配置到安卓系统的底层等操作。

[0039] 具体地，第三方应用首先向媒体管理模块发送注视点数据的获取请求，媒体管理模块转发注视点数据的获取请求给媒体服务模块，媒体服务模块可根据发注视点数据的获取请求确定当前第三应用需要获取的数据(注视点数据)，则媒体服务模块向眼球追踪服务模块发送数据请求信息。

[0040] 步骤205，所述第三方应用通过所述媒体服务模块接收所述眼球追踪服务模块发送的注视点数据。

[0041] 其中，第三方应用接收的具体过程为：所述眼球追踪服务模块向所述媒体服务模块发送所述注视点数据，所述媒体服务模块向所述媒体管理模块转发所述注视点数据，所述媒体管理模块向所述第三方应用发送所述注视点数据，所述第三方应用接收到注视点数据。

[0042] 其中，请参阅图2B，图2B是本申请实施例提供的一种系统框架图，电子设备包括媒体服务模块和安卓系统，所述安卓系统的应用层设置有第三方应用和本地相机应用，所述安卓系统的框架层包括眼球追踪服务模块和各种原生应用的应用接口(如原生相机应用程序接口)、应用服务(如相机服务模块)、框架层接口(如Google HAL3interface)，所述安卓系统的硬件抽象层设置有硬件抽象模块(此为安卓原生模块，如原生相机硬件抽象模块CameraHAL)，此外，安卓系统原生架构还包括内核(又称为驱动)与硬件层等，硬件抽象层包括硬件抽象层接口(例如：HAL3.0)、各种原生应用的硬件抽象模块(如相机硬件抽象模块)，内核与硬件层包括各种硬件的驱动(例如屏幕驱动、音频驱动等)、以及各种硬件(例如眼球追踪传感器，前端图像传感器sensors)。

[0043] 其中，媒体服务模块独立于安卓系统设置，第三方应用可以与媒体服务模块进行通信，媒体服务模块可以与眼球追踪服务模块和相机服务模块通信。眼球追踪服务模块可以与相机服务模块通信，进而获取相机服务模块的图像数据。其中，图像数据的具体生成过程包括：内核与硬件层的传感器获取原始图像数据，传感器将原始图像数据发送给图像信号处理器进行处理，图像信号处理器将处理后的原始图像数据通过驱动程序发送给硬件抽象层的相机硬件抽象模块，相机硬件抽象模块通过硬件抽象层接口和框架层接口发送给相机服务模块，相机服务模块将原始图像数据发送给眼球追踪服务模块，眼球追踪服务模块调用预设的眼球追踪算法针对原始图像数据进行处理，生成注视点数据；眼球追踪服务模块通过媒体服务模块向第三方应用发送注视点数据。

[0044] 基于上述架构，所述媒体服务模块可以通过安卓原生信息链路，调用应用的驱动以使能某些硬件，从而实现针对第三方应用开放原生应用关联的硬件。

[0045] 可以看出，本申请实施例中，电子设备中的第三方应用首先获取媒体平台版本信息；其次第三方应用根据媒体平台版本信息确定电子设备的摄像头支持的至少一种能力；在第三方应用确定至少一种能力中包括眼球追踪能力的情况下，第三方应用通过媒体服务模块向眼球追踪服务模块发送注视点数据的获取请求；最后通过媒体服务模块接收眼球追踪服务模块发送的注视点数据。可见，本申请实施例中电子设备中的第三方应用通过媒体平台框架中的模块实现了与系统内置的眼球追踪服务模块的通信连接，进而获取到注视点数据，丰富了注视点数据的使用途径，提升了电子设备的兼容性。

[0046] 在一个可能的示例中，，所述框架层还包括相机服务模块，所述安卓系统还包括硬件抽象层，所述硬件抽象层包括相机硬件抽象模块，所述第三方应用通过所述媒体服务模块向所述眼球追踪服务模块发送注视点数据的获取请求之后，所述第三方应用通过所述媒体服务模块接收所述眼球追踪服务模块发送的注视点数据之前，所述方法还包括：所述眼球追踪服务模块向所述相机服务模块发送眼球追踪数据获取请求；所述相机服务模块向所述相机硬件抽象模块发送眼球追踪数据获取请求；所述相机硬件抽象模块获取图像数据；所述相机硬件抽象模块向所述相机服务模块发送所述图像数据；所述相机服务模块向所述眼球追踪服务模块发送所述图像数据；所述眼球追踪服务模块根据所述图像数据生成注视点数据。

[0047] 其中，相机服务模块向眼球追踪服务模块发送的图像数据中包括用户的眼部图片，眼部图片中包括瞳孔和亮斑的相关信息，亮斑是电子设备本端的红外灯照射到人眼部而产生的。

[0048] 其中，眼球追踪服务模块中设置有计算注视点的预设算法，眼球追踪模块可根据相机服务模块发送的图像数据进行计算，生成注视点数据。

[0049] 可见，本示例中，眼球追踪服务模块在接收到第三方应用针对注视点数据的请求时，眼球追踪服务模块向相机服务模块发送指令，获取用户的眼部的数据，再根据算法生成注视点数据，充分的发挥了系统层级计算注视点数据的优势，缩短了第三方应用等待响应的时长，提升了数据处理的效率。

[0050] 在一个可能的示例中，所述第三方应用通过所述媒体服务模块接收所述眼球追踪服务模块发送的注视点数据之后，所述方法还包括：若所述注视点数据表示的注视点为第一位置点，且表示所述第一位置点的时长大于预设时长；则确定所述电子设备的显示屏上所述第一位置点显示的内容信息；确定所述内容信息的种类；根据所述内容信息的种类确定可执行的至少一种操作；在所述电子设备的显示屏上显示所述至少一种操作；根据更新后的所述注视点数据确定所述至少一种操作中的第一操作；针对所述内容信息执行所述第一操作。

[0051] 其中，预设时长可以是第三方应用预先设置的时长，也可以是用户设置的时长，例如，可以是3秒钟。

[0052] 其中，根据内容信息的种类确定可执行的至少一种操作可以是预先设置的；具体的，若内容信息是文本信息，则至少一种操作可以包括：复制，剪切，更改字体，等。若内容信息是视频，则至少一种操作可以包括：暂停，播放，截屏，倍速播放，快进或快退预设的时长。具体的，在电子设备播放视频的过程中，若注视点停留在第一位置点的时间大于3秒钟之后，注视点围绕第一注视点顺时针/逆时针行进，则电子设备检测围绕第一位置点顺时针/逆时针行进的圈数，根据圈数确定倍速播放的速率；举例来说，顺时针一圈则播放速率增加
0.1，逆时针一圈则播放速率减小0.1，例如当前播放速率为1.0倍的播放速率，在顺时针的圈数为5的情况下，调整播放速率为1.5倍的播放速率。

[0053] 其中，由于第三方应用可以实时获取到注视点数据，因此，注视点数据是不断更新的，在显示至少一种操作操作后，用户可以注视显示屏上显示第一操作的区域，在该区域停留预设定的时长后表示用户选中第一操作，针对内容信息执行第一操作。

[0054] 可见，本示例中，电子设备中的第三方应用在获取到注视点数据之后，可根据当前显示的内容信息的种类和注视点数据针对内容信息执行不同的操作，丰富了注视点数据的使用场景，提升了电子设备的灵活性和智能性。

[0055] 在一个可能的示例中，所述应用层设置有本地相机应用，在执行上述任一示例的方法的过程中；若所述相机服务模块检测到所述本地相机应用发送的数据通信请求，则所述相机服务模块停止向所述眼球追踪服务模块的传输；所述媒体服务模块向所述第三方应用发送忙碌状态信息。

[0056] 目前，相机服务模块只会在断开一个服务通信连接的情况下，才会去响应另外一个服务的服务。在第三应用不断开通信连接的情况下，相机服务模块无法响应本地相机应用的数据请求。本申请实施例中，由于相机服务模块与媒体服务模块可实现通信连接，相机服务模块在接收到本地相机应用的数据获取请求的情况下，可以向媒体服务模块发送断开获取注视点数据的通知，媒体服务模块停止向眼球追踪服务模块注视点数据的获取请求，进而眼球追踪服务模块停止向相机服务模块发送眼球追踪数据获取请求，相机服务模块停止获取眼球追踪服务模块需要的数据，并响应本地相机应用的数据。

[0057] 可见，本示例中，在第三方应用获取注视点服务的过程中，并不影响用户使用本地相机应用，无需用户刻意停止第三方应用，提升了电子设备的智能性。

[0058] 在一个可能的示例中，所述媒体服务模块向所述第三方应用发送忙碌状态信息之后，所述方法还包括：若所述相机服务模块检测到所述本地相机应用发送的服务终止指令；则所述相机服务模块恢复向所述眼球追踪服务模块发送所述图像数据；所述媒体服务模块向所述第三方应用发送工作状态信息。

[0059] 其中，相机服务模块恢复与所述眼球追踪服务模块的数据服务，及相机服务模块向眼球追踪服务模块发送图像数据，眼球追踪服务模块处理图像数据生成注视点数据，眼球追踪服务模块将注视点数据通过媒体服务模块发送给第三方应用。同时，第三方应用在接收到工作状态信息后，接收注视点数据，并执行关联注视点数据的服务。

[0060] 可见，本示例中，电子设备中的相机服务模块在检测到本地相机应用停止使用服务的情况下，恢复针对眼球追踪服务模块的服务，提升了电子设备的智能性。

[0061] 在一个可能的示例中，所述电子设备设置有眼球追踪传感器，所述安卓系统还包括内核与硬件层，所述内核与硬件层还包括图像信号处理模块，所述相机硬件抽象模块获取图像数据，包括：所述相机硬件抽象模块向所述图像信号处理模块发送相机数据的获取请求；所述图像信号处理模块调用所述眼球追踪传感器获取图像数据；所述图像信号处理模块根据预设算法处理所述图像数据，以更新所述图像数据；所述图像信号处理模块向所述相机硬件抽象模块发送更新后的所述图像数据。

[0062] 可见，本示例中，眼球追踪传感器在获取到图像数据后，经由图像信号处理模块对图像数据进行处理，提升了图像的质量，进而使得根据图像计算得到的注视点更加准确。

[0063] 在一个可能的示例中，所述第三方应用获取媒体平台版本信息，包括：所述第三方应用向所述媒体服务模块发送获取版本信息的请求，所述请求包括鉴权码；所述媒体服务模块鉴权所述鉴权码；若所述鉴权码通过鉴权，则所述媒体服务模块向所述第三方应用发送所述版本信息。

[0064] 其中，鉴权码可以是RSA加密算法生成的鉴权码。

[0065] 其中，媒体服务模块鉴权鉴权码的过程包括：媒体服务模块获取预配置的第三方应用的非对称私钥；媒体服务模块使用非对称私钥解密鉴权码得到第三方相机应用的APP签名key、系统日期、约定字段；媒体服务模块根据APP签名key、系统日期、约定字段确定该鉴权码是否可以校验通过。

[0066] 可见，本示例中，电子设备中的媒体服务模块在第三方应用发出获取数据请求时，针对第三方应用的信息进行鉴权，保证了系统的安全性。

[0067] 与图2A所示的实施例一致的，请参阅图3，图3是本申请实施例提供的一种获取注视点数据的方法的流程示意图，应用于电子设备，所述电子设备包括媒体服务模块和安卓系统、所述安卓系统包括应用层和框架层；所述应用层设置有第三方应用和本地相机应用，所述框架层包括眼球追踪服务模块，如图所示，本获取注视点数据的方法包括：

[0068] 步骤301，第三方应用向所述媒体服务模块发送获取媒体平台版本信息的请求，所述请求包括鉴权码。

[0069] 步骤302，所述媒体服务模块鉴权所述鉴权码。

[0070] 步骤303，若所述鉴权码通过鉴权，则所述媒体服务模块向所述第三方应用发送所述媒体平台版本信息。

[0071] 步骤304，所述第三方应用根据所述媒体平台版本信息确定所述电子设备的摄像头支持的至少一种能力。

[0072] 步骤305，所述第三方应用确定所述至少一种能力中包括眼球追踪能力。

[0073] 步骤306，所述第三方应用通过所述媒体服务模块向所述眼球追踪服务模块发送注视点数据的获取请求。

[0074] 步骤307，所述眼球追踪服务模块向所述相机服务模块发送眼球追踪数据获取请求。

[0075] 步骤308，所述相机服务模块向所述相机硬件抽象模块发送眼球追踪数据获取请求。

[0076] 步骤309，所述相机硬件抽象模块获取图像数据。

[0077] 步骤310，所述相机硬件抽象模块向所述相机服务模块发送所述图像数据。

[0078] 步骤311，所述相机服务模块向所述眼球追踪服务模块发送所述图像数据。

[0079] 步骤312，所述眼球追踪服务模块根据所述图像数据生成注视点数据。

[0080] 步骤313，所述眼球追踪服务模块通过所述媒体服务模块向所述第三方应用发送注视点数据。

[0081] 可以看出，本申请实施例中，电子设备中的第三方应用首先获取媒体平台版本信息；其次第三方应用根据媒体平台版本信息确定电子设备的摄像头支持的至少一种能力；在第三方应用确定至少一种能力中包括眼球追踪能力的情况下，第三方应用通过媒体服务模块向眼球追踪服务模块发送注视点数据的获取请求；最后通过媒体服务模块接收眼球追踪服务模块发送的注视点数据。可见，本申请实施例中电子设备中的第三方应用通过媒体平台框架中的模块实现了与系统内置的眼球追踪服务模块的通信连接，进而获取到注视点数据，丰富了注视点数据的使用途径，提升了电子设备的兼容性。

[0082] 与所述图2A、图3所示的实施例一致的，请参阅图4，图4是本申请实施例提供的一种电子设备400的结构示意图，如图所示，所述电子设备包括媒体服务模块和安卓系统、所述安卓系统包括应用层和框架层；所述应用层设置有第三方应用和本地相机应用，所述框架层包括眼球追踪服务模块，所述电子设备400包括应用处理器410、存储器420、通信接口430以及一个或多个程序421，其中，所述一个或多个程序421被存储在上述存储器420中，并且被配置由上述应用处理器410执行，所述一个或多个程序421包括用于执行以下步骤的指令：

[0083] 所述第三方应用获取媒体平台版本信息；

[0084] 所述第三方应用根据所述媒体平台版本信息确定所述电子设备的摄像头支持的至少一种能力；

[0085] 所述第三方应用确定所述至少一种能力中包括眼球追踪能力；

[0086] 所述第三方应用通过所述媒体服务模块向所述眼球追踪服务模块发送注视点数据的获取请求；

[0087] 所述第三方应用通过所述媒体服务模块接收所述眼球追踪服务模块发送的注视点数据。

[0088] 可以看出，本申请实施例中，电子设备中的第三方应用首先获取媒体平台版本信息；其次第三方应用根据媒体平台版本信息确定电子设备的摄像头支持的至少一种能力；在第三方应用确定至少一种能力中包括眼球追踪能力的情况下，第三方应用通过媒体服务模块向眼球追踪服务模块发送注视点数据的获取请求；最后通过媒体服务模块接收眼球追踪服务模块发送的注视点数据。可见，本申请实施例中电子设备中的第三方应用通过媒体平台框架中的模块实现了与系统内置的眼球追踪服务模块的通信连接，进而获取到注视点数据，丰富了注视点数据的使用途径，提升了电子设备的兼容性。

[0089] 在一个可能的示例中，所述框架层还包括相机服务模块，所述安卓系统还包括硬件抽象层，所述硬件抽象层包括相机硬件抽象相机硬件抽象模块，在所述第三方应用通过所述媒体服务模块向所述眼球追踪服务模块发送注视点数据的获取请求之后，所述第三方应用通过所述媒体服务模块接收所述眼球追踪服务模块发送的注视点数据之前方面，所述程序中的指令具体用于执行以下操作：所述眼球追踪服务模块向所述相机服务模块发送眼球追踪数据获取请求；所述相机服务模块向所述相机硬件抽象模块发送眼球追踪数据获取请求；所述相机硬件抽象模块获取图像数据；所述相机硬件抽象模块向所述相机服务模块发送所述图像数据；所述相机服务模块向所述眼球追踪服务模块发送所述图像数据；所述眼球追踪服务模块根据所述图像数据生成注视点数据。

[0090] 在一个可能的示例中，在所述第三方应用通过所述媒体服务模块接收所述眼球追踪服务模块发送的注视点数据之后方面，所述程序中的指令具体用于执行以下操作：若所述注视点数据表示的注视点为第一位置点，且表示所述第一位置点的时长大于预设时长；则确定所述电子设备的显示屏上所述第一位置点显示的内容信息；确定所述内容信息的种类；根据所述内容信息的种类确定可执行的至少一种操作；在所述电子设备的显示屏上显示所述至少一种操作；根据更新后的所述注视点数据确定所述至少一种操作中的第一操作；针对所述内容信息执行所述第一操作。

[0091] 在一个可能的示例中，所述应用层设置有本地相机应用，在执行上述任一示例的方法的过程中，所述程序中的指令具体用于执行以下操作；若所述相机服务模块检测到所述本地相机应用发送的数据通信请求，则所述相机服务模块停止向所述眼球追踪服务模块发送所述图像数据；所述媒体服务模块向所述第三方应用发送忙碌状态信息。

[0092] 在一个可能的示例中，在所述媒体服务模块向所述第三方应用发送忙碌状态信息之后方面，所述程序中的指令具体用于执行以下操作：若所述相机服务模块检测到所述本地相机应用发送的服务终止指令；则所述相机服务模块恢复向所述眼球追踪服务模块发送所述图像数据；所述媒体服务模块向所述第三方应用发送工作状态信息。

[0093] 在一个可能的示例中，所述电子设备设置有眼球追踪传感器，所述安卓系统还包括内核与硬件层，所述内核与硬件层还包括图像信号处理模块，在所述相机硬件抽象模块获取图像数据方面，所述程序中的指令具体用于执行以下操作：所述相机硬件抽象模块向所述图像信号处理模块发送相机数据的获取请求；所述图像信号处理模块调用所述眼球追踪传感器获取图像数据；所述图像信号处理模块根据预设算法处理所述图像数据，以更新所述图像数据；所述图像信号处理模块向所述相机硬件抽象模块发送更新后的所述图像数据。

[0094] 在一个可能的示例中，在所述第三方应用获取媒体平台版本信息方面，所述程序中的指令具体用于执行以下操作：所述第三方应用向所述媒体服务模块发送获取版本信息的请求，所述请求包括鉴权码；所述媒体服务模块鉴权所述鉴权码；若所述鉴权码通过鉴权，则所述媒体服务模块向所述第三方应用发送所述版本信息。

[0095] 上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是，电子设备为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

[0096] 本申请实施例可以根据上述方法示例对电子设备进行功能单元的划分，例如，可以对应各个功能划分各个功能单元，也可以将两个或两个以上的功能集成在一个控制单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。需要说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

[0097] 图5是本申请实施例中所涉及的获取注视点数据的装置500的功能单元组成框图。该获取注视点数据的装置500应用于电子设备，所述电子设备包括媒体服务模块和安卓系统、所述安卓系统包括应用层和框架层；所述应用层设置有第三方应用和本地相机应用，所述框架层包括眼球追踪服务模块，所述获取注视点数据的装置500包括处理单元501，其中：

[0098] 所述处理单元501，用于所述第三方应用获取媒体平台版本信息；以及用于所述第三方应用根据所述媒体平台版本信息确定所述电子设备的摄像头支持的至少一种能力；以及用于所述第三方应用确定所述至少一种能力中包括眼球追踪能力；以及用于所述第三方应用通过所述媒体服务模块向所述眼球追踪服务模块发送注视点数据的获取请求；所述第三方应用通过所述媒体服务模块接收所述眼球追踪服务模块发送的注视点数据。

[0099] 其中，所述获取注视点数据的装置500还可以包括通信单元502和存储单元503，所述存储单元503用于存储电子设备的程序代码和数据。所述处理单元501可以是处理器，所述通信单元502可以是触控显示屏或者收发器，所述存储单元503可以是存储器。

[0100] 可以看出，本申请实施例中，电子设备中的第三方应用首先获取媒体平台版本信息；其次第三方应用根据媒体平台版本信息确定电子设备的摄像头支持的至少一种能力；在第三方应用确定至少一种能力中包括眼球追踪能力的情况下，第三方应用通过媒体服务模块向眼球追踪服务模块发送注视点数据的获取请求；最后通过媒体服务模块接收眼球追踪服务模块发送的注视点数据。可见，本申请实施例中电子设备中的第三方应用通过媒体平台框架中的模块实现了与系统内置的眼球追踪服务模块的通信连接，进而获取到注视点数据，丰富了注视点数据的使用途径，提升了电子设备的兼容性。

[0101] 在一个可能的示例中，所述框架层还包括相机服务模块，所述安卓系统还包括硬件抽象层，所述硬件抽象层包括相机硬件抽象模块，在所述第三方应用通过所述媒体服务模块向所述眼球追踪服务模块发送注视点数据的获取请求之后，所述第三方应用通过所述媒体服务模块接收所述眼球追踪服务模块发送的注视点数据之前方面，所述处理单元501具体用于：所述眼球追踪服务模块向所述相机服务模块发送眼球追踪数据获取请求；所述相机服务模块向所述相机硬件抽象模块发送眼球追踪数据获取请求；所述相机硬件抽象模块获取图像数据；所述相机硬件抽象模块向所述相机服务模块发送所述图像数据；所述相机服务模块向所述眼球追踪服务模块发送所述图像数据；所述眼球追踪服务模块根据所述图像数据生成注视点数据。

[0102] 在一个可能的示例中，在所述第三方应用通过所述媒体服务模块接收所述眼球追踪服务模块发送的注视点数据之后方面，所述处理单元501具体用于：若所述注视点数据表示的注视点为第一位置点，且表示所述第一位置点的时长大于预设时长；则确定所述电子设备的显示屏上所述第一位置点显示的内容信息；确定所述内容信息的种类；根据所述内容信息的种类确定可执行的至少一种操作；在所述电子设备的显示屏上显示所述至少一种操作；根据更新后的所述注视点数据确定所述至少一种操作中的第一操作；针对所述内容信息执行所述第一操作。

[0103] 在一个可能的示例中，所述应用层设置有本地相机应用，在执行上述任一示例的方法的过程中，所述处理单元501具体用于：若所述相机服务模块检测到所述本地相机应用发送的数据通信请求，则所述相机服务模块停止向所述眼球追踪服务模块的传输；所述媒体服务模块向所述第三方应用发送忙碌状态信息。

[0104] 在一个可能的示例中，在所述媒体服务模块向所述第三方应用发送忙碌状态信息之后方面，所述处理单元501具体用于：若所述相机服务模块检测到所述本地相机应用发送的服务终止指令；则所述相机服务模块恢复向所述眼球追踪服务模块发送所述图像数据；所述媒体服务模块向所述第三方应用发送工作状态信息。

[0105] 在一个可能的示例中，所述电子设备设置有眼球追踪传感器，所述安卓系统还包括内核与硬件层，所述内核与硬件层还包括图像信号处理模块，在所述相机硬件抽象模块获取图像数据方面，所述处理单元501具体用于：所述相机硬件抽象模块向所述图像信号处理模块发送相机数据的获取请求；所述图像信号处理模块调用所述眼球追踪传感器获取图像数据；所述图像信号处理模块根据预设算法处理所述图像数据，以更新所述图像数据；所述图像信号处理模块向所述相机硬件抽象模块发送更新后的所述图像数据。

[0106] 在一个可能的示例中，在所述第三方应用获取媒体平台版本信息方面，所述处理单元501具体用于：所述第三方应用向所述媒体服务模块发送获取版本信息的请求，所述请求包括鉴权码；所述媒体服务模块鉴权所述鉴权码；若所述鉴权码通过鉴权，则所述媒体服务模块向所述第三方应用发送所述版本信息。

[0107] 本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤，上述计算机包括移动终端。

[0108] 本申请实施例还提供一种计算机程序产品，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包，上述计算机包括移动终端。

[0109] 需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

[0110] 在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

[0111] 在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。

[0112] 上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

[0113] 另外，在本申请各个实施例中的各功能单元可以集成在一个控制单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

[0114] 上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

[0115] 本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取器(英文：Random Access Memory，简称：RAM)、磁盘或光盘等。

[0116] 以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

标题	发布/更新时间	阅读量
基于虚拟现实及多模态信息的孤独症辅助干预系统及方法	2020-05-12	224
电子装置、视频播放应用的管理方法及相关产品	2020-05-16	446
基于眼动跟踪的虚拟现实交互方法及装置	2020-05-18	147
一种在线教育及考试系统	2020-05-21	746
一种基于AR智能眼镜的局部图像识别方法及系统	2020-05-16	298
全景拍摄方法及相关产品	2020-05-25	110
显示控制方法及相关产品	2020-05-23	200
用于非灵长类动物伸展抓握运动研究的机器人交互平台	2020-05-18	498
图像处理方法以及电子设备和存储介质	2020-05-13	960
一种差分走线电路、电路板、功能模组以及移动终端	2020-05-08	987

获取注视点数据的方法及相关装置

获取注视点数据的方法及相关装置

技术领域

背景技术

具体实施方式

该功能需要专业版企业版VIP权限，您可以：