眼球追踪控制方法、装置、智能投影仪及存储介质
阅读：152发布：2020-05-14
专利汇可以提供眼球追踪控制方法、装置、智能投影仪及存储介质专利检索，专利查询，专利分析的服务。并且本 申请 公开了一种眼球追踪控制方法、装置、智能投影仪及存储介质。其中，方法包括：应用于包含眼球追踪模 块 的智能投影仪，所述方法包括：通过眼球追踪模块捕捉人眼变化，提取所述人眼变化的特征作为目标眼球特征；根据预设眼球特征与控制 信号 的对应关系，确定所述目标眼球特征对应的目标 控制信号 ；根据所述目标控制信号控制所述智能投影仪的投影画面中 光标 执行对应的操作，可以通过人眼动作控制投影功能，方便快捷。，下面是眼球追踪控制方法、装置、智能投影仪及存储介质专利的具体信息内容。
1.一种眼球追踪控制方法，其特征在于，应用于包含眼球追踪模块的智能投影仪，所述方法包括：
通过眼球追踪模块捕捉人眼变化，提取所述人眼变化的特征作为目标眼球特征；
根据预设眼球特征与控制信号的对应关系，确定所述目标眼球特征对应的目标控制信号；
根据所述目标控制信号控制所述智能投影仪的投影画面中光标执行对应的操作。
2.根据权利要求1所述的方法，其特征在于，所述通过眼球追踪模块捕捉人眼变化，提取所述人眼变化的特征作为目标眼球特征包括：
通过所述摄像头采集人眼动作画面；
将所述人眼动作画面传输至处理器进行特征提取，获得所述人眼动作画面中人眼变化的特征作为所述目标眼球特征，所述人眼变化包括以下至少一种：眼球移动方向和移动时长、眨眼次数、闭眼时长；
所述控制信号包括以下任意一种：短按信号、长按信号、确认信号、返回信号。
3.根据权利要求2所述的方法，其特征在于，所述目标眼球特征包括所述眼球移动方向和移动时长，所述移动时长为眼球向第一方向移动后到不再处于第一方向的时长；所述根据预设眼球特征与控制信号的对应关系，确定所述目标眼球特征对应的目标控制信号包括：
判断所述眼球的移动时长是否处于第一时长阈值范围内；
若处于，确定所述目标眼球特征对应的目标控制信号为所述眼球移动方向的所述短按信号；
所述根据所述目标控制信号控制所述智能投影仪的投影画面中光标执行对应的操作，包括：
响应于所述眼球移动方向的短按信号，控制所述智能投影仪的投影画面中光标向所述眼球移动方向移动一个选项。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
若所述眼球的移动时长大于第二时长阈值，确定所述目标眼球特征对应的目标控制信号为所述眼球移动方向的所述长按信号；
所述根据所述目标控制信号控制所述智能投影仪的投影画面中光标执行对应的操作，包括：
响应于所述眼球移动方向的长按信号，控制所述智能投影仪的投影画面中光标向所述眼球移动方向移动至少两个选项，所述光标移动的选项个数与所述眼球移动时长成正比。
5.根据权利要求2-4任一项所述的方法，其特征在于，所述通过摄像头捕捉人眼变化，提取所述人眼变化的特征作为目标眼球特征之前，所述方法还包括：
在检测到眼球控制启动指令时，进入眼球追踪控制模式。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
通过摄像头采集用户的人脸图像，提取所述人脸图像的人脸特征；
根据所述人脸特征确定用户集中程度；
在所述用户集中程度低于注意力阈值的情况下，输出提示信息或者进入待机模式。
7.根据权利要求6所述的方法，其特征在于，所述进入待机模式的情况下，所述方法还包括：
确定所述人脸图像的人脸特征对应的标签，随机获取所述标签对应的待机音频和/或待机画面；
播放所述待机音频和/或待机画面。
8.一种眼球追踪控制装置，其特征在于，包括：
眼球追踪模块，用于捕捉人眼变化，提取所述人眼变化的特征作为目标眼球特征；
处理模块，用于根据预设眼球特征与控制信号的对应关系，确定所述目标眼球特征对应的目标控制信号；
控制模块，用于根据所述目标控制信号控制所述智能投影仪的投影画面中光标执行对应的操作。
9.一种智能投影仪，其特征在于，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行，用以执行如权利要求1-7任一项所述的方法。
眼球追踪控制方法、装置、智能投影仪及存储介质
技术领域
[0001] 本申请涉及影像处理技术领域，尤其涉及一种眼球追踪控制方法、装置、智能投影仪及存储介质。
背景技术
[0002] 投影技术在人们日常生活中得到普遍的应用。无论在会议、教学或是娱乐场所都随处可见投影系统的使用。
[0003] 一般地，投影仪的控制方法有遥控器、语音、手势等。发明内容
[0004] 本申请实施例提供一种眼球追踪控制方法、装置、智能投影仪及存储介质，可以通过人眼动作控制投影功能，方便快捷。
[0005] 第一方面，本申请实施例提供了一种眼球追踪控制方法，应用于包含眼球追踪模块的智能投影仪，所述方法包括：
[0006] 通过眼球追踪模块捕捉人眼变化，提取所述人眼变化的特征作为目标眼球特征；
[0008] 根据所述目标控制信号控制所述智能投影仪的投影画面中光标执行对应的操作。
[0009] 在一种可选的实施方式中，所述通过眼球追踪模块捕捉人眼变化，提取所述人眼变化的特征作为目标眼球特征包括：
[0010] 通过所述摄像头采集人眼动作画面；
[0011] 将所述人眼动作画面传输至处理器进行特征提取，获得所述人眼动作画面中人眼变化的特征作为所述目标眼球特征，所述人眼变化包括以下至少一种：眼球移动方向和移动时长、眨眼次数、闭眼时长；
[0012] 所述控制信号包括以下任意一种：短按信号、长按信号、确认信号、返回信号。
[0013] 在一种可选的实施方式中，所述目标眼球特征包括所述眼球移动方向和移动时长，所述移动时长为眼球向第一方向移动后到不再处于第一方向的时长；所述根据预设眼球特征与控制信号的对应关系，确定所述目标眼球特征对应的目标控制信号包括：
[0014] 判断所述眼球的移动时长是否处于第一时长阈值范围内；
[0015] 若处于，确定所述目标眼球特征对应的目标控制信号为所述眼球移动方向的所述短按信号；
[0016] 所述根据所述目标控制信号控制所述智能投影仪的投影画面中光标执行对应的操作，包括：
[0017] 响应于所述眼球移动方向的短按信号，控制所述智能投影仪的投影画面中光标向所述眼球移动方向移动一个选项。
[0018] 在一种可选的实施方式中，所述方法还包括：
[0019] 若所述眼球的移动时长大于第二时长阈值，确定所述目标眼球特征对应的目标控制信号为所述眼球移动方向的所述长按信号；
[0020] 所述根据所述目标控制信号控制所述智能投影仪的投影画面中光标执行对应的操作，包括：
[0021] 响应于所述眼球移动方向的长按信号，控制所述智能投影仪的投影画面中光标向所述眼球移动方向移动至少两个选项，所述光标移动的选项个数与所述眼球移动时长成正比。
[0022] 在一种可选的实施方式中，所述通过摄像头捕捉人眼变化，提取所述人眼变化的特征作为目标眼球特征之前，所述方法还包括：
[0023] 在检测到眼球控制启动指令时，进入眼球追踪控制模式。
[0024] 在一种可选的实施方式中，所述方法还包括：
[0025] 通过摄像头采集用户的人脸图像，提取所述人脸图像的人脸特征；
[0026] 根据所述人脸特征确定用户集中程度；
[0027] 在所述用户集中程度低于注意力阈值的情况下，输出提示信息或者进入待机模式。
[0028] 在一种可选的实施方式中，所述进入待机模式的情况下，所述方法还包括：
[0029] 确定所述人脸图像的人脸特征对应的标签，随机获取所述标签对应的待机音频和/或待机画面；
[0030] 播放所述待机音频和/或待机画面。
[0031] 第二方面，本申请提供了另一种眼球追踪控制装置，包括：
[0032] 眼球追踪模块，用于捕捉人眼变化，提取所述人眼变化的特征作为目标眼球特征；
[0033] 处理模块，用于根据预设眼球特征与控制信号的对应关系，确定所述目标眼球特征对应的目标控制信号；
[0034] 控制模块，用于根据所述目标控制信号控制所述智能投影仪的投影画面中光标执行对应的操作。
[0035] 第三方面，本申请实施例提供了一种智能投影仪，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如上述第一方面的方法。
[0036] 第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行，用以执行如上述第一方面的方法。
[0037] 通过实施本申请实施例的眼球追踪模块捕捉人眼变化，提取上述人眼变化的特征作为目标眼球特征，再根据预设眼球特征与控制信号的对应关系，确定上述目标眼球特征对应的目标控制信号，然后根据上述目标控制信号控制上述智能投影仪的投影画面中光标执行对应的操作，可以通过人眼动作控制投影功能，方便快捷，在无遥控器的情况下也能实现对智能投影仪的控制操作。附图说明
[0038] 为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
[0039] 图1A是本申请实施例提供的一种智能投影仪的结构示意图；
[0040] 图1B是本申请实施例提供的一种眼球追踪控制方法的流程示意图；
[0041] 图2是本申请实施例提供的另一种眼球追踪控制方法的流程示意图；
[0042] 图3是本申请实施例提供的一种眼球追踪控制装置的示意性框图；
[0043] 图4是本申请实施例提供的另一种智能投影仪的结构性框图。
具体实施方式
[0044] 下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
[0045] 本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
[0046] 还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
[0047] 如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
[0048] 本申请实施例中的眼球追踪控制装置可以为一种智能投影仪。如图1A所示，图1A是本申请实施例提供的一种智能投影仪的结构示意图。该智能投影仪可以包括处理器、存储器、信号处理器、收发器、扬声器、麦克风、随机存取存储器(Random Access Memory，RAM)、摄像头(包括第一摄像头和第二摄像头)、传感器和网络模块等等。其中，存储器、DSP、投影装置、扬声器、麦克风、RAM、摄像头、传感器、网络模块与处理器连接，收发器与信号处理器连接。
[0049] 其中，处理器是智能投影仪的控制中心，利用各种接口和线路连接整个智能投影仪的各个部分，通过运行或执行存储在存储器内的软体程序和/或模块，以及调用存储在存储器内的数据，执行智能投影仪的各种功能和处理数据，从而对智能投影仪进行整体监控，处理器可以为中央处理器(Central Processing Unit/Processor，CPU)、图形处理器(Graphics Processing Unit，GPU)或者网络处理器(Neural-network Processing Unit，NPU)。
[0050] 进一步地，处理器可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器中。
[0051] 其中，存储器用于存储软体程序和/或模块，处理器通过运行存储在存储器的软件程序和/或模块，从而执行智能投影仪的各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的软体程序等；存储数据区可存储根据智能投影仪的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
[0052] 其中，传感器包括以下至少一种：光感传感器、陀螺仪、红外接近传感器、振动检测传感器，压力传感器等等。其中，光感传感器，也称为环境光传感器，用于检测环境光亮度。光线传感器可以包括光敏元件和模数转换器。其中，光敏元件用于将采集的光信号转换为电信号，模数转换器用于将上述电信号转换为数字信号。可选的，光线传感器还可以包括信号放大器，信号放大器可以将光敏元件转换的电信号进行放大后输出至模数转换器。上述光敏元件可以包括光电二极管、光电三极管、光敏电阻、硅光电池中的至少一种。
[0053] 其中，该第一摄像头可以是可见光摄像头(一般视角摄像头、广角摄像头)、也可以是红外摄像头，还可以为双摄像头(具备测距功能)，在此不作限定。需要注意的是，本申请实施例中用于眼球追踪控制的眼球追踪模块，所包含的摄像头为上述第二摄像头，可以是与前述第一摄像头不同的摄像头，该第二摄像头的位置可以进行调整，可以朝向使用智能投影仪的用户，从而采集用户的人眼影像以进行分析处理。
[0054] 网络模块可以为以下至少一种：蓝牙模块、无线保真(wireless fidelity，Wi-Fi)等等，在此不做限定，上述眼球追踪控制装置能够实现投影功能和眼球追踪控制功能。
[0055] 请参阅图1B，图1B是本申请实施例公开的一种眼球追踪控制方法的示意流程图，该方法可以应用于智能投影仪，如应用于如图1A所示的智能投影仪。该智能投影仪包括眼球追踪模块。如图1B所示该方法可包括：
[0056] 101、通过眼球追踪模块捕捉人眼变化，提取上述人眼变化的特征作为目标眼球特征。
[0057] 本申请实施例中的执行主体可以是眼球追踪控制装置，可以为上述智能投影仪。投影仪又称投影机，是一种可以将图像或视频投射到幕布上的设备，可以通过不同的接口同计算机、VCD、DVD、BD、游戏机、DV等相连接播放相应的视频信号。投影仪目前广泛应用于家庭、办公室、学校和娱乐场所，根据工作方式不同，有CRT，LCD，DLP等不同类型。
[0058] 具体实现中，上述智能投影仪可以为激光投影仪，也称激光光源投影机，具有更高的亮度和更长的使用寿命，尤其激光光源投影机的激光光源更省电节能，后期维护工作量也会大大减少，可以为用户带来更可靠地使用效果。
[0059] 本申请实施例中的眼球追踪模块包括摄像头，该摄像头可以为固定摄像头，也可以为可旋转摄像头，另外，该摄像头可以为单摄像头，也可以为多摄像头，单摄像头可以为可见光摄像头或者红外摄像头，可见光摄像头可以为普通视角摄像头，或者，广角摄像头，多摄像头可以为双摄像头，或者，三摄像头，或者，四摄像头，在此不做限定。
[0060] 上述眼球追踪模块可以与处理器连接，眼球追踪模块可以通过摄像头捕捉用户的人眼变化，具体可以为人眼动作画面(各种图像或者视频的形式)，并向处理器发送。处理器根据眼球追踪模块采集到的数据进行分析处理，提取人眼变化的特征作为目标眼球特征，进而可以执行步骤102。
[0061] 在一种可选的实施方式中，上述步骤101包括：
[0062] 通过摄像头采集人眼动作画面；
[0063] 将上述人眼动作画面传输至处理器进行特征提取，获得上述人眼动作画面中人眼变化的特征作为上述目标眼球特征，上述人眼变化包括以下至少一种：眼球移动方向和移动时长、眨眼次数、闭眼时长；
[0064] 上述控制信号可包括以下任意一种：短按信号、长按信号、确认信号、返回信号。
[0065] 具体的，摄像头可以采集连续拍摄的多张人眼动作画面，便于确定连贯的人眼动作。智能投影仪的处理器可以对人眼动作画面进行图像处理，在处理器进行特征提取之前，可以先判断人眼动作画面的图像质量，包括人眼完整性和清晰度，若人眼动作画面的图像质量低于质量阈值，可以输出重试提示信息，用于提醒用户重新进行人眼动作以进行相应控制；若人眼动作画面的图像质量不低于上述质量阈值，可以执行后续步骤。
[0066] 处理器可以识别人眼动作画面的人眼特征区域。通过对人眼动作画面进行图像分割处理，提取上述人眼特征区域，再对该人眼特征区域进行特征提取，获得人眼动作画面的人眼特征，其中主要可包括人眼形状、眼球位置，和人眼睁开状态或闭眼状态等。根据上述人眼动作画面的采集时序进行整合分析，可以确定上述人眼变化的特征。可以理解为，对于连续帧(视频)的人眼动作画面可以确定上述人眼变化，如眼球移动方向(向左、向右、向上或向下等)和移动时长(向某一个方向移动到检测到归位动作的时长)、眨眼次数、闭眼时长等。
[0067] 可选的，在步骤101之前该方法还包括：在检测到眼球控制启动指令时，进入眼球追踪控制模式。
[0068] 上述眼球控制启动指令可以由语音信号、特定手势或者按键操作触发，比如在检测到用户说：“眼睛模式”，或者做出特定手势、按下特定按键时，智能投影仪进入上述眼球追踪控制模式，在用户要求下可以执行本申请实施例中的眼球追踪控制方法，避免在不需要进行控制操作时也通过眼球追踪控制方法出现误操作，不需要启动眼球追踪模块以节省开销。
[0069] 确定用户人眼变化的目标眼球特征之后，可以执行步骤102。
[0070] 102、根据预设眼球特征与控制信号的对应关系，确定上述目标眼球特征对应的目标控制信号。
[0071] 可以预先设置多组眼球特征与控制信号的对应关系，以进行操作映射，
[0072] 上述控制信号可以包括以下任意一种：短按信号、长按信号、确认信号、返回信号。可选的，上述短按信号可以控制实现对投影画面中光标的左移一格或右移一格的操作，上述长按信号可以控制实现对投影画面中光标的左移多格或右移多格的操作，上述确认信号可以控制实现选中当前光标所在选项的操作，上述返回信号可以控制实现返回当前画面上一显示画面的操作，本申请实施例中还可以设置其他眼球特征与控制信号的对应关系，对此不作限制。
[0073] 根据上述预设眼球特征与控制信号的对应关系，智能投影仪可以确定上述目标眼球特征所对应的目标控制信号，从而执行步骤103，实现对应的控制操作。
[0074] 103、根据上述目标控制信号控制上述智能投影仪的投影画面中光标执行对应的操作。
[0075] 智能投影仪可以通过控制信号的命令执行对应的操作。可选的，本申请实施例中的智能投影仪可以响应于遥控器、手势或语音指令触发的控制信号来执行对应的操作，还可以使用眼球追踪控制方法实现对应的控制操作。
[0076] 在一种实施方式中，上述目标眼球特征包括上述眼球移动方向和移动时长，上述移动时长为眼球向第一方向移动后到不再处于第一方向的时长；上述步骤102具体可包括：
[0077] 判断上述眼球的移动时长是否处于第一时长阈值范围内；
[0078] 若处于，确定上述目标眼球特征对应的目标控制信号为上述眼球移动方向的上述短按信号；
[0079] 上述步骤103具体可包括：
[0080] 响应于上述眼球移动方向的短按信号，控制上述智能投影仪的投影画面中光标向上述眼球移动方向移动一个选项。
[0081] 进一步地，在一种可选的实施方式中，该方法还包括：
[0082] 若上述眼球的移动时长大于第二时长阈值，确定上述目标眼球特征对应的目标控制信号为上述眼球移动方向的上述长按信号；
[0083] 上述步骤103具体可包括：
[0084] 响应于上述眼球移动方向的长按信号，控制上述智能投影仪的投影画面中光标向上述眼球移动方向移动至少两个选项，上述光标移动的选项个数与上述眼球移动时长成正比。
[0085] 具体的，上述第一方向可以是任意方向，比如左或者右，对于第一方向的判断可以预先设置方向范围阈值，比如相对于眼眶中心位置的偏移距离的范围和/或相对于横竖水平线的偏移角度的范围，以确定不同的眼球移动方向。对于眼球移动的特征，可以仅对一只眼睛进行识别和判断也可以对双眼同时进行判断，提高准确度。
[0086] 同样的，可以设置上述第一时长阈值范围和第二时长阈值，用于区别眼球的移动时长。其中，上述第一时长阈值范围中的值小于上述第二时长阈值，即上述眼球的移动时长在处于第一时长阈值范围时，可确定对应的目标控制信号属于短按信号，而在大于第二时长阈值的情况下，可确定对应的目标控制信号属于长按信号。上述第一时长阈值范围和上述第二时长阈值可以根据需要进行设置和调整。
[0087] 可以理解为，本申请实施例中智能投影仪的光标的移动方向和上述眼球移动方向具有对应关系，而光标的移动选项个数和上述眼球移动时长具有正相关关系，可以将眼球的移动转换为对光标的控制信号，从而控制光标执行相应操作。
[0088] 示例性的，上述预设眼球特征与控制信号的对应关系，以及相应的控制信号的功能可以包括：
[0089] 1)双眼眼球短暂左移，对应“左短按”控制信号，即可控制投影画面中光标往左移动一格；
[0090] 2)双眼眼球长时间左移，对应“左长按”控制信号，即可控制投影画面中光标往左移动多格；
[0091] 3)左眼眨动一下，对应“确认”控制信号，选中当前光标所在选项；
[0092] 4)右眼眨动一下，对应“返回”控制信号，返回当前画面上一显示画面。
[0094] 在一种实施方式中，本申请实施例可以通过预设神经网络模型提取人眼变化的特征，再转化为处理器可识别的特征标签，来进行控制信号的映射。
[0095] 本申请实施例通过眼球追踪模块捕捉人眼变化，提取上述人眼变化的特征作为目标眼球特征，再根据预设眼球特征与控制信号的对应关系，确定上述目标眼球特征对应的目标控制信号，然后根据上述目标控制信号控制上述智能投影仪的投影画面中光标执行对应的操作，可以通过人眼动作控制投影功能，方便快捷，在无遥控器的情况下也能实现对智能投影仪的控制操作。
[0096] 请参阅图2，图2是本申请实施例公开的另一种眼球追踪控制方法的示意流程图，如图2所示的实施例可以在图1A和图1B所示实施例的基础上执行，如图2所示方法可包括：
[0097] 201、通过摄像头采集用户的人脸图像，提取上述人脸图像的人脸特征。
[0098] 具体的，智能投影仪通过摄像头可以采集人脸图像，其中可以包括一个或者多个人脸。智能投影仪的处理器可以对人脸图像进行处理，在处理器进行特征提取之前，可以先判断人脸图像的图像质量，包括人脸完整性和清晰度，若人脸图像的图像质量低于质量阈值，可以再次拍摄人脸图像；若人脸图像的图像质量不低于上述质量阈值，可以执行后续步骤。
[0099] 处理器可以识别人脸图像的人脸特征区域。通过对人脸图像进行分割处理，提取上述人脸特征区域，再对该人脸特征区域进行特征提取，获得上述人脸特征，其中可包括前述实施例提到的人眼特征，以及，还可以通过多帧连续采集的人脸图像，确定人眼变化的特征。上述人脸特征还可以包括嘴部状态特征，或者人脸朝向特征等，均可以用于判断用户的集中程度。
[0100] 202、根据上述人脸特征确定用户集中程度。
[0101] 具体的，可以通过神经网络识别人脸图像，提取人脸特征并确定上述用户集中程度。通过分析获得的不同的人脸特征可以计算对应的用户集中评估值，以反映用户是否集中注意力在投影画面中。
[0102] 示例性的，如可以计算人脸朝向与投影画面的偏移量，偏移量越大则在该项计算中的权重值越低，对用户集中程度的计算呈负影响，又如，通过人眼眼球位置可以确定人眼朝向与投影画面的偏移量，同样的，偏移量越大则在该项计算中的权重值越低，对用户集中程度的计算呈负影响；通过嘴部状态特征可以判断用户是否处于长时间说话状态或者打哈欠的疲惫状态，以及用户闭眼时长超过特定时长阈值......这些行为可以得出用户集中程度较低的评估结果。本申请实施例中还可以有其他对用户集中程度的评估规则，可以根据需要进行设置和修改，此处不再赘述。
[0103] 本申请实施例可以预先设置注意力阈值，并可以将计算出的用户集中程度的评估值与上述注意力阈值进行比较，判断用户注意力是否过低，进而可以执行步骤203或步骤204。
[0104] 203、在上述用户集中程度低于注意力阈值的情况下，输出提示信息或者进入待机模式。
[0105] 在上述用户集中程度低于上述注意力阈值的情况下，可以确定目前用户对投影内容的注意力较为不足，可以输出提示信息，上述提示信息用于提示用户是否选择暂停播放或者更换新的投影内容。比如输出语音信息或者弹出窗口显示：“是否需要播放新的内容？”用户可以选择性地执行对应操作。
[0106] 或者，智能投影仪还可以进入待机模式，上述待机模式的维持时间可以预先进行设置，比如一分钟或者100秒，在上述待机模式中可以关闭投影功能或者切换为待机音频和/或待机画面进行播出，以使用户进行休息，提高整体观影效果。其中，上述待机模式下的智能投影仪也可以由用户随时主动唤醒，切换为正常工作模式继续播放投影内容。
[0107] 可选的，在智能投影仪检测到用户的观影时长达到观影时长阈值的情况下，也可以执行步骤203，以提醒用户休息，保证用户健康观影。
[0108] 在一种实施方式中，上述步骤202之后，该方法还包括：
[0109] 确定上述人脸图像的人脸特征对应的标签，随机获取上述标签对应的待机音频和/或待机画面；
[0110] 播放上述待机音频和/或待机画面。
[0111] 还可以通过人脸特征为用户提供个性化的待机音频和/或待机画面，提高用户使用感。在前述的特征提取和分析中同时可以确定对应的标签，智能投影仪中可以预先设置有人脸特征的标签与待机音频和/或待机画面的映射关系，从而确定采集的人脸图像的人脸特征对应的标签，并从待机数据集合中随机选择该标签下的待机音频和/或待机画面进行输出。
[0112] 204、在上述用户集中程度不低于注意力阈值的情况下，在检测到眼球控制启动指令时，进入眼球追踪控制模式。
[0113] 其中，上述步骤204可以参考图1B所示实施例中的描述，以及在步骤204之后可以执行如图1B所示实施例中的眼球追踪控制方法，此处不再赘述。
[0114] 可选的，上述步骤201和步骤202可以周期性地执行，以通过人脸特征检测用户的集中程度，在用户不够集中的情况下引导用户进行休息。
[0115] 实施本申请实施例，可以通过摄像头采集用户的人脸图像，提取上述人脸图像的人脸特征，再根据上述人脸特征确定用户集中程度，在上述用户集中程度低于注意力阈值的情况下，输出提示信息或者进入待机模式，在上述用户集中程度不低于注意力阈值的情况下，在检测到眼球控制启动指令时，进入眼球追踪控制模式，可以在智能投影仪使用过程中通过人脸识别获取用户集中程度，提醒用户休息，也可以通过人眼动作控制投影功能，方便快捷，在无遥控器的情况下也能实现对智能投影仪的控制操作，提高用户体验。
[0116] 相应的，本申请实施例还提供一种眼球追踪控制装置。
[0117] 具体地，参见图3，是本申请实施例提供的一种眼球追踪控制装置300的示意框图。本实施例的眼球追踪控制装置300包括：
[0118] 眼球追踪模块310，用于捕捉人眼变化，提取上述人眼变化的特征作为目标眼球特征；
[0119] 处理模块320，用于根据预设眼球特征与控制信号的对应关系，确定上述目标眼球特征对应的目标控制信号；
[0120] 控制模块330，用于根据上述目标控制信号控制上述智能投影仪的投影画面中光标执行对应的操作。
[0121] 在一种实施方式中，眼球追踪模块310具体用于：
[0122] 通过上述摄像头采集人眼动作画面；
[0123] 将上述人眼动作画面传输至处理器进行特征提取，以获得上述人眼动作画面中人眼变化的特征作为上述目标眼球特征，上述人眼变化包括以下至少一种：眼球移动方向和移动时长、眨眼次数、闭眼时长；
[0124] 上述控制信号包括以下任意一种：短按信号、长按信号、确认信号、返回信号。
[0125] 可选的，上述处理模块320具体用于：
[0126] 判断上述眼球的移动时长是否处于第一时长阈值范围内；
[0127] 若处于，确定上述目标眼球特征对应的目标控制信号为上述眼球移动方向的上述短按信号；
[0128] 上述控制模块330具体用于，响应于上述眼球移动方向的短按信号，控制上述智能投影仪的投影画面中光标向上述眼球移动方向移动一个选项。
[0129] 可选的，上述处理模块320还用于，若上述眼球的移动时长大于第二时长阈值，确定上述目标眼球特征对应的目标控制信号为上述眼球移动方向的上述长按信号；
[0130] 上述控制模块330具体用于，响应于上述眼球移动方向的长按信号，控制上述智能投影仪的投影画面中光标向上述眼球移动方向移动至少两个选项，上述光标移动的选项个数与上述眼球移动时长成正比。
[0131] 可选的，上述处理模块320还用于：在上述眼球追踪模块310检测到眼球控制启动指令时，进入眼球追踪控制模式。
[0132] 可选的，上述眼球追踪模块310还用于通过摄像头采集用户的人脸图像，上述眼球追踪控制装置300还包括上述输出模块340；其中，上述处理模块320还用于：
[0133] 提取上述人脸图像的人脸特征；
[0134] 根据上述人脸特征确定用户集中程度；
[0135] 上述输出模块340还用于，在上述用户集中程度低于注意力阈值的情况下，输出提示信息或者进入待机模式。
[0136] 可选的，上述处理模块320还用于，在上述待机模式下，确定上述人脸图像的人脸特征对应的标签，随机获取上述标签对应的待机音频和/或待机画面；
[0137] 上述输出模块340还用于，播放上述待机音频和/或待机画面。
[0138] 本申请实施例中的眼球追踪控制装置300可以通过眼球追踪模块捕捉人眼变化，提取上述人眼变化的特征作为目标眼球特征，再根据预设眼球特征与控制信号的对应关系，确定上述目标眼球特征对应的目标控制信号，然后根据上述目标控制信号控制上述智能投影仪的投影画面中光标执行对应的操作，可以通过人眼动作控制投影功能，方便快捷，在无遥控器的情况下也能实现对智能投影仪的控制操作。
[0139] 参见图4，是本申请另一实施例提供的一种智能投影仪的示意框图。本实施例中的智能投影仪可以包括：一个或多个处理器410；一个或多个输入设备420，一个或多个输出设备430和存储器440。上述处理器410、输入设备420、输出设备430和存储器440通过总线450连接。存储器440用于存储计算机程序，上述计算机程序包括程序指令，处理器410用于执行存储器440存储的程序指令。其中，处理器410被配置用于执行上述程序指令。
[0140] 应当理解，在本申请实施例中，处理器410可以是中央处理单元(Central Processing Unit，CPU)，该处理器410还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0141] 输入设备420可以包括触控板、指纹采传感器(用于采集用户的指纹信息和指纹的方向信息)、麦克风等，输出设备430可以包括显示器(LCD等)、扬声器等。还可以包括至少一个USB接口，以实现数据传输。
[0142] 该存储器440可以包括只读存储器和随机存取存储器，并向处理器410提供指令和数据。存储器440的一部分还可以包括非易失性随机存取存储器。例如，存储器440还可以存储设备类型的信息，或者用户的各类语音数据、图像数据和视频数据等。
[0143] 在本申请实施例中，由处理器410加载并执行计算机存储介质中存放的一条或一条以上指令，以实现上述图1B或图2所示方法流程的相应步骤。
[0144] 通过实施本申请实施例，智能投影仪400可以通过眼球追踪模块捕捉人眼变化，提取上述人眼变化的特征作为目标眼球特征，再根据预设眼球特征与控制信号的对应关系，确定上述目标眼球特征对应的目标控制信号，然后根据上述目标控制信号控制上述智能投影仪的投影画面中光标执行对应的操作，可以通过人眼动作控制投影功能，方便快捷，在无遥控器的情况下也能实现对智能投影仪的控制操作。
[0145] 本申请实施例还提供了一种计算机可读存储介质，其特征在于，计算机存储介质存储有计算机程序，计算机程序包括程序指令，程序指令被处理器执行，用以执行如上述本申请实施例中的部分或全部眼球追踪控制方法。
[0146] 计算机可读存储介质可以是前述任一实施例的眼球追踪控制装置的内部存储单元，例如智能投影仪的硬盘或内存。计算机可读存储介质也可以是眼球追踪控制装置的外部存储设备，例如眼球追踪控制装置上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，计算机可读存储介质还可以既包括眼球追踪控制装置的内部存储单元也包括外部存储设备。计算机可读存储介质用于存储计算机程序以及眼球追踪控制装置所需的其他程序和数据。计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
[0147] 本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
[0148] 所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的服务器和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0149] 在本申请所提供的几个实施例中，应该理解到，所揭露的服务器和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
[0150] 作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本申请实施例方案的目的。
[0151] 另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0152] 集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 用于视线追踪的标定方法、装置、移动终端及存储介质 | 2020-05-15 | 196 |
| 一种基于虚拟现实中眼动捕捉的跨物体交互方法与装置 | 2020-05-26 | 946 |
| 电子装置、视频播放应用的管理方法及相关产品 | 2020-05-16 | 446 |
| 一种在线教育及考试系统 | 2020-05-21 | 746 |
| 图像处理方法以及电子设备和存储介质 | 2020-05-13 | 960 |
| 基于眼球追踪技术的A柱视野盲区辅助视觉系统及其方法 | 2020-05-21 | 463 |
| 用于非灵长类动物伸展抓握运动研究的机器人交互平台 | 2020-05-18 | 498 |
| 图像显示方法、装置、终端及存储介质 | 2020-05-19 | 215 |
| 显示装置以及虚拟现实显示系统 | 2020-05-14 | 52 |
| 基于眼球追踪的电动内后视镜 | 2020-05-13 | 360 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
眼球追踪摄像头热门专利
QQ群二维码
意见反馈
意见反馈