一种听写内容生成方法、学习设备及存储介质
阅读：1055发布：2020-06-02
专利汇可以提供一种听写内容生成方法、学习设备及存储介质专利检索，专利查询，专利分析的服务。并且本 发明 实施例 涉及教育技术领域，公开了一种听写内容生成方法、学习设备及存储介质。该方法包括：当识别到用户正在进行观看学习内容时，检测用户的眼睛对学习内容的任一部分内容的注视时长；若注视时长达到预设时长 阈值 ，从学习内容中提取出部分内容对应的文本信息作为用户的听写内容。可见，实施本发明实施例，能够基于眼睛 跟踪 ，获取用户正在观看的学习内容的疑难点或着重关注点，根据这些疑难点或着重关注点对应的文本信息生成听写内容，更好地满足用户的听写需求，进而改善用户体验。，下面是一种听写内容生成方法、学习设备及存储介质专利的具体信息内容。
1.一种听写内容生成方法，其特征在于，包括：
当识别到用户正在进行观看学习内容时，检测所述用户的眼睛对所述学习内容的任一部分内容的注视时长；
若所述注视时长达到预设时长阈值，从所述学习内容中提取出所述部分内容对应的文本信息作为所述用户的听写内容。
2.根据权利要求1所述的方法，其特征在于，所述当识别到用户正在进行观看学习内容时，检测所述用户的眼睛对所述学习内容的任一部分内容的注视时长，包括：
当识别到用户正在进行观看学习内容时，在预设时间段内连续拍摄若干帧用户头部图像，从所述用户头部图像中提取眼睛区域子图；
根据提取的多个所述眼睛区域子图，确定所述用户的眼睛在所述预设时间段内的瞳孔直径以及注视方向；
若所述注视方向指向所述学习内容的任一部分内容，且所述瞳孔直径的扩张系数达到预设系数阈值，判定所述用户的眼睛正在对所述部分内容进行注视，开启计时器进行计时获得计时时长；
将所述计时时长作为所述用户的眼睛对所述部分内容的注视时长。
3.根据权利要求2所述的方法，其特征在于，所述根据提取的多个所述眼睛区域子图，确定所述用户的眼睛在所述预设时间段内的瞳孔直径以及注视方向之后，所述方法还包括：
判断所述瞳孔直径是否大于基准瞳孔直径；
若大于所述基准瞳孔直径，获取所述瞳孔直径与基准瞳孔直径的差值；
将所述差值除以所述基准瞳孔直径，获得所述瞳孔直径的扩张系数，所述基准瞳孔直径为所述用户的眼睛在注视点稳定状态下的平均瞳孔直径。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
若不大于所述基准瞳孔直径，根据提取的多个所述眼睛区域子图，获取眼睛特征参数，所述眼睛特征参数至少包括用户在所述预设时间段内的眨眼频率以及用户上眼皮与下眼皮之间的平均眼皮间距；
判断所述眼睛特征参数是否用于指示眼睛疲劳；
若是，发出用于提醒所述用户眼睛已处于疲劳状态的提醒消息。
5.根据权利要求1至4任一项所述的方法，其特征在于，所述学习内容为文字内容；所述方法还包括：
当识别到用户正在进行观看所述学习内容时，根据所述学习内容中句子的长度和/或所述学习内容的文本类别，确定所述学习内容的理解难度；
根据所述用户的历史文字阅读记录，获得所述用户的文字阅读速度；
根据所述理解难度和所述文字阅读速度，获得所述预设时长阈值。
6.一种学习设备，其特征在于，包括：
检测单元，用于在识别到用户正在进行观看学习内容时，检测所述用户的眼睛对所述学习内容的任一部分内容的注视时长；
生成单元，用于在所述注视时长达到预设时长阈值时，从所述学习内容中提取出所述部分内容对应的文本信息作为所述用户的听写内容。
7.根据权利要求6所述的学习设备，其特征在于，所述检测单元包括：
拍摄子单元，用于在识别到用户正在进行观看学习内容时，在预设时间段内连续拍摄若干帧用户头部图像；
提取子单元，用于从所述用户头部图像中提取眼睛区域子图；
确定子单元，用于根据提取的多个所述眼睛区域子图，确定所述用户的眼睛在所述预设时间段内的瞳孔直径以及注视方向；
计时子单元，用于在所述注视方向指向所述学习内容的任一部分内容，且所述瞳孔直径的扩张系数达到预设系数阈值时，判定所述用户的眼睛正在对所述部分内容进行注视，开启计时器进行计时获得计时时长；以及，将所述计时时长作为所述用户的眼睛对所述部分内容的注视时长。
8.根据权利要求7所述的学习设备，其特征在于，所述检测单元还包括：
判断子单元，用于在所述确定子单元根据提取的多个所述眼睛区域子图，确定所述用户的眼睛在所述预设时间段内的瞳孔直径以及注视方向之后，判断所述瞳孔直径是否大于基准瞳孔直径；
获取子单元，用于在所述判断子单元判断出所述瞳孔直径大于所述基准瞳孔直径时，获取所述瞳孔直径与基准瞳孔直径的差值；以及，将所述差值除以所述基准瞳孔直径，获得所述瞳孔直径的扩张系数，所述基准瞳孔直径为所述用户的眼睛在注视点稳定状态下的平均瞳孔直径。
9.根据权利要求8所述的学习设备，其特征在于，所述学习设备还包括：
第一获取单元，用于在所述判断子单元判断出所述瞳孔直径不大于所述基准瞳孔直径时，根据提取的多个所述眼睛区域子图，获取眼睛特征参数，所述眼睛特征参数至少包括用户在所述预设时间段内的眨眼频率以及用户上眼皮与下眼皮之间的平均眼皮间距；
判断单元，用于判断所述眼睛特征参数是否用于指示眼睛疲劳；
提示单元，用于在所述判断单元判断出所述眼睛特征参数用于指示眼睛疲劳时，发出用于提醒所述用户眼睛已处于疲劳状态的提醒消息。
10.根据权利要求6至9任一项所述的学习设备，其特征在于，所述学习内容为文字内容；所述学习设备还包括：
确定单元，用于在识别到用户正在进行观看所述学习内容时，根据所述学习内容中句子的长度和/或所述学习内容的文本类别，确定所述学习内容的理解难度；
第二获取单元，用于根据所述用户的历史文字阅读记录，获得所述用户的文字阅读速度；
第三获取单元，用于根据所述理解难度和所述文字阅读速度，获得所述预设时长阈值。
11.一种学习设备，其特征在于，包括：
存储有可执行程序代码的存储器；
与所述存储器耦合的处理器；
所述处理器调用所述存储器中存储的所述可执行程序代码，用于执行权利要求1至5任一项所述的一种听写内容生成方法。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机程序，其中，所述计算机程序使得计算机执行权利要求1至5任一项所述的一种听写内容生成方法。
一种听写内容生成方法、学习设备及存储介质
技术领域
[0001] 本发明涉及教育技术领域，具体涉及一种听写内容生成方法、学习设备及存储介质。
背景技术
[0002] 市面上针对学生听写提供了各式各样的听写应用程序(Application，APP)，通常而言，听写APP会根据课文的生字词语来设置听写内容，学生用户在课后可以基于听写APP进行课文的生字词语的听写练习，以提高听写能力和帮助学生用户尽快掌握课文中的生字词语。但在实际应用场景中，一般的听写APP所存储的听写内容都是通过人为主观进行输入的，或者是一味按照教材所提供的材料进行输入的，上述的输入方式均没有结合用户自身的掌握情况或关注内容，经常无法满足用户的听写需求，导致用户体验不好。
发明内容
[0004] 本发明实施例第一方面公开一种听写内容生成方法，包括：
[0005] 当识别到用户正在进行观看学习内容时，检测所述用户的眼睛对所述学习内容的任一部分内容的注视时长；
[0006] 若所述注视时长达到预设时长阈值，从所述学习内容中提取出所述部分内容对应的文本信息作为所述用户的听写内容。
[0007] 作为一种可选的实施方式，在本发明实施例第一方面中，所述当识别到用户正在进行观看学习内容时，检测所述用户的眼睛对所述学习内容的任一部分内容的注视时长，包括：
[0009] 根据提取的多个所述眼睛区域子图，确定所述用户的眼睛在所述预设时间段内的瞳孔直径以及注视方向；
[0010] 若所述注视方向指向所述学习内容的任一部分内容，且所述瞳孔直径的扩张系数达到预设系数阈值，判定所述用户的眼睛正在对所述部分内容进行注视，开启计时器进行计时获得计时时长；
[0011] 将所述计时时长作为所述用户的眼睛对所述部分内容的注视时长。
[0012] 作为一种可选的实施方式，在本发明实施例第一方面中，所述根据提取的多个所述眼睛区域子图，确定所述用户的眼睛在所述预设时间段内的瞳孔直径以及注视方向之后，所述方法还包括：
[0013] 判断所述瞳孔直径是否大于基准瞳孔直径；
[0014] 若大于所述基准瞳孔直径，获取所述瞳孔直径与基准瞳孔直径的差值；
[0015] 将所述差值除以所述基准瞳孔直径，获得所述瞳孔直径的扩张系数，所述基准瞳孔直径为所述用户的眼睛在注视点稳定状态下的平均瞳孔直径。
[0016] 作为一种可选的实施方式，在本发明实施例第一方面中，所述方法还包括：
[0017] 若不大于所述基准瞳孔直径，根据提取的多个所述眼睛区域子图，获取眼睛特征参数，所述眼睛特征参数至少包括用户在所述预设时间段内的眨眼频率以及用户上眼皮与下眼皮之间的平均眼皮间距；
[0018] 判断所述眼睛特征参数是否用于指示眼睛疲劳；
[0019] 若是，发出用于提醒所述用户眼睛已处于疲劳状态的提醒消息。
[0020] 作为一种可选的实施方式，在本发明实施例第一方面中，所述学习内容为文字内容；所述方法还包括：
[0021] 当识别到用户正在进行观看所述学习内容时，根据所述学习内容中句子的长度和/或所述学习内容的文本类别，确定所述学习内容的理解难度；
[0022] 根据所述用户的历史文字阅读记录，获得所述用户的文字阅读速度；
[0023] 根据所述理解难度和所述文字阅读速度，获得所述预设时长阈值。
[0024] 本发明实施例第二方面公开一种学习设备，包括：
[0025] 检测单元，用于在识别到用户正在进行观看学习内容时，检测所述用户的眼睛对所述学习内容的任一部分内容的注视时长；
[0026] 生成单元，用于在所述注视时长达到预设时长阈值时，从所述学习内容中提取出所述部分内容对应的文本信息作为所述用户的听写内容。
[0027] 作为一种可选的实施方式，在本发明实施例第二方面中，所述检测单元包括：
[0028] 拍摄子单元，用于在识别到用户正在进行观看学习内容时，在预设时间段内连续拍摄若干帧用户头部图像；
[0029] 提取子单元，用于从所述用户头部图像中提取眼睛区域子图；
[0030] 确定子单元，用于根据提取的多个所述眼睛区域子图，确定所述用户的眼睛在所述预设时间段内的瞳孔直径以及注视方向；
[0031] 计时子单元，用于在所述注视方向指向所述学习内容的任一部分内容，且所述瞳孔直径的扩张系数达到预设系数阈值时，判定所述用户的眼睛正在对所述部分内容进行注视，开启计时器进行计时获得计时时长；以及，将所述计时时长作为所述用户的眼睛对所述部分内容的注视时长。
[0032] 作为一种可选的实施方式，在本发明实施例第二方面中，所述检测单元还包括：
[0033] 判断子单元，用于在所述确定子单元根据提取的多个所述眼睛区域子图，确定所述用户的眼睛在所述预设时间段内的瞳孔直径以及注视方向之后，判断所述瞳孔直径是否大于基准瞳孔直径；
[0034] 获取子单元，用于在所述判断子单元判断出所述瞳孔直径大于所述基准瞳孔直径时，获取所述瞳孔直径与基准瞳孔直径的差值；以及，将所述差值除以所述基准瞳孔直径，获得所述瞳孔直径的扩张系数，所述基准瞳孔直径为所述用户的眼睛在注视点稳定状态下的平均瞳孔直径。
[0035] 作为一种可选的实施方式，在本发明实施例第二方面中，所述学习设备还包括：
[0036] 第一获取单元，用于在所述判断子单元判断出所述瞳孔直径不大于所述基准瞳孔直径时，根据提取的多个所述眼睛区域子图，获取眼睛特征参数，所述眼睛特征参数至少包括用户在所述预设时间段内的眨眼频率以及用户上眼皮与下眼皮之间的平均眼皮间距；
[0037] 判断单元，用于判断所述眼睛特征参数是否用于指示眼睛疲劳；
[0038] 提示单元，用于在所述判断单元判断出所述眼睛特征参数用于指示眼睛疲劳时，发出用于提醒所述用户眼睛已处于疲劳状态的提醒消息。
[0039] 作为一种可选的实施方式，在本发明实施例第二方面中，所述学习内容为文字内容；所述学习设备还包括：
[0040] 确定单元，用于在识别到用户正在进行观看所述学习内容时，根据所述学习内容中句子的长度和/或所述学习内容的文本类别，确定所述学习内容的理解难度；
[0041] 第二获取单元，用于根据所述用户的历史文字阅读记录，获得所述用户的文字阅读速度；
[0042] 第三获取单元，用于根据所述理解难度和所述文字阅读速度，获得所述预设时长阈值。
[0043] 本发明实施例第三方面公开一种学习设备，包括：
[0044] 存储有可执行程序代码的存储器；
[0045] 与所述存储器耦合的处理器；
[0046] 所述处理器调用所述存储器中存储的所述可执行程序代码，执行本发明实施例第一方面公开的一种听写内容生成方法。
[0047] 本发明实施例第四方面公开一种计算机可读存储介质，其存储计算机程序，其中，所述计算机程序使得计算机执行本发明实施例第一方面公开的一种听写内容生成方法。
[0048] 本发明实施例第五方面公开一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行第一方面的任意一种方法的部分或全部步骤。
[0049] 本发明实施例第六方面公开一种应用发布平台，所述应用发布平台用于发布计算机程序产品，其中，当所述计算机程序产品在计算机上运行时，使得所述计算机执行第一方面的任意一种方法的部分或全部步骤。
[0050] 与现有技术相比，本发明实施例具有以下有益效果：
[0051] 本发明实施例中，当识别到用户正在进行观看学习内容时，检测用户的眼睛对学习内容的任一部分内容的注视时长，若注视时长达到预设时长阈值，从学习内容中提取出部分内容对应的文本信息作为用户的听写内容，能够基于眼睛跟踪，获取用户正在观看的学习内容的疑难点或着重关注点，根据这些疑难点或着重关注点对应的文本信息生成听写内容，更好地满足用户的听写需求，进而改善用户体验。附图说明
[0052] 为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0053] 图1是本发明实施例公开的一种听写内容生成方法的流程示意图；
[0054] 图2是本发明实施例公开的另一种听写内容生成方法的流程示意图；
[0055] 图3是本发明实施例公开的一种学习设备的结构示意图；
[0056] 图4是本发明实施例公开的另一种学习设备的结构示意图；
[0057] 图5是本发明实施例公开的又一种学习设备的结构示意图。
具体实施方式
[0058] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0059] 需要说明的是，本发明的说明书和权利要求书中的术语“第一”、“第二”、“第三”等是用于区别不同的对象，而不是用于描述特定顺序。本发明实施例的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0060] 本发明实施例公开了一种听写内容生成方法、学习设备及存储介质，能够基于眼睛跟踪，获取用户正在观看的学习内容的疑难点或着重关注点，根据这些疑难点或着重关注点对应的文本信息生成听写内容，更好地满足用户的听写需求，进而改善用户体验，以下结合附图进行详细描述。
[0061] 实施例一
[0062] 请参阅图1，图1是本发明实施例公开的一种听写内容生成方法的流程示意图。其中，本发明实施例所示的方法适用于家教机、学习机、学习平板或学习电脑等学习设备。如图1所示，该听写内容生成方法可以包括以下步骤：
[0063] 101、当识别到用户正在进行观看学习内容时，学习设备检测用户的眼睛对学习内容的任一部分内容的注视时长。
[0064] 本发明实施例中，学习内容可以是PPT课件文档、图片或文章等多媒体教材内容，也可以是纸质版教材内容。
[0065] 其中，如果学习内容是多媒体教材内容，用户观看学习内容的方式具体是通过学习设备的电子屏幕进行观看；如果学习内容是纸质版教材内容，用户观看学习内容的方式具体是将纸质版教材放置于学习设备前方区域进行观看。其中，任一部分内容可以是某一区域的学习内容。
[0066] 需要说明的是，本发明实施例中，学习设备可以配置有摄像头，通过该摄像头进行图像捕捉或扫描提取用户的眼球运动信息。其中，摄像头的位置不限于学习设备电子屏幕的正上方，还可以位于学习设备电子屏幕的右下方。甚至在另外一些可能的实施例中，学习设备的摄像头可以与学习设备互相独立，通过无线网络或蓝牙进行数据传送，以便在任何情况下(尤其是观看纸质版教材)追踪用户的眼球运动。
[0067] 102、学习设备判断注视时长是否达到预设时长阈值。若是，执行步骤103；反之，结束本流程。
[0068] 作为一种可选的实施方式，学习内容可以为文字内容，那么任一部分内容可以是一段或一行的学习内容。而且，步骤102中的预设时长阈值可以由以下步骤获得：当识别到用户正在进行观看学习内容时，根据学习内容中句子的长度和/或学习内容的文本类别，确定学习内容的理解难度；根据用户的历史文字阅读记录，获得用户的文字阅读速度；根据理解难度和文字阅读速度，获得预设时长阈值。
[0069] 实施该实施方式，通过根据学习内容的句子长度和/或文本类别，确定学习内容的理解难度，还结合用户正常的文字阅读速度，确定出预设时长阈值，能够使得学习设备执行从学习内容中提取出部分内容对应的文本信息作为用户的听写内容的步骤时的触发条件更为准确，避免对用户注视行为的误判。
[0070] 103、学习设备从学习内容中提取出部分内容对应的文本信息作为用户的听写内容。
[0071] 作为一种可选的实施方式，执行步骤103之后，还可以执行以下步骤：
[0072] 学习设备通过服务器查询在预设时间段内注视该部分内容达到预设时长阈值的目标用户，根据该目标用户的听写账号，显示推荐好友信息提醒用户；当接收到用户针对该推荐好友信息输入的同意添加信息时，学习设备向该目标用户的听写账号发送交友请求信息。
[0073] 实施该实施方式，通过检测在预设时间段内注视相同学习内容的多个用户，并给每个用户发送其他用户的账号作为推荐好友，能够实现听写交友的功能，提高听写的乐趣，以吸引用户进行听写学习。
[0074] 作为一种可选的实施方式，执行步骤103之后，还可以执行以下步骤：
[0075] 学习设备以待处理任务的方式推送听写内容；当检测到用户接受待处理任务时，学习设备控制播放听写内容，以辅助用户完成对听写内容的听写。
[0076] 实施该实施方式，通过在用户接受用于推送听写内容的待处理任务时，控制播放听写内容，能够辅助用户完成对听写内容的听写，提高用户听写的积极性。
[0077] 实施图1所描述的方法，当识别到用户正在进行观看学习内容时，检测用户的眼睛对学习内容的任一部分内容的注视时长，若注视时长达到预设时长阈值，从学习内容中提取出部分内容对应的文本信息作为用户的听写内容，能够基于眼睛跟踪，获取用户正在观看的学习内容的疑难点或着重关注点，根据这些疑难点或着重关注点对应的文本信息生成听写内容，更好地满足用户的听写需求，进而改善用户体验。
[0078] 实施例二
[0079] 请参阅图2，图2是本发明实施例公开的另一种听写内容生成方法的流程示意图。如图2所示，该听写内容生成方法可以包括以下步骤：
[0080] 201、当识别到用户正在进行观看学习内容时，学习设备在预设时间段内连续拍摄若干帧用户头部图像，从用户头部图像中提取眼睛区域子图。
[0081] 202、学习设备根据提取的多个眼睛区域子图，确定用户的眼睛在预设时间段内的瞳孔直径以及注视方向。
[0082] 需要说明的是，瞳孔直径可以是单眼的瞳孔直径，也可以是双眼的瞳孔直径，本发明在此不做具体限定。
[0083] 203、学习设备判断瞳孔直径是否大于基准瞳孔直径。若是，执行步骤204～206；反之，执行步骤207～209。
[0084] 需要说明的是，瞳孔直径大小是自主神经系统(Autonomic Nervous System，ANS)激活度的一个有效指标，自主神经系统是控制各种腺体、内脏和血管的神经系统，这种神经控制的活动如心跳、呼吸等都是不受意志支配的，所以也称为植物性神经系统。当用户受到视觉、听觉、触觉等刺激，需要调动脑部高级认知来对刺激信号进行深度的加工处理时，自主神经系统会激活，提升脑部血流量，保证高级认知功能的进行，这往往也伴随着瞳孔直径的扩张，通常这个放大过程在刺激出现后的2～3s内就会呈现出峰值。
[0085] 因此，通常状况下，当用户的瞳孔直径大于基准瞳孔直径，可以判定用户对注视的内容感兴趣。相反地，若学习设备判断出瞳孔直径不大于基准瞳孔直径，判定用户的眼睛的瞳孔处于收缩状态，那么可以怀疑用户用眼疲劳，因此执行步骤207～209，判断用户是否用眼疲劳，若是，则提醒用户。
[0086] 204、学习设备获取瞳孔直径与基准瞳孔直径的差值，将差值除以基准瞳孔直径，获得瞳孔直径的扩张系数。
[0087] 其中，基准瞳孔直径为用户的眼睛在注视点稳定状态下的平均瞳孔直径。
[0088] 作为一种可选的实施方式，基准瞳孔直径的获取方式可以由以下步骤执行：学习设备以预设频率采集用户的眼睛在预设时长内的瞳孔直径以及注视方向；若在预设时长内注视方向与瞳孔直径均无发生变化或变化较小，学习设备判定用户的眼睛达到注视点稳定状态，以及将预设时长内的平均瞳孔直径设置为基准瞳孔直径。
[0089] 实施该实施方式，通过采集用户的眼睛在注视点稳定状态下的平均瞳孔直径作为基准瞳孔直径，能够提高瞳孔直径的检测精度，进而提高眼睛跟踪的精确度。
[0090] 205、若注视方向指向学习内容的任一部分内容，且瞳孔直径的扩张系数达到预设系数阈值，学习设备判定用户的眼睛正在对部分内容进行注视，开启计时器进行计时获得计时时长，将计时时长作为用户的眼睛对部分内容的注视时长。
[0091] 其中，预设系数阈值可以是开发人员根据实际情况而预先设定的数值。
[0092] 206、当注视时长达到预设时长阈值，学习设备从学习内容中提取出部分内容对应的文本信息作为用户的听写内容。
[0093] 作为一种可选的实施方式，执行步骤206之后，还可以执行以下步骤：
[0094] 学习设备根据提取的多个眼睛区域子图，获得用户的眼睛的目标虹膜特征，其中目标虹膜特征包括左眼虹膜特征和/或右眼虹膜特征；学习设备将目标虹膜特征与预先存储的虹膜特征进行比对；当比对结果为匹配时，学习设备判定用户的身份合法以及获取用户当前所进入的在线学习群；学习设备向在线学习群发送听写内容，以共享给群里的群友；学习设备在在线学习群内控制播放听写内容，以辅助在线学习群内所有的群友完成对听写内容的听写；学习设备获取在线学习群内每一个群友的听写成绩；学习设备根据听写成绩的高低顺序对每一个群友进行排名并公布排名。
[0095] 实施该实施方式，通过在根据用户的虹膜特征判定用户的身份合法时，获取用户当前所进入的在线学习群，以及向在线学习群发送听写内容并在学习群内控制播放，以辅助在线学习群内所有的群友完成对听写内容的听写，还根据听写成绩的高低顺序对每一个群友进行排名并公布排名，能够帮助用户与学习群内的群友互动，提高用户听写的乐趣。
[0096] 作为一种可选的实施方式，执行步骤206之后，学习设备还可以执行以下步骤：
[0097] 在听写过程中，学习设备播放完毕上述听写内容对应的音频信号中的任一待听写词语的读音时，暂停继续播放该音频信号，并且记录用户根据该任一待听写词语的读音而书写的实际听写词语以及实际听写词语对应的词语书写时长，该词语书写时长至少包括实际听写词语包括的每个字的字书写时长；
[0098] 若识别出实际听写词语与该任一待听写词语相同，判断实际听写词语包括的任意一个字的字书写时长是否超过预设模型指定的单字书写时长，若未超过，播放该音频信号中的下一待听写词语的读音；若超过，将该任一待听写词语确定为用户的掌握程度低的词语。
[0099] 实施该实施方式，能够在生成听写内容后，播放听写内容对应的音频信号中的任一待听写词语的读音，并且逐一检测用户根据读音而书写的实际听写词语是否正确，以及实际听写词语中任一个字的字书写时长是否超过指定的单字书写时长，能够将书写正确但字书写时长超过指定的单字书写时长的待听写词语确定为用户的掌握程度低的词语并记录下来，以便后续使用这些用户掌握程度较低的词语辅助用户进行听写巩固。
[0100] 207、学习设备根据提取的多个眼睛区域子图，获取眼睛特征参数，眼睛特征参数至少包括用户在预设时间段内的眨眼频率以及用户上眼皮与下眼皮之间的平均眼皮间距。
[0101] 208、学习设备判断眼睛特征参数是否用于指示眼睛疲劳。若是，执行步骤209；反之，结束本流程。
[0102] 作为一种可选的实施方式，执行步骤208之前，可以执行以下步骤：
[0103] 学习设备预先通过深度学习的方式记录用户眼睛处于疲劳状态下的疲劳特征参数，该疲劳特征参数至少包括用户在预设时间段内的疲劳眨眼频率以及用户上眼皮与下眼皮之间的疲劳平均眼皮间距，以获得用于指示眼睛疲劳的预设特征参数。在此基础上，步骤208可以包括：学习设备判断眼睛特征参数是否与预设特征参数相匹配；若匹配，判定眼睛特征参数用于指示眼睛疲劳；若不匹配，判定眼睛特征参数不是用于指示眼睛疲劳。
[0104] 实施该实施方式，能够基于深度学习网络的强大计算力，获得准确用于指示眼睛疲劳的预设特征参数，从而提高判断用户是否用眼疲劳的准确性。
[0105] 209、学习设备发出用于提醒用户眼睛已处于疲劳状态的提醒消息。
[0106] 实施步骤207～209，能够检测用户的学习精神状态，在用户的眼睛特征参数用于指示眼睛疲劳眼睛时发出提醒消息，能够提醒用户休息。
[0107] 与实施图1所描述的方法相比较，实施图2所描述的方法，当识别到用户正在进行观看学习内容时，通过在预设时间段内连续拍摄若干帧用户头部图像并从中提取眼睛区域子图，确定用户的眼睛在预设时间段内的瞳孔直径以及注视方向，然后可以判断瞳孔直径是否大于基准瞳孔直径。
[0108] 在一方面，若瞳孔直径大于基准瞳孔直径，且注视方向指向学习内容的任一部分内容，以及瞳孔直径的扩张系数达到预设系数阈值时，判定用户的眼睛正在对部分内容进行注视，开启计时获得用户的注视时长，能够基于瞳孔直径的检测，判断用户是否进行注视，能够提高眼睛跟踪的精确度，从而更加准确获得用户正在观看的学习内容的疑难点或着重关注点。
[0109] 在另一方面，若瞳孔直径不大于基准瞳孔直径，判定用户的眼睛的瞳孔处于收缩状态，通过判断眼睛特征参数是否与用于指示用眼疲劳的预设特征参数相匹配，能够检测用户的学习精神状态，能够在用户用眼疲劳时提醒用户休息。
[0110] 实施例三
[0111] 请参阅图3，图3是本发明实施例公开的一种学习设备的结构示意图。如图3所示，该学习设备可以包括：
[0112] 检测单元301，用于在识别到用户正在进行观看学习内容时，检测用户的眼睛对学习内容的任一部分内容的注视时长。
[0113] 生成单元302，用于在注视时长达到预设时长阈值时，从学习内容中提取出部分内容对应的文本信息作为用户的听写内容。
[0114] 作为一种可选的实施方式，图3所示的学习设备还可以包括未图示的交友单元，用于在生成单元302从学习内容中提取出部分内容对应的文本信息作为用户的听写内容之后，通过服务器查询在预设时间段内注视该部分内容达到预设时长阈值的目标用户；以及，根据该目标用户的听写账号，显示推荐好友信息提醒用户；并且，在接收到用户针对该推荐好友信息输入的同意添加信息时，向该目标用户的听写账号发送交友请求信息。
[0115] 实施该实施方式，通过检测在预设时间段内注视相同学习内容的多个用户，并给每个用户发送其他用户的账号作为推荐好友，能够实现听写交友的功能，提高听写的乐趣，以吸引用户进行听写学习。
[0116] 作为一种可选的实施方式，图3所示的学习设备还可以包括未图示的听写控制单元，用于在生成单元302从学习内容中提取出部分内容对应的文本信息作为用户的听写内容之后，以待处理任务的方式推送听写内容；以及，在检测到用户接受待处理任务时，控制播放听写内容，以辅助用户完成对听写内容的听写。
[0117] 实施该实施方式，通过在用户接受用于推送听写内容的待处理任务时，控制播放听写内容，能够辅助用户完成对听写内容的听写，提高用户听写的积极性。
[0118] 实施图3所示的学习设备，当识别到用户正在进行观看学习内容时，检测用户的眼睛对学习内容的任一部分内容的注视时长，若注视时长达到预设时长阈值，从学习内容中提取出部分内容对应的文本信息作为用户的听写内容，能够基于眼睛跟踪，获取用户正在观看的学习内容的疑难点或着重关注点，根据这些疑难点或着重关注点对应的文本信息生成听写内容，更好地满足用户的听写需求，进而改善用户体验。
[0119] 实施例四
[0120] 请参阅图4，图4是本发明实施例公开的另一种学习设备的结构示意图。其中，图4所示的学习设备是由图3所示的学习设备进行优化得到的，与图3相比较，图4所示的学习设备中，检测单元301可以包括：
[0121] 拍摄子单元3011，用于在识别到用户正在进行观看学习内容时，在预设时间段内连续拍摄若干帧用户头部图像。
[0122] 提取子单元3012，用于从用户头部图像中提取眼睛区域子图。
[0123] 确定子单元3013，用于根据提取的多个眼睛区域子图，确定用户的眼睛在预设时间段内的瞳孔直径以及注视方向。
[0124] 计时子单元3014，用于在注视方向指向学习内容的任一部分内容，且瞳孔直径的扩张系数达到预设系数阈值时，判定用户的眼睛正在对部分内容进行注视，开启计时器进行计时获得计时时长；以及，将计时时长作为用户的眼睛对部分内容的注视时长。
[0125] 作为一种可选的实施方式，检测单元301还可以包括：
[0126] 判断子单元3015，用于在确定子单元3013根据提取的多个眼睛区域子图，确定用户的眼睛在预设时间段内的瞳孔直径以及注视方向之后，判断瞳孔直径是否大于基准瞳孔直径。
[0127] 获取子单元3016，用于在判断子单元3015判断出瞳孔直径大于基准瞳孔直径时，获取瞳孔直径与基准瞳孔直径的差值；以及，将差值除以基准瞳孔直径，获得瞳孔直径的扩张系数，基准瞳孔直径为用户的眼睛在注视点稳定状态下的平均瞳孔直径。
[0128] 作为另一种可选的实施方式，图4所示的学习设备中，检测单元301还可以包括以下未图示的子单元：
[0129] 检测子单元，用于在获取子单元3016获取瞳孔直径与基准瞳孔直径的差值之前，以预设频率采集用户的眼睛在预设时长内的瞳孔直径以及注视方向。
[0130] 设置子单元，用于在预设时长内注视方向与瞳孔直径均无发生变化或变化较小时，判定用户的眼睛达到注视点稳定状态；以及，将预设时长内的平均瞳孔直径设置为基准瞳孔直径，并触发获取子单元3016执行获取瞳孔直径与基准瞳孔直径的差值的步骤。
[0131] 实施该实施方式，通过采集用户的眼睛在注视点稳定状态下的平均瞳孔直径作为基准瞳孔直径，能够提高瞳孔直径的检测精度，进而提高眼睛跟踪的精确度。
[0132] 作为一种可选的实施方式，图4所示的学习设备还可以包括：
[0133] 第一获取单元303，用于在判断子单元3015判断出瞳孔直径不大于基准瞳孔直径时，根据提取的多个眼睛区域子图，获取眼睛特征参数，眼睛特征参数至少包括用户在预设时间段内的眨眼频率以及用户上眼皮与下眼皮之间的平均眼皮间距。
[0134] 判断单元304，用于判断眼睛特征参数是否用于指示眼睛疲劳。
[0135] 提示单元305，用于在判断单元304判断出眼睛特征参数用于指示眼睛疲劳时，发出用于提醒用户眼睛已处于疲劳状态的提醒消息。
[0136] 作为另一种可选的实施方式，上述的第一获取单元303，还用于在判断单元304判断眼睛特征参数是否用于指示眼睛疲劳之前，预先通过深度学习的方式记录用户眼睛处于疲劳状态下的疲劳特征参数，该疲劳特征参数至少包括用户在预设时间段内的疲劳眨眼频率以及用户上眼皮与下眼皮之间的疲劳平均眼皮间距，以获得用于指示眼睛疲劳的预设特征参数。
[0137] 在此基础上，判断单元304可以包括以下未图示的子单元：
[0138] 判断子单元，用于判断眼睛特征参数是否与预设特征参数相匹配。
[0139] 判定子单元，用于在判断子单元判断出眼睛特征参数与预设特征参数相匹配时，判定眼睛特征参数用于指示眼睛疲劳。
[0140] 判定子单元，还用于在判断子单元判断出眼睛特征参数与预设特征参数不匹配时，判定眼睛特征参数不是用于指示眼睛疲劳。
[0141] 实施该实施方式，能够基于深度学习网络的强大计算力，获得准确用于指示眼睛疲劳的预设特征参数，从而提高判断用户是否用眼疲劳的准确性。
[0142] 作为一种可选的实施方式，图4所示的学习设备中，学习内容可以为文字内容，那么图4所示的学习设备还可以包括：
[0143] 确定单元306，用于在识别到用户正在进行观看学习内容时，根据学习内容中句子的长度和/或学习内容的文本类别，确定学习内容的理解难度。
[0144] 第二获取单元307，用于根据用户的历史文字阅读记录，获得用户的文字阅读速度。
[0145] 第三获取单元308，用于根据理解难度和文字阅读速度，获得预设时长阈值。
[0146] 实施该实施方式，通过根据学习内容的句子长度和/或文本类别，确定学习内容的理解难度，还结合用户正常的文字阅读速度，确定出预设时长阈值，能够使得从学习内容中提取出部分内容对应的文本信息作为用户的听写内容的触发条件更为准确，避免对用户注视行为的误判。
[0147] 作为一种可选的实施方式，图4所示的学习设备还可以包括以下未图示的单元：
[0148] 识别单元，用于在生成单元302从学习内容中提取出部分内容对应的文本信息作为用户的听写内容之后，根据提取的多个眼睛区域子图，获得用户的眼睛的目标虹膜特征。
[0149] 其中目标虹膜特征包括左眼虹膜特征和/或右眼虹膜特征。
[0150] 比对单元，用于将目标虹膜特征与预先存储的虹膜特征进行比对。
[0151] 共享单元，用于在比对单元的比对结果为匹配时，判定用户的身份合法；以及，获取用户当前所进入的在线学习群；并且向在线学习群发送听写内容，以共享给群里的群友。
[0152] 相应地，上述的听写控制单元，还用于在线学习群内控制播放听写内容，以辅助在线学习群内所有的群友完成对听写内容的听写。
[0153] 上述的共享单元，还用于获取在线学习群内每一个群友的听写成绩；以及，根据听写成绩的高低顺序对每一个群友进行排名并公布排名。
[0154] 实施该实施方式，通过在根据用户的虹膜特征判定用户的身份合法时，获取用户当前所进入的在线学习群，以及向在线学习群发送听写内容并在学习群内控制播放，以辅助在线学习群内所有的群友完成对听写内容的听写，还根据听写成绩的高低顺序对每一个群友进行排名并公布排名，能够帮助用户与学习群内的群友互动，提高用户听写的乐趣。
[0155] 作为另一种可选的实施方式，图4所示的学习设备还可以包括以下未图示的单元：
[0156] 播报控制单元，用于在听写过程中，播放完毕上述听写内容对应的音频信号中的任一待听写词语的读音时，暂停继续播放该音频信号，并且记录用户根据该任一待听写词语的读音而书写的实际听写词语以及实际听写词语对应的词语书写时长，该词语书写时长至少包括实际听写词语包括的每个字的字书写时长。
[0157] 上述的判断单元304，还用于在识别出实际听写词语与该任一待听写词语相同时，判断实际听写词语包括的任意一个字的字书写时长是否超过预设模型指定的单字书写时长。
[0158] 相应地，播报控制单元，还用于在判断单元304判断出任意一个字的字书写时长未超过预设模型指定的单字书写时长时，播放该音频信号中的下一待听写词语的读音。
[0159] 上述的播报控制单元，还用于在判断单元304判断出任意一个字的字书写时长超过预设模型指定的单字书写时长时，将该任一待听写词语确定为用户的掌握程度低的词语。
[0160] 实施该实施方式，能够在生成听写内容后，播放听写内容对应的音频信号中的任一待听写词语的读音，并且逐一检测用户根据读音而书写的实际听写词语是否正确，以及实际听写词语中任一个字的字书写时长是否超过指定的单字书写时长，能够将书写正确但字书写时长超过指定的单字书写时长的待听写词语确定为用户的掌握程度低的词语并记录下来，以便后续使用这些用户掌握程度较低的词语辅助用户进行听写巩固。
[0161] 与实施图3所示的学习设备相比较，实施图4所示的学习设备，当识别到用户正在进行观看学习内容时，通过在预设时间段内连续拍摄若干帧用户头部图像并从中提取眼睛区域子图，确定用户的眼睛在预设时间段内的瞳孔直径以及注视方向，然后可以判断瞳孔直径是否大于基准瞳孔直径。
[0162] 在一方面，若瞳孔直径大于基准瞳孔直径，且注视方向指向学习内容的任一部分内容，以及瞳孔直径的扩张系数达到预设系数阈值时，判定用户的眼睛正在对部分内容进行注视，开启计时获得用户的注视时长，能够基于瞳孔直径的检测，判断用户是否进行注视，能够提高眼睛跟踪的精确度，从而更加准确获得用户正在观看的学习内容的疑难点或着重关注点。
[0163] 在另一方面，若瞳孔直径不大于基准瞳孔直径，判定用户的眼睛的瞳孔处于收缩状态，通过判断眼睛特征参数是否与用于指示用眼疲劳的预设特征参数相匹配，能够检测用户的学习精神状态，能够在用户用眼疲劳时提醒用户休息。
[0164] 除此之外，还能够通过根据学习内容的句子长度和/或文本类别，确定学习内容的理解难度，还结合用户正常的文字阅读速度，确定出预设时长阈值，能够使得从学习内容中提取出部分内容对应的文本信息作为用户的听写内容的触发条件更为准确，避免对用户注视行为的误判。
[0165] 实施例五
[0166] 请参阅图5，图5是本发明实施例公开的又一种学习设备的结构示意图。如图5所示，该学习设备可以包括：
[0167] 存储有可执行程序代码的存储器501；
[0168] 与存储器501耦合的处理器502；
[0169] 其中，处理器502调用存储器501中存储的可执行程序代码，执行图1～图2任意一种听写内容生成方法。
[0170] 本发明实施例公开一种计算机可读存储介质，其存储计算机程序，其中，该计算机程序使得计算机执行图1～图2任意一种听写内容生成方法。
[0171] 本发明实施例还公开一种计算机程序产品，其中，当计算机程序产品在计算机上运行时，使得计算机执行如以上各方法实施例中的方法的部分或全部步骤。
[0172] 本发明实施例还公开一种应用发布平台，其中，应用发布平台用于发布计算机程序产品，其中，当计算机程序产品在计算机上运行时，使得计算机执行如以上各方法实施例中的方法的部分或全部步骤。
[0173] 应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定特征、结构或特性可以以任意适合的方式结合在一个或多个实施例中。本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本发明所必须的。
[0174] 在本发明的各种实施例中，应理解，上述各过程的序号的大小并不意味着执行顺序的必然先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
[0175] 上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物单元，即可位于一个地方，或者也可以分布到多个网络单元上。可根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
[0176] 另外，在本发明各实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0177] 上述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可获取的存储器中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分，可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干请求用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等，具体可以是计算机设备中的处理器)执行本发明的各个实施例上述方法的部分或全部步骤。
[0178] 在本发明所提供的实施例中，应理解，“与A对应的B”表示B与A相关联，根据A可以确定B。但还应理解，根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其他信息确定B。
[0179] 本领域普通技术人员可以理解上述实施例的各种方法中的部分或全部步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
[0180] 以上对本发明实施例公开的一种听写内容生成方法、学习设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种双路媒体流数据的播放方法及显示设备 | 2020-05-08 | 829 |
| 一种基于全景视频的播放及标注多点即时添加方法 | 2020-05-08 | 920 |
| 视频数据处理方法、装置、计算机设备和存储介质 | 2020-05-08 | 985 |
| 图像处理方法及装置、电子设备和计算机可读存储介质 | 2020-05-08 | 12 |
| 一种多路视频合成的方法及装置 | 2020-05-11 | 908 |
| 一种录像帧率的控制方法及相关装置 | 2020-05-11 | 453 |
| 在经许可的频谱和未经许可的频谱上的并发的无线通信 | 2020-05-08 | 729 |
| 图像预测方法及装置 | 2020-05-08 | 48 |
| 基于仿射预测模式的帧间预测的方法及相关装置 | 2020-05-08 | 243 |
| 图像处理方法、装置、设备及存储介质 | 2020-05-11 | 635 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈