基于儿童专用穿戴智能设备的教育能力支持方法及系统
阅读：594发布：2020-05-13
专利汇可以提供基于儿童专用穿戴智能设备的教育能力支持方法及系统专利检索，专利查询，专利分析的服务。并且本 发明 提供的基于儿童专用穿戴智能设备的教育能 力 支持方法，其包含：接收用户的多模态输入数据；基于多模态输入数据确定教育交互模式，获取用户的技能 水 平级别；调用游戏交互模 块 并通过 云 端 服务器 返回与用户当前技能水平级别对应的问题数据；接收用户针对问题数据给出的多模态回答数据，进一步将多模态回答数据传送至云端服务器进行处理，得到回答结果；由游戏交互模块根据回答结果，反馈技能正向数据，以修正用户的当前技能水平级别。本发明能够实现游戏对教育的正反馈，给儿童用户提供更加便捷的交互服务，提升了用户的使用体验，达到了寓教于乐的目的。，下面是基于儿童专用穿戴智能设备的教育能力支持方法及系统专利的具体信息内容。
1.一种基于儿童专用穿戴智能设备的教育能力支持方法，其特征在于，所述方法包含以下步骤：
接收用户的多模态输入数据；
基于所述多模态输入数据确定教育交互模式，获取用户的技能水平级别；
调用游戏交互模块并通过云端服务器返回与所述用户当前技能水平级别对应的问题数据；
接收用户针对所述问题数据给出的多模态回答数据，进一步将所述多模态回答数据传送至云端服务器进行处理，得到回答结果；
由所述游戏交互模块根据所述回答结果，反馈技能正向数据，以修正用户的当前技能水平级别。
2.如权利要求1所述的方法，其特征在于，所述云端服务器中包含教育支持能力，其包含：中文语音识别能力、英语口语评测能力、语音合成能力以及声波传输通讯能力。
3.如权利要求2所述的方法，其特征在于，在所述教育交互模式下，所述儿童专用穿戴智能设备提供以下至少一项教育交互方式：汉字识读、单词拼写以及英语对话。
4.如权利要求3所述的方法，其特征在于，在所述英语对话交互方式下，所述方法包含以下步骤：
接收用户输入的录音数据，将所述录音数据上传至所述云端服务器中的技能服务器；
所述技能服务器将所述录音数据分发至所述英语口语评测能力；
所述英语口语评测能力对所述录音数据进行分析，得到对应的评测结果，并将所述评测结果返回至所述技能服务器；
所述技能服务器依据所述评测结果确定用户的所述技能水平级别。
5.如权利要求2所述的方法，其特征在于，通过所述游戏交互模块与用户展开交互下，具体包含以下步骤：
所述技能服务器生成所述问题数据，并将所述问题数据转化为对应的音频技能问题数据；
接收所述多模态回答数据，并将所述多模态回答数据上传至所述中文语音识别能力，生成对应的回答结果；
所述技能服务器依据所述回答结果，生成技能正向数据并反馈至所述儿童专用穿戴智能设备。
6.如权利要求1-5中任一项所述的方法，其特征在于，所述方法还包括：
获取当前用户的身份特征信息，对当前用户的用户属性进行判断，确定当前用户的类别，其中，用户的类别包含：儿童用户。
7.一种程序产品，其包含用于执行如权利要求1-6中任一项所述的方法步骤的一系列指令。
8.一种基于儿童专用穿戴智能设备的教育能力支持装置，其特征在于，所述装置包含：
第一模块，其用于接收用户的多模态输入数据；
第二模块，其用于基于所述多模态输入数据确定教育交互模式，获取用户的技能水平级别；
第三模块，其用于调用游戏交互模块并通过云端服务器返回与所述用户当前技能水平级别对应的问题数据；
第四模块，其用于接收用户针对所述问题数据给出的多模态回答数据，进一步将所述多模态回答数据传送至云端服务器进行处理，得到回答结果；
第五模块，其用于由所述游戏交互模块根据所述回答结果，反馈技能正向数据，以修正用户的当前技能水平级别。
9.一种儿童专用穿戴智能设备，其特征在于，用于执行如权利要求1-6中任一项所述的方法步骤的一系列指令。
10.一种基于儿童专用穿戴智能设备的教育能力支持系统，其特征在于，所述系统包含：
如权利要求9所述的儿童专用穿戴智能设备；
云端服务器，其具备语义理解、视觉识别、认知计算以及情感计算，以决策所述儿童专用穿戴智能设备输出多模态数据。
基于儿童专用穿戴智能设备的教育能力支持方法及系统
技术领域
背景技术
[0002] 随着科学技术的不断发展，信息技术、计算机技术以及人工智能技术的引入，对于智能设备的研究已经逐步走出工业领域，逐渐扩展到了医疗、保健、家庭、娱乐以及服务行业等领域。而人们对于智能设备的要求也从简单重复的机械动作提升为具有拟人问答、自主性及与其他智能设备进行交互的设备，人机交互也就成为决定智能设备发展的重要因素。因此，提升智能设备的交互能力，改善智能设备的类人性和智能性，是现在亟需解决的重要问题。
[0003] 因此，本发明提供了一种基于儿童专用穿戴智能设备的教育能力支持方法及系统。
发明内容
[0004] 为解决上述问题，本发明提供了一种基于儿童专用穿戴智能设备的教育能力支持方法，所述方法包含以下步骤：
[0005] 接收用户的多模态输入数据；
[0006] 基于所述多模态输入数据确定教育交互模式，获取用户的技能水平级别；
[0008] 接收用户针对所述问题数据给出的多模态回答数据，进一步将所述多模态回答数据传送至云端服务器进行处理，得到回答结果；
[0009] 由所述游戏交互模块根据所述回答结果，反馈技能正向数据，以修正用户的当前技能水平级别。
[0011] 根据本发明的一个实施例，在所述教育交互模式下，所述儿童专用穿戴智能设备提供以下至少一项教育交互方式：汉字识读、单词拼写以及英语对话。
[0012] 根据本发明的一个实施例，在所述英语对话交互方式下，所述方法包含以下步骤：
[0013] 接收用户输入的录音数据，将所述录音数据上传至所述云端服务器中的技能服务器；
[0014] 所述技能服务器将所述录音数据分发至所述英语口语评测能力；
[0015] 所述英语口语评测能力对所述录音数据进行分析，得到对应的评测结果，并将所述评测结果返回至所述技能服务器；
[0016] 所述技能服务器依据所述评测结果确定用户的所述技能水平级别。
[0017] 根据本发明的一个实施例，通过所述游戏交互模块与用户展开交互下，具体包含以下步骤：
[0018] 所述技能服务器生成所述问题数据，并将所述问题数据转化为对应的音频技能问题数据；
[0019] 接收所述多模态回答数据，并将所述多模态回答数据上传至所述中文语音识别能力，生成对应的回答结果；
[0020] 所述技能服务器依据所述回答结果，生成技能正向数据并反馈至所述儿童专用穿戴智能设备。
[0021] 根据本发明的一个实施例，所述方法还包括：
[0022] 获取当前用户的身份特征信息，对当前用户的用户属性进行判断，确定当前用户的类别，其中，用户的类别包含：儿童用户。
[0023] 根据本发明的另一个方面，还提供了一种程序产品，其包含用于执行如上任一项所述的方法步骤的一系列指令。
[0024] 根据本发明的另一个方面，还提供了一种基于儿童专用穿戴智能设备的教育能力支持装置，所述装置包含：
[0025] 第一模块，其用于接收用户的多模态输入数据；
[0026] 第二模块，其用于基于所述多模态输入数据确定教育交互模式，获取用户的技能水平级别；
[0027] 第三模块，其用于调用游戏交互模块并通过云端服务器返回与所述用户当前技能水平级别对应的问题数据；
[0028] 第四模块，其用于接收用户针对所述问题数据给出的多模态回答数据，进一步将所述多模态回答数据传送至云端服务器进行处理，得到回答结果；
[0029] 第五模块，其用于由所述游戏交互模块根据所述回答结果，反馈技能正向数据，以修正用户的当前技能水平级别。
[0030] 根据本发明的另一个方面，还提供了一种儿童专用穿戴智能设备，用于执行如上任一项所述的方法步骤的一系列指令。
[0031] 根据本发明的另一个方面，还提供了一种基于儿童专用穿戴智能设备的教育能力支持系统，所述系统包含：
[0032] 如上所述的儿童专用穿戴智能设备；
[0034] 本发明提供的基于儿童专用穿戴智能设备的教育能力支持方法及系统提供了一种儿童专用穿戴智能设备，能够接收用户输入的多模态输入数据确定用户的技能水平级别，在游戏交互模块下根据用户的技能水平级别生成相应的问题数据，以根据用户的回答修正用户的技能水平级别。本发明能够实现游戏对教育的正反馈，给儿童用户提供更加便捷的交互服务，提升了用户的使用体验，达到了寓教于乐的目的。
[0035] 本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
[0036] 附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例共同用于解释本发明，并不构成对本发明的限制。在附图中：
[0037] 图1显示了根据本发明的一个实施例的基于儿童专用穿戴智能设备的教育能力支持方法流程图；
[0038] 图2显示了根据本发明的一个实施例的基于儿童专用穿戴智能设备的教育能力支持方法中英语对话交互的流程图；
[0039] 图3显示了根据本发明的一个实施例的基于儿童专用穿戴智能设备的教育能力支持方法中游戏交互模块下交互的流程图；
[0040] 图4显示了根据本发明的一个实施例的基于儿童专用穿戴智能设备的教育能力支持方法中通过客户端进行交互的框图；
[0041] 图5显示了根据本发明的一个实施例的基于儿童专用穿戴智能设备的教育能力支持装置的模块框图；
[0042] 图6显示了根据本发明的一个实施例的基于儿童专用穿戴智能设备的教育能力支持系统的结构框图；
[0043] 图7显示了根据本发明的另一个实施例的基于儿童专用穿戴智能设备的教育能力支持系统的结构框图；
[0044] 图8显示了根据本发明的另一个实施例的基于儿童专用穿戴智能设备的教育能力支持方法流程图；以及
[0045] 图9显示了根据本发明的一个实施例的用户、儿童专用穿戴智能设备以及云端的三方数据流图。
具体实施方式
[0046] 为使本发明的目的、技术方案和优点更加清楚，以下结合附图对本发明实施例作进一步地详细说明。
[0047] 为表述清晰，需要在实施例前进行如下说明：
[0048] 本发明提到的儿童专用穿戴智能设备支持多模态人机交互，具备自然语言理解、视觉感知、语言语音输出、情感表情动作输出等AI能力；可配置社会属性、人格属性、人物技能等，使用户享受智能化及个性化流畅体验。在具体的实施例中，儿童专用穿戴智能设备可以是儿童故事机、台灯、闹钟、智能音箱、儿童AI机器人、儿童手表等。
[0049] 儿童专用穿戴智能设备获取用户的多模态数据，在云端服务器中的能力支持下，对多模态数据进行语义理解、视觉识别、认知计算、情感计算，以完成决策输出的过程。
[0050] 所提到的云端服务器(云端)为提供所述儿童专用穿戴智能设备对用户的交互需求进行语义理解(语言语义理解、动作语义理解、视觉识别、情感计算、认知计算)的处理能力的终端，实现与用户的交互，以决策所述儿童专用穿戴智能设备输出多模态数据。
[0051] 下面结合附图对本发明的各个实施例进行详细描述。
[0052] 图1显示了根据本发明的一个实施例的基于儿童专用穿戴智能设备的教育能力支持方法流程图。
[0053] 如图1，在步骤S101中，接收用户的多模态输入数据。具体来说，儿童专用穿戴智能设备接收用户的多模态输入数据，儿童专用穿戴智能设备中设置有相应的接收装置，多模态输入数据包含语音数据、视频数据、触摸数据、视觉数据等。
[0054] 另外，儿童专用穿戴智能设备可以包含屏幕上的触控交互，儿童专用穿戴智能设备包含平板电脑、智能手表、智能手机、智能电智能机器人等。
[0055] 在步骤S102中，基于多模态输入数据确定教育交互模式，获取用户的技能水平级别。
[0056] 获取用户当前的技能水平级别可根据用户对应的账户存储的当前级别，如用户最初教育分值为0，经过多次评测或教育学习交互，根据获得积分、分值或体力值，从而获得当前用户的技能水平级别。
[0057] 进一步的，云端服务器中包含教育支持能力，其包含，中文语音识别能力、英语口语评测能力、语音合成能力以及声波传输通讯能力。
[0058] 具体来说，中文语音识别能力通过采集用户录音、通过云端识别引擎，输出中文文本；英语口语评测能力基于用户录音文件进行口语发音评测，输出相应的英文识别结果、发音分值和对应的分析结果(比如，元音发音错误)；语音合成能力通过用户输入的待合成文本，将对应的文本通过语音合成算法，输出指定银色、指定语速等属性的可播放音频文件；声波传输通讯能力包含两个主要模块，包含编码模块和解码模块，其中，编码模块负责将对应的文本信息转成指定频率的可播放音频，解码模块负责将接收到的声音波形解码，输出对应的文本信息。
[0059] 优选地，教育交互模式下，儿童专用穿戴智能设备提供至少一项教育交互方式：汉字识读、古诗、三字经、单词拼写以及英语对话。
[0060] 对于不同的教育交互模式下，不同的学习内容可选择不同的技能水平级别确定方式，如，在英语对话交互方式下，为了更为准确地获取当前用户已具备的口语能力，使得用户能够快速获取匹配的口语水平，作为示例地，如图2所示的方式确定用户的技能水平级别：
[0061] 如图2，在步骤S201中，接收用户输入的录音数据，将录音数据上传至云端服务器中的技能服务器。具体的，用户可以通过儿童专用穿戴智能设备上的客户端录制语音数据(例如：I’m fine.)，将语音数据上传至云端服务器。
[0062] 然后，在步骤S202中，技能服务器将录音数据分发至英语口语评测能力。具体来说，技能服务器中包含多种能力，对应于英语口语交互方式，在本实施例中，技能服务器将录音数据分发至口语评测能力。
[0063] 接着，在步骤S203中，英语口语评测能力对录音数据进行分析，得到对应的评测结果，并将评测数据返回至技能服务器。具体来说，口语评测能力基于用户上传的录音数据进行口语发音评测(对“I’m fine.”进行口语发音评测)，识别英文结果、对发音进行评分、生成对应的评测分析结果。
[0064] 最后，在步骤S204中，技能服务器依据评测结果确定用户的技能水平级别。具体来说，针对英语交互方式，可以从韵律性、完整性、准确性、发音方式等方面对用户的录音数据进行评测，生成评测结果确定用户的技能水平级别。
[0065] 如图1，在步骤S103中，调用游戏交互模块并通过云端服务器返回与用户当前技能水平对应的问题数据。具体来说，通过教育交互模式可以学习相关知识，也可以确定用户的技能水平级别，游戏交互模块可以根据用户的技能水平级别来生成问题数据，以游戏的方式进行呈现，使得用户在游戏中对学习到的知识进行进一步的检验和巩固，达到寓教于乐的目的。
[0066] 如图1，在步骤S104中，接收用户针对问题数据给出的多模态回答数据，进一步将多模态回答数据传送至云端服务器进行处理，得到回答结果。具体来说，用户的技能水平级别被定义为初学者时，可以生成与初学者相对应的问题数据(“How are you？”)，然后接收用户针对问题数据返回的多模态回答数据。
[0067] 具体来说，可以通过如图3所示的方式在游戏交互模块下与用户展开交互：
[0068] 在步骤S301中，技能服务器生成问题数据，并将问题数据转化为对应的音频技能问题数据。
[0069] 具体来说，如果用户之前学习过古诗词且用户的古诗词技能水平级别被确定为小学等级，那么技能服务器可以针对小学等级，生成相应的问题数据“白日依山尽的后一句是什么？”，然后，将问题数据转化为音频数据，播放出来，等待用户的回答。
[0070] 在步骤S302中，接收多模态回答数据，并将多模态回答数据上传至中文语音识别能力，生成对应的回答结果。具体来说，可以接收用户的多模态回答数据“不太记得了，可能是疑是地上霜吧”，然后将多模态回答数据上传至云端服务器。
[0071] 在步骤S303中，技能服务器依据回答结果，生成技能正向数据并反馈至儿童专用穿戴智能设备。所述技能正向数据包括：用户回答正确后，云端服务器向所述儿童专用穿戴智能设备中客户端中，该用户账户增加可以用于后续测试的分值或体力值，以对所述用户当前答对题目的交互过程提供奖励，即正向的反馈，该正向反馈使得用户可以对后续的评测或交互活动起到激励促进作用。同时，技能服务器中的中文语音识别能力对多模态回答数据进行中文识别，识别语音数据中包含的中文文本，生成回答结果。
[0072] 如图1，在步骤S105中，由游戏交互模块根据回答结果，反馈技能正向数据，以修正用户的当前技能水平级别。具体来说，在步骤104的基础上，所述正向数据的叠加，反应出用户完全掌握当前教育学习内容，用户有资格及有相应的分值或体力值将可进入到更高阶的学习内容评测或互动中。
[0073] 具体来说，儿童专用穿戴智能设备接收云端传送的多模态回应数据，通过喇叭、显示屏等展示多模态回应数据。
[0074] 根据本发明的一个实施例，获取当前用户的身份特征信息，对当前用户的用户属性进行判断，确定当前用户的类别，其中，用户的类别包含：儿童用户。本发明面向的用户群主要是儿童用户，因此需要确定用户的身份属性。判断用户身份的方式是有很多种，一般来说，可以通过面部识别功能或者指纹识别方式来辨别用户的身份。其他能够判断用户身份的方式也可以运用到本发明中来，本发明不对此做出限制。
[0075] 图4显示了根据本发明的一个实施例的基于儿童专用穿戴智能设备的教育能力支持方法中通过客户端进行交互的框图。
[0076] 如图4，云端服务器中的能力支持包含语音合成、语音识别、口语评测等，还包含教育技能云端逻辑。在儿童专用穿戴智能设备的客户端中包含教育模块和游戏模块，还具备录音功能。
[0077] 儿童专用穿戴智能设备开启后，可以与用户通过视觉、语音、触摸、物理按钮交互方式展开交互。具体来说，用户可以通过手势等肢体动作、语音、触摸智能设备某一特定区域以及按压物理按钮等方式开启与儿童专用穿戴智能设备的交互。
[0078] 当用户通过儿童专用穿戴智能设备进行英文对话学习时，用户可以点击录音按钮，开始录音，在用户松开录音按钮后，录音结束，客户端将录音数据(I’m fine.)上传至云端服务器的语音识别能力。语音识别能力可以对录音文件进行识别，得到识别结果，然后将识别结果返回至客户端。
[0079] 客户端将识别结果上传至云端的教育技能云端逻辑，通过口语评测能力对录音文件和/或识别结果进行评测，得到评测结果(发音分值为60分，满分100分，准确度为80分，满分100分)，通过教育技能云端逻辑返回技能处理结果(确定用户技能水平级别为初学者)。客户端根据云端返回的技能处理结果，调用TTS语音合成能力，合成音频文件，进行播放(例如播放用户的技能水平级别为初学者级别)。
[0080] 在游戏交互中，例如手表游戏，用户进入游戏场景，游戏模块调用教育技能模块，云端服务器根据用户的技能水平级别返回对应的问题数据(白日依山尽的后一句是什么？)，可以通过TTS语音合成能力将待合成文本合成音频数据进行播放。
[0081] 在实施例中，如果问题数据为语文相关的问题数据，则用户录音后，将录音文件(“不太记得了，可能是疑是地上霜吧”)上传至云端的中文语音识别能力，返回中文语音识别结果。技能服务器根据中文文本，判断用户是否回答正确。根据云端服务器返回的结果，调用TTS音频合成接口，播放相应的提示语(“您回答错误，白日依山尽的下一句是黄河入海流”)，对用户的技能水平进行修正。
[0082] 图5显示了根据本发明的一个实施例的基于儿童专用穿戴智能设备的教育能力支持装置的模块框图。
[0083] 如图5所示，教育能力支持装置包含第一模块501、第二模块502、第三模块503、第四模块504以及第五模块505。其中，第一模块501包含获取单元5011。第二模块502包含传输单元5021、评测单元5022以及结果单元5023。第四模块504包含通信单元5041以及回答单元5042。第五模块505包含反馈单元5051。
[0084] 第一模块501用于接收用户的多模态输入数据。其中，获取单元5011用于在儿童专用穿戴智能设备启动后获取用户输入的多模态输入数据。
[0085] 第二模块502用于基于多模态输入数据确定教育交互模式，获取用户的技能水平级别。其中，传输单元5021用于接受用户的录音数据，将录音数据上传至云端服务器中的技能服务器。评测单元5022接收技能服务器分发的录音数据，对录音数据进行分析，得到对应的评测结果。结果单元5023用于根据评测结果确定用户的技能水平级别。
[0086] 第三模块503用于调用游戏交互模块并通过云端服务器返回与用户当前技能水平级别对应的问题数据。
[0087] 第四模块504用于接收用户针对问题数据给出的多模态回答数据，进一步将多模态回答数据传送至云端服务器进行处理，得到回答数据。其中，通信单元5041用于接收用户返回的多模态回答数据。回答单元5042用于根据中文语音识别能力，生成对应的回答结果。
[0088] 第五模块505用于由游戏交互模块根据回答数据，反馈技能正向数据，以修正用户的当前技能水平级别。反馈单元5051用于依据回答结果生成技能正向数据并反馈至儿童专用穿戴智能设备。
[0089] 图6显示了根据本发明的一个实施例的基于儿童专用穿戴智能设备的教育能力支持系统的结构框图。如图6所示，完成多模态交互需要用户601、儿童专用穿戴智能设备602以及云端(云端服务器)603的共同参与。其中，儿童专用穿戴智能设备602包含输入输出装置6021、数据处理单元6022以及接口单元6023。云端603所具备的接口包含语义理解接口6031、视觉识别接口6032、认知计算接口6033以及情感计算接口6034。
[0090] 本发明提供的基于儿童专用穿戴智能设备的教育能力支持系统包含儿童专用穿戴智能设备602以及云端603。儿童专用穿戴智能设备602包括支持视觉、感知、控制等输入输出模块的智能设备，可接入互联网，例如儿童故事机、台灯、闹钟、智能音箱、儿童AI机器人、儿童手表等，具备多模态交互功能，能够接收用户输入的多模态数据，将多模态数据传输至云端进行解析，得到多模态回应数据，在儿童专用穿戴智能设备上输出。
[0091] 儿童专用穿戴智能设备602中的客户端可以装载在安卓系统环境下，儿童专用穿戴智能设备可以是具备4G、甚至5G通信能力的安卓系统儿童手表等，游戏交互模块根据所述回答结果，反馈技能正向数据的过程中，所述安卓系统儿童手表界面可通过IP人物代表用户在游戏界面上过关，而该过程将以用户通过教育学习的过程进行，如答对评测题目，获得技能正向数据，如获得体力值或奖励分值，以进行下一个单元或更高阶的教育交互内容，极大地提升寓教于乐实现程度。
[0092] 云端603具备语义理解、视觉识别、认知计算以及情感计算，以决策儿童专用穿戴智能设备输出多模态数据。
[0093] 输入输出装置6021用于获取输入的多模态数据以及输出需要输出的多模态数据。输入的多模态数据可以是用户601输入的，也可以是周边环境输入的。输入输出装置6021的例子包括用于语音操作的麦克风、喇叭、扫描仪、摄像头、感控设备，如采用可见或不可见波长射线、信号、环境数据等等。可以通过以上提到的输入设备来获取多模态数据。多模态数据可以包含文本、音频、视觉以及感知数据中的一种，也可以包含多种，本发明不对此作出限制。
[0094] 数据处理单元6022用于处理进行多模态交互中产生的数据。所用的处理器可以为数据处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，处理器是终端的控制中心，利用各种接口和线路连接整个终端的各个部分。
[0095] 儿童专用穿戴智能设备602中包含存储器，存储器主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据儿童专用穿戴智能设备602的使用所创建的数据(比如音频数据、浏览记录等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
[0096] 云端603包含语义理解接口6031、视觉识别接口6032、认知计算接口6033以及情感计算接口6034。以上这些接口与儿童专用穿戴智能设备602中的接口单元6023展开通信。并且，云端603还包含与语义理解接口6031对应的语义理解逻辑、与视觉识别接口6032对应的视觉识别逻辑、与认知计算接口6033对应的认知计算逻辑以及与情感计算接口6034对应的情感计算逻辑。
[0097] 如图6所示，各个能力接口分别调用对应的逻辑处理。以下为各个接口的说明：
[0098] 语义理解接口，其接收从接口单元6023转发的特定语音指令，对其进行语音识别以及基于大量语料的自然语言处理。
[0099] 视觉识别接口，可以针对人体、人脸、场景依据计算机视觉算法、深度学习算法等进行视频内容检测、识别、跟踪等。即根据预定的算法对图像进行识别，给出定量的检测结果。具备图像预处理功能、特征提取功能、决策功能和具体应用功能；
[0101] 特征提取功能可以提取出图像中目标的肤色、颜色、纹理、运动和坐标等特征信息；
[0103] 认知计算接口，其接收从接口单元6023转发的多模态数据，认知计算接口6033用以处理多模态数据进行数据采集、识别和学习，以获取用户画像、知识图谱等，以对多模态输出数据进行合理决策。
[0104] 情感计算接口，其接收从接口单元6023转发的多模态数据，利用情感计算逻辑(可以是情绪识别技术)来计算用户当前的情绪状态。情绪识别技术是情感计算的一个重要组成部分，情绪识别研究的内容包括面部表情、语音、行为、文本和生理信号识别等方面，通过以上内容可以判断用户的情绪状态。情绪识别技术可以仅通过视觉情绪识别技术来监控用户的情绪状态，也可以采用视觉情绪识别技术和声音情绪识别技术结合的方式来监控用户的情绪状态，且并不局限于此。
[0105] 情感计算接口是在进行视觉情绪识别时，通过使用图像采集设备收集人类面部表情图像，而后转换成可分析数据，再利用图像处理等技术进行表情情绪分析。理解面部表情，通常需要对表情的微妙变化进行检测，比如脸颊肌肉、嘴部的变化以及挑眉等。
[0106] 此外，本发明提供的基于儿童专用穿戴智能设备的教育能力支持系统还可以配合一种程序产品，其包含用于执行完成基于儿童专用穿戴智能设备的教育能力支持方法步骤的一系列指令。程序产品能够运行计算机指令，计算机指令包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。
[0107] 程序产品可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。
[0109] 图7显示了根据本发明的另一个实施例的基于儿童专用穿戴智能设备的教育能力支持系统的结构框图。完成多模态交互需要用户601、儿童专用穿戴智能设备602以及云端603。其中，儿童专用穿戴智能设备602包含信号采集器件701、显示屏702、信号输出器件703以及中央处理器704。
[0110] 信号采集器件701用于采集用户或外界环境输出的信号。信号采集器件701可以是麦克风等能够采集声音信号的设备，也可以是触摸屏等。显示屏702可以展示用户输入的多模态数据以及输出的多模态回应数据。信号输出器件703用于输出音频数据。信号输出器件703可以是功放和喇叭等能够输出音频数据的设备。中央处理器704可以对多模态交互过程中产生的数据进行处理。
[0111] 根据本发明的一个实施例，儿童专用穿戴智能设备602支持视觉、感知、控制等输入输出模块的智能设备，例如儿童故事机、台灯、闹钟、智能音箱、儿童AI机器人、儿童手表等，具备多模态交互功能，能够接收用户输入的多模态数据，将多模态数据传输至云端进行解析，得到多模态回应数据，在儿童专用穿戴智能设备上输出。
[0112] 图8显示了根据本发明的另一个实施例的基于儿童专用穿戴智能设备的教育能力支持方法流程图。
[0113] 如图8所示，在步骤S801中，儿童专用穿戴智能设备602向云端603发出请求。之后，在步骤S802中，儿童专用穿戴智能设备602一直处于等待云端603回复的状态。在等待的过程中，儿童专用穿戴智能设备602会对返回数据所花费的时间进行计时操作。
[0114] 在步骤S803中，如果长时间未得到返回的应答数据，比如，超过了预定的时间长度5S，则儿童专用穿戴智能设备602会选择进行本地回复，生成本地常用应答数据。然后，在步骤S804中，输出本地常用应答，并调用语音播放设备进行语音播放。
[0115] 图9显示了根据本发明的一个实施例的用户、儿童专用穿戴智能设备以及云端的三方数据流图。
[0116] 为了实现儿童专用穿戴智能设备602与用户601之间的多模态交互，需要用户601、儿童专用穿戴智能设备602以及云端603之间建立起通信连接。这种通信连接应该是实时的、通畅的，能够保证交互不受影响的。
[0117] 为了完成交互，需要具备一些条件或是前提。这些条件或是前提包含，儿童专用穿戴智能设备602中具备客户端，并且儿童专用穿戴智能设备602具备视觉、感知以及控制功能的硬件设施。
[0118] 完成前期准备后，儿童专用穿戴智能设备602开始与用户601展开交互，首先，儿童专用穿戴智能设备602接收用户输入的多模态输入数据。多模态输入数据可以是语音数据、视觉数据、触觉数据，还可以是用户按下物理按钮。儿童专用穿戴智能设备602中配置有接收多模态输入数据的相应设备，用来接收用户601发送的多模态输入数据。此时，展开通信的两方是儿童专用穿戴智能设备602与用户601，数据传递的方向是从用户601传向儿童专用穿戴智能设备602。
[0119] 然后，儿童专用穿戴智能设备602向云端603传输多模态输入数据。通过多模态输入数据确定教育交互模式，并获取用户的技能水平级别。多模态输入数据中可以包含多种形式的数据，例如，多模态输入数据中可以包含文本数据、语音数据、感知数据以及动作数据等。此时，展开数据传递的两方是儿童专用穿戴智能设备602以及云端603，数据传递的方向是从儿童专用穿戴智能设备602传向云端603。
[0120] 接着，云端603向儿童专用穿戴智能设备602返回问题数据。云端603跟据用户当前技能水平级别返回对应的问题数据。此时，展开通信的两方是云端603以及儿童专用穿戴智能设备602，数据传递的方向是从云端603传向儿童专用穿戴智能设备602。
[0121] 然后，儿童专用穿戴智能设备602将问题数据返回至用户601，等待接收用户返回的回答数据。
[0122] 最后，当儿童专用穿戴智能设备602向云端603返回回答数据，云端603生成技能正向数据，儿童专用穿戴智能设备602向用户601输出技能正向数据，以修正用户的技能水平数据。
[0123] 综上，本发明提供的基于儿童专用穿戴智能设备的教育能力支持方法及系统提供了一种儿童专用穿戴智能设备，能够接收用户输入的多模态输入数据确定用户的技能水平级别，在游戏交互模块下根据用户的技能水平级别生成相应的问题数据，以根据用户的回答修正用户的技能水平级别。本发明能够实现游戏对教育的正反馈，给儿童用户提供更加便捷的交互服务，提升了用户的使用体验，达到了寓教于乐的目的。
[0124] 应该理解的是，本发明所公开的实施例不限于这里所公开的特定结构、处理步骤或材料，而应当延伸到相关领域的普通技术人员所理解的这些特征的等同替代。还应当理解的是，在此使用的术语仅用于描述特定实施例的目的，而并不意味着限制。
[0125] 说明书中提到的“一个实施例”或“实施例”意指结合实施例描述的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，说明书通篇各个地方出现的短语“一个实施例”或“实施例”并不一定均指同一个实施例。
[0126] 虽然本发明所公开的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所公开的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 语音合成设备、语音合成方法及其存储介质 | 2020-05-08 | 324 |
| 音素时长预测建模方法及音素时长预测方法 | 2020-05-12 | 326 |
| 数据传输方法和装置 | 2020-05-12 | 609 |
| 一种说话人声音转换方法及装置 | 2020-05-13 | 801 |
| 信息管理系统和信息管理方法 | 2020-05-15 | 64 |
| 语音合成方法及装置 | 2020-05-15 | 236 |
| 一种基于虚拟现实技术的自闭症训练系统、方法及装置 | 2020-05-11 | 63 |
| 内容处理方法、装置、计算机设备及存储介质 | 2020-05-11 | 306 |
| 室外智能语音交互方法、装置和系统 | 2020-05-15 | 650 |
| 语音合成系统的评测方法和系统 | 2020-05-13 | 322 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
语音合成程序热门专利
QQ群二维码
意见反馈
意见反馈