首页 / 技术领域 / 动作捕捉 / 一种基于动作捕捉的互动式幼儿教育系统及方法

一种基于动作捕捉的互动式幼儿教育系统及方法

热词 幼儿 心智 教育 反馈 置信度 置信 机器人 标签 交互 反馈信息
专利类型 发明公开 法律事件 实质审查;
专利有效性 实质审查 当前状态 实质审查
申请号 CN202510210369.3 申请日 2025-02-25
公开(公告)号 CN119992889A 公开(公告)日 2025-05-13
申请人 济宁职业技术学院; 申请人类型 学校
发明人 贾淑玲; 杨洪续; 第一发明人 贾淑玲
权利人 济宁职业技术学院 权利人类型 学校
当前权利人 济宁职业技术学院 当前权利人类型 学校
省份 当前专利权人所在省份:山东省 城市 当前专利权人所在城市:山东省济宁市
具体地址 当前专利权人所在详细地址:山东省济宁市任城区金宇路3号 邮编 当前专利权人邮编:272000
主IPC国际分类 G09B5/00 所有IPC国际分类 G09B5/00G09B5/08G09B5/04G06Q50/20
专利引用数量 0 专利被引用数量 0
专利权利要求数量 8 专利文献类型 A
专利代理机构 青岛致嘉知识产权代理事务所 专利代理人 余嘉琪;
摘要 本 申请 涉及幼儿学习教育技术领域,尤其涉及一种基于 动作捕捉 的互动式幼儿教育系统及方法,从幼教 云 平台 服务器 访问 预设周期内多个预设时刻的幼儿反馈动作信息和交互 机器人 教育指令信息,对多个预设时刻的幼儿反馈动作信息和交互机器人教育指令信息分别执行类型对应标签分配以获取幼儿反馈信息类型对应标签序列和交互机器人教育行为类型对应标签序列;对幼儿反馈信息类型对应标签序列和交互机器人教育行为类型对应标签序列执行类型反馈交互特征获得以获取幼儿心智适配 置信度 矩阵;通过幼儿心智适配置信度矩阵,确定幼儿心智适配发展的评价记录。本 发明 为用户提供有针对性的学习内容,关注非智 力 因素,重视对幼儿的适配性教育是否合理等问题。
权利要求

1.一种基于动作捕捉的互动式幼儿教育系统,其特征在于,包括:
幼教平台数据访问单元,用于从幼教云平台服务器访问预设周期内多个预设时刻的幼儿反馈动作信息和交互机器人教育指令信息,其中,所述幼儿反馈动作信息包括幼儿的视线、面部表情、上肢动作、下肢动作、声音特征和交互反馈,所述交互机器人教育指令信息包括语音教育指令、动作教育指令以及模仿教育指令;
连续动作信息对应标签分配单元,用于对所述多个预设时刻的幼儿反馈动作信息和交互机器人教育指令信息分别执行类型对应标签分配以获取幼儿反馈信息类型对应标签序列和交互机器人教育行为类型对应标签序列;
类型反馈交互单元,用于对所述幼儿反馈信息类型对应标签序列和所述交互机器人教育行为类型对应标签序列执行类型反馈交互特征获得以获取幼儿心智适配置信度矩阵;
心智发展评价单元,用于通过所述幼儿心智适配置信度矩阵,确定幼儿心智适配发展的评价记录;
其中,所述心智发展评价单元,包括:
修正单元,用于对所述幼儿心智适配置信度矩阵执行通过数据传播广度的时空依赖性限制以获取修正幼儿心智适配置信度矩阵;
评价记录输出单元,用于将所述幼儿心智适配置信度矩阵依据通过分类器的心智发展评价器以获取所述评价记录,所述评价记录用于说明是否向监护人传输心智发展提醒。
2.如权利要求1所述的基于动作捕捉的互动式幼儿教育系统,其特征在于,所述连续动作信息对应标签分配单元,包括:
幼儿反馈信息类型评价单元,用于将所述多个预设时刻的幼儿反馈动作信息按照时间方面和场景方面排列为幼儿反馈信息输入元组后依据通过深度学习模型的幼儿反馈信息类型对应标签分配器以获取所述幼儿反馈信息类型对应标签序列;
交互机器人教育行为类型评价单元,用于将多个预设时刻的交互机器人教育指令信息按照时间方面和场景方面排列为交互机器人教育行为输入元组后依据通过深度学习模型的教育行为类型对应标签分配器以获取所述交互机器人教育行为类型对应标签序列。
3.如权利要求2所述的基于动作捕捉的互动式幼儿教育系统,其特征在于,所述类型反馈交互单元,包括:
行为序列标准化处理单元,用于对所述幼儿反馈信息类型对应标签序列和所述交互机器人教育行为类型对应标签序列执行行为序列关联调整以获取关联后幼儿反馈信息类型对应标签序列和关联后交互机器人教育行为类型对应标签序列;
反馈性预测单元,用于计算所述关联后幼儿反馈信息类型对应标签序列相对于所述关联后交互机器人教育行为类型对应标签序列的反馈性预测以获取所述幼儿心智适配置信度矩阵。
4.如权利要求3所述的基于动作捕捉的互动式幼儿教育系统,其特征在于,所述行为序列标准化处理单元,用于:
将所述幼儿反馈信息类型对应标签序列和所述交互机器人教育行为类型对应标签序列依据通过全连接层的共空间嵌入关联器以获取所述关联后幼儿反馈信息类型对应标签序列和所述关联后交互机器人教育行为类型对应标签序列。
5.如权利要求4所述的基于动作捕捉的互动式幼儿教育系统,其特征在于,所述反馈性预测单元,用于:
将所述关联后幼儿反馈信息类型对应标签序列和所述关联后交互机器人教育行为类型对应标签序列的逆序列相乘以获取所述幼儿心智适配置信度矩阵。
6.如权利要求5所述的基于动作捕捉的互动式幼儿教育系统,其特征在于,所述修正单元,用于:
计算由所述幼儿心智适配置信度矩阵的所有位置节点值组成的节点组的方差以获取所述幼儿心智适配置信度矩阵的节点值方差;
对所述幼儿心智适配置信度矩阵的各个位置的节点值计算绝对值的平方再执行似然运算以获取似然匹配幼儿心智适配置信度矩阵;
将所述似然匹配幼儿心智适配置信度矩阵的所有节点值执行累加求和以获取所述似然匹配幼儿心智适配置信度矩阵的加和值;
将所述似然匹配幼儿心智适配置信度矩阵的加和值除以两倍的所述幼儿心智适配置信度矩阵的节点值方差再乘以所述幼儿心智适配置信度矩阵的各个位置的节点值以获取所述修正幼儿心智适配置信度矩阵。
7.一种基于动作捕捉的互动式幼儿教育方法,其特征在于,包括:
从幼教云平台服务器访问预设周期内多个预设时刻的幼儿反馈动作信息和交互机器人教育指令信息,其中,所述幼儿反馈动作信息包括幼儿的视线、面部表情、上肢动作、下肢动作、声音特征和交互反馈,所述交互机器人教育指令信息包括语音教育指令、动作教育指令以及模仿教育指令;
对所述多个预设时刻的幼儿反馈动作信息和交互机器人教育指令信息分别执行类型对应标签分配以获取幼儿反馈信息类型对应标签序列和交互机器人教育行为类型对应标签序列;
对所述幼儿反馈信息类型对应标签序列和所述交互机器人教育行为类型对应标签序列执行类型反馈交互特征获得以获取幼儿心智适配置信度矩阵;
通过所述幼儿心智适配置信度矩阵,确定幼儿心智适配发展的评价记录;
其中,通过所述幼儿心智适配置信度矩阵,确定幼儿心智适配发展的评价记录,包括:
对所述幼儿心智适配置信度矩阵执行通过数据传播广度的时空依赖性限制以获取修正幼儿心智适配置信度矩阵;
将所述幼儿心智适配置信度矩阵依据通过分类器的心智发展评价器以获取所述评价记录,所述评价记录用于说明是否向监护人传输心智发展提醒。
8.如权利要求7所述的基于动作捕捉的互动式幼儿教育方法,其特征在于,对所述多个预设时刻的幼儿反馈动作信息和交互机器人教育指令信息分别执行类型对应标签分配以获取幼儿反馈信息类型对应标签序列和交互机器人教育行为类型对应标签序列,包括:
将所述多个预设时刻的幼儿反馈动作信息按照时间方面和场景方面排列为幼儿反馈信息输入元组后依据通过深度学习模型的幼儿反馈信息类型对应标签分配器以获取所述幼儿反馈信息类型对应标签序列;
将多个预设时刻的交互机器人教育指令信息按照时间方面和场景方面排列为交互机器人教育行为输入元组后依据通过深度学习模型的教育行为类型对应标签分配器以获取所述交互机器人教育行为类型对应标签序列。

说明书全文

一种基于动作捕捉的互动式幼儿教育系统及方法

技术领域

[0001] 本申请涉及幼儿学习教育技术领域,尤其涉及一种基于动作捕捉的互动式幼儿教育系统及方法。

背景技术

[0002] 幼教评价的作用主要体现在以下几个方面:首先,它能够为幼教决策提供依据,帮助幼教管理者了解幼教活动的效果和质量,从而做出更合理的决策。其次,幼教评价能够促进幼教机器人的专业发展,通过评价结果,幼教机器人可以了解自己的教学效果,进而调整教学方法和内容。再次,幼教评价对于幼儿来说,可以作为学习成果的反馈,帮助他们认识到自己的长处和需要改进的地方。最后,幼教评价还能增强幼教的透明度和公众对幼教质量的信任。
[0003] 目前的儿童机器人多是简单地将课程内容存放于端,在需要调用时,利用数据处理让机器人通过语音播放课程内容。同时,还有很多儿童机器人集中于为儿童的娱乐性活动,播放内容简单,不能为用户提供有针对性的学习内容,忽视非智因素,传统的评价方式往往只关注幼儿的知识掌握程度,而不够重视对幼儿的适配性教育是否合理等问题。发明内容
[0004] 为实现上述目的,本申请提供如下技术方案:
[0005] 根据本发明第一方面,本发明请求保护一种基于动作捕捉的互动式幼儿教育系统,包括:
[0006] 幼教云平台数据访问单元,用于从幼教云平台服务器访问预设周期内多个预设时刻的幼儿反馈动作信息和交互机器人教育指令信息,其中,所述幼儿反馈动作信息包括幼儿的视线、面部表情、上肢动作、下肢动作、声音特征和交互反馈,所述交互机器人教育指令信息包括语音教育指令、动作教育指令以及模仿教育指令;
[0007] 连续动作信息对应标签分配单元,用于对所述多个预设时刻的幼儿反馈动作信息和交互机器人教育指令信息分别执行类型对应标签分配以获取幼儿反馈信息类型对应标签序列和交互机器人教育行为类型对应标签序列;
[0008] 类型反馈交互单元,用于对所述幼儿反馈信息类型对应标签序列和所述交互机器人教育行为类型对应标签序列执行类型反馈交互特征获得以获取幼儿心智适配置信度矩阵;
[0009] 心智发展评价单元,用于通过所述幼儿心智适配置信度矩阵,确定幼儿心智适配发展的评价记录;
[0010] 其中,所述心智发展评价单元,包括:
[0011] 修正单元,用于对所述幼儿心智适配置信度矩阵执行通过数据传播广度的时空依赖性限制以获取修正幼儿心智适配置信度矩阵;
[0012] 评价记录输出单元,用于将所述幼儿心智适配置信度矩阵依据通过分类器的心智发展评价器以获取所述评价记录,所述评价记录用于说明是否向监护人传输心智发展提醒。
[0013] 进一步地,所述连续动作信息对应标签分配单元,包括:
[0014] 幼儿反馈信息类型评价单元,用于将所述多个预设时刻的幼儿反馈动作信息按照时间方面和场景方面排列为幼儿反馈信息输入元组后依据通过深度学习模型的幼儿反馈信息类型对应标签分配器以获取所述幼儿反馈信息类型对应标签序列;
[0015] 交互机器人教育行为类型评价单元,用于将多个预设时刻的交互机器人教育指令信息按照时间方面和场景方面排列为交互机器人教育行为输入元组后依据通过深度学习模型的教育行为类型对应标签分配器以获取所述交互机器人教育行为类型对应标签序列。
[0016] 进一步地,所述类型反馈交互单元,包括:
[0017] 行为序列标准化处理单元,用于对所述幼儿反馈信息类型对应标签序列和所述交互机器人教育行为类型对应标签序列执行行为序列关联调整以获取关联后幼儿反馈信息类型对应标签序列和关联后交互机器人教育行为类型对应标签序列;
[0018] 反馈性预测单元,用于计算所述关联后幼儿反馈信息类型对应标签序列相对于所述关联后交互机器人教育行为类型对应标签序列的反馈性预测以获取所述幼儿心智适配置信度矩阵。
[0019] 进一步地,所述行为序列标准化处理单元,用于:
[0020] 将所述幼儿反馈信息类型对应标签序列和所述交互机器人教育行为类型对应标签序列依据通过全连接层的共空间嵌入关联器以获取所述关联后幼儿反馈信息类型对应标签序列和所述关联后交互机器人教育行为类型对应标签序列。
[0021] 进一步地,所述反馈性预测单元,用于:
[0022] 将所述关联后幼儿反馈信息类型对应标签序列和所述关联后交互机器人教育行为类型对应标签序列的逆序列相乘以获取所述幼儿心智适配置信度矩阵。
[0023] 进一步地,所述修正单元,用于:
[0024] 计算由所述幼儿心智适配置信度矩阵的所有位置节点值组成的节点组的方差以获取所述幼儿心智适配置信度矩阵的节点值方差;
[0025] 对所述幼儿心智适配置信度矩阵的各个位置的节点值计算绝对值的平方再执行似然运算以获取似然匹配幼儿心智适配置信度矩阵;
[0026] 将所述似然匹配幼儿心智适配置信度矩阵的所有节点值执行累加求和以获取所述似然匹配幼儿心智适配置信度矩阵的加和值;
[0027] 将所述似然匹配幼儿心智适配置信度矩阵的加和值除以两倍的所述幼儿心智适配置信度矩阵的节点值方差再乘以所述幼儿心智适配置信度矩阵的各个位置的节点值以获取所述修正幼儿心智适配置信度矩阵。
[0028] 根据本发明第二方面,本发明请求保护一种基于动作捕捉的互动式幼儿教育方法,包括:
[0029] 从幼教云平台服务器访问预设周期内多个预设时刻的幼儿反馈动作信息和交互机器人教育指令信息,其中,所述幼儿反馈动作信息包括幼儿的视线、面部表情、上肢动作、下肢动作、声音特征和交互反馈,所述交互机器人教育指令信息包括语音教育指令、动作教育指令以及模仿教育指令;
[0030] 对所述多个预设时刻的幼儿反馈动作信息和交互机器人教育指令信息分别执行类型对应标签分配以获取幼儿反馈信息类型对应标签序列和交互机器人教育行为类型对应标签序列;
[0031] 对所述幼儿反馈信息类型对应标签序列和所述交互机器人教育行为类型对应标签序列执行类型反馈交互特征获得以获取幼儿心智适配置信度矩阵;
[0032] 通过所述幼儿心智适配置信度矩阵,确定幼儿心智适配发展的评价记录;
[0033] 其中,通过所述幼儿心智适配置信度矩阵,确定幼儿心智适配发展的评价记录,包括:
[0034] 对所述幼儿心智适配置信度矩阵执行通过数据传播广度的时空依赖性限制以获取修正幼儿心智适配置信度矩阵;
[0035] 将所述幼儿心智适配置信度矩阵依据通过分类器的心智发展评价器以获取所述评价记录,所述评价记录用于说明是否向监护人传输心智发展提醒。
[0036] 进一步地,对所述多个预设时刻的幼儿反馈动作信息和交互机器人教育指令信息分别执行类型对应标签分配以获取幼儿反馈信息类型对应标签序列和交互机器人教育行为类型对应标签序列,包括:
[0037] 将所述多个预设时刻的幼儿反馈动作信息按照时间方面和场景方面排列为幼儿反馈信息输入元组后依据通过深度学习模型的幼儿反馈信息类型对应标签分配器以获取所述幼儿反馈信息类型对应标签序列;
[0038] 将多个预设时刻的交互机器人教育指令信息按照时间方面和场景方面排列为交互机器人教育行为输入元组后依据通过深度学习模型的教育行为类型对应标签分配器以获取所述交互机器人教育行为类型对应标签序列。
[0039] 本申请所涉及的一种基于动作捕捉的互动式幼儿教育系统及方法,从幼教云平台服务器访问预设周期内多个预设时刻的幼儿反馈动作信息和交互机器人教育指令信息,对多个预设时刻的幼儿反馈动作信息和交互机器人教育指令信息分别执行类型对应标签分配以获取幼儿反馈信息类型对应标签序列和交互机器人教育行为类型对应标签序列;对幼儿反馈信息类型对应标签序列和交互机器人教育行为类型对应标签序列执行类型反馈交互特征获得以获取幼儿心智适配置信度矩阵;通过幼儿心智适配置信度矩阵,确定幼儿心智适配发展的评价记录。本发明为用户提供有针对性的学习内容,关注非智力因素,重视对幼儿的适配性教育是否合理等问题。附图说明
[0040] 图1为本申请实施例所请求保护的一种基于动作捕捉的互动式幼儿教育系统的结构框图
[0041] 图2为本申请实施例所请求保护的一种基于动作捕捉的互动式幼儿教育系统的第二结构框图;
[0042] 图3为本申请实施例所请求保护的一种基于动作捕捉的互动式幼儿教育系统的第三结构框图;
[0043] 图4为本申请实施例所请求保护的一种基于动作捕捉的互动式幼儿教育系统的第四结构框图;
[0044] 图5为本申请实施例所请求保护的一种基于动作捕捉的互动式幼儿教育方法的工作流程图

具体实施方式

[0045] 下面将结合本申请实施例中的附图,对本申请实施例中的技术方案执行清楚、完整地描述,显然,所描述的实施例仅是本申请的一部分实施例,而不是全部的实施例。通过本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
[0046] 图1为根据本申请实施例的基于动作捕捉的互动式幼儿教育系统的框图。如图1所示,根据本申请实施例的基于动作捕捉的互动式幼儿教育系统,包括:幼教云平台数据访问单元110,用于从幼教云平台服务器访问预设周期内多个预设时刻的幼儿反馈动作信息和交互机器人教育指令信息,其中,所述幼儿反馈动作信息包括幼儿的视线、面部表情、上肢动作、下肢动作、声音特征和交互反馈,所述交互机器人教育指令信息包括语音教育指令、动作教育指令以及模仿教育指令;连续动作信息对应标签分配单元120,用于对所述多个预设时刻的幼儿反馈动作信息和交互机器人教育指令信息分别执行类型对应标签分配以获取幼儿反馈信息类型对应标签序列和交互机器人教育行为类型对应标签序列;类型反馈交互单元130,用于对所述幼儿反馈信息类型对应标签序列和所述交互机器人教育行为类型对应标签序列执行类型反馈交互特征获得以获取幼儿心智适配置信度矩阵;心智发展评价单元140,用于通过所述幼儿心智适配置信度矩阵,确定幼儿心智适配发展的评价记录。
[0047] 由于幼教云平台服务器需要与各种外部设备执行交互,因此具有合理着被恶意攻击者利用漏洞执行远程操控或篡改幼儿信息的发展,进而可能导致幼儿出现故障或事故。针对上述技术问题,本申请的技术构思为采用通过深度学习的人工智能技术对交互机器人的教育指令信息和幼儿的反馈动作信息执行数据评价,获得出交互机器人的教育行为特征以及幼儿的反馈信息特征,并通过两者之间的类型反馈性交互特征来表征幼儿心智适配的可靠性,从而智能判断幼儿是否具有合理心智发展,并提供相应的发展提醒。这样,可以帮助监护人及时发现潜在的心智隐患,从而及时采取相应措施以确保幼儿反馈的心智性。
[0048] 在上述基于动作捕捉的互动式幼儿教育系统中,所述幼教云平台数据访问单元110,用于从幼教云平台服务器访问预设周期内多个预设时刻的幼儿反馈动作信息和交互机器人教育指令信息,其中,所述幼儿反馈动作信息包括幼儿的视线、面部表情、上肢动作、下肢动作、声音特征和交互反馈,所述交互机器人教育指令信息包括语音教育指令、动作教育指令以及模仿教育指令。应可以理解,幼儿的视线、面部表情和上肢动作等数据直接反映了幼儿的动力性能和反馈信息;而交互机器人的语音教育指令、动作教育指令和模仿教育指令则反映了交互机器人的操作意图,所述幼儿反馈动作信息和所述交互机器人教育指令信息共同构成了幼儿反馈和心智适配的完整信息。在本申请的技术方案中,依据获取预设周期内多个预设时刻的幼儿反馈动作信息和交互机器人教育指令信息,能够全面反映幼儿在不同时刻的实际运行状况以及交互机器人的操作行为。进而,可以利用人工智能技术来评价幼儿和教育行为随时间变化的动态特性,捕捉幼儿和教育行为之间的动态对应,从中识别出异常或不一致的行为模式,从而判断幼儿是否具有合理潜在的心智发展。这种通过类型数据的评价方法,能够有效为后续的心智发展评价提供可靠的数据基础
[0049] 在上述基于动作捕捉的互动式幼儿教育系统中,所述连续动作信息对应标签分配单元120,用于对所述多个预设时刻的幼儿反馈动作信息和交互机器人教育指令信息分别执行类型对应标签分配以获取幼儿反馈信息类型对应标签序列和交互机器人教育行为类型对应标签序列。其中,图2为根据本申请实施例的基于动作捕捉的互动式幼儿教育系统中连续动作信息对应标签分配单元的框图。如图2所示,所述连续动作信息对应标签分配单元120,包括:幼儿反馈信息类型评价单元121,用于将所述多个预设时刻的幼儿反馈动作信息按照时间方面和场景方面排列为幼儿反馈信息输入元组后依据通过深度学习模型的幼儿反馈信息类型对应标签分配器以获取所述幼儿反馈信息类型对应标签序列;交互机器人教育行为类型评价单元122,用于将多个预设时刻的交互机器人教育指令信息按照时间方面和场景方面排列为交互机器人教育行为输入元组后依据通过深度学习模型的教育行为类型对应标签分配器以获取所述交互机器人教育行为类型对应标签序列。
[0050] 具体地,所述幼儿反馈信息类型评价单元121,用于将所述多个预设时刻的幼儿反馈动作信息按照时间方面和场景方面排列为幼儿反馈信息输入元组后依据通过深度学习模型的幼儿反馈信息类型对应标签分配器以获取所述幼儿反馈信息类型对应标签序列。应可以理解,考虑到幼儿反馈动作信息包含了多个参数(如视线、面部表情、上肢动作等),而这些参数在不同时刻呈现出不同的数值变化。也就是说,所述幼儿反馈动作信息中的各个参数在时间方面上具有合理着一定的类型变化对应关系。通过此,在本申请的技术方案中,为了有效获得出幼儿反馈动作信息中的类型对应标签,采用了通过深度学习模型的类型评价技术对幼儿反馈动作信息执行评价处理。具体来说,首先,将所述多个预设时刻的幼儿反馈动作信息按照时间方面和场景方面执行排列,以形成一个二维的幼儿反馈信息输入元组。这样,幼儿反馈信息输入元组的每一行对应一个时刻,每一列对应一个参数,从而整合了幼儿反馈动作信息的类型分布信息,保留了各个参数之间的对应关系。然后,将所述幼儿反馈信息输入元组输入到通过深度学习模型的幼儿反馈信息类型对应标签分配器中,所述幼儿反馈信息类型对应标签分配器通过深度学习强大的特征获得能力,依据卷积运算、池化操作等技术对所述幼儿反馈信息输入元组执行局部特征学习和空间关系获得,以捕捉到所述幼儿反馈动作信息中各个参数之间的类型依赖关系,挖掘出幼儿反馈信息随时间变化的动态特性,充分反映出幼儿反馈信息的内在规律和模式,为后续的可靠性评价和发展评价提供有效的数据支持。
[0051] 具体地,所述交互机器人教育行为类型评价单元122,用于将多个预设时刻的交互机器人教育指令信息按照时间方面和场景方面排列为交互机器人教育行为输入元组后依据通过深度学习模型的教育行为类型对应标签分配器以获取所述交互机器人教育行为类型对应标签序列。应可以理解,交互机器人的教育指令信息具有明显的类型性,即交互机器人的操作行为随时间而连续变化。因此,类似地,将多个预设时刻的交互机器人教育指令信息按照时间方面和场景方面排列为元组形式,以保持各个交互机器人教育行为参数在时间上的连续性和依赖性。然后使用深度学习对其执行类型依赖特征挖掘,以综合考虑这些参数之间的相互影响和类型对应关系,从而获取更全面的教育行为特征,以充分理解交互机器人教育行为随时间变化的动态特性。
[0052] 在上述基于动作捕捉的互动式幼儿教育系统中,所述类型反馈交互单元130,用于对所述幼儿反馈信息类型对应标签序列和所述交互机器人教育行为类型对应标签序列执行类型反馈交互特征获得以获取幼儿心智适配置信度矩阵。应可以理解,所述幼儿反馈信息类型对应标签序列反映了幼儿自身的性能表现和运行信息,而所述交互机器人教育行为类型对应标签序列则揭示了交互机器人在教育过程中的操作特点和行为模式。为了全面评价幼儿心智适配的可靠性,需要综合考虑交互机器人的操作行为对于幼儿反馈信息的影响作用。因此,在本申请的技术方案中,进一步对所述幼儿反馈信息类型对应标签序列和所述交互机器人教育行为类型对应标签序列执行类型交互评价,以捕捉两者之间的类型反馈交互特征。
[0053] 图3为根据本申请实施例的基于动作捕捉的互动式幼儿教育系统中类型反馈交互单元的框图。如图3所示,所述类型反馈交互单元130,包括:行为序列标准化处理单元131,用于对所述幼儿反馈信息类型对应标签序列和所述交互机器人教育行为类型对应标签序列执行行为序列关联调整以获取关联后幼儿反馈信息类型对应标签序列和关联后交互机器人教育行为类型对应标签序列;反馈性预测单元132,用于计算所述关联后幼儿反馈信息类型对应标签序列相对于所述关联后交互机器人教育行为类型对应标签序列的反馈性预测以获取所述幼儿心智适配置信度矩阵。
[0054] 具体地,所述行为序列标准化处理单元131,用于对所述幼儿反馈信息类型对应标签序列和所述交互机器人教育行为类型对应标签序列执行行为序列关联调整以获取关联后幼儿反馈信息类型对应标签序列和关联后交互机器人教育行为类型对应标签序列。应可以理解,考虑到所述幼儿反馈动作信息和所述交互机器人教育指令信息来自不同的传感器和数据源,具有不同的数据格式和特征方面,导致二者在行为序列上具有合理差异,无法直接执行反馈性交互评价。因此,需要进一步对所述幼儿反馈信息类型对应标签序列和所述交互机器人教育行为类型对应标签序列执行关联调整,以消除特征方面差异,使得两者能够在同一行为序列中执行有效的交互评价。在本申请的一个具体示例中,对所述幼儿反馈信息类型对应标签序列和所述交互机器人教育行为类型对应标签序列执行行为序列关联调整的处理方式是将所述幼儿反馈信息类型对应标签序列和所述交互机器人教育行为类型对应标签序列依据通过全连接层的共空间嵌入关联器以获取所述关联后幼儿反馈信息类型对应标签序列和所述关联后交互机器人教育行为类型对应标签序列。具体地,全连接层依据对所述幼儿反馈信息类型对应标签序列和所述交互机器人教育行为类型对应标签序列执行线性匹配,以将二者关联到相同的共享空间,消除特征方面差异,使得二者可以在同一行为序列中执行交互评价,为进一步类型交互反馈评价奠定基础。
[0055] 具体地,所述反馈性预测单元132,用于计算所述关联后幼儿反馈信息类型对应标签序列相对于所述关联后交互机器人教育行为类型对应标签序列的反馈性预测以获取所述幼儿心智适配置信度矩阵。应可以理解,在幼儿心智适配系统中,交互机器人的教育行为与幼儿的反馈信息之间具有合理着紧密的类型交互关系,依据计算所述关联后幼儿反馈信息类型对应标签序列相对于所述关联后交互机器人教育行为类型对应标签序列的反馈性预测,可以进一步揭示交互机器人教育行为对幼儿反馈信息的影响,以及幼儿反馈信息对交互机器人教育行为的反馈情况,从而反映出幼儿在不同教育行为下的心智适配性能。例如,如果幼儿视线突然大幅度不集中而动作教育指令没有相应变化,则可能意味着幼儿具有合理被非自然心智适配的发展。依据这种方式来构建幼儿心智适配置信度矩阵,可以充分挖掘出幼儿和交互机器人之间的相互作用关系,为后续的幼儿心智适配心智发展评价提供重要依据。在本申请的一个具体示例中,所述反馈性预测单元132,用于:将所述关联后幼儿反馈信息类型对应标签序列和所述关联后交互机器人教育行为类型对应标签序列的逆序列相乘以获取所述幼儿心智适配置信度矩阵。
[0056] 在上述基于动作捕捉的互动式幼儿教育系统中,所述心智发展评价单元140,用于通过所述幼儿心智适配置信度矩阵,确定幼儿心智适配发展的评价记录。其中,图4为根据本申请实施例的基于动作捕捉的互动式幼儿教育系统中心智发展评价单元的框图。如图4所示,所述心智发展评价单元140,包括:修正单元141,用于对所述幼儿心智适配置信度矩阵执行通过数据传播广度的时空依赖性限制以获取修正幼儿心智适配置信度矩阵;评价记录输出单元142,用于将所述幼儿心智适配置信度矩阵依据通过分类器的心智发展评价器以获取所述评价记录,所述评价记录用于说明是否向监护人传输心智发展提醒。
[0057] 具体地,所述修正单元141,用于对所述幼儿心智适配置信度矩阵执行通过数据传播广度的时空依赖性限制以获取修正幼儿心智适配置信度矩阵。对所述幼儿心智适配置信度矩阵执行通过数据传播广度的时空依赖性限制以获取所述修正幼儿心智适配置信度矩阵。特别地,在本申请的技术方案中,考虑到幼儿心智适配可靠性的评价需要综合考虑幼儿反馈动作信息和交互机器人教育指令信息。因此,如果能够提高所述幼儿心智适配置信度矩阵的数据传播广度,则可以更好地融合不同来源的数据,使模型能够全面理解幼儿心智适配情况,从而提高心智发展评价的有效性。具体地,所述幼儿心智适配置信度矩阵捕捉到了数据之间的类型对应性,包括幼儿反馈信息和交互机器人教育行为之间的对应。依据提高所述幼儿心智适配置信度矩阵的数据传播广度可以更好地获得类型对应标签,使模型能够更有效地评价幼儿的心智适配可靠性。同时,评价幼儿心智适配可靠性需要考虑幼儿信息和交互机器人行为之间的反馈关系。依据提高所述幼儿心智适配置信度矩阵的数据传播广度可以帮助模型更有效地预测反馈性,从而更有效地评价幼儿的心智发展。而最终的心智发展评价需要依据所述幼儿心智适配置信度矩阵的特征信息,以有效判断是否具有合理心智发展并传输提醒。因此,依据提高所述幼儿心智适配置信度矩阵的数据传播广度可以提高评价模型的有效性和可靠性,从而更有效地保障幼儿和乘客的心智。通过此,进一步对所述幼儿心智适配置信度矩阵执行通过数据传播广度的时空依赖性限制。
[0058] 具体地,所述修正单元141,用于:计算由所述幼儿心智适配置信度矩阵的所有位置的节点值组成的节点组的方差以获取所述幼儿心智适配置信度矩阵的节点值方差;对所述幼儿心智适配置信度矩阵的各个位置的节点值计算绝对值的平方再执行似然运算以获取似然匹配幼儿心智适配置信度矩阵;将所述似然匹配幼儿心智适配置信度矩阵的所有节点值执行累加求和以获取所述似然匹配幼儿心智适配置信度矩阵的加和值;将所述似然匹配幼儿心智适配置信度矩阵的加和值除以两倍的所述幼儿心智适配置信度矩阵的节点值方差再乘以所述幼儿心智适配置信度矩阵的各个位置的节点值以获取所述修正幼儿心智适配置信度矩阵。
[0059] 也就是说,对所述幼儿心智适配置信度矩阵执行通过数据传播广度的时空依赖性限制以获取所述修正幼儿心智适配置信度矩阵,包括:以如下修正公式对所述幼儿心智适配置信度矩阵执行通过数据传播广度的时空依赖性限制以获取所述修正幼儿心智适配置信度矩阵,其中,所述修正公式为:
[0060] ;
[0061] 其中, 说明所述幼儿心智适配置信度矩阵, 是所述幼儿心智适配置信度矩阵的第 位置的节点值, 说明节点值集合 的方差,且 、 分别是所述幼儿心智适配置信度矩阵 的宽度和高度, 说明以2为底的似然, 是所述修正幼儿心智适配置信度矩阵的第 位置的节点值。
[0062] 这里,为了提高所述幼儿心智适配置信度矩阵的数据传播广度,在本申请的技术方案中,对所述幼儿心智适配置信度矩阵执行通过数据传播广度的时空依赖性限制,其以所述幼儿心智适配置信度矩阵中各个位置的节点值的绝对相位堆叠的似然值来说明所述幼儿心智适配置信度矩阵在该位置的结构信息,进而依据类小波函数来聚合所述幼儿心智适配置信度矩阵中所有位置的节点值的结构信息,并以所述结构信息与所述幼儿心智适配置信度矩阵的特征分布的集合方差来对所述幼儿心智适配置信度矩阵执行通过特征分布空间的堆叠处理,依据这样的方式,有助于保持所述幼儿心智适配置信度矩阵中特征之间的空间关系,从而对所述幼儿心智适配置信度矩阵执行时空依赖性限制,以提高所述幼儿心智适配置信度矩阵的数据传播广度。
[0063] 具体地,所述评价记录输出单元142,用于将所述幼儿心智适配置信度矩阵依据通过分类器的心智发展评价器以获取所述评价记录,所述评价记录用于说明是否向监护人传输心智发展提醒。应可以理解,所述通过分类器的心智发展评价器经过大量数据的训练,能够有效识别出输入数据中的心智发展信息。具体地,所述通过分类器的心智发展评价器在接收到所述幼儿心智适配置信度矩阵后,通过其内部的训练参数和模型结构,对所述幼儿心智适配置信度矩阵中蕴含的幼儿反馈信息和交互机器人教育行为之间的类型反馈对应模式执行分类判断,以识别幼儿当前是否具有合理心智发展,判断是否需要输出相应的心智发展提醒信号,以便及时通知监护人采取相应的措施来避免潜在的危险。
[0064] 综上,根据本申请实施例的基于动作捕捉的互动式幼儿教育系统被阐明,其采用通过深度学习的人工智能技术对交互机器人的教育指令信息和幼儿的反馈动作信息执行数据评价,获得出交互机器人的教育行为特征以及幼儿的反馈信息特征,并通过两者之间的类型反馈性交互特征来表征幼儿心智适配的可靠性,从而智能判断幼儿是否具有合理心智发展,并提供相应的发展提醒。这样,可以帮助监护人及时发现潜在的心智隐患,从而及时采取相应措施以确保幼儿反馈的心智性。
[0065] 图5为根据本申请实施例的基于动作捕捉的互动式幼儿教育方法的流程图。如图5所示,根据本申请实施例的基于动作捕捉的互动式幼儿教育方法,包括步骤:S110,从幼教云平台服务器访问预设周期内多个预设时刻的幼儿反馈动作信息和交互机器人教育指令信息,其中,所述幼儿反馈动作信息包括幼儿的视线、面部表情、上肢动作、下肢动作、声音特征和交互反馈,所述交互机器人教育指令信息包括语音教育指令、动作教育指令以及模仿教育指令;S120,对所述多个预设时刻的幼儿反馈动作信息和交互机器人教育指令信息分别执行类型对应标签分配以获取幼儿反馈信息类型对应标签序列和交互机器人教育行为类型对应标签序列;S130,对所述幼儿反馈信息类型对应标签序列和所述交互机器人教育行为类型对应标签序列执行类型反馈交互特征获得以获取幼儿心智适配置信度矩阵;S140,通过所述幼儿心智适配置信度矩阵,确定幼儿心智适配发展的评价记录。
[0066] 以上对发明的具体实施方式执行了详细说明,但其只作为范例,本申请并不限制于以上描述的具体实施方式。对于本领域的技术人员而言,任何对该发明执行的等同修改或替代也都在本申请的范畴之中,因此,在不脱离本申请的精神和原则范围下所作的均等匹配和修改、改进等,都应涵盖在本申请的范围内。
QQ群二维码
意见反馈