一种亲子互动方法、机器人、服务器及亲子互动系统
阅读：408发布：2020-05-16
专利汇可以提供一种亲子互动方法、机器人、服务器及亲子互动系统专利检索，专利查询，专利分析的服务。并且本 发明 属于 机器人 领域，公开了一种亲子互动方法、机器人、 服务器 及亲子互动系统，其方法包括：机器人每间隔预设时长采集儿童的图像信息，图像信息包含儿童的面部表情信息和当前环境信息；机器人将所述图像信息发送至服务器；服务器根据图像信息识别得到儿童的当前状态信息；服务器根据所述当前状态信息，判断儿童是否需要帮助，若是，则将图像信息和当前状态信息发送至家长的智能终端，并接收智能终端返回的回复信息；机器人接收所述服务器发送的所述回复信息，并开启亲子互动模式。本发明不仅可在儿童需要帮助时，帮助儿童和家长进行亲子互动，以帮助儿童解决问题，并且可节省家长观看监控的时间。，下面是一种亲子互动方法、机器人、服务器及亲子互动系统专利的具体信息内容。
1.一种亲子互动方法，其特征在于，包括机器人和服务器；
所述机器人每间隔预设时长采集儿童的图像信息，所述图像信息包含所述儿童的面部表情信息和当前环境信息；
所述机器人将所述图像信息发送至所述服务器；
所述服务器根据所述图像信息识别得到所述儿童的当前状态信息；
所述服务器根据所述当前状态信息，判断所述儿童是否需要帮助，若是，则将所述图像信息和所述当前状态信息发送至家长的智能终端，并接收所述智能终端返回的回复信息；
所述机器人接收所述服务器发送的所述回复信息，并开启亲子互动模式。
2.根据权利要求1所述的一种亲子互动方法，其特征在于，所述服务器根据所述图像信息识别得到所述儿童的当前状态信息具体包括：
将所述图像信息输入到预设的识别模型中；
若所述识别模型可识别所述图像信息，则输出当前状态信息；
若所述识别模型未识别出所述图像信息，则计算所述图像信息的特征值；
根据所述特征值在预设的特征库中查找到匹配的当前状态信息。
3.根据权利要求2所述的一种亲子互动方法，其特征在于，所述特征库的创建方法为：
收集大量不同的图像信息，所述图像信息包含所述儿童的面部表情信息和当前环境信息；
获取所述图像信息对应的状态信息；
提取出各图像信息中的特征；
计算所述特征的特征值，所述特征值为预设位数的字母和数据组合而成；
建立所述特征值与所述状态信息之间的对应关系；
根据所述特征值、所述状态信息以及所述特征值与所述状态信息之间的对应关系，创建所述特征库。
4.根据权利要求3所述的一种亲子互动方法，其特征在于，所述若所述识别模型未识别出所述图像信息，则计算所述图像信息的特征值具体包括：
若所述识别模型未识别出所述图像信息，则提取出所述图像信息中的目标图像；
计算所述目标图像对应的特征值；
所述根据所述特征值在预设的特征库中查找到对应的当前状态信息具体包括：
在预设的所述特征库中查找到与所述特征值匹配的目标特征值；
根据所述目标特征值对应的状态信息，得到所述图像信息对应的当前状态信息。
5.根据权利要求1所述的一种亲子互动方法，其特征在于，所述机器人接收所述服务器返回的回复信息，并开启亲子互动模式具体包括：
接收所述服务器返回的回复信息，判断所述回复信息是否包含视频聊天请求；
若是，则接受所述视频聊天请求；
若否，则将所述回复信息转换为家长的语音信息并进行播放，然后采集所述儿童的语音信息，将所述儿童的语音信息发送至所述智能终端，并接收所述智能终端再次返回的回复信息，并进行语音转换和播放。
6.一种机器人，其特征在于，包括：
图像采集模块，用于每间隔预设时长采集儿童的图像信息，所述图像信息包含所述儿童的面部表情信息和当前环境信息；
图像发送模块，用于将所述图像信息发送至服务器，使所述服务器根据所述图像信息识别得到所述儿童的当前状态信息，并根据所述当前状态信息，判断所述儿童是否需要帮助，若是，则将所述图像信息和所述当前状态信息发送至家长的智能终端，然后接收所述智能终端返回的回复信息；
处理模块，用于接收所述服务器发送的所述回复信息，并开启亲子互动模式。
7.根据权利要求6所述的一种机器人，其特征在于，所述处理模块包括：
信息接收单元，用于接收所述智能终端返回的回复信息；
判断单元，用于判断所述回复信息是否包含视频聊天请求；
处理单元，用于当所述回复信息中包含视频聊天请求时，接受所述视频聊天请求；
所述处理单元，还用于当所述回复信息中不包含视频聊天请求时，将所述回复信息转换为家长的语音信息并进行播放，然后采集所述儿童的语音信息，将所述儿童的语音信息发送至所述智能终端，并接收所述智能终端再次返回的回复信息，并进行语音转换和播放。
8.一种服务器，其特征在于，包括：
图像接收模块，用于接收机器人间隔预设时长采集并发送的儿童的图像信息，所述图像信息包括所述儿童的面部表情信息和当前环境信息；
识别模块，用于根据所述图像信息识别得到所述儿童的当前状态信息；
判断模块，用于根据所述当前状态信息，判断所述儿童是否需要帮助
收发模块，用于当所述儿童需要帮助时，将所述图像信息和所述当前状态信息发送至家长的智能终端，并接收所述智能终端返回的回复信息；
所述收发模块，还用于将所述回复信息发送至所述机器人，使机器人接收到回复信息后，开启亲子互动模式。
9.根据权利要求8所述的一种服务器，其特征在于，所述识别模块包括：
模型识别单元，用于将所述图像信息输入到预设的识别模型中；若所述识别模型可识别所述图像信息，则输出当前状态信息；
特征值匹配单元，用于若所述识别模型未识别出所述图像信息，则计算所述图像信息的特征值；并根据所述特征值在预设的特征库中查找到匹配的当前状态信息。
10.一种亲子互动系统，其特征在于，包括机器人和服务器；
所述机器人，用于每间隔预设时长采集儿童的图像信息，所述图像信息包含所述儿童的面部表情信息和当前环境信息；
所述机器人，用于将所述图像信息发送至服务器；
所述服务器，用于根据所述图像信息识别得到所述儿童的当前状态信息；
所述服务器，用于根据所述当前状态信息，判断所述儿童是否需要帮助，若是，则将所述图像信息和所述当前状态信息发送至家长的智能终端，并接收所述智能终端返回的回复信息；
所述机器人，用于接收所述服务器发送的所述回复信息，并开启亲子互动模式。
一种亲子互动方法、机器人、服务器及亲子互动系统
技术领域
背景技术
[0002] 如今不少家长工作越来越繁忙，使得家长在孩子的幼儿教育和成长过程中长时间处于缺席状态，如何给予孩子们高质量的陪伴和关爱一直是困扰家长的难题。
[0003] 而随着人工智能和机器人行业的快速发展，AI儿童机器人的出现，很大程度上弥补了家长们对孩子无法陪伴的遗憾，让家长们能以另一种方式“陪伴”在孩子身侧。
[0004] 目前，市面上的儿童机器人的功能还比较单一，只能与儿童进行日常聊天、播放绘本故事、古诗、儿歌和动画片等；还无法在儿童需要帮助时，将儿童的信息反馈给家长，由家长针对性的与儿童进行互动交流，以帮助儿童解决问题。
发明内容
[0005] 本发明的目的是提供一种亲子互动方法、机器人、服务器及亲子互动系统，不仅可在儿童需要帮助时，帮助儿童和家长进行亲子互动，以帮助儿童解决问题，并且可节省家长观看监控的时间。
[0006] 本发明提供的技术方案如下：
[0007] 一方面，提供一种亲子互动方法，包括机器人和服务器；
[0008] 所述机器人每间隔预设时长采集儿童的图像信息，所述图像信息包含所述儿童的面部表情信息和当前环境信息；
[0009] 所述机器人将所述图像信息发送至所述服务器；
[0010] 所述服务器根据所述图像信息识别得到所述儿童的当前状态信息；
[0011] 所述服务器根据所述当前状态信息，判断所述儿童是否需要帮助，若是，则将所述图像信息和所述当前状态信息发送至家长的智能终端，并接收所述智能终端返回的回复信息；
[0012] 所述机器人接收所述服务器发送的所述回复信息，并开启亲子互动模式。
[0013] 进一步优选地，所述服务器根据所述图像信息识别得到所述儿童的当前状态信息具体包括：
[0014] 将所述图像信息输入到预设的识别模型中；
[0015] 若所述识别模型可识别所述图像信息，则输出当前状态信息；
[0016] 若所述识别模型未识别出所述图像信息，则计算所述图像信息的特征值；
[0017] 根据所述特征值在预设的特征库中查找到匹配的当前状态信息。
[0018] 进一步优选地，所述特征库的创建方法为：
[0019] 收集大量不同的图像信息，所述图像信息包含所述儿童的面部表情信息和当前环境信息；
[0020] 获取所述图像信息对应的状态信息；
[0021] 提取出各图像信息中的特征；
[0022] 计算所述特征的特征值，所述特征值为预设位数的字母和数据组合而成；
[0023] 建立所述特征值与所述状态信息之间的对应关系；
[0024] 根据所述特征值、所述状态信息以及所述特征值与所述状态信息之间的对应关系，创建所述特征库。
[0025] 进一步优选地，所述若所述识别模型未识别出所述图像信息，则计算所述图像信息的特征值具体包括：
[0026] 若所述识别模型未识别出所述图像信息，则提取出所述图像信息中的目标图像；
[0027] 计算所述目标图像对应的特征值；
[0028] 所述根据所述特征值在预设的特征库中查找到对应的当前状态信息具体包括：
[0029] 在预设的所述特征库中查找到与所述特征值匹配的目标特征值；
[0030] 根据所述目标特征值对应的状态信息，得到所述图像信息对应的当前状态信息。
[0031] 进一步优选地，所述机器人接收所述服务器返回的回复信息，并开启亲子互动模式具体包括：
[0033] 若是，则接受所述视频聊天请求；
[0034] 若否，则将所述回复信息转换为家长的语音信息并进行播放，然后采集所述儿童的语音信息，将所述儿童的语音信息发送至所述智能终端，并接收所述智能终端再次返回的回复信息，并进行语音转换和播放。
[0035] 另一方面，还提供一种机器人，包括：
[0037] 图像发送模块，用于将所述图像信息发送至服务器，使所述服务器根据所述图像信息识别得到所述儿童的当前状态信息，并根据所述当前状态信息，判断所述儿童是否需要帮助，若是，则将所述图像信息和所述当前状态信息发送至家长的智能终端，然后接收所述智能终端返回的回复信息；
[0038] 处理模块，用于接收所述服务器发送的所述回复信息，并开启亲子互动模式。
[0039] 进一步优选地，所述处理模块包括：
[0040] 信息接收单元，用于接收所述智能终端返回的回复信息；
[0041] 判断单元，用于判断所述回复信息是否包含视频聊天请求；
[0042] 处理单元，用于当所述回复信息中包含视频聊天请求时，接受所述视频聊天请求；
[0043] 所述处理单元，还用于当所述回复信息中不包含视频聊天请求时，将所述回复信息转换为家长的语音信息并进行播放，然后采集所述儿童的语音信息，将所述儿童的语音信息发送至所述智能终端，并接收所述智能终端再次返回的回复信息，并进行语音转换和播放。
[0044] 又一方面，还提供一种服务器，包括：
[0045] 图像接收模块，用于接收机器人采集并发送的儿童的图像信息，所述图像信息包括所述儿童的面部表情信息和当前环境信息；
[0046] 识别模块，用于根据所述图像信息识别得到所述儿童的当前状态信息；
[0047] 判断模块，用于根据所述当前状态信息，判断所述儿童是否需要帮助[0048] 收发模块，用于当所述儿童需要帮助时，将所述图像信息和所述当前状态信息发送至家长的智能终端，并接收所述智能终端返回的回复信息；
[0049] 所述收发模块，还用于将所述回复信息发送至所述机器人，使机器人接收到回复信息后，开启亲子互动模式。
[0050] 进一步优选地，所述识别模块包括：
[0051] 模型识别单元，用于将所述图像信息输入到预设的识别模型中。若所述识别模型可识别所述图像信息，则输出当前状态信息；
[0052] 特征值匹配单元，用于若所述识别模型未识别出所述图像信息，则计算所述图像信息的特征值；并根据所述特征值在预设的特征库中查找到匹配的当前状态信息。
[0053] 再一方面，还提供一种亲子互动系统，包括机器人和服务器；
[0054] 所述机器人，用于每间隔预设时长采集儿童的图像信息，所述图像信息包含所述儿童的面部表情信息和当前环境信息；
[0055] 所述机器人，用于将所述图像信息发送至服务器；
[0056] 所述服务器，用于根据所述图像信息识别得到所述儿童的当前状态信息；
[0057] 所述服务器，用于根据所述当前状态信息，判断所述儿童是否需要帮助，若是，则将所述图像信息和所述当前状态信息发送至家长的智能终端，并接收所述智能终端返回的回复信息；
[0058] 所述机器人，用于接收所述服务器发送的所述回复信息，并开启亲子互动模式。
[0059] 与现有技术相比，本发明提供的一种亲子互动方法、机器人、服务器及亲子互动系统具有以下有益效果：本发明通过识别儿童的面部表情和环境信息，得到儿童的当前状态信息，并通过当前状态信息判断儿童是否需要帮助或分享，并只在儿童需要家长帮助或分享时，自动将儿童的当前信息发送给家长，以使家长了解儿童的状态，并与儿童建立亲子互动，帮助儿童解决问题，使得儿童需要家长时，实现家长对儿童的陪伴，本发明无需家长时刻盯着视频监控即可知晓儿童是否需要帮助，进而节省家长的时间，并且可避免儿童想问题想的比较烦躁时，忘记通过机器人与家长进行互动；此外，还可在识别出儿童可能存在危险时，发送提示信息给家长，使家长可及时帮助儿童，以防止儿童出现危险事故。附图说明
[0060] 下面将以明确易懂的方式，结合附图说明优选实施方式，对一种亲子互动方法、机器人、服务器及亲子互动系统的上述特性、技术特征、优点及其实现方式予以进一步说明。
[0061] 图1是本发明一种亲子互动方法的第一实施例的流程示意图；
[0062] 图2是本发明一种亲子互动方法的第二实施例的流程示意图；
[0063] 图3是本发明一种机器人的一个实施例的结构示意框图；
[0064] 图4是本发明一种服务器的一个实施例的结构示意框图；
[0065] 图5是本发明一种亲子互动系统的一个实施例的结构示意框图。
[0066] 附图标号说明
[0067] 100、机器人； 110、图像采集模块；
[0068] 120、图像发送模块； 130、处理模块；
[0069] 131、信息接收单元； 132、判断单元；
[0070] 133、处理单元； 200、服务器；
[0071] 210、图像接收模块； 220、识别模块；
[0072] 221、模型识别单元； 222、特征值匹配单元；
[0073] 230、判断模块； 240、收发模块；
[0074] 250、创建模块； 251、收集单元；
[0075] 252、获取单元； 253、提取单元；
[0076] 254、特征值计算单元； 255、关系建立单元；
[0077] 256、创建单元。
具体实施方式
[0078] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。
[0080] 为使图面简洁，各图中只示意性地表示出了与本发明相关的部分，它们并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个。在本文中，“一个”不仅表示“仅此一个”，也可以表示“多于一个”的情形。
[0081] 根据本发明提供的第一实施例，如图1所示，一种亲子互动方法包括机器人和服务器；
[0082] S100所述机器人每间隔预设时长采集儿童的图像信息，所述图像信息包含所述儿童的面部表情信息和当前环境信息；
[0083] S200所述机器人将所述图像信息发送至服务器，
[0084] S300所述服务器根据所述图像信息识别得到所述儿童的当前状态信息；
[0085] S400所述服务器根据所述当前状态信息，判断所述儿童是否需要帮助，若是，则将所述图像信息和所述当前状态信息发送至家长的智能终端，并接收所述智能终端返回的回复信息；
[0086] S500所述机器人接收所述服务器发送的所述回复信息，并开启亲子互动模式。
[0087] 具体地，机器人可与家长的智能终端进行绑定，智能终端可远程控制机器人的开启和关闭，在智能终端上还可查看机器人的开启和关闭状态。当儿童独自在家中时，家长可开启机器人，由机器人陪伴儿童，并当儿童需要帮助时，由机器人反馈相应的信息至智能终端，使家长可在儿童需要帮助的时候与儿童进行亲子互动，以帮助儿童解决问题，并对儿童的烦躁或焦虑情绪进行疏导。
[0088] 机器人上设置有摄像头和红外探测模块。机器人可通过设置的红外探测模块探测儿童的大概位置。当间隔时长达到预设时长，机器人需要采集儿童的图像信息时，红外探测模块感测儿童的位置，然后根据探测到的位置，使机器人移动到儿童身边，并通过机器人上设置的摄像头采集儿童的图像信息。即机器人每间隔一段时间采集一次儿童的图像信息。采集到的该图像信息包括儿童的面部表情信息和当前环境信息，例如，采集儿童在玩耍时的图像信息、在学习时的图像信息或在思考时的图像信息等。儿童的面部表情信息可反映出儿童的情绪，当前环境信息可反映出儿童当前正在干的事，如是在学习还是在玩玩具。
[0089] 机器人上还可设置声音定位模块，当红外探测模块无法探测到儿童所在位置时，声音定位模块可通过儿童发出的声音定位儿童所在的位置。若未检测到儿童发出声音，机器人可发出语音引导信息，引导儿童发出声音，并根据儿童发出的声音定位儿童的位置，若发出多次引导信息后，仍未检测到儿童的声音，则认为家中没人，并发送家中没人的反馈信息至家长的智能终端，以便家长知晓，并通过其他途径进一步确认儿童的动向。
[0090] 机器人采集到儿童的图像信息后，将该图像信息发送至服务器，服务器识别该图像信息，得到儿童的当前状态信息。当前状态信息包括儿童的情绪信息和行为信息(即正在干什么事)；情绪信息包括焦虑、难过、开心、烦躁等；行为信息包括玩玩具、做作业、拿着笔思考、发呆等。根据情绪信息可了解儿童当前的情绪状态，根据行为信息可知道儿童是在什么场景下产生地该情绪状态，以便家长知晓产生该情绪状态的原因。
[0091] 服务器得到儿童的情绪信息和行为信息后，根据该情绪信息和行为信息判断儿童是否需要帮助。在什么情况下儿童需要帮助，可由家长预先在机器人上进行设置，如儿童在烦躁、疑惑、难过、不开心或思考时需要帮助，或者在特定场景下需要与家长进行分享，例如，完成了一件家长布置的任务等。机器人将家长预先设置的信息发送至服务器，服务器即可根据家长预先设置的信息和儿童的当前状态信息判断儿童是否需要帮助。若判断出儿童需要帮助，则将图像信息和当前状态信息发送至家长的智能终端。
[0092] 家长的智能终端在接收到服务器发送的图像信息和当前状态信息后，家长可根据接收到的信息了解到孩子的一些情况，然后通过智能终端发送回复信息至服务器，服务器再将回复信息发送至机器人，机器人接收到回复信息后，开启亲子互动模式，使孩子通过机器人与家长进行互动，使家长引导孩子说成疑惑点或疑惑，并解答孩子的疑问。
[0093] 优选地，为了方便家长较全面地了解孩子的当前状况，服务器还可在判断出儿童需要帮助时，在预设数据库中查找与该当前状态信息对应的提示信息，并将获取的图像图像信息、当前状态信息和提示信息发送至与机器人绑定的智能终端。提示信息是对儿童的当前状态信息进行补充说明的信息，以使家长获得更多的信息，进而更全面地了解儿童的状态。
[0094] 预设数据库中分类存储有各情绪信息和行为信息对应的提示信息。在预设数据库中可先按情绪信息进行分类，生成多个情绪子数据库，然后在每个情绪子数据库中，存储每个行为信息对应的提示信息。
[0095] 例如，根据情绪信息可分为焦虑子数据库、难过子数据库、烦躁子数据库、思考子数据库等。而在思考子数据库中又包括多个行为信息，如拿着笔思考和做作业时抓头等。不同的行为信息对应的提示信息不同，如拿着笔思考时对应的提示信息可以为“孩子学习遇到困难了，现在正在思考，可能会需要帮助”；在做作业抓头时对应的提示信息可以为“孩子现在想问题想的比较烦躁，急需帮助”。即服务器根据当前状态信息中的情绪信息和行为信息，对儿童的当前状态进行了更全面地分析，并区分出了紧急程度，有利于家长根据紧急程度判断是马上与儿童进行亲子互动，或是忙完手上比较紧急地事情后再与儿童进行亲子互动。
[0096] 其中，S500接收服务器返回的回复信息，并开启亲子互动模式具体包括：
[0097] 接收服务器返回的回复信息，判断所述回复信息是否包含视频聊天请求；
[0098] 若是，则接受所述视频聊天请求；
[0099] 若否，则将所述回复信息转换为家长的语音信息并进行播放，然后采集所述儿童的语音信息，将所述儿童的语音信息发送至所述智能终端，并接收所述智能终端再次返回的回复信息，并进行语音转换和播放。
[0100] 具体地，当回复信息中包含视频聊天请求时，即说明家长希望与儿童进行视频聊天，此时接受视频聊天请求，通过视频聊天模式让家长与儿童进行亲子互动。若不包含视频聊天请求时，则将该回复信息转换为家长的语音信息进行播放，使儿童针对家长的回复信息进行回复，回复信息可以是引导儿童说成疑惑点的相关信息，儿童回复后，将儿童的回复信息通过服务器发送至智能终端，让家长接收到儿童的回复后，再给出相应的回复，并通过服务器发送给机器人，通过家长与儿童之间的多次对话，以实现家长与儿童之间的亲子互动，进而帮助儿童解决问题。
[0101] 本发明通过识别儿童的面部表情和环境信息，得到儿童的当前状态信息，并通过当前状态信息判断儿童是否需要帮助或分享，并只在儿童需要家长帮助或分享时，自动将儿童的当前信息发送给家长，以使家长了解儿童的状态，并与儿童建立亲子互动，帮助儿童解决问题，使得儿童需要家长时，实现家长对儿童的陪伴，本发明无需家长时刻盯着视频监控即可知晓儿童是否需要帮助，进而节省家长的时间，并且可避免儿童想问题想的比较烦躁时，忘记通过机器人与家长进行互动；此外，还可在识别出儿童可能存在危险时，发送提示信息给家长，使家长可及时帮助儿童，以防止儿童出现危险事故。
[0102] 根据本发明提供的第二实施例，如图2所示，在上述第一实施例中，步骤S300服务器根据所述图像信息识别得到所述儿童的当前状态信息具体包括：
[0103] S310将所述图像信息输入到预设的识别模型中；
[0104] S320若所述识别模型可识别所述图像信息，则输出当前状态信息；
[0105] S330若所述识别模型未识别出所述图像信息，则计算所述图像信息的特征值；
[0106] S340根据所述特征值在预设的特征库中查找到匹配的当前状态信息。
[0107] 具体地，服务器上存储有预先训练好的识别模型，服务器在接收到机器人发送的图像信息后，将该图像信息输入到识别模型中进行识别，若识别模型可识别出该图像信息，则输出识别结果(儿童的当前状态信息)，若识别模型识别不了该图像信息，则计算图像信息的特征值，然后根据特征值在预设的特征库中查找到匹配的当前状态信息。
[0108] 识别模型是一些开源的模型算法，其通过输入大量已标注的图像信息(即每张图像上标注了对应的状态信息)经过训练得到，识别模型的训练过程为现有技术，在此不再赘述。通过大量已标注的图像信息对识别模型进行训练后，识别模型中的权重参数即可确定，因此，可通过训练好的识别模型识别图像信息。
[0109] 但是，由于目前的模型算法智能度有限，并不能识别出所有的图像，因此，当识别模型无法识别该图像信息时，则采用特征值匹配的方法在特征库中匹配对应的当前状态信息。在实际使用过程中，也会存在机器人采集到的图像清晰度较低，此时根据该清晰度较低的图像计算出的特征值较小，用该特征值在数据库中进行匹配时，可能存在无法匹配到当前状态信息的情况，因此，也不能完全依靠特征值匹配来得到当前状态信息，需要将识别模型和特征值匹配的方法进行结合来得到儿童的当前状态信息，以提高识别率，进而防止出现识别不出的情况。
[0110] 其中，特征库的创建方法为：
[0111] 收集大量不同的图像信息，所述图像信息包含所述儿童的面部表情信息和当前环境信息；
[0112] 获取所述图像信息对应的状态信息；
[0113] 提取出各图像信息中的特征；
[0114] 计算所述特征的特征值，所述特征值为预设位数的字母和数据组合而成；
[0115] 建立所述特征值与所述状态信息之间的对应关系；
[0116] 根据所述特征值、所述状态信息以及所述特征值与所述状态信息之间的对应关系，创建所述特征库。
[0117] 具体地，先收集大量不同用户处于不同环境下的图像信息，同样的，图像信息包含用户的面部表情信息和当前环境信息。然后获取每个图像信息对应的状态信息，状态信息可由人工输入。再通过python语言提取出图像信息中的特征，然后将提取出的特征以预设位数的字母和数据形成进行存储，该预设位数的字母和数据即为该特征的特征值。本方案中，将特征以192位字母和数据的形式存储在ES搜索引擎的数据库(特征库)中，并建立特征值与状态信息之间的关系，再根据建立的关系，将状态信息存储在上述特征库中，以完成特征库的创建。
[0118] 在实际识别过程中，当识别模型未识别出图像信息时，则通过Yolo算法对图像信息进行裁剪，提取出图像信息中的目标图像，即将不需要的背景图像去掉，然后计算目标图像对应的特征值。再根据该特征值，在ES里搜索，以匹配到目标特征值，然后根据目标特征值对应的状态信息，得到图像信息对应的当前状态信息。
[0119] 本方案中，通过提取各图像的特征，并以特征值的形式进行存储，并在搜索匹配的过程中也通过特征值的方式进行搜索，可提高搜索准确率。
[0120] 应理解，在上述各实施例中，各步骤序号的大小并不意味着执行顺序的先后，各步骤的执行顺序应以功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
[0121] 根据本发明提供的第三实施例，如图3所示，一种机器人，包括：
[0122] 图像采集模块110，用于每间隔预设时长采集儿童的图像信息，所述图像信息包含所述儿童的面部表情信息和当前环境信息；
[0123] 图像发送模块120，用于将所述图像信息发送至服务器，使所述服务器根据所述图像信息识别得到所述儿童的当前状态信息，并根据所述当前状态信息，判断所述儿童是否需要帮助，若是，则将所述图像信息和所述当前状态信息发送至家长的智能终端，然后接收所述智能终端返回的回复信息；
[0124] 处理模块130，用于接收所述服务器发送的所述回复信息，并开启亲子互动模式。
[0125] 优选地，所述处理模块130包括：
[0126] 信息接收单元131，用于接收所述智能终端返回的回复信息；
[0127] 判断单元132，用于判断所述回复信息是否包含视频聊天请求；
[0128] 处理单元133，用于当所述回复信息中包含视频聊天请求时，接受所述视频聊天请求；
[0129] 处理单元133，还用于当所述回复信息中不包含视频聊天请求时，将所述回复信息转换为家长的语音信息并进行播放，然后采集所述儿童的语音信息，将所述儿童的语音信息发送至所述智能终端，并接收所述智能终端再次返回的回复信息，并进行语音转换和播放。
[0130] 本实施例中的各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
[0131] 根据本发明提供的第四实施例，如图4所示，一种服务器，包括：
[0132] 图像接收模块210，用于接收机器人间隔预设时长采集并发送的儿童的图像信息，所述图像信息包括所述儿童的面部表情信息和当前环境信息；
[0133] 识别模块220，用于根据所述图像信息识别得到所述儿童的当前状态信息；
[0134] 判断模块230，用于根据所述当前状态信息，判断所述儿童是否需要帮助[0135] 收发模块240，用于当所述儿童需要帮助时，将所述图像信息和所述当前状态信息发送至家长的智能终端，并接收所述智能终端返回的回复信息；
[0136] 收发模块240，还用于将所述回复信息发送至所述机器人，使机器人接收到回复信息后，开启亲子互动模式。
[0137] 优选地，识别模块220包括：
[0138] 模型识别单元221，用于将所述图像信息输入到预设的识别模型中。若所述识别模型可识别所述图像信息，则输出当前状态信息；
[0139] 特征值匹配单元222，用于若所述识别模型未识别出所述图像信息，则计算所述图像信息的特征值；并根据所述特征值在预设的特征库中查找到匹配的当前状态信息。
[0140] 优选地，还包括创建模块250，该创建模块250包括：
[0141] 收集单元251，用于收集大量不同的图像信息，所述图像信息包含所述儿童的面部表情信息和当前环境信息；
[0142] 获取单元252，用于获取所述图像信息对应的状态信息；
[0143] 提取单元253，用于提取出各图像信息中的特征；
[0144] 特征值计算单元254，用于计算所述特征的特征值，所述特征值为预设位数的字母和数据组合而成；
[0145] 关系建立单元255，用于建立所述特征值与所述状态信息之间的对应关系；
[0146] 创建单元256，用于根据所述特征值、所述状态信息以及所述特征值与所述状态信息之间的对应关系，创建所述特征库。
[0147] 优选地，特征值匹配单元222，还用于若所述识别模型未识别出所述图像信息，则提取出所述图像信息中的目标图像；计算所述目标图像对应的特征值；在预设的所述特征库中查找到与所述特征值匹配的目标特征值；根据所述目标特征值对应的状态信息，得到所述图像信息对应的当前状态信息。
[0148] 本实施例中的各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
[0149] 根据本发明提供的第五实施例，如图5所示，一种亲子互动系统，包括机器人100和服务器200；
[0150] 机器人100，用于每间隔预设时长采集儿童的图像信息，所述图像信息包含所述儿童的面部表情信息和当前环境信息；
[0151] 机器人100，用于将所述图像信息发送至服务器；
[0152] 服务器200，用于根据所述图像信息识别得到所述儿童的当前状态信息；
[0153] 服务器200，用于根据所述当前状态信息，判断所述儿童是否需要帮助，若是，则将所述图像信息和所述当前状态信息发送至家长的智能终端，并接收所述智能终端返回的回复信息；
[0154] 机器人100，用于接收所述服务器发送的所述回复信息，并开启亲子互动模式。
[0155] 具体地，机器人可与家长的智能终端进行绑定，智能终端可远程控制机器人的开启和关闭，在智能终端上还可查看机器人的开启和关闭状态。当儿童独自在家中时，家长可开启机器人，由机器人陪伴儿童，并当儿童需要帮助时，由机器人反馈相应的信息至智能终端，使家长可在儿童需要帮助的时候与儿童进行亲子互动，以帮助儿童解决问题，并对儿童的烦躁或焦虑情绪进行疏导。
[0156] 机器人上设置有摄像头和红外探测模块。机器人可通过设置的红外探测模块探测儿童的大概位置。当间隔时长达到预设时长，机器人需要采集儿童的图像信息时，红外探测模块感测儿童的位置，然后根据探测到的位置，使机器人移动到儿童身边，并通过机器人上设置的摄像头采集儿童的图像信息。即机器人每间隔一段时间采集一次儿童的图像信息。采集到的该图像信息包括儿童的面部表情信息和当前环境信息，例如，采集儿童在玩耍时的图像信息、在学习时的图像信息或在思考时的图像信息等。儿童的面部表情信息可反映出儿童的情绪，当前环境信息可反映出儿童当前正在干的事，如是在学习还是在玩玩具。
[0157] 机器人上还可设置声音定位模块，当红外探测模块无法探测到儿童所在位置时，声音定位模块可通过儿童发出的声音定位儿童所在的位置。若未检测到儿童发出声音，机器人可发出语音引导信息，引导儿童发出声音，并根据儿童发出的声音定位儿童的位置，若发出多次引导信息后，仍未检测到儿童的声音，则认为家中没人，并发送家中没人的反馈信息至家长的智能终端，以便家长知晓，并通过其他途径进一步确认儿童的动向。
[0158] 机器人采集到儿童的图像信息后，将该图像信息发送至服务器，使服务器识别该图像信息，得到儿童的当前状态信息。当前状态信息包括儿童的情绪信息和行为信息(即正在干什么事)；情绪信息包括焦虑、难过、开心、烦躁等；行为信息包括玩玩具、做作业、拿着笔思考、发呆等。根据情绪信息可了解儿童当前的情绪状态，根据行为信息可知道儿童是在什么场景下产生地该情绪状态，以便家长知晓产生该情绪状态的原因。
[0159] 服务器得到儿童的情绪信息和行为信息后，根据该情绪信息和行为信息判断儿童是否需要帮助。在什么情况下儿童需要帮助，可由家长预先在机器人上进行设置，如儿童在烦躁、疑惑、难过、不开心或思考时需要帮助，或者在特定场景下需要与家长进行分享，例如，完成了一件家长布置的任务等。机器人将家长预先设置的信息发送至服务器，服务器即可根据家长预先设置的信息和儿童的当前状态信息判断儿童是否需要帮助。若判断出儿童需要帮助，则将图像信息和当前状态信息发送至家长的智能终端。
[0160] 家长在接收到服务器发送的图像信息和当前状态信息后，根据接收到的信息了解到孩子的一些情况，然后通过智能终端发送回复信息至服务器，服务器再将回复信息发送至机器人，机器人接收到回复信息后，开启亲子互动模式，使孩子通过机器人与家长进行互动，使家长引导孩子说成疑惑点或疑惑，并解答孩子的疑问。
[0161] 优选地，为了方便家长较全面地了解孩子的当前状况，服务器还可在判断出儿童需要帮助时，在预设数据库中查找与该当前状态信息对应的提示信息，并将获取的图像图像信息、当前状态信息和提示信息发送至与机器人绑定的智能终端。提示信息是对儿童的当前状态信息进行补充说明的信息，以使家长获得更多的信息，进而更全面地了解儿童的状态。
[0162] 预设数据库中分类存储有各情绪信息和行为信息对应的提示信息。在预设数据库中可先按情绪信息进行分类，生成多个情绪子数据库，然后在每个情绪子数据库中，存储每个行为信息对应的提示信息。
[0163] 例如，根据情绪信息可分为焦虑子数据库、难过子数据库、烦躁子数据库、思考子数据库等。而在思考子数据库中又包括多个行为信息，如拿着笔思考和做作业时抓头等。不同的行为信息对应的提示信息不同，如拿着笔思考时对应的提示信息可以为“孩子学习遇到困难了，现在正在思考，可能会需要帮助”；在做作业抓头时对应的提示信息可以为“孩子现在想问题想的比较烦躁，急需帮助”。即服务器根据当前状态信息中的情绪信息和行为信息，对儿童的当前状态进行了更全面地分析，并区分出了紧急程度，有利于家长根据紧急程度判断是马上与儿童进行亲子互动，或是忙完手上比较紧急地事情后再与儿童进行亲子互动。
[0164] 本发明通过识别儿童的面部表情和环境信息，得到儿童的当前状态信息，并通过当前状态信息判断儿童是否需要帮助或分享，并只在儿童需要家长帮助或分享时，自动将儿童的当前信息发送给家长，以使家长了解儿童的状态，并与儿童建立亲子互动，帮助儿童解决问题，使得儿童需要家长时，实现家长对儿童的陪伴，本发明无需家长时刻盯着视频监控即可知晓儿童是否需要帮助，进而节省家长的时间，并且可避免儿童想问题想的比较烦躁时，忘记通过机器人与家长进行互动；此外，还可在识别出儿童可能存在危险时，发送提示信息给家长，使家长可及时帮助儿童，以防止儿童出现危险事故。
[0165] 优选地，服务器200包括识别模块220，识别模块220包括：
[0166] 模型识别单元221，用于将所述图像信息输入到预设的识别模型中。若所述识别模型可识别所述图像信息，则输出当前状态信息；
[0167] 特征值匹配单元222，用于若所述识别模型未识别出所述图像信息，则计算所述图像信息的特征值；并根据所述特征值在预设的特征库中查找到匹配的当前状态信息。
[0168] 优选地，服务器200还包括创建模块250，创建模块250包括：
[0169] 收集单元251，用于收集大量不同的图像信息，所述图像信息包含所述儿童的面部表情信息和当前环境信息；
[0170] 获取单元252，用于获取所述图像信息对应的状态信息；
[0171] 提取单元253，用于提取出各图像信息中的特征；
[0172] 特征值计算单元254，用于计算所述特征的特征值，所述特征值为预设位数的字母和数据组合而成；
[0173] 关系建立单元255，用于建立所述特征值与所述状态信息之间的对应关系；
[0174] 创建单元256，用于根据所述特征值、所述状态信息以及所述特征值与所述状态信息之间的对应关系，创建所述特征库。
[0175] 优选地，特征值匹配单元254，还用于若所述识别模型未识别出所述图像信息，则提取出所述图像信息中的目标图像；计算所述目标图像对应的特征值；在预设的所述特征库中查找到与所述特征值匹配的目标特征值；根据所述目标特征值对应的状态信息，得到所述图像信息对应的当前状态信息。
[0176] 优选地，机器人100包括处理模块130，处理模块130包括：
[0177] 信息接收单元131，用于接收所述智能终端返回的回复信息；
[0178] 判断单元132，用于判断所述回复信息是否包含视频聊天请求；
[0179] 处理单元133，用于当所述回复信息中包含视频聊天请求时，接受所述视频聊天请求；
[0180] 处理单元133，还用于当所述回复信息中不包含视频聊天请求时，将所述回复信息转换为家长的语音信息并进行播放，然后采集所述儿童的语音信息，将所述儿童的语音信息发送至所述智能终端，并接收所述智能终端再次返回的回复信息，并进行语音转换和播放。
[0181] 本实施例中的各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
[0182] 应当说明的是，上述实施例均可根据需要自由组合。以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种基于Ansible的银行业务运维系统及方法 | 2020-05-16 | 251 |
| 一种会话摘要生成方法、装置、服务器设备以及终端设备 | 2020-05-18 | 784 |
| 一种面向税务的智能问答系统 | 2020-05-14 | 16 |
| 在线客服应答系统及方法 | 2020-05-22 | 545 |
| 一种基于智能声源定位与语音控制的机器人系统及方法 | 2020-05-13 | 775 |
| 在即时消息服务聊天室同时提供测验和广告的方法及系统 | 2020-05-22 | 132 |
| 数据处理方法和服务器 | 2020-05-18 | 630 |
| 使用具有自然语言接口的自动机器人程序来改善安全警报响应和调解的响应时间的安全系统和方法 | 2020-05-21 | 782 |
| 一种基于混合云平台的自动化开发运维系统 | 2020-05-24 | 914 |
| 一种电子政务个性化信息综合服务系统 | 2020-05-23 | 1019 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
聊天机器人服务器热门专利
QQ群二维码
意见反馈
意见反馈