一种评测言语状态的方法及装置
阅读：499发布：2020-05-13
专利汇可以提供一种评测言语状态的方法及装置专利检索，专利查询，专利分析的服务。并且本 申请 提供了一种评测言语状态的方法及装置，其中，该方法包括：获取言语评测方案；基于所述言语评测方案，向用户输出引导指令，并采集用户响应引导指令所作出的响应行为；言语评测方案是根据用户 基础 信息确定的，所述用户基础信息包括以下的至少两个：年龄、性别、身高和体重；根据用户的响应行为，确定用户的评测结果；所述评测结果包括以下至少一个结果：感受性语言障碍、表述性语言障碍、 构音障碍 、发音障碍、口吃。本申请 实施例 通过生成言语评测方案，分析用户言语评测结果，以此判定儿童是否发育正常以及被检测人是否存在言语障碍。，下面是一种评测言语状态的方法及装置专利的具体信息内容。
1.一种评测言语状态的方法，其特征在于，包括：
获取言语评测方案；
基于所述言语评测方案，向用户输出引导指令，并采集用户响应引导指令所作出的响应行为；言语评测方案是根据用户基础信息确定的，所述用户基础信息包括以下的至少两个：年龄、性别、身高和体重；
根据用户的响应行为，确定用户的评测结果；所述评测结果包括以下至少一个结果：感受性语言障碍、模仿言语障碍、口语退化、构音障碍、发音障碍、口吃。
2.根据权利要求1所述的一种评测言语状态的方法，其特征在于：
所述言语评测方案包括评测言语场景方案和评测言语采集方案；
评测言语场景方案包括场景参与形式、场景主题和场景道具；所述场景参与形式包括陪同或独立参与；所述场景主题包括以下至少一个主题：语音语调检测、语义识别；
评测言语采集方案包括以下任意一个或多个：视频采集、音频采集和传感器信号采集；
或，评测言语采集方案包括以下一个或多个：肢体动作采集、语音语调采集和面部表情采集。
3.根据权利要求1所述的一种评测言语状态的方法，其特征在于：
根据用户的响应行为，确定用户的评测结果包括：
通过视频采集设备生成用户行为视频；
根据用户行为视频中图片与参考图片的相似度确定用户的肢体动作轨迹和面部表情变化情况；
所述参考图片是预先存储在处理器中的；
根据用户的肢体动作轨迹和面部表情变化情况确定用户的评测结果；
根据用户的响应行为，确定用户的评测结果包括：
通过音频采集设备生成用户行为音频；
根据用户行为音频中的音频信号频谱与参考音频信号频谱的相似度确定用户的语音语调变化情况；
所述参考音频信号是预先存储在处理器中的；
根据用户的语音语调变化情况确定用户的评测结果。
4.根据权利要求1所述的一种评测言语状态的方法，其特征在于：
根据用户的响应行为，确定用户的评测结果包括：
通过不同角度的摄像头获取用户的响应行为，以生成多个用户行为视频；
将多个用户行为视频转换为静态图片组；
将静态图片组压缩，得到第一图片组；
将压缩后的图片灰度化，得到第二图片组；
对比第二图片组中的每一帧图片与每一帧参考图片的灰度等级，得到两幅图片灰度等级不同的像素点数目；
计算第二图片组中的每一帧图片总体灰度差异平均数，所述总体灰度差异平均数为第二图片组中每张图片的灰度差异平均数的总和除以第二图片组中图片的总数；所述灰度差异平均数为灰度等级不同的像素点数目的总和除以参考图片数量的结果；
根据设定的相似度等级划分规则，获取总体灰度差异平均数所对应的图片相似度；
根据图片相似度确定用户的肢体动作轨迹和面部表情变化情况；
根据用户的肢体动作轨迹和面部表情变化情况确定用户的评测结果；
根据用户的响应行为，确定用户的评测结果还包括：
通过不同角度的音频采集设备获取用户的响应行为，以生成多个用户音频信号；
对采集到的用户音频信号提取音频信号频谱；
识别音频信号频谱的波峰位置；
获取各波峰位置对应的特征值和时间点，根据各特征值和时间点得到用户音频信号的第一时间序列；
对比第一时间序列与第二时间序列，根据对比结果得到用户音频信号与参考音频信号的相似度；所述第二时间序列为参考音频信号的时间序列；
根据音频信号相似度确定用户的语音语调变化情况；
根据用户的语音语调变化情况确定用户的评测结果。
5.根据权利要求3所述的一种评测言语状态的方法，其特征在于：
根据用户基础信息，确定相应的言语状态的评测方案；用户基础信息包括年龄、身高、性别和体重；
所述言语状态评测方案还包括相应烦人评测言语场景方案，评测言语场景方案包括真实场景和虚拟场景、陪同或独立、道具；
所述言语评测方案还包括相应的评测言语采集方案，评测言语采集方案包括采集柱；
所述采集柱上包括多个视频采集设备、声音采集设备、声音播放设备和视频播放设备；
所述言语评测方案，包括在陪同或独立的场景内，测试在看到道具上的文字，并收到一定的指示后的反应；
所述视频采集设备设置在场景内不同角度的位置，采集用户在看到道具上的文字，并收到一定的指示以及用道具触碰皮肤时，肢体的反应以及面部的表情；
所述声音采集设备设置在场景内不同角度的位置，采集用户在看到道具上的文字，并收到一定的指示以及用道具触碰皮肤时，发出的声音；
所述声音播放设备设置在场景内不同角度的位置，播放音频提示引导用户在场景内的行为；
所述视频播放设备设置在场景内不同角度的位置，播放视频提示引导用户在场景内的行为；
言语评测方案包括：
语音语调言语检测方案，包括：用户在陪同或独立的情况下，测试用户看到文字以及用道具接触用户皮肤时用户的反应；
声音播放设备和视频播放设备引导用户接触道具以及跟读道具上的文字；视频采集设备和音频采集设备采集用户在接触到道具以及跟读时的身体动作和语音语调；
确定最终评测结果，是否感受性语言障碍、模仿言语障碍、发音是否障碍、是否口吃；
语义识别言语检测方案，包括：用户在陪同或独立的情况下，测试用户听到声音后的发音情况；
声音播放设备和视频播放设备引导用户跟读道具上的文字；视频采集设备和音频采集设备采集用户跟读时的语义；
确定最终评测结果，是否口语退化、是否构音障碍。
6.一种评测言语状态的装置，应用于如权利要求1-5任一项所述的方法，其特征在于，该装置包括：评测室主体和设置在评测室主体上的采集模块、提示模块、处理器和交互屏，处理器分别与采集模块、提示模块、交互屏电性连接；
所述采集模块用于采集评测室主体内的用户响应引导指令所作出的响应行为，并将采集到的响应行为发送到处理器；
所述提示模块用于向评测室主体内的用户发出引导指令；
所述处理器，用于按照如权利要求1-5任一项所述的方法执行相应的动作；
所述交互屏，用于人机交互。
7.根据权利要求6所述的一种评测言语状态的装置，其特征在于：
所述采集模块包括声音采集设备，和/或视频采集设备，和/或传感器采集设备；
所述声音采集设备包括话筒和录音机；
所述视频采集设备包括摄像头、录像机和图像传感器；
所述声音播放设备包括广播、音箱和扬声器；
所述视频播放设备包括电视机、电脑和交互屏；
所述文字指示设备包括提示板、文字标志；
所述传感器采集设备包括光敏传感器、声敏传感器、气敏传感器、化学传感器；
所述交互屏包括主交互屏和辅助交互屏，主交互屏用于根据系统提供的问题，与用户进行人机交互；辅助交互屏用于辅助人机交互。
8.根据权利要求6所述的一种评测言语状态的装置，其特征在于：
所述评测室主体由设置在四个角落的采集柱支撑，以使评测室保持立体结构；
所述采集柱上设置有采集模块和提示模块；
所述采集柱上设置有导轨，采集模块和提示模块可沿导轨从评测室主体顶面板朝评测室底面板的方向滑动。
9.根据权利要求6所述的一种评测言语状态的装置，其特征在于：
所述评测室主体上还设置虚拟现实模块，所述虚拟现实模块用于构建用户在评测室内的数据交互。
10.根据权利要求6所述的一种评测言语状态的装置，其特征在于：
所述评测室四周由自动幕布围成，自动幕布可为卷轴或者平拉。
一种评测言语状态的方法及装置
技术领域
背景技术
[0002] 人们运用语言进行交际的过程叫言语，言语是指人们对语言的运用。
[0003] 言语障碍是指对口语、文字或手势的应用或理解的各种异常，一些儿童的发育存在迟缓的现象，发育迟缓的现象可能是由于家庭教育或者家庭环境，也可能是脑及其脑周围神经发生病变，而此种病变会造成儿童的言语障碍。
[0004] 所以，对于儿童的是否存在言语障碍的测试十分重要。发明内容
[0005] 有鉴于此，本申请的目的在于提供一种评测言语状态的方法和装置，以检查儿童是否发育正常以及被检测人是否存在言语障碍。
[0006] 第一方面，本申请实施例提供了一种评测言语状态的方法，其中，包括：
[0007] 获取言语评测方案；
[0008] 基于所述言语评测方案，向用户输出引导指令，并采集用户响应引导指令所作出的响应行为；言语评测方案是根据用户基础信息确定的，所述用户基础信息包括以下的至少两个：年龄、性别、身高和体重；
[0009] 根据用户的响应行为，确定用户的评测结果；所述评测结果包括以下至少一个结果：感受性语言障碍、模仿言语障碍、口语退化、构音障碍、发音障碍、口吃。
[0010] 结合第一方面，本申请实施例提供了第一方面的第一种可能的实施方式，其中，所述言语评测方案包括评测言语场景方案和评测言语采集方案；
[0011] 所述言语评测方案包括评测言语场景方案和评测言语采集方案；
[0012] 评测言语场景方案包括场景参与形式、场景主题和场景道具；所述场景参与形式包括陪同或独立参与；所述场景主题包括以下至少一个主题：语音语调检测、语义识别；
[0014] 或，评测言语采集方案包括以下一个或多个：肢体动作采集、语音语调采集和面部表情采集。
[0015] 结合第一方面的第一种可能的实施方式，本申请实施例提供了第一方面的第二种可能的实施方式，其中，根据用户的响应行为，确定用户的评测结果包括：
[0016] 通过视频采集设备生成用户行为视频；
[0017] 根据用户行为视频中图片与参考图片的相似度确定用户的肢体动作轨迹和面部表情变化情况；
[0018] 所述参考图片是预先存储在处理器中的；
[0019] 根据用户的肢体动作轨迹和面部表情变化情况确定用户的评测结果；
[0020] 根据用户的响应行为，确定用户的评测结果包括：
[0021] 通过音频采集设备生成用户行为音频；
[0023] 所述参考音频信号是预先存储在处理器中的；
[0024] 根据用户的语音语调变化情况确定用户的评测结果。
[0025] 结合第一方面的第一种可能的实施方式，本申请实施例提供了第一方面的第三种可能的实施方式，其中，根据用户的响应行为，确定用户的评测结果包括：
[0026] 通过不同角度的摄像头获取用户的响应行为，以生成多个用户行为视频；
[0027] 将多个用户行为视频转换为静态图片组；
[0028] 将静态图片组压缩，得到第一图片组；
[0029] 将压缩后的图片灰度化，得到第二图片组；
[0031] 计算第二图片组中的每一帧图片总体灰度差异平均数，所述总体灰度差异平均数为第二图片组中每张图片的灰度差异平均数的总和除以第二图片组中图片的总数；所述灰度差异平均数为灰度等级不同的像素点数目的总和除以参考图片数量的结果；
[0032] 根据设定的相似度等级划分规则，获取总体灰度差异平均数所对应的图片相似度；
[0033] 根据图片相似度确定用户的肢体动作轨迹和面部表情变化情况；
[0034] 根据用户的肢体动作轨迹和面部表情变化情况确定用户的评测结果；
[0035] 根据用户的响应行为，确定用户的评测结果还包括：
[0036] 通过不同角度的音频采集设备获取用户的响应行为，以生成多个用户音频信号；
[0037] 对采集到的用户音频信号提取音频信号频谱；
[0038] 识别音频信号频谱的波峰位置；
[0039] 获取各波峰位置对应的特征值和时间点，根据各特征值和时间点得到用户音频信号的第一时间序列；
[0040] 对比第一时间序列与第二时间序列，根据对比结果得到用户音频信号与参考音频信号的相似度；所述第二时间序列为参考音频信号的时间序列；
[0041] 根据音频信号相似度确定用户的语音语调变化情况；
[0042] 根据用户的语音语调变化情况确定用户的评测结果。
[0043] 本申请实施例提供了第一方面的第四种可能的实施方式，其中，[0044] 根据用户基础信息，确定相应的言语状态的评测方案；用户基础信息包括年龄、身高、性别和体重；
[0045] 所述言语状态评测方案还包括相应烦人评测言语场景方案，评测言语场景方案包括真实场景和虚拟场景、陪同或独立、道具；
[0046] 所述言语评测方案还包括相应的评测言语采集方案，评测言语采集方案包括采集柱；所述采集柱上包括多个视频采集设备、声音采集设备、声音播放设备和视频播放设备；
[0047] 所述言语评测方案，包括在陪同或独立的场景内，测试在看到道具上的文字，并收到一定的指示后的反应；
[0048] 所述视频采集设备设置在场景内不同角度的位置，采集用户在看到道具上的文字，并收到一定的指示以及用道具触碰皮肤时，肢体的反应以及面部的表情；
[0049] 所述声音采集设备设置在场景内不同角度的位置，采集用户在看到道具上的文字，并收到一定的指示以及用道具触碰皮肤时，发出的声音；
[0050] 所述声音播放设备设置在场景内不同角度的位置，播放音频提示引导用户在场景内的行为；
[0051] 所述视频播放设备设置在场景内不同角度的位置，播放视频提示引导用户在场景内的行为；
[0052] 言语评测方案包括：
[0053] 语音语调言语检测方案，包括：用户在陪同或独立的情况下，测试用户看到文字以及用道具接触用户皮肤时用户的反应；
[0054] 声音播放设备和视频播放设备引导用户接触道具以及跟读道具上的文字；视频采集设备和音频采集设备采集用户在接触到道具以及跟读时的身体动作和语音语调；
[0055] 确定最终评测结果，是否感受性语言障碍、模仿言语障碍、发音是否障碍、是否口吃；
[0056] 语义识别言语检测方案，包括：用户在陪同或独立的情况下，测试用户听到声音后的发音情况；
[0057] 声音播放设备和视频播放设备引导用户跟读道具上的文字；视频采集设备和音频采集设备采集用户跟读时的语义；
[0058] 确定最终评测结果，是否口语退化、是否构音障碍。
[0059] 第二方面，本申请实施例还提供了一种评测言语状态的装置，应用于如第一方面所述的方法，该装置包括：评测室主体和设置在评测室主体上的采集模块、提示模块、处理器和交互屏，处理器分别与采集模块、提示模块、交互屏电性连接；
[0060] 所述采集模块用于采集评测室主体内的用户响应引导指令所作出的响应行为，并将采集到的响应行为发送到处理器；
[0061] 所述提示模块用于向评测室主体内的用户发出引导指令；
[0062] 所述处理器，用于按照如第一方面所述的方法执行相应的动作；
[0064] 结合第二方面，本申请实施例提供了第二方面的第一种可能的实施方式，其中：
[0065] 所述采集模块包括声音采集设备，和/或视频采集设备，和/或传感器采集设备；
[0066] 所述声音采集设备包括话筒和录音机；
[0067] 所述视频采集设备包括摄像头、录像机和图像传感器；
[0068] 所述声音播放设备包括广播、音箱和扬声器；
[0069] 所述视频播放设备包括电视机、电脑和交互屏；
[0070] 所述文字指示设备包括提示板、文字标志；
[0071] 所述传感器采集设备包括光敏传感器、声敏传感器、气敏传感器、化学传感器；
[0072] 所述交互屏包括主交互屏和辅助交互屏，主交互屏用于根据系统提供的问题，与用户进行人机交互；辅助交互屏用于辅助人机交互。
[0073] 结合第二方面的第一种可能的实施方式，本申请实施例提供了第二方面的第二种可能的实施方式，其中，所述评测室主体由设置在四个角落的采集柱支撑，以使评测室保持立体结构；
[0074] 所述采集柱上设置有采集模块和提示模块；
[0075] 所述采集柱上设置有导轨，采集模块和提示模块可沿导轨从评测室主体顶面板朝评测室底面板的方向滑动。
[0077] 结合第二方面，本申请实施例提供了第二方面的第四种可能的实施方式，其中，所述评测室四周由自动幕布围成，自动幕布可为卷轴或者平拉。
[0078] 本申请实施例提供的一种评测言语状态的方法和装置，采用获取用户基础信息来构建言语评测方案，并引导用户做出响应，并采集用户的响应行为，进行分析得出用户的言语评测结果，即感受性语言障碍、表述性语言障碍、构音障碍、发音障碍、是否口吃。与现有技术中的人工评测相比，其更适配于待评测用户，并可以根据用户个人情况生成用户个性化的言语评测方案，更易得出较为准确的评测结果。
附图说明
[0080] 为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0081] 图1示出了本申请实施例所提供的一种评测言语状态的方法的流程图；
[0082] 图2示出了本申请实施例所提供的另一种评测言语状态的方法的流程图；
[0083] 图3示出了本申请实施例所提供的一种评测言语状态的装置的结构示意图；
[0084] 图4示出了本申请实施例所提供的一种评测言语状态的装置的结构示意图。
具体实施方式
[0085] 为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0086] 针对言语的检查在现实中非常普遍，检查过程绝大多数以人工检查为主，得到的检测结果一般是直接基于即可得到的结果，并且很少以年龄、性别等基础信息对用户进行区分检测。针对该种情况，申请人提供了一种进行言语评测的方法。
[0087] 如图1所示，本申请实施例提供一种评测言语状态的方法，包括：如下步骤S101-S103：
[0088] S101，获取言语评测方案；
[0089] S102，基于所述言语评测方案，向用户输出引导指令，并采集用户响应引导指令所作出的响应行为；言语评测方案是根据用户基础信息确定的，所述用户基础信息包括以下的至少两个：年龄、性别、身高和体重；
[0090] S103，根据用户的响应行为，确定用户的评测结果；所述评测结果包括以下至少一个结果：感受性语言障碍、模仿言语障碍、口语退化、构音障碍、发音障碍、口吃。
[0091] 其中，所述言语评测方案包括评测言语场景方案和评测言语采集方案；
[0092] 评测言语场景方案包括场景参与形式、场景主题；所述场景参与形式包括陪同或独立参与；所述场景主题包括以下至少一个主题：语音语调检测、语义识别；
[0093] 评测言语采集方案包括以下任意一个或多个：视频采集、音频采集和传感器信号采集；
[0094] 或，评测言语采集方案包括以下一个或多个：肢体动作采集、语音语调采集和面部表情采集。
[0095] 具体的，评测言语场景方案就是建立对言语测试的相应反应行为与场景的对应关系，包含建立对应行为与场景设定元素的对应关系，场景设定元素包含场景适应年龄段、场景参与者、场景主题、场景形式和场景道具等的对应关系；包含建立对应行为与场景设定的对应关系，场景设定包含适应年龄段、人与人的设定、人与物的设定、行为与流程内容的对应关系。场景适应年龄段是根据用户输入的用户基础信息确定的，根据不同的年龄段确定不同的评测言语场景方案。场景参与形式包括陪同或独立参与。场景的参与者包括用户，以及用户的陪伴者，当用户是完全民事行为能人时，则可以独自参与言语评测；当用户是限制民事行为能力人或者无民事行为人时，需要在监护人的陪同下进入评测场景参与言语评测。场景主题包括以下至少一个主题：语音语调检测、语义识别。场景形式可以是真实或者虚拟，可以利用虚拟现实来实现用户的言语评测。
[0096] 评测言语采集方案包括以下任意一个或多个：音频采集和传感器信号采集；
[0097] 或，评测言语采集方案包括以下一个或多个：肢体动作采集、语音语调采集和面部表情采集。
[0098] 本申请所提供的方法中，步骤S103包括如下步骤：
[0099] 将用户的响应行为输入到评测模型中，以使模型输出评测结果；其中，模型用于表征如下两点：
[0100] 1.从跟读情况的反应的角度来确定评测结果；
[0101] 2.评测结果(感受性语言障碍、表述性语言障碍、构音障碍、发音障碍、口吃)与年龄及特定行为的对应关系。其中，表述性语言障碍可以通过是否能够模仿语言、口语是否退化来进行判断。
[0102] 当然，步骤S103还可以通过查表的方式来确定，并不必然采用输入到模型中的方式来实现。
[0103] 本申请实施例还提供一种评测言语状态的方法中，根据用户的响应行为，确定用户的评测结果包括：
[0104] 通过视频采集设备生成用户行为视频；
[0105] 根据用户行为视频中图片与参考图片的相似度确定用户的肢体动作轨迹和面部表情变化情况；
[0106] 所述参考图片是预先存储在处理器中的；
[0107] 根据用户的肢体动作轨迹和面部表情变化情况确定用户的评测结果；
[0108] 根据用户的响应行为，确定用户的评测结果包括：
[0109] 通过音频采集设备生成用户行为音频；
[0110] 根据用户行为音频中的音频信号频谱与参考音频信号频谱的相似度确定用户的语音语调变化情况；
[0111] 所述参考音频信号是预先存储在处理器中的；
[0112] 根据用户的语音语调变化情况确定用户的评测结果。
[0113] 具体地，针对用户在场景中的行为，建立对用户语音语调和语义等的采集方案。评测言语采集方案包括以下任意一个或多个：视频采集、音频采集和传感器信号采集，或者评测言语采集方案包括以下一个或多个：肢体动作采集、语音语调采集和面部表情采集。进行传感器信号采集时，所使用到的传感器包括光敏传感器、声敏传感器、气敏传感器、化学传感器、压敏传感器、温敏传感器以及流体传感器等。
[0114] 语音语调采集和语义的采集可以通过音频采集设备采集，同时也可以利用传感器来采集用户的各种言语反应。对于用户的语音语调进行以下的处理，将参考音频预先存储在处理器中，如用户听到音频后，进行跟读。根据用户跟读音频的情况确定用户的评测结果，根据用户的响应行为，确定用户的评测结果包括：通过音频采集设备生成用户言语音频，根据用户言语音频中的音频信号频谱与参考音频信号频谱的相似度确定用户的语音语调变化情况，参考音频信号是预先存储在处理器中的，根据用户的语音语调变化情况确定用户的评测结果。
[0115] 本申请实施例还提供一种评测言语状态的方法中：
[0116] 根据用户的响应行为，确定用户的评测结果包括：
[0117] 通过不同角度的摄像头获取用户的响应行为，以生成多个用户行为视频；
[0118] 将多个用户行为视频转换为静态图片组；
[0119] 将静态图片组压缩，得到第一图片组；
[0120] 将压缩后的图片灰度化，得到第二图片组；
[0121] 对比第二图片组中的每一帧图片与每一帧参考图片的灰度等级，得到两幅图片灰度等级不同的像素点数目；
[0122] 计算第二图片组中的每一帧图片总体灰度差异平均数，所述总体灰度差异平均数为第二图片组中每张图片的灰度差异平均数的总和除以第二图片组中图片的总数；所述灰度差异平均数为灰度等级不同的像素点数目的总和除以参考图片数量的结果；
[0123] 根据设定的相似度等级划分规则，获取总体灰度差异平均数所对应的图片相似度；
[0124] 根据图片相似度确定用户的肢体动作轨迹和面部表情变化情况；
[0125] 根据用户的肢体动作轨迹和面部表情变化情况确定用户的评测结果；
[0126] 根据用户的响应行为，确定用户的评测结果还包括：
[0127] 通过不同角度的音频采集设备获取用户的响应行为，以生成多个用户音频信号；
[0128] 对采集到的用户音频信号提取音频信号频谱；
[0129] 识别音频信号频谱的波峰位置；
[0130] 获取各波峰位置对应的特征值和时间点，根据各特征值和时间点得到用户音频信号的第一时间序列；
[0131] 对比第一时间序列与第二时间序列，根据对比结果得到用户音频信号与参考音频信号的相似度；所述第二时间序列为参考音频信号的时间序列；
[0132] 根据音频信号相似度确定用户的语音语调变化情况；
[0133] 根据用户的语音语调变化情况确定用户的评测结果。
[0134] 具体的，通过不同角度的音频采集设备获取用户的响应行为，以生成多个用户音频信号，对采集到的用户音频信号提取音频信号频谱，识别音频信号频谱的波峰位置，获取各波峰位置对应的特征值和时间点，根据各特征值和时间点得到用户音频信号的第一时间序列，对比第一时间序列与第二时间序列，根据对比结果得到用户音频信号与参考音频信号的相似度；所述第二时间序列为参考音频信号的时间序列，当在获取个波峰位置对应的时间点的时候，需要参照第二时间序列所对应的长度。根据音频信号相似度确定用户的语音语调变化情况，根据用户的语音语调变化情况确定用户的评测结果。
[0135] 本申请实施例还提供一种评测言语状态的方法，包括：
[0136] 根据用户基础信息，确定相应的言语状态的评测方案；用户基础信息包括年龄、身高、性别和体重；
[0137] 所述言语状态评测方案还包括相应烦人评测言语场景方案，评测言语场景方案包括真实场景和虚拟场景、陪同或独立、道具；
[0138] 所述言语评测方案还包括相应的评测言语采集方案，评测言语采集方案包括采集柱；所述采集柱上包括多个视频采集设备、声音采集设备、声音播放设备和视频播放设备；
[0139] 所述言语评测方案，包括在陪同或独立的场景内，测试在看到道具上的文字，并收到一定的指示后的反应；
[0140] 所述视频采集设备设置在场景内不同角度的位置，采集用户在看到道具上的文字，并收到一定的指示以及用道具触碰皮肤时，肢体的反应以及面部的表情；
[0141] 所述声音采集设备设置在场景内不同角度的位置，采集用户在看到道具上的文字，并收到一定的指示以及用道具触碰皮肤时，发出的声音；
[0142] 所述声音播放设备设置在场景内不同角度的位置，播放音频提示引导用户在场景内的行为；
[0143] 所述视频播放设备设置在场景内不同角度的位置，播放视频提示引导用户在场景内的行为；
[0144] 言语评测方案包括：
[0145] 语音语调言语检测方案，包括：用户在陪同或独立的情况下，测试用户看到文字以及用道具接触用户皮肤时用户的反应；
[0146] 声音播放设备和视频播放设备引导用户接触道具以及跟读道具上的文字；视频采集设备和音频采集设备采集用户在接触到道具以及跟读时的身体动作和语音语调；
[0147] 确定最终评测结果，是否感受性语言障碍、模仿言语障碍、发音是否障碍、是否口吃；
[0148] 语义识别言语检测方案，包括：用户在陪同或独立的情况下，测试用户听到声音后的发音情况；
[0149] 声音播放设备和视频播放设备引导用户跟读道具上的文字；视频采集设备和音频采集设备采集用户跟读时的语义；
[0150] 确定最终评测结果，是否口语退化、是否构音障碍。
[0151] 具体的，言语评测方案包括：
[0152] 语音语调言语检测方案，包括：用户在陪同或独立的情况下，测试用户听到声音后的言语反应。
[0153] 接触锋利的道具时，无相应的语言表达，结果：感受性语言障碍；
[0154] 接触锋利的道具时，有相应的语言表达，结果：无感受性语言障碍；
[0155] 询问问题时，能够正确回答，结果：口语正常；
[0156] 询问问题时，能够有回答的意识，但无法表达，结果：口语退化；
[0157] 询问问题时，不能回答，结果：口语退化；
[0158] 播放词语并指示其跟读时，跟读，结果：无发音障碍；
[0159] 播放词语并指示其跟读时，跟读单发音怪异，结果：发音障碍；
[0160] 播放语句并指示其跟读时，正常跟读，结果：无口吃；
[0161] 播放语句并指示其跟读时，跟读但有口吃情况，结果：口吃；
[0162] 语义识别言语检测方案，包括：用户在陪同或独立的情况下，测试测试用户听到声音或看到词语卡片后的言语反应，音频采集设备采集用户在听到声音或看到词语卡片后的言语反应。
[0163] 播放词语并指示其跟读时，未跟读，结果：模仿语言障碍；
[0164] 播放语句并指示其跟读时，正确跟读，结果：模仿语言正常。
[0165] 播放词语并指示其跟读时，跟读，结果：无构音障碍；
[0166] 播放词语并指示其跟读时，跟读单发音不准，结果：构音障碍；
[0167] 举例说明，首先是采集用户基础信息，由用户录入初始信息，可以是被评测用户录入或者由其监护人录入。
[0168] 被测试用户为12个月-36个月
[0169] 例：采集被评测用户的基础信息
[0170] 1)用户1：年龄：1岁10个月、性别：男性、身高：78.8CM，体重：11.5kg；
[0171] 需父母或监护人辅助录入基础信息。
[0172] 2)用户2：年龄：2岁1个月、性别：男性、身高：85CM，体重：15.5kg；
[0173] 需父母或监护人辅助录入基础信息。
[0174] 3)用户3：年龄：2岁3个月、性别：女性、身高：92CM，体重：16.8kg；
[0175] 需父母或监护人辅助录入基础信息。
[0176] 根据以上信息，输出评测方案：
[0177] 用户1：在父母的陪同下，用道具(1.播放词语和句子、2.带软刺的玩具球、3.询问问题)测试孩子在1.跟读词语与句子时的情况，2.抓球时候的反应，3.跟读词语或语句的发音情况；
[0178] 用户2：在父母的陪同下，用道具(1.播放词语和句子、2.带软刺的玩具球、3.询问问题)测试孩子在1.跟读词语与句子时的情况，2.抓球时候的反应，3.跟读词语或语句的发音情况；
[0179] 用户3：在父母的陪同下，用道具(1.播放词语和句子、2.带软刺的玩具球3.询问问题)测试孩子在1.跟读词语与句子时的情况，2.抓球时候的反应，3.跟读词语或语句的发音情况；
[0180] 2)评测场景
[0181] 用户1：真实场景、陪同、父母、玩具球；
[0182] 用户2：真实场景、陪同、父母、玩具球；
[0183] 用户3：真实场景、陪同、父母、玩具球；
[0184] 3)采集方案(匹配孩子身高、多角度采集)
[0185] 用户1：1米的采集柱，含多个摄像头、声音播放设备、声音采集设备；
[0186] 用户2：1米的采集柱，含多个摄像头、声音播放设备、声音采集设备；
[0187] 用户3：1米的采集柱，含多个摄像头、声音播放设备、声音采集设备；
[0188] 采集柱是指集成了多个可旋转摄像头、声音播放设备、采集声音的设备等的集成采集装置。
[0189] 评测方根据方案配置场景、道具、内容、流程。
[0190] 用户1：划分评测区、准备道具、安装调试采集设备
[0191] 用户2：划分评测区、准备道具、安装调试采集设备
[0192] 用户3：划分评测区、准备道具、安装调试采集设备
[0194] 采集系统采集用户在场景中的动作行为、语音语调、人机交互结果、表情等数据，采集系统上传采集的数据到服务端数据分析平台。
[0195] 用户1：采集用户在接触球体时的身体动作、声音、表情；
[0196] 用户2：采集用户在接触球体时的身体动作、声音、表情；
[0197] 用户3：采集用户在接触球体时的身体动作、声音、表情。
[0198] 服务端数据分析平台分析用户的各类行为数据，并给各类数据结果进行赋值，赋值结果主要为有/没有感受语言反馈、能/不能模仿言语、有/没有口语退化、有/没有构音障碍、有/没有发音障碍、有/没有口吃。
[0199] 用户1：
[0200] 1.玩带软刺的玩具球时，迅速放手、表情难受并尖叫，-有感受语言反馈、有动作、有表情；
[0201] 2.跟读词语或语句时，不能跟读，-不能模仿言语；
[0202] 3.回答问题时，有回答的意识，但无法表达，-有口语退化。
[0203] 用户2：
[0204] 1.玩带软刺的玩具球，迅速放手、表情难受并未尖叫；-有感受语言反馈、有动作、有表情；
[0205] 2.跟读词语或语句时，跟读但发音不准，-有构音障碍；
[0206] 3.回答问题时，能够正确回答，-无口语退化。
[0207] 用户3：
[0208] 1.玩带软刺的玩具球时，未放开、无表情并未尖叫；无感受语言反馈、无动作、无表情。
[0209] 2.跟读词语或语句时，能跟读、有发音怪异的情况、无口吃情况，-不能模仿言语、有发音障碍、无口吃；
[0210] 3.回答问题时，不能回答，-有口语退化。
[0211] 服务端将被评估用户的评测方案和评测分析结果输出给评测方。
[0212] 例如：
[0213] 用户1：对刺痛有感受语言反馈，不能模仿言语，有口语退化；
[0214] 用户2：对刺痛有感受语言反馈，有构音障碍，无口语退化；
[0215] 用户3：对刺痛无感受语言反馈，不能模仿言语、有发音障碍、无口吃，有口语退化。
[0216] 儿童作为被评测用户，言语评测的方案举例如下：
[0217]
[0218]
[0219] 如图2所示，本申请实施例还提供一种评测言语状态的装置，应用于上述所有方法实施例。该装置包括：
[0220] 6.评测室主体和设置在评测室主体上的采集模块、提示模块、处理器和交互屏，处理器分别与采集模块、提示模块、交互屏电性连接；
[0221] 所述采集模块用于采集评测室主体内的用户响应引导指令所作出的响应行为，并将采集到的响应行为发送到处理器；
[0222] 所述提示模块用于向评测室主体内的用户发出引导指令；
[0224] 所述交互屏，用于人机交互。
[0225] 评测室是一个立体的结构，四周由采集柱作为支撑柱使评测室保持立体结构，评测室四周可以由幕布围成，幕布可以是平拉或者为卷轴的形式。
[0226] 如图3所示，本申请实施例还提供一种评测言语状态的装置，包括：
[0227] 所述采集模块包括声音采集设备，和/或传感器采集设备；
[0228] 所述提示模块包括声音播放设备，和/或文字指示设备；
[0229] 所述声音采集设备包括话筒和录音机；
[0230] 所述声音播放设备包括广播、音箱和扬声器；
[0231] 所述文字指示设备包括提示板、文字标志；
[0232] 所述传感器采集设备包括光敏传感器、声敏传感器、气敏传感器、化学传感器；
[0233] 所述交互屏包括主交互屏和辅助交互屏，主交互屏用于根据系统提供的问题，与用户进行人机交互；辅助交互屏用于辅助人机交互。
[0234] 采集模块、提示模块和处理器设置在评测室主体30内，处理器311也可以设置在评测室主体30外。采集模块、提示模块分别和处理器311电性相连。采集模块将在评测室主体内采集到的用户响应行为上传到处理器311，由处理器311进行分析处理。采集模块包括声音采集设备、和传感器采集设备，声音采集设备包括话筒和录音机，录像机和图像传感器等。提示模块设置在评测室主体30内，以发出引导指令引导评测用户按照指令行为。提示模块包括声音播放设备和文字指示设备等。声音播放设备包括广播、音箱和扬声器307，文字指示设备包括提示板、文字标志，交互屏包括主交互屏306和辅助交互屏310，主交互屏306用于根据系统提供的问题，与用户进行人机交互，辅助交互屏310用于辅助人机交互。
[0235] 本申请实施例还提供一种评测言语状态的装置，包括：
[0236] 所述评测室主体由设置在四个角落的采集柱支撑，以使评测室保持立体结构；
[0237] 所述采集柱上设置有采集模块和提示模块；
[0238] 所述采集柱上设置有导轨，采集模块和提示模块可沿导轨从评测室主体顶面板朝评测室底面板的方向滑动。
[0239] 评测室内部设置有采集柱301，采集模块和提示模块可以设置在采集柱301上，采集柱301上设置有导轨，导轨沿整个采集柱平行布置，以使采集模块和提示模块可以沿着导轨从评测室顶面板向底面板的方向上下滑动，导轨可以是多条，以安装不同角度的采集模块和提示模块。评测室顶面板上安装灯具303，营造构建交互环境光效，也可以安装身高采集设备304，如超声波身高测量组件等。评测室的底面板上安装有人体信号采集设备307，包括体重采集设备，人体成分测量组件等，同时也设置有电源，以使整个评测室保持正常运行。评测室的前面板上设置有主交互屏305，以及扬声器306，交互屏305和扬声器306也可以安装在其他面板上，辅助交互屏309主要是为主交互屏305提供辅助作用，所以辅助交互屏309的安装位置可以在主交互屏305周围的任何面板上，另外，评测室主体30内还设置有电源308，给评测室内所有用电设备供电。
[0240] 另外，本申请实施例还提供一种评测言语状态的装置，其中评测室内还设置虚拟现实模块，包括：
[0241] 所述虚拟现实模块用于构建用户在评测室内的数据交互。
[0242] 虚拟现实模块可以采集评测室内交互数据，如评测室内的用户的头、眼以及手的动作采集，还比如，用户发出的声音的采集。
[0243] 如图4所示，本申请实施例还提供一种评测言语状态的装置，其中，所述评测室四周由自动幕布围成，包括：
[0244] 自动幕布可为卷轴或者平拉。
[0245] 自动幕布不仅可以播放视频，还能够用于制造一些用户在测试过程中，需要的环境，如：用户在睡觉过程中需要黑暗的环境，那么，幕布可以起到窗帘的作用，遮住光线。
[0246] 为了能够有效的对光线进行遮挡，自动幕布采用白塑幕。
[0247] 图4为评测室主题的平面结果图，其中顶面板上设置有灯具405和身高采集设备404，前面板上设置有主交互屏407、扬声器408，底面板上设置有人体信号采集设备409和电源410，右面板上设置有辅助交互屏402和处理器403，采集柱401、410、411、412同时作为评测室主体的支撑柱。每两个支撑柱之间设置有幕布406、413、414、415。此处，幕布采用白塑幕,当用户进入评测室时，根据其所要测试的项目，播放一些具有引导性的示例视频，还可以播放一些儿童感兴趣的画面，使儿童更快的适应其所处的环境。
[0248] 本申请实施例所提供的一种言语评测的装置可以为设备上的特定硬件或者安装于设备上的软件或固件等。本申请实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，前述描述的系统、装置和单元的具体工作过程，均可以参考上述方法实施例中的对应过程，在此不再赘述。
[0249] 在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0250] 所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0251] 最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围。都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种基于压缩感知的肝豆状核变性言语障碍的分类方法 | 2020-05-14 | 170 |
| 智能点餐机器人系统 | 2020-05-14 | 276 |
| 基于实时声道形状修正的构音障碍多维测量系统及其方法 | 2020-05-12 | 947 |
| 基于实时构音建模技术的构音障碍多维测量系统 | 2020-05-11 | 269 |
| 基于实时声道形状修正的构音障碍多维测量系统及其方法 | 2020-05-12 | 840 |
| 一种心理精神障碍的含两个音频通道的声音生成系统 | 2020-05-13 | 902 |
| 一种路面障碍减速装置 | 2020-05-14 | 527 |
| 具有求助功能的障碍物检测提示装置 | 2020-05-15 | 160 |
| 基于超声相控阵的盲人用拐杖 | 2020-05-14 | 85 |
| 一种汽车前围隔音复合材料 | 2020-05-15 | 613 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
构音障碍热门专利
QQ群二维码
意见反馈
意见反馈