技术领域
[0001] 本
发明涉及语音处理技术领域，特别是涉及一种构音障碍检测方法和系统。
背景技术
[0002] 目前，构音障碍检测技术研究处在一个初步发展的阶段。现如今医院康复科的构音障碍患者诊断方式主要依据医疗师的诊断经验和主观听觉
感知进行评估，费时费
力且不够稳定客观。而且，利用
放射性射线成像技术和核磁医疗器械技术进行诊断会对构音障碍患者的身体造成不良影响，还需要花费价格不菲的医疗器械
费用。现有的关于构音障碍的评估方法主要包括描记法、音标法、标准化测验检测法和仪器检查法等。
[0003] 上述构音障碍检测方案主要涉及到语音清晰度评估、
口腔轮替运动速率评估和鼻流量检测等等，容易影响检测结果的准确性。
发明内容
[0004] 基于此，有必要针对传统方案容易影响构音障碍检测准确性的技术问题，提供一种构音障碍检测方法和系统。
[0005] 一种构音障碍检测方法，包括如下步骤：
[0006] 读取电磁发音仪器产生的语音数据，根据所述语音数据获取音频数据及其对应的运动轨迹信息；其中，所述电磁发音仪器的
传感器安装在用户的发音
位置，所述语音数据为用户根据设定字词进行发音时，电磁发音仪器在用户发音感应位置获取的数据；
[0007] 根据所述音频数据从所述运动轨迹信息上提取各个字词读音对应的子运动轨迹信息；
[0008] 将所述子运动轨迹信息与参考语音库中各个字词读音对应的参考运动轨迹信息进行特征运算，获取相似概率值；其中所述参考语音库为包括所述各字词正常发音的语音
数据库；
[0009] 根据相似概率值对所述用户进行构音障碍检测。
[0010] 一种构音障碍检测系统，包括：
[0011] 读取模
块，用于读取电磁发音仪器产生的语音数据，根据所述语音数据获取音频数据及其对应的运动轨迹信息；其中，所述电磁发音仪器的传感器安装在用户的发音位置，所述语音数据为用户根据设定字词进行发音时，电磁发音仪器在用户发音感应位置获取的数据；
[0012] 提取模块，用于根据所述音频数据从所述运动轨迹信息上提取各个字词读音对应的子运动轨迹信息；
[0013] 获取模块，用于将所述子运动轨迹信息与参考语音库中各个字词读音对应的参考运动轨迹信息进行特征运算，获取相似概率值；其中所述参考语音库为包括所述各字词正常发音的语音数据库；
[0014] 检测模块，用于根据相似概率值对所述用户进行构音障碍检测。
[0015] 上述构音障碍检测方法和系统，通过读取电磁发音仪器产生的语音数据，从所述运动轨迹信息上提取各个字词读音对应的子运动轨迹信息；将所述子运动轨迹信息与参考语音库中各个字词读音对应的参考运动轨迹信息进行特征运算，获取相似概率值，从而实现所述用户的构音障碍检测，使上述构音障碍检测方案可以利用数据中的各字词读音以及相应的子运动轨迹信息，使检测结果的准确性得到提高。
附图说明
[0016] 图1为一个
实施例的构音障碍检测方法
流程图；
[0017] 图2为一个实施例的感器粘贴示意图；
[0018] 图3为一个实施例的概率分布示意图；
[0019] 图4为一个实施例的构音障碍检测系统结构示意图。
具体实施方式
[0020] 下面结合附图对本发明的构音障碍检测方法和系统的具体实施方式作详细描述。
[0021] 参考图1，图1所示为一个实施例的构音障碍检测方法流程图，包括如下步骤：
[0022] S10，读取电磁发音仪器产生的语音数据，根据所述语音数据获取音频数据及其对应的运动轨迹信息；其中，所述电磁发音仪器的传感器安装在用户的发音位置，所述语音数据为用户根据设定字词进行发音时，电磁发音仪器在用户发音感应位置获取的数据；
[0023] 上述电磁发音仪上安装的言语研究系统为一款非视距运动捕捉系统，通过上述言语研究系统，电磁发音仪可以采集包括音频数据及其同步的运动轨迹信息两个同步文件，其中音频数据为wav格式，运动轨迹信息为tsv格式。上述电磁发音仪器可以安装在用户的发音位置，包括上述用户的
发音器官位置，在用户对设定字词进行发音时，获取数据。上述设定字词可以为参考语音库所包括正常发音所对应的一个或者多个字词。
[0024] 在一个实施例中，上述电磁发音仪器的参考传感器可以粘贴在用户的眉心位置，将电磁发音仪器的六个微型传感器依次粘贴在用户的舌面后、舌面前、舌尖、下齿龈、上嘴唇、下嘴唇。
[0025] 上述电磁发音仪器的传感器的粘贴次序可以包括：将参考传感器粘贴在眉心位置，其次为口腔传感器的粘贴，具体操作为将6个微型传感器依次粘贴在舌面后、舌面前、舌尖、下齿龈、上嘴唇、下嘴唇，以上6个微型传感器的粘贴位置可以如图2所示。传感器在粘贴时用的是可食用的医用的口腔速干
粘合剂，在口腔内的微型传感器粘贴部分，首先要对口腔进行清理并用纱布擦干舌面以便于用口腔速干粘合剂将微型传感器粘贴到口腔内的对应的位置，在舌面上粘贴微型传感器的时候要注意三个微型传感器之间的间隔大约为10mm(毫米)。由于速干胶
水的粘合力比较弱之后还需要对口腔内的微型传感器利用口腔用的混合胶水加以固定。由于微型传感器的连线很细、很容易被扯断而且有一定的长度，所以在粘贴好微型传感器之后还需要对微型传感器的连线做好固定。在进行
数据采集之前为了让被采集者可以适应嘴内粘贴着微型传感器的情况下进行说话，可以让被采集的用户先进行说话练习，练习着适应嘴里含着微型传感器说话，当上述用户自我感觉已经适应之后再正式进行语音数据的采集。
[0026] S20，根据所述音频数据从所述运动轨迹信息上提取各个字词读音对应的子运动轨迹信息；
[0027] 上述步骤中，音频数据与运动轨迹信息对应的坐标数据为同步
信号，可以将
语音信号进行分段对齐从而得到每个字词读音的起止时间，再将对应的坐标的数据利用同步的时间进行分段。
[0028] 在一个实施例中，上述根据所述音频数据从所述运动轨迹信息上提取各个字词读音对应的子运动轨迹信息的步骤可以包括：
[0029] 对所述音频数据进行分段，得到语音数据中的各个字词读音在音频数据中的起止时间；
[0030] 对所述音频数据与运动轨迹信息进行同步处理，获取各个字词读音对应的子运动轨迹信息。
[0031] 本实施例可以采用语音信号的分割技术梅尔域
倒谱系数(Mel Frequency Cepstrum Coefficient，MFCC)将音频数据进行分段，采用对齐
算法DTW(Dynamic Time Warping，动态时间规整)对语音信号进行对齐，利用高斯混合模型(GMM)对语音信号进行相似性比较，从而实现对语音的自动分段对齐。在利用
语音识别技术完成语音信号的分段对齐的同时语音识别系统还会得到一个对于语音信号的似然得分，该似然得分可以作为检测音频数据识别度的标准，并且可以由上述似然得分判断该音频数据是否需要进行手动分段对齐。
[0032] 作为一个实施例，在获取各个字词读音对应的子运动轨迹信息之后，还可以包括：
[0033] 获取语音数据中各个字词读音对应的似然得分；
[0034] 在所述似然得分低于预设的似然
阈值时，利用手动标注音频工具获取各个读音对应的子运动轨迹信息。
[0035] 上述似然阈值可以根据所分段的音频数据所对应的字词正常发音特点进行设置。
[0036] 上述似然得分低于预设似然阈值的子运动轨迹信息，可以表明电磁发音仪器所获取的用户语音数据过于模糊，不能够用语音识别技术对其进行自动的分段对齐。对于这部分音频数据需要利用人工进行手动的分段对齐。可以使用手动标注音频工具Praat进一步获取各个读音对应的子运动轨迹信息。
[0037] 作为一个实施例，利用Praat进行语音标注的基本步骤可以包括：
[0038] 新建语音标注对象。在对象列表中选中需要进行语音标注的音频数据，点击“Annotate-”下的“To TextGrid…”，在新窗口键入待标注层的名称并确认，选中TextGrid对象后点击“Edit”按钮进入编辑页面。
[0039] 保存标注文件。由于Praat
软件不会自动保存，所以为了避免所标注的内容丢失，需要及时对标注对象进行保存。
[0040] 提取标注对象之中所需的层级数据。
选定TextGrid对象后点击“Extract tier…”按钮，在新窗口输入所需的层级号码并确认，选中新出现的对象并点击“Into TextGrid”按钮，选中又新生成的对象并点击“Edit”即可以查看所提取的层级数据。
[0041] 提取标注对象之中所需的
片段数据。选定TextGrid对象后点击“Extract part…”按钮，在新窗口输入所需的片段数据的开始时间和结束时间选中“Preserve times”并确认，选中新出现的对象并点击“Edit”即可以查看所提取的层级数据。
[0042] 得到TextGrid对象内的数据。利用Query-菜单内的子选项得以实现。
[0043] 获得标注文件内的数据。利用脚本程序提取出全部TextGrid文件，并将做提取的文件内的数据保存到文本文件里，进而可以将所得到的数据导入到Excel表格中进行进一步的数据分析和处理。
[0044] S30，将所述子运动轨迹信息与参考语音库中各个字词读音对应的参考运动轨迹信息进行特征运算，获取相似概率值；其中所述参考语音库为包括所述各字词正常发音的语音数据库；
[0045] 上述步骤可以利用MATLAB中的GUI，将子运动轨迹信息和对应的参考运动轨迹信息动态显示出来，以直观展示用户发音时口腔器官点的运动情况，再进行相应的特征运算，以获取用户字词读音的相似概率值，上述相似概率值越低，表明用户构音障碍越严重。
[0046] 上述参考语音库中预存了适于检测用户发音构音是否正常的所有字词的正常发音，可用于检测其检测的相应字词的其他读音或者发音是否正常。
[0047] 在一个实施例中，上述将所述子运动轨迹信息与参考语音库中各个字词读音对应的参考运动轨迹信息进行特征运算，获取相似概率值的步骤可以包括：
[0048] 分别在子运动轨迹信息和所述子运动轨迹信息对应的参考运动轨迹信息中获取坐标点序列，得到语音坐标序列和参考坐标序列；其中，所述语音坐标序列和参考坐标序列中的坐标点一一对应；
[0049] 分别对语音坐标序列和参考坐标序列进行归一化处理；
[0050] 将归一化处理后的语音坐标序列拟合为语音坐标曲线，获取所述语音坐标曲线的各阶语音拟合系数；
[0051] 将归一化处理后的参考坐标序列拟合为参考坐标曲线，获取所述参考坐标曲线的各阶参考拟合系数；
[0052] 根据所述语音拟合系数和参考拟合系数获取相似概率值。
[0053] 本实施例中，坐标点序列利用语音的分段对齐结果得到子运动轨迹信息，对所述子运动轨迹信息对应的运动轨迹信息的时间和幅值进行归一化。上述归一化处理后的语音坐标曲线和参考坐标曲线均可以写为相应的多阶函数，语音坐标曲线的各阶拟合系数即为上述语音坐标曲线对应的多阶函数的各阶系数，参考坐标曲线的各阶参考系数即为上述参考坐标曲线对应的多阶函数的各阶系数。
[0054] 作为一个实施例，上述根据所述根据所述语音拟合系数和参考拟合系数获取相似概率值的步骤可以包括：
[0055] 根据参考拟合系数建立多元高斯概率
密度分布模型；
[0056] 将所述语音拟合系数代入多元高斯概率密度分布模型获取语音拟合系数的相似概率值。
[0057] S40，根据相似概率值对所述用户进行构音障碍检测。
[0058] 在一个实施例中，上述根据相似概率值对所述用户进行构音障碍检测的过程可以包括：
[0059] 判断所述相似概率值与预设的构音阈值之间的大小关系；
[0060] 若所述相似概率值小于预设的构音阈值，则判定用户存在构音障碍。
[0061] 上述预设的构音阈值可以根据具体的字词特征所设置，通常构音阈值，则判定用户存在构音障碍。情况下，根据参考系数建立多元高斯概率密度分布模型以及将用户对应的语音系数代入上述多元高斯概率密度分布模型后的概率分别如图3所示，图3中，横坐标表示传感器序号，纵坐标表示概率值，则可以在将用户对应的语音系数代入上述多元高斯概率密度分布模型后的概率小于构音阈值，则判定用户存在构音障碍。
[0062] 本发明提供的构音障碍检测方法，通过读取电磁发音仪器产生的音频数据及其同步的运动轨迹信息，从所述运动轨迹信息上提取各个字词读音对应的子运动轨迹信息；将所述子运动轨迹信息与参考语音库中各个字词读音对应的参考运动轨迹信息进行特征运算，获取相似概率值，从而实现所述用户的构音障碍检测，使上述构音障碍检测方案可以利用数据中的各字词读音以及相应的子运动轨迹信息，使检测结果的准确性得到提高。
[0063] 参考图4所示，图4为一个实施例的构音障碍检测系统结构示意图，包括：
[0064] 读取模块10，用于读取电磁发音仪器产生的语音数据，根据所述语音数据获取音频数据及其对应的运动轨迹信息；其中，所述电磁发音仪器的传感器安装在用户的发音位置，所述语音数据为用户根据设定字词进行发音时，电磁发音仪器在用户发音感应位置获取的数据；
[0065] 提取模块20，用于根据所述音频数据从所述运动轨迹信息上提取各个字词读音对应的子运动轨迹信息；
[0066] 获取模块30，用于将所述子运动轨迹信息与参考语音库中各个字词读音对应的参考运动轨迹信息进行特征运算，获取相似概率值；其中所述参考语音库为包括所述各字词正常发音的语音数据库；
[0067] 检测模块40，用于根据相似概率值对所述用户进行构音障碍检测。
[0068] 在一个实施例中，上述提取模块可以进一步用于：
[0069] 对所述音频数据进行分段，得到语音数据中的各个字词读音在音频数据中的起止时间；
[0070] 对所述音频数据与运动轨迹信息进行同步处理，获取各个字词读音对应的子运动轨迹信息。
[0071] 作为一个实施例，上述提取模块可以进一步用于：
[0072] 获取语音数据中各个字词读音对应的似然得分；
[0073] 在所述似然得分低于预设的似然阈值时，利用手动标注音频工具获取各个读音对应的子运动轨迹信息。
[0074] 本发明提供的构音障碍检测系统与本发明提供的构音障碍检测方法一一对应，在所述构音障碍检测方法的实施例阐述的技术特征及其有益效果均适用于构音障碍检测系统的实施例中，特此
声明。
[0075] 以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本
说明书记载的范围。
[0076] 以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明
专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干
变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附
权利要求为准。
