技术领域
[0001] 本
发明涉及语音合成技术领域，特别是指一种文本韵律边界识别的方法及装置。
背景技术
[0002] 目前对文本韵律边界识别的主要方法如下：
[0003] (1)基于手工定制规则的方法。在少量语料上，语言专家通过对常用助词组成韵律短语的各种情况进行分类，标注人员通过制定的韵律边界规则，手动标注文本的韵律边界；
[0004] (2)基于句法分析的方法。构造一个可靠的句法分析器，从语法结构和韵律结构的关系入手来寻找两者之间的对应关系，从而自动标注文本的韵律边界；
[0005] (3)基于
机器学习算法的方法。使用诸如分类与回归树(CART)，
决策树(DT)，基于转换的学习方法(TBL)，最大熵模型(MEM)等手段，通过分词边界的上下文信息，计算该边界作为韵律边界的概率，以概率大小来判定是否为韵律边界。
[0006] 通过现有韵律边界预测的研究成果分析，可以知道人们对韵律边界的研究，主要从
文本分析的
角度出发，应用统计或基于知识推理的方法，目前这些方法存在如下不足：
[0007] (1)基于专家经验的规则归纳方法存在的缺点：归纳规则具有明显的条件性，扩展困难；人工标注工作量大，标注结果存在一定的因人而异的现象，结果不稳定。
[0008] (2)基于句法分析的方法存在的缺点：句法特征十分复杂，可靠的句法分析器很难训练；对输入文本的规范性要求较高，文本结构的好坏直接影响到韵律边界判定的准确性；虽然韵律结构和语法结构有很大的正相关性，但句法结构不是决定韵律结构的唯一因素，说话场景、说话人的语言能
力、说话
风格、情绪都是影响韵律结构的重要因素。
[0009] (3)基于机器学习算法存在的缺点：在输入特征上的选择具有局限性，通常只停留在词面、词性等较浅层上的语法信息，不足以描述韵律映射关系；基于机器学习算法的方式的学习效果很大程度取决于训练语料的
质量，一般生成的模型有较大局限性。
发明内容
[0010] 本发明提出一种文本韵律边界识别的方法及装置，利用音频和文本的对齐信息去标注文本韵律边界，为构造大规模标注文本韵律边界的语料库提供了一种高效、准确的方法。
[0011] 本发明的技术方案是这样实现的：
[0012] 一种文本韵律边界识别的方法，具体包括以下步骤：
[0013] S1，对标准语音数据集的录音和文本信息进行对齐训练，得到音频
帧和
音素的对齐模型；
[0014] S2，将待标注文本和录音预处理后输入对齐模型，得到音频帧和音素的对齐映射关系；
[0015] S3，根据音频帧和音素的对齐映射关系，推导得出未对齐的音频帧区间；
[0016] S4，按照韵律结构层级和文本间停顿时长的对应关系，设置不同层级的停顿
阈值，计算上述音频帧区间的时长，通过比较该时长与停顿阈值的大小关系判断出文本韵律边界。
[0017] 作为本发明的一个优选
实施例，步骤S1具体包括以下步骤：
[0018] S101，对标准语音数据集的录音和文本信息进行预处理，得到除去无效帧的音频帧集，将文本信息转化为音素，按文本内字符顺序构建有次序的音素集；
[0019] S102，对音频帧集中的有效音频帧进行声学特征提取，按音频帧顺序构建有次序的音频集；
[0020] S103，对有次序的音素集和音频集进行对齐训练，得到音频帧和音素的对齐模型。
[0021] 作为本发明的一个优选实施例，步骤S2具体包括以下步骤：
[0022] S201，将待标注文本和录音进行预处理，得到除去无效帧的音频帧集，将待标注文本转化为音素，按文本内字符顺序构建有次序的待标注音素集；
[0023] S202，对音频帧集中的有效音频帧进行声学特征提取，按音频帧顺序构建有次序的音频集；
[0024] S203，将待标注音素集和音频集输入对齐模型，得到音频帧和音素的对齐映射关系。
[0025] 作为本发明的一个优选实施例，步骤S1中，通过最大期望算法，对标准语音数据集的录音和文本信息进行对齐训练，得到音频帧和音素的对齐模型。
[0026] 一种文本韵律边界识别的装置，具体包括
[0027] 模型训练模
块，对标准语音数据集的录音和文本信息进行对齐训练，得到音频帧和音素的对齐参数；
[0028] 对齐模型模块，根据对齐参数建立对齐模型，将待标注文本和录音输入对齐模型，得到音频帧和音素的对齐映射关系；
[0029] 字典，记录有效音频中音素和音频区间的对应关系，以及这些音频区间下界端点
位置的音素符号及索引，构建音素符号和音频区间的映射字典、音素索引与有效音频中无音素对应关系的音频区间的映射字典；
[0030] 韵律层级模块，按照韵律结构层级和文本间停顿时长的对应关系，设置不同层级的停顿阈值；
[0031] 边界确定模块，根据无量纲参数和停顿阈值的关系判断出文本韵律边界。
[0032] 作为本发明的一个优选实施例，还包括
[0033] 预处理模块，对标准语音数据集的录音和文本信息/待标注的录音和文本信息进行预处理，得到有次序的音素集和音频集，输出至模型训练模块/对齐模型模块。
[0034] 作为本发明的一个优选实施例，预处理模块包括
[0035] 录音预处理子模块，对录音进行过滤和分帧操作，获得有效音频帧集，对有效音频帧进行特征提取和排序，得到有次序的音频集；
[0036] 文本预处理子模块，对文本进行清洗和切词处理，将文本转
化成音素，按文本内字符顺序构建有次序的音素集。
[0037] 作为本发明的一个优选实施例，录音预处理子模块包括
[0038] 有效音频筛选子模块，对原始录音进行过滤操作，通过话音激活检测，除去话音前后的无效语音帧以及各种
背景噪音信号得到音频帧集；
[0039] 音频次序排列子模块，对音频帧集中的有效音频帧进行声学特征提取，按音频帧的顺序，填入相应的MFCC或FBANK信息，构成有次序的音频集。
[0040] 作为本发明的一个优选实施例，边界确定模块，根据无量纲参数和停顿阈值的关系判断出文本韵律边界具体指的是
[0041] 边界确定模块，根据无量纲参数和停顿阈值的关系在文本对应的位置处插入韵律边界标志符。
[0042] 本发明的有益效果在于：
[0043] (1)建立音素与音频帧的对齐关系，通过统计对齐结果，能更直观的观察到不同等级的韵律边界与停顿时长的关系，提供了一种从统计学的角度划分韵律边界等级的思路。
[0044] (2)借助录音的韵律边界切分模型能够利用说话人的语言能力、说话风格、情绪等影响韵律结构的因素，使得文本的韵律边界切分结果更贴近实际场景，更加准确；
[0045] (3)重复利用文本录音信息，不再只从文本角度进行分析，降低了对句法结构分析
精度的依赖，使得模型的建立更加容易。
附图说明
[0046] 为了更清楚地说明本发明实施例或
现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0047] 图1为本发明一种文本韵律边界识别的方法的
流程图；
[0048] 图2为本发明一种文本韵律边界识别的装置的原理
框图；
[0049] 图3为本发明一种文本韵律边界识别的方法一个实施例的流程图。
具体实施方式
[0050] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0051] 如图1所示，本发明提出了一种文本韵律边界识别的方法，具体包括以下步骤：
[0052] S1，对标准语音数据集的录音和文本信息进行对齐训练，得到音频帧和音素的对齐模型；
[0053] 步骤S1具体包括以下步骤：
[0054] S101，对标准语音数据集的录音和文本信息进行预处理，得到除去无效帧的音频帧集，将文本信息转化为音素，按文本内字符顺序构建有次序的音素集；对原始录音进行过滤操作，通过话音激活检测(VAD),除去话音前后的无效语音帧以及各种背景噪音信号得到音频帧集；对文本进行简单清洗处理后，通过事先准备好的词典，将文本转化成音素，按文本内字符顺序构建有次序的音素集。
[0055] S102，对音频帧集中的有效音频帧进行声学特征提取，按音频帧顺序构建有次序的音频集；按音频帧顺序填入相应的MFCC或FBANK信息，构成有次序的音频集。
[0056] S103，对有次序的音素集和音频集进行对齐训练，得到音频帧和音素的对齐模型。通过最大期望(EM)算法，对上述步骤生成的有次序音素集和有次序音频集进行对齐训练，可以得到音频帧和音素的对齐模型。
[0057] S2，将待标注文本和录音预处理后输入对齐模型，得到音频帧和音素的对齐映射关系；
[0058] 步骤S2具体包括以下步骤：
[0059] S201，将待标注文本和录音进行预处理，得到除去无效帧的音频帧集，将待标注文本转化为音素，按文本内字符顺序构建有次序的待标注音素集；
[0060] S202，对音频帧集中的有效音频帧进行声学特征提取，按音频帧顺序构建有次序的音频集；
[0061] S203，将待标注音素集和音频集输入对齐模型，得到音频帧和音素的对齐映射关系。
[0062] S3，根据音频帧和音素的对齐映射关系，推导得出未对齐的音频帧区间；
[0063] S4，按照韵律结构层级和文本间停顿时长的对应关系，设置不同层级的停顿阈值，计算上述音频帧区间的时长，通过比较该时长与停顿阈值的大小关系判断出文本韵律边界。
[0064] 如图2所示，本发明还提出了一种文本韵律边界识别的装置，具体包括[0065] 模型训练模块，对标准语音数据集的录音和文本信息进行对齐训练，得到音频帧和音素的对齐参数；
[0066] 对齐模型模块，根据对齐参数建立对齐模型，将待标注文本和录音输入对齐模型，得到音频帧和音素的对齐映射关系；
[0067] 字典，记录有效音频中音素和音频区间的对应关系，以及这些音频区间下界端点位置的音素符号及索引，构建音素符号和音频区间的映射字典、音素索引与有效音频中无音素对应关系的音频区间的映射字典；
[0068] 韵律层级模块，按照韵律结构层级和文本间停顿时长的对应关系，设置不同层级的停顿阈值；
[0069] 边界确定模块，根据无量纲参数和停顿阈值的关系判断出文本韵律边界。
[0070] 作为本发明的一个优选实施例，本发明还包括预处理模块，对标准语音数据集的录音和文本信息/待标注的录音和文本信息进行预处理，得到有次序的音素集和音频集，输出至模型训练模块/对齐模型模块。
[0071] 作为本发明的一个优选实施例，预处理模块包括
[0072] 录音预处理子模块，对录音进行过滤和分帧操作，获得有效音频帧集，对有效音频帧进行特征提取和排序，得到有次序的音频集；
[0073] 文本预处理子模块，对文本进行清洗和切词处理，将文本转化成音素，按文本内字符顺序构建有次序的音素集。
[0074] 作为本发明的一个优选实施例，录音预处理子模块包括
[0075] 有效音频筛选子模块，对原始录音进行过滤操作，通过话音激活检测，除去话音前后的无效语音帧以及各种背景噪音信号得到音频帧集；
[0076] 音频次序排列子模块，对音频帧集中的有效音频帧进行声学特征提取，按音频帧的顺序，填入相应的MFCC或FBANK信息，构成有次序的音频集。
[0077] 作为本发明的一个优选实施例，边界确定模块，根据无量纲参数和停顿阈值的关系判断出文本韵律边界具体指的是
[0078] 边界确定模块，根据无量纲参数和停顿阈值的关系在文本对应的位置处插入韵律边界标志符。
[0079] 如图3所示，结合
语音识别工具箱kaldi，举例说明一种本发明的具体实现手段。
[0080] (1)首先取数据集中的录音和文本进行预处理，生成kaldi训练需要的大量标注数据，基于kald工具包自带的DNN-HMM模型，得到相应的音频帧和音素对齐模型F2P；
[0081] (2)
抽取数据集中的一段文本，记为S_in和其对应的录音，记为F；
[0082] (3)对录音F进行话音激活检测、分帧、
加窗、快速傅立叶、mel
频谱规整、取对数和离散余弦变换等音频处理操作后可得对应的MFCC特征(39维)序列，将声学特征序列转化成kaldi能识别的格式fr，以fr为值构造音频帧列表Fr＝[fr1,fr2,...,frm]；
[0083] (4)通过提前准备好的词典，将S_in中的字符拆分成音素，以音素所在位置pos为key，音素转化成kaldi能识别的格式p后作为value，构造音素字典P＝{pos1:p1,pos2:p2,...,posn:pn}；
[0084] (5)通过对齐模型F2P确定音频帧fe和有效音素p的对应关系，并以音素p为key，音频帧fr为value，构造字典D1＝{p1:fr1,p1:fri,p2:fri+5,...,pn:frm}；
[0085] (6)计算音频帧中与有效音素对齐以外的帧数目，并除以Fr总的帧数，得到无量纲参量L，与音素起始位置一起存入字典D2＝{pi:L1,pj:L2,...,pk:Ls}；
[0086] (7)参考长句的停顿与韵律边界的判定准则，结合具体实验数据分析，将韵律层级根据停顿时间长度分为三级：一级停顿包括主谓之间；二级停顿包括偏正结构的不同修饰词之间；三级停顿包括述宾之间、带“的”或“地”的短语和词组。根据L与等级阈值的关系，在文本对应的位置p处插入韵律边界标志符，即可得到带有韵律边界的标注文本S_out。
[0087] 本发明的有益效果在于：
[0088] (1)建立音素与音频帧的对齐关系，通过统计对齐结果，能更直观的观察到不同等级的韵律边界与停顿时长的关系，提供了一种从统计学的角度划分韵律边界等级的思路。
[0089] (2)借助录音的韵律边界切分模型能够利用说话人的语言能力、说话风格、情绪等影响韵律结构的因素，使得文本的韵律边界切分结果更贴近实际场景，更加准确；
[0090] (3)重复利用文本录音信息，不再只从文本角度进行分析，降低了对句法结构分析精度的依赖，使得模型的建立更加容易。
[0091] 以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何
修改、等同替换、改进等，均应包含在本发明的保护范围之内。
