音色相似度的确定方法、装置及计算机存储介质
阅读：734发布：2024-01-18
专利汇可以提供音色相似度的确定方法、装置及计算机存储介质专利检索，专利查询，专利分析的服务。并且本公开提供了一种音色相似度的确定方法、装置及计算机存储介质，涉及 数据处理 技术领域。该方法可以基于k个第一均值 特征向量 以及k个第二均值特征向量，确定第一音频和第二音频的音色相似度。由于每个第一均值特征向量是基于m个第一特征向量中的多个第一特征向量的平均值确定的，每个第二均值特征向量是基于m个第二特征向量中的多个第二特征向量的平均值确定的，因此相较于 现有技术 中直接根据第一特征向量和第二特征向量确定音色相似度，本公开 实施例 提供的音色相似度确定方法确定的音色相似度的准确性较高。，下面是音色相似度的确定方法、装置及计算机存储介质专利的具体信息内容。
1.一种音色相似度的确定方法，其特征在于，所述方法包括：
获取第一音频的m个第一特征向量，以及第二音频的m个第二特征向量，所述第一音频与所述第二音频为不同的音频，所述m为大于1的整数；
根据m个所述第一特征向量确定k个第一均值特征向量，每个所述第一均值特征向量基于m个所述第一特征向量中的多个所述第一特征向量的平均值确定，所述k为正整数；
根据m个所述第二特征向量确定与k个所述第一均值特征向量一一对应的k个第二均值特征向量，每个所述第二均值特征向量基于m所述个第二特征向量中的多个所述第二特征向量的平均值确定；
基于k个所述第一均值特征向量以及k个所述第二均值特征向量确定所述第一音频和所述第二音频的音色相似度。
2.根据权利要求1所述的方法，其特征在于，所述根据m个所述第一特征向量确定k个第一均值特征向量，包括：
将m个所述第一特征向量划分为k个不同的第一向量组，每个所述第一向量组包括n个连续的第一特征向量，所述n为大于1且小于所述m的整数；
对于每个所述第一向量组，将所述第一向量组包括的n个连续的第一特征向量的平均值确定为一个第一均值特征向量，得到k个所述第一均值特征向量；
所述根据m个所述第二特征向量确定与k个所述第一均值特征向量一一对应的k个第二均值特征向量，包括：
将m个所述第二特征向量划分为k个不同的第二向量组，每个所述第二向量组包括n个连续的第二特征向量；
对于每个所述第二向量组，将所述第二向量组包括的n个连续的第二特征向量的平均值确定为一个第二均值特征向量，得到k个所述第二均值特征向量。
3.根据权利要求2所述的方法，其特征在于，任意两个所述第一向量组的交集为空，且相邻两个所述第一向量组包括的所述第一特征向量连续；
任意两个所述第二向量组的交集为空，且相邻两个所述第二向量组包括的所述第二特征向量连续。
4.根据权利要求1至3任一所述的方法，其特征在于，所述k为大于1的整数，所述基于k个所述第一均值特征向量以及k个所述第二均值特征向量确定所述第一音频和所述第二音频的音色相似度，包括：
对于每个所述第一均值特征向量以及对应的一个所述第二均值特征向量，采用皮尔逊算法进行处理，确定一个音色距离，得到k个所述音色距离；
将k个所述音色距离的平均值确定为所述第一音频和所述第二音频的音色相似度。
5.根据权利要求1至3任一所述的方法，其特征在于，所述获取第一音频的m个第一特征向量，以及第二音频的m个第二特征向量包括：
获取所述第一音频的多个第一初始特征向量，以及所述第二音频的多个第二初始特征向量；
对多个所述第一初始特征向量，以及多个所述第二初始特征向量进行对齐处理，得到m个第一特征向量和m个第二特征向量。
6.根据权利要求5所述的方法，其特征在于，所述对多个所述第一初始特征向量，以及多个所述第二初始特征向量进行对齐处理，包括：
采用动态时间归整算法对多个所述第一初始特征向量，以及多个所述第二初始特征向量进行对齐处理。
7.根据权利要求5所述的方法，其特征在于，所述获取所述第一音频的多个第一初始特征向量，以及所述第二音频的多个第二初始特征向量，包括：
从所述第一音频中提取多个第一梅尔倒谱参数作为多个第一初始特征向量；
从所述第二音频中提取出多个第二梅尔倒谱参数作为多个第二初始特征向量。
8.一种音色相似度的确定装置，其特征在于，所述装置包括：
获取模块，用于获取第一音频的m个第一特征向量，以及第二音频的m个第二特征向量，所述第一音频与所述第二音频为不同的音频，所述m为大于1的整数；
第一确定模块，用于根据m个所述第一特征向量确定k个第一均值特征向量，每个所述第一均值特征向量基于m个所述第一特征向量中的多个所述第一特征向量的平均值确定，所述k为正整数；
第二确定模块，用于根据m个所述第二特征向量确定与k个所述第一均值特征向量一一对应的k个第二均值特征向量，每个所述第二均值特征向量基于m所述个第二特征向量中的多个所述第二特征向量的平均值确定；
第三确定模块，用于基于k个所述第一均值特征向量以及k个所述第二均值特征向量确定所述第一音频和所述第二音频的音色相似度。
9.一种音色相似度的确定装置，其特征在于，所述装置包括：存储器和处理器；所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至7任一所述的音色相似度的确定方法。
10.一种计算机存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当所述计算机可读存储介质在计算机上运行时，使得所述计算机执行如权利要求1至7任一所述的音色相似度的确定方法。
音色相似度的确定方法、装置及计算机存储介质
技术领域
背景技术
[0002] 用户在使用手机等终端中安装的音频客户端录制音频后，音频客户端可以确定用户的音频与其他音频的音色相似度，以便用户获知与其音色相似的其他音频。
[0003] 相关技术中，音频客户端可以基于用户的音频确定第一特征向量，并可以基于其他音频确定第二特征向量，之后可以计算第一特征向量与第二特征向量的余弦距离，并将该余弦距离确定为用户的音频和其他音频的音色相似度。
[0004] 但是，相关技术中确定的音色相似度的准确性较低。发明内容
[0005] 本公开提供了一种音色相似度的确定方法、装置及计算机存储介质，可以解决相关技术的确定的音色相似度的准确性较低的问题。所述技术方案如下：
[0006] 一方面，提供了一种音色相似度的确定方法，所述方法包括：
[0007] 获取第一音频的m个第一特征向量，以及第二音频的m个第二特征向量，所述第一音频与所述第二音频为不同的音频，所述m为大于1的整数；
[0008] 根据m个所述第一特征向量确定k个第一均值特征向量，每个所述第一均值特征向量基于m个所述第一特征向量中的多个所述第一特征向量的平均值确定，所述k为正整数；
[0009] 根据m个所述第二特征向量确定与k个所述第一均值特征向量一一对应的k个第二均值特征向量，每个所述第二均值特征向量基于m所述个第二特征向量中的多个所述第二特征向量的平均值确定；
[0010] 基于k个所述第一均值特征向量以及k个所述第二均值特征向量确定所述第一音频和所述第二音频的音色相似度。
[0011] 可选的，所述根据m个所述第一特征向量确定k个第一均值特征向量，包括：
[0012] 将m个所述第一特征向量划分为k个不同的第一向量组，每个所述第一向量组包括n个连续的第一特征向量，所述n为大于1且小于所述m的整数；
[0013] 对于每个所述第一向量组，将所述第一向量组包括的n个连续的第一特征向量的平均值确定为一个第一均值特征向量，得到k个所述第一均值特征向量；
[0014] 所述根据m个所述第二特征向量确定与k个所述第一均值特征向量一一对应的k个第二均值特征向量，包括：
[0015] 将m个所述第二特征向量划分为k个不同的第二向量组，每个所述第二向量组包括n个连续的第二特征向量；
[0016] 对于每个所述第二向量组，将所述第二向量组包括的n个连续的第二特征向量的平均值确定为一个第二均值特征向量，得到k个所述第二均值特征向量。
[0017] 可选的，任意两个所述第一向量组的交集为空，且相邻两个所述第一向量组包括的所述第一特征向量连续；
[0018] 任意两个所述第二向量组的交集为空，且相邻两个所述第二向量组包括的所述第二特征向量连续。
[0019] 可选的，所述k为大于1的整数，所述基于k个所述第一均值特征向量以及k个所述第二均值特征向量确定所述第一音频和所述第二音频的音色相似度，包括：
[0021] 将k个所述音色距离的平均值确定为所述第一音频和所述第二音频的音色相似度。
[0022] 可选的，所述获取第一音频的m个第一特征向量，以及第二音频的m个第二特征向量包括：
[0023] 获取所述第一音频的多个第一初始特征向量，以及所述第二音频的多个第二初始特征向量；
[0024] 对多个所述第一初始特征向量，以及多个所述第二初始特征向量进行对齐处理，得到m个第一特征向量和m个第二特征向量。
[0025] 可选的，所述对多个所述第一初始特征向量，以及多个所述第二初始特征向量进行对齐处理，包括：
[0026] 采用动态时间归整算法对多个所述第一初始特征向量，以及多个所述第二初始特征向量进行对齐处理。
[0027] 可选的，所述获取所述第一音频的多个第一初始特征向量，以及所述第二音频的多个第二初始特征向量，包括：
[0028] 从所述第一音频中提取多个第一梅尔倒谱参数作为多个第一初始特征向量；
[0029] 从所述第二音频中提取出多个第二梅尔倒谱参数作为多个第二初始特征向量。
[0030] 另一方面，提供了一种音色相似度的确定装置，所述装置包括：
[0031] 获取模块，用于获取第一音频的m个第一特征向量，以及第二音频的m个第二特征向量，所述第一音频与所述第二音频为不同的音频，所述m为大于1的整数；
[0032] 第一确定模块，用于根据m个所述第一特征向量确定k个第一均值特征向量，每个所述第一均值特征向量基于m个所述第一特征向量中的多个所述第一特征向量的平均值确定，所述k为正整数；
[0033] 第二确定模块，用于根据m个所述第二特征向量确定与k个所述第一均值特征向量一一对应的k个第二均值特征向量，每个所述第二均值特征向量基于m所述个第二特征向量中的多个所述第二特征向量的平均值确定；
[0034] 第三确定模块，用于基于k个所述第一均值特征向量以及k个所述第二均值特征向量确定所述第一音频和所述第二音频的音色相似度。
[0035] 可选的，所述第一确定模块用于：
[0036] 将m个所述第一特征向量划分为k个不同的第一向量组，每个所述第一向量组包括n个连续的第一特征向量，所述n为大于1且小于所述m的整数；
[0037] 对于每个所述第一向量组，将所述第一向量组包括的n个连续的第一特征向量的平均值确定为一个第一均值特征向量，得到k个所述第一均值特征向量；
[0038] 所述第二确定模块用于：
[0039] 将m个所述第二特征向量划分为k个不同的第二向量组，每个所述第二向量组包括n个连续的第二特征向量；
[0040] 对于每个所述第二向量组，将所述第二向量组包括的n个连续的第二特征向量的平均值确定为一个第二均值特征向量，得到k个所述第二均值特征向量。
[0041] 可选的，任意两个所述第一向量组的交集为空，且相邻两个所述第一向量组包括的所述第一特征向量连续；
[0042] 任意两个所述第二向量组的交集为空，且相邻两个所述第二向量组包括的所述第二特征向量连续。
[0043] 可选的，所述k为大于1的整数，所述第三确定模块用于：
[0044] 对于每个所述第一均值特征向量以及对应的一个所述第二均值特征向量，采用皮尔逊算法进行处理，确定一个音色距离，得到k个所述音色距离；
[0045] 将k个所述音色距离的平均值确定为所述第一音频和所述第二音频的音色相似度。
[0046] 可选的，所述获取模块包括：
[0047] 获取子模块，用于获取所述第一音频的多个第一初始特征向量，以及所述第二音频的多个第二初始特征向量；
[0048] 对齐子模块，用于对多个所述第一初始特征向量，以及多个所述第二初始特征向量进行对齐处理，得到m个第一特征向量和m个第二特征向量。
[0049] 可选的，所述对齐子模块用于：
[0050] 采用动态时间归整算法对多个所述第一初始特征向量，以及多个所述第二初始特征向量进行对齐处理。
[0051] 可选的，所述获取子模块用于：
[0052] 从所述第一音频中提取多个第一梅尔倒谱参数作为多个第一初始特征向量；从所述第二音频中提取出多个第二梅尔倒谱参数作为多个第二初始特征向量。
[0053] 又一方面，提供了一种音色相似度的确定装置，所述装置包括：存储器和处理器；所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上述方面所述的音色相似度的确定方法。
[0054] 再一方面，提供了一种计算机存储介质，所述计算机可读存储介质中存储有指令，当所述计算机可读存储介质在计算机上运行时，使得所述计算机执行如上述方面所述的音色相似度的确定方法。
[0055] 再一方面，提供了一种包含指令的计算机程序产品，当所述计算机程序产品在所述计算机上运行时，使得所述计算机执行上述方面所述的音色相似度的确定方法。
[0056] 本公开提供的技术方案带来的有益效果至少包括：
[0057] 本公开提供了一种音色相似度的确定方法、装置及计算机存储介质，该方法可以基于k个第一均值特征向量以及k个第二均值特征向量，确定第一音频和第二音频的音色相似度。由于每个第一均值特征向量是基于m个第一特征向量中的多个第一特征向量的平均值确定的，每个第二均值特征向量是基于m个第二特征向量中的多个第二特征向量的平均值确定的，因此相较于现有技术中直接根据第一特征向量和第二特征向量确定音色相似度，本公开实施例提供的音色相似度确定方法确定的音色相似度的准确性较高。附图说明
[0058] 为了更清楚地说明本公开实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0059] 图1是本公开实施例提供的一种终端的示意图；
[0060] 图2是本公开实施例提供的一种音色相似度的确定方法的流程图；
[0061] 图3是本公开实施例提供的另一种音色相似度的确定方法的流程图；
[0062] 图4是本公开实施例提供的一种基于k个第一均值特征向量以及k个第二均值特征向量确定音色相似度的方法流程图；
[0063] 图5是本公开实施例提供的一种音色相似度的确定装置的结构示意图；
[0064] 图6是本公开实施例提供的一种获取模块的结构示意图；
[0065] 图7是本公开实施例提供的另一种音色相似度的确定装置的结构示意图。
具体实施方式
[0066] 为使本公开的目的、技术方案和优点更加清楚，下面将结合附图对本公开实施方式作进一步地详细描述。
[0067] 本公开实施例提供的音色相似距离的确定方法可以应用于终端。图1是本公开实施例提供的一种终端的示意图。如图1所示，该终端100上可以安装有音频客户端10a。该音频客户端10a可以获取第一音频和第二音频，并确定该第一音频和第二音频的音色相似度。
[0068] 其中，该终端100可以是智能手机、平板电脑、MP4(moving picture experts group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机或者台式计算机等等。该音频客户端10a可以为能够录制和播放音频的客户端，例如可以为K歌客户端。
[0069] 本公开实施例提供了一种音色相似度的确定方法，该方法可以应用于图1所示的实施环境中的音频客户端。参见图2，该方法可以包括：
[0070] 步骤101、获取第一音频的m个第一特征向量，以及第二音频的m个第二特征向量。
[0071] 其中，m为大于1的整数。第一音频与第二音频为不同的音频。
[0072] 步骤102、根据m个第一特征向量确定k个第一均值特征向量。
[0073] 其中，k为正整数，每个第一均值特征向量基于m个第一特征向量中的多个第一特征向量的平均值确定。
[0074] 步骤103、根据m个第二特征向量确定与k个第一均值特征向量一一对应的k个第二均值特征向量。
[0075] 每个第二均值特征向量基于m个第二特征向量中的多个第二特征向量的平均值确定。
[0076] 步骤104、基于k个第一均值特征向量以及k个第二均值特征向量确定第一音频和第二音频的音色相似度。
[0077] 在本公开实施例中，可以采用皮尔逊(pearson)算法对该k个第一均值特征向量，以及该k个第一特征均值向量一一对应的k个第二均值特征向量进行处理，以确定第一音频和第二音频的音色相似度。或者，可以确定k个第一均值特征向量，以及与该k个第一均值特征向量一一对应的k个第二均值特征向量的余弦距离，以确定第一音频和第二音频的音色相似度。
[0078] 综上所述，本公开实施例提供了一种音色相似度的确定方法，该方法可以基于k个第一均值特征向量以及k个第二均值特征向量，确定第一音频和第二音频的音色相似度。由于每个第一均值特征向量是基于m个第一特征向量中的多个第一特征向量的平均值确定的，每个第二均值特征向量是基于m个第二特征向量中的多个第二特征向量的平均值确定的，因此相较于现有技术中直接根据第一特征向量和第二特征向量确定音色相似度，本公开实施例提供的音色相似度确定方法确定的音色相似度的准确性较高。
[0079] 图3是本公开实施例提供的另一种音色相似度的确定方法的流程图，该方法可以应用于图1所示的实施环境中的音频客户端。参见图3，该方法可以包括：
[0080] 步骤201、获取第一音频的多个第一初始特征向量，以及第二音频的多个第二初始特征向量。
[0081] 其中，第一音频与第二音频为不同的音频。例如，该第一音频和第二音频可以是不同用户录制的音频。并且，该第一音频和该第二音频的内容可以相同。例如，第一音频和第二音频可以是音频客户端获取的不同用户针对同一内容录制的音频。其中，该内容可以包括曲谱、歌词和语句等。该多个第一初始特征向量和第二音频的多个第二初始特征向量的个数可以相同，也可以不同。
[0082] 在一种可选的实现方式中，音频客户端可以对第一音频和第二音频进行进行梅尔倒谱(Mel-cepstrum)参数的特征提取，以从第一音频中提取多个第一梅尔倒谱参数作为多个第一初始特征向量，并从第二音频中提取出多个第二梅尔倒谱参数作为多个第二初始特征向量。
[0083] 示例的，音频客户端可以采用音频处理工具(例如Librosa)，先基于第一音频获取第一梅尔频谱，并基于第二音频获取第二梅尔频谱，之后可以对第一梅尔频谱和第二梅尔频谱进行取对数处理。进一步的，可以对取对数处理后的第一梅尔频谱和第二梅尔频谱进行离散余弦变换处理，得到多个第一梅尔倒谱参数以及多个第二梅尔倒谱参数。最后可以将多个第一梅尔倒谱参数作为第一初始特征向量，并将多个第二梅尔倒谱参数作为第二初始特征向量。或者，音频客户端可以直接采用语音信号处理工具(Speech Signal Processing Toolkit，SPTK)对第一音频和第二音频进行特征提取，得到多个第一梅尔倒谱参数以及多个第二梅尔倒谱参数。
[0084] 在另一种可选的实现方式中，音频客户端可以对第一音频和第二音频进行梅尔频率倒谱系数(Mel-Frequency Cepstral Coefficients，MFCC)的特征提取，以从第一音频中提取多个第一梅尔频率倒谱参数作为多个第一初始特征向量，并从第二音频中提取多个第二梅尔频率倒谱参数作为多个第二初始特征向量。
[0085] 在又一种可选的实现方式中，音频客户端可以对第一音频和第二音频进行加权梅尔频率倒谱系数(Weighed Mel-Frequency Cepstral Coefficients，WMFCC)的特征提取，以从第一音频中提取多个第一加权梅尔频率倒谱参数作为多个第一初始特征向量，并从第二音频中提取出多个第二加权梅尔频率倒谱参数作为多个第二初始特征向量。
[0086] 在再一种可选的实现方式中，音频客户端可以直接获取第一音频和第二音频的频域能量谱，并从第一音频的频域能量谱中提取多个第一能量值作为多个第一初始特征向量，并从第二音频的频域能量谱中提取出多个第二能量值作为多个第二初始特征向量。
[0087] 示例的，音频客户端可以对第一音频和第二音频进行傅里叶变换，以获取第一音频的频域能量谱和第二音频的频域能量谱。
[0088] 需要说明的是，各个第一初始特征向量和各个第二初始特征向量的维数可以相等，且各个第一初始特征向量和各个第二初始特征向量均可以为多维特征向量，也即是，每个初始特征向量可以包括多个分量。
[0089] 步骤202、对多个第一初始特征向量，以及多个第二初始特征向量进行对齐处理，得到m个第一特征向量和m个第二特征向量。
[0090] 其中，m为大于1的整数。
[0091] 在一种可选的实现方式中，音频客户端可以采用动态时间归整(Dynamic Time Warping，DTW)算法对多个第一初始特征向量，以及多个第二初始特征向量进行对齐处理，以得到m个第一特征向量和m个第二特征向量。
[0092] 示例的，音频客户端可以先根据多个第一初始特征向量和多个第二初始特征向量建立一个多行多列的矩阵网格(该矩阵网格的行数可以等于多个第一初始特征向量的个数，该矩阵网格的列数可以等于多个第二初始特征向量的个数)。然后计算每个网格格点对应的数值，并以矩阵网格外的任一点为起点，该任一点对应的数值为0(可以认为该任一点为矩阵网格的位于第1行第0列，或第0行第1列，或第0行第0列的网格格点)，以矩阵网格的最后一行(或列)的任一网格格点为终点，按行(或列)的顺序从起点开始，依次连接矩阵网格中的若干网格格点直至终点，得到多条通过该矩阵网格的若干网格格点的路径。之后，可以计算每条路径的累积距离，得到多个累积距离。最后，可以根据该多个累积距离确定累积距离最小的路径，并根据该累积距离最小的路径对多个第一初始特征向量和多个第二初始特征向量进行调整，从而实现多个第一初始特征向量和多个初始特征向量的对齐。
[0093] 其中，若音频客户端获取的第一初始特征向量的个数为P，第二初始特征向量的个数为Q，则该矩阵网格可以为P行Q列矩阵网格，且该矩阵网格中第p行第q列的网格格点对应的数值为第p个第一初始特征向量与第q个第二初始向量的距离，该距离可以为余弦距离或欧式距离。p为不大于P的正整数，q为不大于Q的正整数。
[0094] 在另一种可选的实现方式中，音频客户端可以采用语音识别的方式对多个第一初始特征向量，以及多个第二初始特征向量进行对齐处理，以得到m个第一特征向量和m个第二特征向量。
[0095] 示例的，音频客户端可以对获取多个第一初始特征向量和多个第二初始特征向量进行解码，解码过程中可以利用发音字典，声学模型，语言模型等信息得到每个初始特征向量的音素概率。然后，对于每个初始特征向量，可以根据该初始特征向量的音素概率确定该初始特征向量对应的音素。进而可以将同一音素对应的多个初始特征向量对齐，从而可以实现多个第一初始特征向量和多个第二初始特征向量的对齐。
[0096] 其中，在将同一音素对应的多个特征向量对齐的过程中，可以获取该音素对应的多个第一初始特征向量，以及多个第二初始特征向量。若该音素对应的第一初始特征向量的个数大于该音素对应的第二初始特征向量的个数，则可以对该音素对应的第二初始特征向量进行差值填充处理，或者对该音素对应第一初始特征向量进行抽值处理。若该音素对应的第一初始特征向量的个数小于该音素对应的第二初始特征向量的个数，则可以对该音素对应的第二初始特征向量进行抽值处理，或者对该音素对应的第一初始特征向量进行差值填充处理。
[0097] 由于音频客户端对多个第一初始特征向量和多个第二初始特征向量进行对齐处理，一方面可以确保对齐后的第一初始特征向量(即第一特征向量)和对齐后的第二初始特征向量(即第二特征向量)的个数相同，以便于后续确定第一音频和第二音频的音色相似度。另一方面，可以避免因第一音频和第二音频的差异对后续确定的第一音频和第二音频的音色相似度的准确性的影响。其中，第一音频和第二音频的差异可以包括：第一音频和第二音频的起始时间的差异。
[0098] 步骤203、根据m个第一特征向量确定k个第一均值特征向量。
[0099] 在本公开实施例中，每个第一均值特征向量基于m个第一特征向量中的多个第一特征向量的平均值确定。该多个第一特征向量可以连续，也可以不连续。其中，k为正整数。
[0100] 可选的，音频客户端可以先将m个第一特征向量划分为k个不同的第一向量组。之后，对于每个第一向量组，音频客户端可以将每个第一向量组包括的多个第一特征向量的平均值确定为一个第一均值特征向量，从而得到k个第一均值特征向量。其中，k个不同的第一向量组是指任意两个第一向量组包括的第一特征向量不完全相同。即任意两个第一向量组包括的第一特征向量完全不同或仅部分相同。
[0101] 需要说明的是，k个第一向量组中的各个第一向量组包括的第一特征向量的个数可以不同，也即是，k个第一均值特征向量是基于不同数量的第一特征向量的平均值确定的。或者，k个第一向量组中的各个第一向量组包括的第一特征向量的个数均可以相同，例如可以均为n个，也即是，k个第一均值特征向量是基于相同数量的第一特征向量的平均值确定的。其中，n可以为大于1且小于m的整数，且n满足：m＝n*k。
[0102] 还需要说明的是，每个第一向量组对应的播放时长可以为100毫秒(ms)至1秒(s)，相应的，音频客户端可以根据每个第一向量组对应的播放时长确定n的取值，即需要确保n个第一特征向量中的前n-1个第一特征向量的对应的间隔播放时长与一个第一特征向量对应的播放时长之和为100ms至1s。其中，每个第一特征向量对应一个第一音频帧，该第一音频帧是指：音频客户端在获取第一初始向量的过程中，对第一音频进行采样得到的多个离散的第一音频帧中的一个第一音频帧。每个第一特征向量对应的间隔播放时长可以是指：多个第一音频帧中每相邻两个第一音频帧包括的多个采样点中的第一个采样点之间的播放间距。第一特征向量对应的播放时长可以是指：第一音频帧包括的多个采样点中第一个采样点与最后一个采样点之间的播放间距。
[0103] 在本公开实施例中，音频客户端对m个第一特征向量的分组方式有多种，相应的，划分得到k个第一向量组具有多种形式。本公开实施例以以下几种可选的实现方式进行示例性说明：
[0104] 在第一种可选的实现方式中，音频客户端可以将m个第一特征向量中每连续的n个第一特征向量划分为一个第一向量组，且每个第一向量组中第一个第一特征向量与前一个第一向量组中最后一个第一特征向量相邻，继而得到k个第一向量组。该k个第一向量组中任意两个第一向量组的交集为空，即任意两个第一向量组包括的n个第一特征向量均不相同。并且，相邻两个第一向量组包括的第一特征向量连续，即相邻的两个第一向量组中，前一个第一向量组中的最后一个第一特征向量，与后一个第一向量组中的第一个第一特征向量为该m个第一特征向量中相邻的两个第一特征向量。
[0105] 示例的，假设音频客户端获取到了8个第一特征向量：a、b、c、d、e、f、g、和h，则可以将每4个连续的第一特征向量划分为一个第一向量组，得到2个第一向量组，其中一个第一向量组包括a、b、c和d四个第一特征向量，另一个第一向量组包括e、f、g和h四个第一特征向量。
[0106] 由于音频客户端可以按等分的方式将m个第一特征向量划分为k个第一向量组，即将每连续n个第一特征向量划分为一个第一向量组，由此一方面可以降低音频客户端的运算复杂度，从而可以有效提高音频客户端的运算效率，另一方面可以提高每个第一向量组对应的第一音频的音色的稳定度，确保后续确定的第一音频和第二音频的音色相似度的准确性。
[0107] 在第二种可选的实现方式中，音频客户端可以将m个第一特征向量中每连续的n个第一特征向量划分为一个第一向量组，且每个第一向量组中第一个第一特征向量可以与前一个第一向量组中除第一个第一特征向量外的任一第一特征向量相同，继而得到k个第一向量组。该k个第一向量组中存在交集不为空的两个第一向量组，即存在包括相同第一特征向量的两个第一向量组。
[0108] 示例的，假设音频客户端获取到了8个第一特征向量：a、b、c、d、e、f、g、和h，则可以将每4个连续的第一特征向量划分为一个第一向量组，得到4个第一向量组，该4个第一向量组中的第一个第一向量组可以包括a、b、c和d四个第一特征向量，第二个第一向量组可以包括b、c、d和e四个第一特征向量，第三个第一向量组可以包括c、d、e和f四个第一向量组，第四个第一向量组可以包括d、e、f和g四个第一特征向量。并且，该四个第一向量组中相邻两个第一向量组中的后一个第一向量组中的第一个第一特征向量与前一个第一向量组中的第二个第一特征向量相同。
[0109] 在第三种可选的实现方式中，音频客户端可以将m个第一特征向量中间隔排布的n个第一特征向量划分为一个第一向量组。例如，音频客户端可以将m个第一特征向量中，奇数位的第一特征向量划分为一个第一向量组，将偶数位的第一特征向量划分为一个第一向量组，从而得到2个第一向量组。
[0110] 示例的，假设音频客户端获取到了8个第一特征向量：a、b、c、d、e、f、g、和h，则可以将每间隔一个排布的4个第一特征向量划分为一个第一向量组，得到2个第一向量，其中一个第一向量组包括a、c、e和g四个第一特征向量，另一个第一向量组包括b、d、f和h四个第一特征向量。
[0111] 步骤204、根据m个第二特征向量确定与k个第一均值特征向量一一对应的k个第二均值特征向量。
[0112] 在本公开实施例中，每个第二均值特征向量基于m个第二特征向量中的多个第二特征向量的平均值确定。该多个第二特征向量可以连续，也可以不连续。
[0113] 可选的，音频客户端可以先将m个第二特征向量划分为k个不同的第二向量组。之后，对于每个第二向量组，音频客户端可以将每个第二向量组包括的多个第二特征向量的平均值确定为一个第二均值特征向量，从而得到k个第二均值特征向量。
[0114] 其中，k个不同的第二向量组可以是指任意两个第二向量组包括的第二特征向量不完全不同。即任意两个第二向量组包括的第二特征向量完全不同或仅部分相同。
[0115] 需要说明的是，k个第二向量组中的各个第二向量组包括的第二特征向量的个数可以不同，也即是，k个第二均值特征向量是基于不同数量的第二特征阵列的平均值确定的。或者，k个第二向量组中的各个第二向量组包括的第二特征向量的个数均可以相同，例如可以为n个，也即是，k个第二均值特征向量是基于相同数量的第二特征向量确定的。
[0116] 音频客户端对m个第二特征向量进行分组的方式，可以参考上述对m个第一特征向量的分组方式，本公开实施例在此不再赘述。
[0117] 需要说明的是，音频客户端需要采用相同的分组方式对m个第一特征向量和m个第二特征向量进行分组，即需要保证每个第一向量组包括的第一特征向量的个数与对应的一个第二向量组包括的第二特征向量的个数相同，第一特征向量之间的连续性和第二特征向量之间的连续性相同，以及相邻第一向量组间的连续性与相邻第二向量组间的连续性相同，以确保最终确定的第一音频和第二音频的准确性。
[0118] 步骤205、基于k个第一均值特征向量以及k个第二均值特征向量确定第一音频和第二音频的音色相似度。
[0119] 在本公开实施例中，音频客户端可以采用pearson算法对该k个第一均值特征向量，以及与k个第一特征均值向量一一对应的k个第二均值特征向量进行处理，以确定第一音频和第二音频的音色相似度。或者，音频客户端可以确定k个第一均值特征向量，以及k个第二均值特征向量的余弦距离，从而确定第一音频和第二音频的音色相似度。
[0120] 需要说明的是，若k等于1，则音频客户端可以直接基于k个第一均值特征向量以及k个第二均值特征向量确定第一音频和第二音频的音色相似度。若k为大于1的整数，则音频客户端可以先基于k个第一均值特征向量以及k个第二均值特征向量，确定k个音色距离，进而根据该k个音色距离确定第一音频和第二音频的音色相似度。
[0121] 本公开实施例以k为大于1的整数，以及采用pearson算法为例，对上述步骤205的实现过程进行示例性说明。参见图4，该实现过程可以包括：
[0122] 步骤2051、对于每个第一均值特征向量以及对应的一个第二均值特征向量，采用pearson算法进行处理，确定一个音色距离，得到k个音色距离。
[0123] 其中，pearson算法满足下述公式：
[0124]
[0125] 式中，corri是指k个音色距离中的第i个音色距离，i为不大于k的正整数。l是指第一均值特征向量和第二均值特征向量中每个均值特征向量的维数，即每个均值特征向量所包括的分量的个数，l为大于1的整数。Xij是指第i个第一均值特征向量中的第j个分量，Yij是指第i个第二均值特征向量中的第j个分量，j为不大于l的正整数。
[0126] 步骤2052、将k个音色距离的平均值确定为第一音频和第二音频的音色相似度。
[0127] 可选的，该平均值可以为算数平均值、几何平均值或均方根值。本公开实施例对此不做限定。
[0128] 需要说明的是，本公开实施例提供的音色相似度的确定方法的步骤的先后顺序可以进行适当调整，步骤也可以根据情况进行相应增减。例如，步骤203可以与步骤204同步执行。任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到变化的方法，都应涵盖在发明的保护范围之内，因此不再赘述。
[0129] 综上所述，本公开实施例提供了一种音色相似度的确定方法，该方法可以基于k个第一均值特征向量，以及k个第二均值特征向量，确定第一音频和第二音频的音色相似度。由于每个第一均值特征向量是基于m个第一特征向量中的多个第一特征向量的平均值确定的，每个第二均值特征向量是基于m个第二特征向量中的多个第二特征向量的平均值确定的，因此相较于现有技术中直接根据第一特征向量和第二特征向量确定音色相似度，本公开实施例提供的音色相似度确定方法确定的准确性较高。
[0130] 本公开实施例提供了一种音色相似度的确定装置，参见图6，该装置可以包括：
[0131] 获取模块301，用于获取第一音频的m个第一特征向量，以及第二音频的m个第二特征向量。
[0132] 其中，第一音频与第二音频为不同的音频，m为大于1的整数。
[0133] 第一确定模块302，用于根据m个第一特征向量确定k个第一均值特征向量，每个第一均值特征向量基于m个第一特征向量中的多个第一特征向量的平均值确定，k为正整数。
[0134] 第二确定模块303，用于根据m个第二特征向量确定与k个第一均值特征向量一一对应的k个第二均值特征向量，每个第二均值特征向量基于m个第二特征向量中的多个第二特征向量的平均值确定。
[0135] 第三确定模块304，用于基于k个第一均值特征向量以及k个第二均值特征向量确定第一音频和第二音频的音色相似度。
[0136] 可选的，该第一确定模块302用于：
[0137] 将m个第一特征向量划分为k个不同的第一向量组，每个第一向量组包括n个连续的第一特征向量，n为大于1且小于m的整数；
[0138] 对于每个第一向量组，将第一向量组包括的n个连续的第一特征向量的平均值确定为一个第一均值特征向量，得到k个第一均值特征向量。
[0139] 该第二确定模块303用于：
[0140] 将m个第二特征向量划分为k个不同的第二向量组，每个第二向量组包括n个连续的第二特征向量；
[0141] 对于每个第二向量组，将第二向量组包括的n个连续的第二特征向量的平均值确定为一个第二均值特征向量，得到k个第二均值特征向量。
[0142] 可选的，任意两个第一向量组的交集为空，且相邻两个第一向量组包括的第一特征向量连续；任意两个第二向量组的交集为空，且相邻两个第二向量组包括的第二特征向量连续。
[0143] 可选的，k为大于1的整数，该第三确定模块304用于：
[0144] 对于每个第一均值特征向量以及对应的一个第二均值特征向量，采用皮尔逊算法进行处理，确定一个音色距离，得到k个音色距离；
[0145] 将k个音色距离的平均值确定为第一音频和第二音频的音色相似度。
[0146] 可选的，参见图6，获取模块301可以包括：
[0147] 获取子模块3011，用于获取第一音频的多个第一初始特征向量，以及第二音频的多个第二初始特征向量；
[0148] 对齐子模块3012，用于对多个第一初始特征向量，以及多个第二初始特征向量进行对齐处理，得到m个第一特征向量和m个第二特征向量。
[0149] 可选的，对齐子模块3012用于：
[0150] 采用动态时间归整算法对多个第一初始特征向量，以及多个第二初始特征向量进行对齐处理。
[0151] 可选的，获取子模块3011用于：
[0152] 从第一音频中提取多个第一梅尔倒谱参数作为多个第一初始特征向量；
[0153] 从第二音频中提取出多个第二梅尔倒谱参数作为多个第二初始特征向量。
[0154] 综上所述，本公开实施例提供了音色相似度的确定装置，该装置可以基于k个第一均值特征向量以及k个第二均值特征向量，确定第一音频和第二音频的音色相似度。由于每个第一均值特征向量是基于m个第一特征向量中的多个第一特征向量的平均值确定的，每个第二均值特征向量是基于m个第二特征向量中的多个第二特征向量的平均值确定的，因此相较于现有技术中直接根据第一特征向量和第二特征向量确定音色相似度，本公开实施例提供的音色相似度确定方法确定的音色相似度的准确性较高。
[0155] 所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置、各模块以及各子模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0156] 图7是本公开实施例提供的另一种音色相似度的确定装置的结构示意图，参见图7，该装置400可以包括：处理器401、存储器402以及存储在该存储器402上并可在该处理器
401上运行的计算机程序，该处理器401执行该计算机程序时可以实现如上述方法实施例提供的音色相似度的确定方法，例如图2或图3所示的方法。
401上运行的计算机程序，该处理器401执行该计算机程序时可以实现如上述方法实施例提供的音色相似度的确定方法，例如图2或图3所示的方法。
[0157] 本公开实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当该计算机可读存储介质在计算机上运行时，使得计算机执行如上述方法实施例提供的音色相似度的确定方法，例如图2或图3所示的方法。
[0158] 本公开实施例还提供了一种包含指令的计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述方法实施例提供的音色相似度的确定方法，例如图2或图3所示的方法。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 视频播放方法、装置以及电子设备 | 2020-06-18 | 1 |
| 一种信息提醒方法、装置、计算机设备及存储介质 | 2020-08-21 | 1 |
| 六相逆变器供电的无轴承磁通切换电机驱动方法及系统 | 2020-10-03 | 0 |
| 用于根据供应压力来调节连杆的有效长度的设备 | 2022-08-20 | 2 |
| 一种新式延缓磨损延长固态硬盘使用寿命的方法 | 2022-05-13 | 0 |
| 高速列车动态行为主动控制系统 | 2022-09-30 | 2 |
| 在一个或多个无线电通信系统中管理向多个网络的双重注册的方法和装置 | 2021-05-24 | 1 |
| 闹钟提醒方法、智能投影仪及相关产品 | 2022-09-13 | 0 |
| 针对分页获取云平台终端数据的查询方法和系统 | 2021-02-07 | 2 |
| 一种肿瘤患者精准剂量验证方法、装置及设备 | 2021-12-08 | 1 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈