一种用于管理音频数据的方法、设备和计算机存储介质专利检索-基于段的缓存广播专利检索查询-专利查询网

一种用于管理音频数据的方法、设备和计算机存储介质

阅读：1026发布：2020-05-08

专利汇可以提供一种用于管理音频数据的方法、设备和计算机存储介质专利检索，专利查询，专利分析的服务。并且本公开的实施例涉及用于管理音频数据的方法、设备和计算机存储介质。在一个实施例中，提出了一种用于管理音频数据的方法。该方法包括：获取文本敏感词的标准语音波形；基于与干扰因素相对应的语音数据，获得该标准语音波形的至少一个扩展语音波形，其中该至少一个扩展语音波形和该标准语音波形形成与该文本敏感词相对应的敏感词语音波形组；在直播间的直播期间，缓存该直播间的用户在最近的第一时间段期间的目标音频；获取该目标音频的音频波形；响应于确定该音频波形中存在与该敏感词语音波形组中的波形相匹配的部分，增加该直播间的敏感度值；以及响应于该直播间的该敏感度值达到敏感度阈值，针对该直播间执行屏蔽动作。，下面是一种用于管理音频数据的方法、设备和计算机存储介质专利的具体信息内容。

权利要求

1.一种用于管理音频数据的方法，包括：
获取文本敏感词的标准语音波形；
基于与干扰因素相对应的语音数据，获得所述标准语音波形的至少一个扩展语音波形，其中所述至少一个扩展语音波形和所述标准语音波形形成与所述文本敏感词相对应的敏感词语音波形组；
在直播间的直播期间，缓存所述直播间的用户在最近的第一时间段期间的目标音频；
获取所述目标音频的音频波形；
响应于确定所述音频波形中存在与所述敏感词语音波形组中的波形相匹配的部分，增加所述直播间的敏感度值；以及
响应于所述直播间的所述敏感度值达到敏感度阈值，针对所述直播间执行屏蔽动作；
其中所述干扰因素包括以下中的至少任一项：方言口音、语调、语速、性别、以及情感。
2.根据权利要求1所述的方法，其中获得所述标准语音波形的所述至少一个扩展语音波形包括：
提取所述语音数据的特征值；以及
基于所述特征值对所述标准语音波形进行训练，以获取所述至少一个扩展语音波形。
3.根据权利要求1所述的方法，其中确定所述音频波形中存在与所述敏感词语音波形组中的波形相匹配的部分包括：
从所述音频波形中提取特征值；
确定所提取的特征值与所述敏感词语音波形组中的波形的所述特征值之间的相似度；
以及
响应于所述相似度高于相似度阈值，确定所述音频波形中存在与所述敏感词语音波形组中的波形相匹配的部分。
4.根据权利要求1所述的方法，进一步包括：从文本敏感词词库中获取所述文本敏感词。
5.根据权利要求1所述的方法，进一步包括：
响应于所述敏感度值未达到敏感度阈值，播放被缓存的所述目标音频。
6.根据权利要求5所述的方法，其中播放被缓存的所述目标音频包括：
将所述目标音频延迟第二时间段后播放所述目标音频，所述第二时间段大于所述第一时间段。
7.根据权利要求1所述的方法，其中增加所述敏感度值包括：
按照与所述文本敏感词相关联的预定步长，增加所述敏感度值。
8.根据权利要求1所述的方法，其中针对所述直播间执行屏蔽动作包括以下中的至少任一项：
替换所述目标音频中的与所述敏感词语音波形组中的波形相匹配的部分；
向所述用户发送警告；
禁止所述用户在所述直播间内发言；
禁止所述直播间的所有音频；以及
向所述直播间的管理员发送通知。
9.根据权利要求1所述的方法，其中所述敏感度阈值与所述用户的信用等级相关联。
10.根据权利要求9所述的方法，其中所述信用等级取决于以下中的至少任一项：
所述用户的历史直播记录、所述用户的先前信用等级、所述用户被其他用户有效举报的记录以及所述用户的受处罚记录。
11.一种用于管理音频数据的设备，包括：
至少一个处理单元；
至少一个存储器，所述至少一个存储器被耦合到所述至少一个处理单元并且存储用于由所述至少一个处理单元执行的指令，所述指令当由所述至少一个处理单元执行时，使得所述设备执行动作，所述动作包括：
获取文本敏感词的标准语音波形；
基于与干扰因素相对应的语音数据，获得所述标准语音波形的至少一个扩展语音波形，其中所述至少一个扩展语音波形和所述标准语音波形形成与所述文本敏感词相对应的敏感词语音波形组；
在直播间的直播期间，缓存所述直播间的用户在最近的第一时间段期间的目标音频；
获取所述目标音频的音频波形；
响应于确定所述音频波形中存在与所述敏感词语音波形组中的波形相匹配的部分，增加所述直播间的敏感度值；以及
响应于所述直播间的所述敏感度值达到敏感度阈值，针对所述直播间执行屏蔽动作；
其中所述干扰因素包括以下中的至少任一项：方言口音、语调、语速、性别、以及情感。
12.根据权利要求11所述的设备，其中获得所述标准语音波形的所述至少一个扩展语音波形包括：
提取所述语音数据的特征值；以及
基于所述特征值对所述标准语音波形进行训练，以获取所述至少一个扩展语音波形。
13.根据权利要求11所述的设备，其中确定所述音频波形中存在与所述敏感词语音波形组中的波形相匹配的部分包括：
从所述音频波形中提取特征值；
确定所提取的特征与所述敏感词语音波形组中的波形的所述特征值之间的相似度；以及
响应于所述相似度高于相似度阈值，确定所述音频波形中存在与所述敏感词语音波形组中的波形相匹配的部分。
14.根据权利要求11所述的设备，所述动作进一步包括：从文本敏感词词库中获取所述文本敏感词。
15.根据权利要求11所述的设备，所述动作进一步包括：
响应于所述敏感度值未达到敏感度阈值，播放被缓存的所述目标音频。
16.根据权利要求15所述的设备，其中播放被缓存的所述目标音频包括：
将所述目标音频延迟第二时间段后播放所述目标音频，所述第二时间段大于所述第一时间段。
17.根据权利要求11所述的设备，其中增加所述敏感度值包括：
按照与所述文本敏感词相关联的预定步长，增加所述敏感度值。
18.根据权利要求11所述的设备，其中针对所述直播间执行屏蔽动作包括以下中的至少任一项：
替换所述目标音频中的与所述敏感词语音波形组中的波形相匹配的部分；
向所述用户发送警告；
禁止所述用户在所述直播间内发言；
禁止所述直播间的所有音频；以及
向所述直播间的管理员发送通知。
19.根据权利要求11所述的设备，其中所述敏感度阈值与所述用户的信用等级相关联。
20.根据权利要求19所述的设备，其中所述信用等级取决于以下中的至少任一项：
所述用户的历史直播记录、所述用户的先前信用等级、所述用户被其他用户有效举报的记录以及所述用户的受处罚记录。
21.一种计算机可读存储介质，具有存储在其上的计算机可读程序指令，所述计算机可读程序指令用于执行根据权利要求1-10中任一项所述的方法。

说明书全文

一种用于管理音频数据的方法、设备和计算机存储介质

技术领域

[0001] 本公开的实施例涉及音频处理领域，并且更具体地涉及用于管理音频数据、尤其是用于管理网络直播间中的音频数据的方法、设备和计算机存储介质。

背景技术

[0002] 随着即时网络通信技术和智能手机的持续迅猛发展，出现了众多拥有网络直播功能的PC端和手机端的应用。由于网络直播能够极大地促进用户之间的沟通和互动，因此已经在娱乐休闲、远程教学、商务推广等方面得到了广泛使用。为了防止不良言论在大量用户中的传播，需要针对直播中的各种内容执行监测。然而，通常需要大量的后台管理员或审核员对直播数据进行人工监测，以便及时屏蔽违规内容或进行封禁处理等，直播中的语音监测在拥有众多直播数据的应用平台上难以高效地进行。

[0003] 此外，虽然目前已经提出了针对视频中的音频数据进行自动识别以检测是否包含敏感词汇的实现方案，但是这些方案往往无法对存在方言口音、语调、情感等干扰因素的音频数据进行准确的判断，因而降低了识别的命中率。发明内容

[0004] 本公开的实施例提供一种用于自动且准确地管理音频数据的方案。

[0005] 根据本公开的第一方面，提供了一种用于管理音频数据的方法，包括：获取文本敏感词的标准语音波形；基于与干扰因素相对应的语音数据，获得该标准语音波形的至少一个扩展语音波形，其中该至少一个扩展语音波形和该标准语音波形形成与该文本敏感词相对应的敏感词语音波形组；在直播间的直播期间，缓存该直播间的用户在最近的第一时间段期间的目标音频；获取该目标音频的音频波形；响应于确定该音频波形中存在与该敏感词语音波形组中的波形相匹配的部分，增加该直播间的敏感度值；以及响应于该直播间的该敏感度值达到敏感度阈值，针对该直播间执行屏蔽动作；其中该干扰因素包括以下中的至少任一项：方言口音、语调、语速、性别、以及情感。

[0006] 根据本公开的第二方面，提供了一种用于管理音频数据的设备，包括：至少一个处理单元；至少一个存储器，该至少一个存储器被耦合到该至少一个处理单元并且存储用于由该至少一个处理单元执行的指令，该指令当由该至少一个处理单元执行时，使得该设备执行动作。该动作包括：获取文本敏感词的标准语音波形；基于与干扰因素相对应的语音数据，获得该标准语音波形的至少一个扩展语音波形，其中该至少一个扩展语音波形和该标准语音波形形成与该文本敏感词相对应的敏感词语音波形组；在直播间的直播期间，缓存该直播间的用户在最近的第一时间段期间的目标音频；获取该目标音频的音频波形；响应于确定该音频波形中存在与该敏感词语音波形组中的波形相匹配的部分，增加该直播间的敏感度值；以及响应于该直播间的该敏感度值达到敏感度阈值，针对该直播间执行屏蔽动作；其中该干扰因素包括以下中的至少任一项：方言口音、语调、语速、性别、以及情感。

[0007] 在本公开的第三方面，提供了一种计算机存储介质。该计算机存储介质具有存储在其上的计算机可读程序指令，计算机可读程序指令用于执行根据第一方面的方法。

[0008] 提供发明内容部分是为了以简化的形式来介绍对概念的选择，它们在下文的具体实施方式中将被进一步描述。发明内容部分无意标识本公开的关键特征或必要特征，也无意限制本公开的范围。附图说明

[0009] 通过结合附图对本公开示例性实施例进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施例中，相同的附图标记通常代表相同部件。

[0010] 图1图示了能够在其中实施本公开的多个实现的计算环境的框图；

[0011] 图2图示了根据本公开的实施例的用于管理音频数据的方法的流程图；

[0012] 图3图示了根据本公开的实施例的获得标准语音波形的至少一个扩展语音波形的方法的流程图；

[0013] 图4图示了根据本公开的实施例的确定音频波形中存在与敏感词语音波形组中的波形相匹配的部分的方法的流程图；

[0014] 图5图示了根据一个实施例的获得标准语音波形的至少一个扩展语音波形的操作的示意图；以及

[0015] 图6图示了可以用来实施本公开内容的实施例的示例设备的示意性框图。

具体实施方式

[0016] 下面将参照附图更详细地描述本公开的优选实施例。虽然附图中显示了本公开的优选实施例，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

[0017] 在本文中使用的术语“包括”及其变形表示开放性包括，即“包括但不限于”。除非特别申明，术语“或”表示“和/或”。术语“基于”表示“至少部分地基于”。术语“一个示例实施例”和“一个实施例”表示“至少一个示例实施例”。术语“另一实施例”表示“至少一个另外的实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。

[0018] 如以上讨论的，往往需要大量的后台管理员对诸如网络直播平台的网络应用中生成的音频数据进行人工审核，这经常是低效的，并且可能由于错误的人工判断结果而导致较差的直播体验。随着机器学习、模式学习等人工智能相关技术和云计算相关技术的不断进步，期望以自动的方式识别出直播音频数据中的特定词汇或语句。进一步，期望可以不受各类干扰因素的影响而提供较高的识别命中率。还期望在准确识别的同时不影响直播用户的使用体验。

[0019] 根据本公开的实施例，提出了一种自动且准确地管理音频数据的方案。该方案包括：获取文本敏感词的标准语音波形；基于与干扰因素相对应的语音数据，获得该标准语音波形的至少一个扩展语音波形，其中该至少一个扩展语音波形和该标准语音波形形成与该文本敏感词相对应的敏感词语音波形组；在直播间的直播期间，缓存该直播间的用户在最近的第一时间段期间的目标音频；获取该目标音频的音频波形；响应于确定该音频波形中存在与该敏感词语音波形组中的波形相匹配的部分，增加该直播间的敏感度值；以及响应于该直播间的该敏感度值达到敏感度阈值，针对该直播间执行屏蔽动作；其中该干扰因素包括以下中的至少任一项：方言口音、语调、语速、性别、以及情感。

[0020] 采用本公开的方案，能够针对不同的干扰因素而自动生成与文本敏感词相对应的敏感词语音波形组，从而在直播期间提升对文本敏感词识别的命中率。此外，在对标准语音波形进行训练的过程中，可以扩充针对某个特定干扰因素的语料库，从而提供了在语料库足够大时能够自动生成扩展语音波形的可能性。

[0021] 以下参考附图来说明本公开的基本原理和若干示例实现。

[0022] 图1图示了能够在其中实施本公开的多个实现的计算环境100的框图。应当理解，图1所示出的计算环境100仅仅是示例性的，而不应当构成对本公开所描述的实现的功能和范围的任何限制。如图1所示，计算环境100包括计算设备130以及服务器140。在一些实施例中，计算设备130与服务器140之间可以经由网络互相通信。

[0023] 在一些实施例中，计算设备130诸如是任何类型的移动终端、固定终端或便携式终端，包括移动手机、多媒体计算机、多媒体平板、互联网节点、通信器、台式计算机、膝上型计算机、笔记本计算机、上网本计算机、平板计算机、个人通信系统(PCS)设备、个人导航设备、个人数字助理(PDA)、音频/视频播放器、数码相机/摄像机、定位设备、电视接收器、无线电广播接收器、电子书设备、游戏设备或者其任意组合，包括这些设备的配件和外设或者其任意组合。还可预见到的是，计算设备130能够支持任何类型的针对用户的接口(诸如“可佩戴”电路等)。

[0024] 服务器140可以用于管理音频数据。为了执行音频数据的管理，服务器140接收文本敏感词词库110。将会理解，在此的文本敏感词词库110可以包括多方面的内容。例如，在一些实施例中，服务器可以通过有线连接和/或无线连接来接收文本敏感词词库110。例如，文本敏感词词库110可以包括多个文本敏感词及其相对应的预定步长，其中预定步长用于表征该文本敏感词的违规程度。例如，文本敏感词词库110中的多个文本敏感词可以按照不同的应用场景进行分类，诸如网络直播、安防监测、远程教育等，以使服务器140在不同的应用场景中仅接收文本敏感词词库110中的相关类别下的文本敏感词。例如，具有权限的用户120和/或其他人员可以按需对文本敏感词词库110进行动态修改或更新。在一些实施例中，文本敏感词词库110也可以被存储在服务器140上。

[0025] 在一些实施例中，用户120可以对计算设备130进行操作、诸如在网络直播平台的直播期间与其他用户进行互动，而用户120在此期间生成的目标音频将经由网络被存储在服务器140上。将会理解，尽管在图1中仅示意性示出了一个用户120操作一个计算设备130的情况。在网络直播环境中，多个用户可以分别经由各自的计算设备来连接服务器140，以便参与直播。

[0026] 在一些实施例中，服务器140可以根据文本敏感词词库110以及从用户120获得的目标音频，来确定用户120生成的目标音频中是否存在语音敏感词，并且根据确定结果执行屏蔽动作。

[0027] 在一些实施例中，随着计算设备130上的客户端处理能力的增加，也可以由计算设备130来执行例如确定用户120生成的目标音频中是否存在敏感词以及根据确定结果执行屏蔽动作的操作。

[0028] 图2图示了根据本公开的实施例的用于管理音频数据的方法200的流程图。方法200能够实现音频数据、尤其是直播中的音频数据的准确的自动管理。

[0029] 方法200开始于框202，首先获取文本敏感词的标准语音波形。如上所述，文本敏感词可以被存储在文本敏感词词库110或其他结构化形式的文件中。在一些实施例中，方法200还可以包括从文本敏感词词库110中获取文本敏感词的可选操作。标准语音波形可以被认为是在没有干扰因素情况下的语音波形，以作为随后获得至少一个扩展语音波形的基础。在一些实施例中，标准语音波形是与文本敏感词相对应的标准普通话形式的语音波形。
在一些实施例中，标准语音波形可以由离线和/或在线语音应用和/或软件生成，并且在一些其他实施例中，标准语音波形可以由人工录制。例如，可以将利用标准普通话朗读所获得的波形作为标准语音波形。

[0030] 随后，在框204，基于与干扰因素相对应的语音数据，获得标准语音波形的至少一个扩展语音波形，其中至少一个扩展语音波形和标准语音波形形成与文本敏感词相对应的敏感词语音波形组。扩展语音波形可以被认为是与文本敏感词相对应、但相对于标准语音波形而言存在附加波形特征的波形。获得至少一个扩展语音波形的目的可以是针对不同的干扰因素来提高管理音频数据的准确性。

[0031] 在一些实施例中，干扰因素包括以下中的至少一项：方言口音、语调、语速、性别、以及情感。现在结合图3来详细说明如何基于干扰因素来获得标准语音波形的至少一个扩展语音波形的操作。图3图示了根据本公开的实施例的获得标准语音波形的至少一个扩展语音波形的方法300的流程图。

[0032] 在框302，提取语音数据的特征值。语音数据与如上所述的干扰因素相对应，并且对于同一项干扰因素而言可以具有不同的语音数据。例如，针对方言口音的干扰因素可以获得多个对应的语音数据，诸如获得针对东北口音、苏南口音、成都口音、重庆口音、陕北口音等的语音数据。在一些实施例中，例如针对东北口音的语音数据可能有多个以进一步提高训练的准确性。在一些实施例中，语音数据的特征值可以包括在语音识别领域中常用的特征的值，诸如响度、基音周期、基音频率、信噪比、短时能量、短时平均幅度、短时平均过零率、共振峰等。在一些实施例中，可以采用诸如短时能量分析、短时平均振幅分析、短时过零分析、倒谱分析、短时傅里叶变换等语音特征提取技术来提取语音数据的特征值。在一些实施例中，在提取语音数据的特征值时可以对语音数据进行预处理，诸如采样、量化、分帧、加窗、端点检测等，以例如去除语音数据中存在的固有环境特征的影响。

[0033] 随后在框304，基于特征值对标准语音波形进行训练，以获取至少一个波形。在如上所述的对于同一个文本敏感词具有多个东北口音的语音数据的情况下，对标准语音波形进行训练的主要目的在于消除不同语音数据之间的随机性和不确定性。在一些实施例中，可以利用隐马尔科夫模型(HMM)和/或混合高斯模型(GMM)对标准语音波形进行训练。在一些实施例中，在增加/修改语音数据及其特征值的情况下，使用模型合并重估的方法来更新已经建立的HMM/GMM，由此减少了HMM/GMM更新时的运算量并增加了HMM/GMM的可扩充性和自学性。

[0034] 在上述关于存在多个东北口音的语音数据的实施例中，作为示例，对于文本敏感词“TMD”可能存在五个不同的东北口音的语音数据A、B、C、D和E。方法300在框302分别提取这五个语音数据A-E的特征值，并且在框304基于该特征值对“TMD”的标准语音波形进行训练，以获得该标准波形的东北口音的扩展语音波形X。扩展语音波形X消除了语音数据A-E之间的随机性和不确定性。

[0035] 除了可以作为语音数据A-E的训练的结果之外，扩展语音波形X还可以进一步用于扩充东北口音的语料库。随着对东北口音的语料库的不断扩充，在一些情况下，当该语料库被扩充到足够大时能够针对新增的文本敏感词而直接获得相对应的语音数据和扩展语音波形X，从而无需可能人工的语音数据的录入操作以及随后的训练操作。因此，方法300的优势在于，提供了对标准波形的训练以准确地获得扩展语音波形，并且提供了不断扩充针对某个特定干扰因素的语料库、从而在无需训练的情况下自动生成扩展语音波形的可能性。

[0036] 现在回到图2，获得的至少一个扩展语音波形已经和标准波形形成与文本敏感词相对应的敏感词语音波形组。随后在框206，在直播间的直播期间，缓存直播间的用户在最近的第一时间段期间的目标音频。缓存的主要目的在于实现对最近的第一时间段期间的目标音频进行检测，并且在该缓存的目标音频向用户播放之前已经执行屏蔽动作，如下文将进一步描述的。在一些实施例中，可以仅缓存发起直播的用户(或者被称为“播主”)的目标音频。在一些实施例中，可以对于播主和每个参与直播间的用户分别缓存目标音频。在一些实施例中，第一时间段不应持续过长、诸如至多持续10秒，以提升参与直播间用户的使用体验。

[0037] 在框208，获取目标音频的音频波形。在框210，响应于确定音频波形中存在与敏感词语音波形组中的波形相匹配的部分，增加直播间的敏感度值。直播间的敏感度值是用来表征在该直播间的直播期间出现敏感词的次数和权重。在一些实施例中，该敏感度值可以是基于来自直播间的全部用户的音频数据来确定的。在一些实施例中，可以基于直播间的部分发言活跃的用户来确定敏感度值，或者还可以仅基于播主的音频数据来确定敏感度值。

[0038] 由于在先前的操作中，已经获得了由文本敏感词的标准语音波形及其至少一个扩展语音波形形成的敏感词语音波形组，因此在确定音频波形中存在与敏感词语音波形组中的波形相匹配的部分的情况下，可以认为最近的第一时间段期间的目标音频中存在敏感词。在一些实施例中，增加直播间的敏感度值可以包括：按照与文本敏感词相关联的预定步长，增加敏感度值。预定步长表征了敏感词的敏感程度。例如，一些敏感词可能具有很高的敏感程度，其在直播间中的一次出现就足以触发对整个直播间的屏蔽动作；而另一些敏感词可能具有较低的敏感程度，其在直播间中累计出现多次时才能触发对整个直播间的屏蔽动作。在一些实施例中，预定步长可以作为文本敏感词的属性而被存储在文本敏感词词库110或其他结构化形式的文件中。

[0039] 现在结合图4来详细说明确定音频波形中存在与敏感词语音波形组中的波形相匹配的部分的操作。图4图示了根据本公开的实施例的确定音频波形中存在与敏感词语音波形组中的波形相匹配的部分的方法400的流程图。

[0040] 在框402，从音频波形中提取特征值。该操作可以采用如框302所描述的语音特征提取技术以及预处理操作。在框404，确定所提取的特征值与敏感词语音波形组中的波形的特征值之间的相似度。确定相似度的操作可以采用语音识别领域中的各种技术。在一些实施例中，可以采用Viterbi 算法，以在给定所提取的特征值和多个敏感词语音波形组的情况下，从多个敏感词语音波形组的各个波形中选取具有最大匹配概率的波形作为识别结果。随后在框406，响应于相似度高于相似度阈值，确定音频波形中存在与敏感词语音波形组中的波形相匹配的部分。在关于Viterbi算法的实施例中，如果最大匹配概率高于相似度阈值，则可以确定音频波形中存在与敏感词语音波形组中的波形相匹配的部分。

[0041] 现在再次回到图2，在框212，响应于直播间的敏感度值达到敏感度阈值，针对直播间执行屏蔽动作。屏蔽动作可以是处理用户的目标音频以屏蔽或消除目标音频中的敏感词，或者是针对用户或直播间的相应措施。

[0042] 在一些实施例中，屏蔽动作包括替换目标音频中的与敏感词波形组中的波形相匹配的部分，诸如将敏感词替换为电视节目中通常使用的低频音(“哔哔”声)。在一些实施例中，屏蔽动作包括向用户发出警告，以例如提醒直播间的播主或参与直播间的用户来规范自己在直播间中的行为。在一些实施例中，屏蔽动作包括禁止用户在直播间内发言，这通常针对直播间内违规较严重的用户。在一些实施例中，屏蔽动作包括禁止直播间的所有音频、即采取静音处理，或者直接封禁该直播间。这通常针对直播间内出现严重违规的情况，例如在很短的时间段内出现大量敏感词的情况。在一些其他实施例中，屏蔽动作包括仅向直播间的管理员发送通知，而不对直播间作出任何处理。这一方面可以保证直播间的流畅用户体验，另一方面提醒管理员可以对该直播间进行人工监测。

[0043] 敏感度阈值是表征是否应当针对监测结果来触发屏蔽动作的阈值。在一些实施例中，敏感度阈值可以与用户的信用等级相关联。在仅缓存播主的目标音频的实施例中，敏感度阈值可以与播主的信用等级相关联。在对于播主和每个参与直播间的用户分别缓存目标音频的实施例中，敏感度阈值可以分别与播主和每个参与直播间的用户相关联。在一些实施例中，信用等级可以取决于以下中的至少任一项：用户的历史直播记录、用户的先前信用等级、用户被其他用户有效举报的记录以及用户的受处罚记录。例如，在发起直播间的播主具有低的信用等级的情况下，该直播间的敏感度阈值较低，以至于较少的敏感词的出现就可能导致屏蔽动作的执行。

[0044] 在一些实施例中，方法200还可以包括如下可选操作：响应于敏感度值未达到敏感度阈值，播放被缓存的目标音频。该操作对应于未触发屏蔽动作执行的情况。在一些实施例中，播放被缓存的目标音频包括：将目标音频延迟第二时间段后播放目标音频，第二时间段大于所述第一时间段。在一些实施例中，第二时间段不应持续过长、诸如至多持续12秒，以提升参与直播间用户的使用体验。

[0045] 虽然上面描述了响应于直播间的敏感度值达到敏感度阈值而针对直播间执行屏蔽动作的实施例，但是本领域技术人员应当理解，此处描述的敏感度阈值和屏蔽动作均不限于一个。在一些实施例中，可以设置不同的敏感度阈值及其相应的屏蔽动作，并且响应于直播间的敏感度值满足不同的敏感度阈值而执行不同的屏蔽动作。

[0046] 方法200的主要优势在于，能够针对不同的干扰因素而自动生成与文本敏感词相对应的敏感词语音波形组，从而在直播期间提升对文本敏感词识别的命中率。此外，在对标准语音波形进行训练的过程中，可以扩充针对某个特定干扰因素的语料库，从而提供了在语料库足够大时能够自动生成扩展语音波形的可能性。

[0047] 为了进一步说明，图5图示了根据一个实施例的获得标准语音波形的至少一个扩展语音波形的操作500的示意图。

[0048] 在图5中，首先获取与文本敏感词514相对应的标准语音波形512。如前所述，文本敏感词514可以从文本敏感词词库110中获取。随后，基于与干扰因素510相对应的语音数据502a、502b…502n，获得标准语音波形512的至少一个扩展波形516。在图5中，图示了一个干扰因素510(即“较慢语速”)和一个扩展波形516，但是可以存在多个干扰因素510以分别获得多个扩展波形516。

[0049] 语音数据502a、502b…502n与干扰因素510相对应，在图5中为以文本敏感词514为内容的多个语音波形。语音数据502a、502b…502n可以由人工录入以用于训练标准语音波形512。语音数据502a、502b…502n分别在504a、504b…504n进行预处理，预处理诸如采样、量化、分帧、加窗、端点检测等，以去除语音数据中存在的固有环境特征的影响并且有利于随后的特征值提取506a、506b…506n。经预处理后的语音波形通过特征值提取506a、506b…506n而得到特征值508a、508b…508n。每个特征值508a、508b…508n都可以包括在语音识别领域中常用的特征的值，诸如响度、基音周期、基音频率、信噪比、短时能量、短时平均幅度、短时平均过零率、共振峰等。

[0050] 随后，基于特征值508a、508b…508n对标准语音波形512进行训练，以获取扩展语音波形516。可以利用如前所述的HMM和/或GMM对标准语音波形进行训练，以消除不同语音数据502a、502b…502n之间的随机性和不确定性。获得的扩展语音波形516和其他扩展语音波形与标准语音波形512一起形成敏感词语音波形组518。敏感词语音波形组518与文本敏感词514相对应，并且被用于在直播期间确定用户的音频波形中是否存在文本敏感词514。将文本敏感词词库110中的每个文本敏感词514形成其对应的敏感词语音波形组518，即可在直播期间确定用户的音频波形中是否存在敏感词，并且进行相应的屏蔽操作。

[0051] 在图5中未示出的一些其他实施例中，还可以在获得标准语音波形的至少一个扩展语音波形的同时，构建与干扰因素510相对应的语料库。在该较慢语速的语料库被扩充到足够大的情况下，针对添加的文本敏感词514，可以不经过基于语音数据502a、502b…502n及其特征值508a、508b…508n的训练而直接生成标准语音波形512的扩展语音波形516。由此省略了人工录入语音数据502a、502b…502n的操作。

[0052] 基于本公开的方案，能够在诸如网络游戏直播等直播平台上实现自动的直播语音敏感词识别和屏蔽管理，并且能够提高针对方言口音、语调、语速、情感等干扰因素的识别准确率。本公开的方案不仅可以应用于网络直播平台，还可以广泛应用于其他直播场合，诸如在线教学、远程会议、远程诊断等。

[0053] 图6图示了可以用来实施本公开内容的实施例的示例设备600的示意性框图。例如，如图1所示的示例环境100中的计算设备130可以由设备600来实施。如图所示，设备600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的计算机程序指令或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序指令，来执行各种适当的动作和处理。在RAM 603中，还可存储设备600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

[0054] 设备600中的多个部件连接至I/O接口605，包括：输入单元606，例如键盘、鼠标等；输出单元607，例如各种类型的显示器、扬声器等；存储单元608，例如磁盘、光盘等；以及通信单元609，例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

[0055] 上文所描述的各个过程和处理，例如方法200、方法300和/或方法400，可由处理单元601执行。例如，在一些实施例中，方法200、方法300和/或方法400可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元608。在一些实施例中，计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序被加载到RAM 603并由CPU 601执行时，可以执行上文描述的方法200、方法300和/或方法400的一个或多个动作。

[0056] 本公开可以是方法、装置、系统和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本公开的各个方面的计算机可读程序指令。

[0057] 计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是——但不限于——电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

[0058] 这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

[0059] 用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。

[0060] 这里参照根据本公开的实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

[0061] 这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

[0062] 也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

[0063] 附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

[0064] 以上已经描述了本公开的各实施方式，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施方式。在不偏离所说明的各实施方式的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施方式的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其他普通技术人员能理解本文披露的各实施方式。

标题	发布/更新时间	阅读量
一种地图瓦片缓存方法及装置	2020-05-11	435
基于SCADA系统的风电场故障数据采集系统及采集方法	2020-05-12	624
不活动模式操作	2020-05-08	657
一种基于Linux系统实现路由器的portal认证报文转发方法和装置	2020-05-11	619
一种基于SDN控制器的DoS/DDoS攻击防御模块及方法	2020-05-12	935
一种交易验证方法及装置	2020-05-08	168
一种TTFC网络的任务调度模型及消息调度表生成方法	2020-05-11	801
将第一标识符映射到第二标识符	2020-05-12	362
基于云端的终端识别系统及识别方法	2020-05-08	694
一种基于FPGA的PCIe转三总线接口及方法	2020-05-08	589

一种用于管理音频数据的方法、设备和计算机存储介质

一种用于管理音频数据的方法、设备和计算机存储介质

技术领域

背景技术

具体实施方式

该功能需要专业版企业版VIP权限，您可以：