首页 / 专利库 / 集成电路 / 集成电路卡 / 微控制器 / 存储器 / 流媒体处理方法、装置、系统和计算机可读存储介质

流媒体处理方法、装置、系统和计算机可读存储介质

阅读:681发布:2021-09-19

专利汇可以提供流媒体处理方法、装置、系统和计算机可读存储介质专利检索,专利查询,专利分析的服务。并且本 发明 公开了一种流媒体处理方法,包括:接收经过编码的第一流媒体和第二流媒体;调用流媒体识别 算法 对第一流媒体进行检测识别,并将第一流媒体进行延时处理后基于流传输协议发送给客户端;在检测识别出第一流媒体出现异常的情况下,查找第一流媒体出现的异常所对应的预警策略;根据查找出的预警策略触发执行预警,以将延时处理后的第一流媒体切换为第二流媒体基于流传输协议发送给客户端,保证有问题的流数据不会被客户端接收;本发明还公开了一种流媒体处理装置和系统,解决了传统的直播安全播出需要通过导播员人工监看与切换,容易出现监看失误或者切换不及时的情况;难以满足网络直播各种新的特性需求的技术问题。,下面是流媒体处理方法、装置、系统和计算机可读存储介质专利的具体信息内容。

1.一种流媒体处理方法,其特征在于,包括:
通过直播接流服务接收经过编码的第一流媒体和第二流媒体;通过所述直播接流服务解析或生成所述第一流媒体的ID,以及解析出所述第一流媒体的流类型;
通过所述直播接流服务将所述第一流媒体的ID以及所述流类型转发到主调度服务;通过所述直播接流服务将所述第一流媒体和第二流媒体转发到直播枢纽服务;
通过所述直播枢纽服务将所述第一流媒体提供到直播流检测服务;通过所述直播枢纽服务将所述第一流媒体和第二流媒体转发到直播时移服务;
通过所述直播流检测服务调用流媒体识别算法对所述第一流媒体进行检测识别;并通过所述直播时移服务将所述第一流媒体进行延时处理后基于流传输协议发送给客户端;
通过所述直播流检测服务将检测结果上报给所述主调度服务;在检测识别出所述第一流媒体出现异常的情况下,通过所述主调度服务查找所述第一流媒体出现的异常所对应的预警策略;
根据查找出的所述预警策略触发执行预警,通过所述主调度服务触发直播流切换服务以将延时处理后的第一流媒体切换为所述第二流媒体基于流传输协议发送给客户端。
2.如权利要求1所述的方法,其特征在于,还包括:
接收播控设备基于端的流媒体播控平台输入的播控指令;
通过所述主调度服务根据所述播控指令对接收的流媒体进行播控。
3.如权利要求1所述的方法,其特征在于,所述将所述第一流媒体进行延时处理后基于流传输协议发送给客户端之后,还包括:接收针对所述第一流媒体的举报信息,和/或监控针对所述第一流媒体的弹幕信息;
所述调用流媒体识别算法对所述第一流媒体进行检测识别,包括根据所述举报信息和/或所述弹幕信息,调用举报弹幕识别算法对所述第一流媒体进行检测识别。
4.如权利要求1-3任一项所述的方法,其特征在于,还包括:
接收播控设备基于云端的流媒体播控平台输入的配置指令;
通过所述主调度服务根据所述配置指令,针对流媒体出现的不同异常进行分级,并为每个级别配置对应的预警策略。
5.如权利要求4所述的方法,其特征在于,所述调用流媒体识别算法对所述第一流媒体进行检测识别,包括:
调用异常信号检测识别算法检测所述第一流媒体是否出现异常信号;
调用非法内容检测识别算法检测所述第一流媒体是否存在非法内容。
6.如权利要求5所述的方法,其特征在于,所述根据查找出的所述预警策略触发执行预警,通过所述主调度服务触发直播流切换服务以将延时处理后的第一流媒体切换为所述第二流媒体基于流传输协议发送给客户端,包括:
在查找出的预警策略为第一预警策略的情况下,通过所述主调度服务触发直播流切换服务自动将延时处理后的第一流媒体切换为所述第二流媒体基于流传输协议发送给客户端;
在查找出的预警策略为第二预警策略的情况下,通过所述主调度服务向播控设备发送告警信息;接收所述播控设备基于云端的流媒体播控平台输入的切换指令,根据所述切换指令触发直播流切换服务将延时处理后的第一流媒体切换为所述第二流媒体基于流传输协议发送给客户端。
7.如权利要求5所述的方法,其特征在于,所述根据查找出的所述预警策略触发执行预警,通过所述主调度服务触发直播流切换服务以将延时处理后的第一流媒体切换为所述第二流媒体基于流传输协议发送给客户端,包括:
在查找出的预警策略为第三预警策略的情况下,通过所述主调度服务警告所述第一流媒体发送端对应的用户并禁止第一流媒体发送端发送所述第一流媒体,和/或向报警平台举报所述第一流媒体发送端对应的用户。
8.一种流媒体处理装置,其特征在于,包括:
接收单元、检测识别单元、发送单元、查找单元和触发单元,其中,
接收单元用于通过直播接流服务接收经过编码的第一流媒体和第二流媒体;通过所述直播接流服务解析或生成所述第一流媒体的ID,以及解析出所述第一流媒体的流类型;
检测识别单元用于通过所述直播接流服务将所述第一流媒体的ID以及所述流类型转发到主调度服务;通过所述直播接流服务将所述第一流媒体和第二流媒体转发到直播枢纽服务;通过所述直播枢纽服务将所述第一流媒体提供到直播流检测服务;通过所述直播枢纽服务将所述第一流媒体和第二流媒体转发到直播时移服务;通过所述直播流检测服务调用流媒体识别算法对所述第一流媒体进行检测识别;
发送单元用于通过所述直播时移服务将所述第一流媒体进行延时处理后基于流传输协议发送给客户端;
查找单元用于通过所述直播流检测服务将检测结果上报给所述主调度服务;在检测识别出所述第一流媒体出现异常的情况下,通过所述主调度服务查找所述第一流媒体出现的异常所对应的预警策略;
触发单元用于根据查找出的所述预警策略触发执行预警,通过所述主调度服务触发直播流切换服务以将延时处理后的第一流媒体切换为所述第二流媒体基于流传输协议发送给客户端。
9.如权利要求8所述的装置,其特征在于,所述接收单元还用于接收播控设备基于云端的流媒体播控平台输入的播控指令;
所述流媒体处理装置还包括:播控单元,用于通过所述主调度服务根据所述播控指令对接收的流媒体进行播控。
10.如权利要求8所述的装置,其特征在于,所述发送单元将所述第一流媒体进行延时处理后基于流传输协议发送给客户端之后,所述接收单元还用于接收针对所述第一流媒体的举报信息,和/或监控针对所述第一流媒体的弹幕信息;
检测识别单元具体用于根据所述举报信息和/或所述弹幕信息,调用举报弹幕识别算法对所述第一流媒体进行检测识别。
11.如权利要求8-10任一项所述的装置,其特征在于,所述接收单元还用于接收播控设备基于云端的流媒体播控平台输入的配置指令;
所述流媒体处理装置还包括:配置单元,用于通过所述主调度服务根据所述配置指令,针对流媒体出现的不同异常进行分级,并为每个级别配置对应的预警策略。
12.如权利要求11所述的装置,其特征在于,
检测识别单元还用于调用异常信号检测识别算法检测所述第一流媒体是否出现异常信号;调用非法内容检测识别算法检测所述第一流媒体是否存在非法内容;
触发单元用于在查找出的预警策略为第一预警策略的情况下,通过所述主调度服务触发直播流切换服务自动将延时处理后的第一流媒体切换为所述第二流媒体基于流传输协议发送给客户端;
触发单元还用于在查找出的预警策略为第二预警策略的情况下,通过所述主调度服务向播控设备发送告警信息;接收所述播控设备基于云端的流媒体播控平台输入的切换指令,根据所述切换指令触发直播流切换服务将延时处理后的第一流媒体切换为所述第二流媒体基于流传输协议发送给客户端。
13.如权利要求12所述的装置,其特征在于,
触发单元还用于在查找出的预警策略为第三预警策略的情况下,通过所述主调度服务警告所述第一流媒体发送端对应的用户并禁止第一流媒体发送端发送所述第一流媒体,和/或向报警平台举报所述第一流媒体发送端对应的用户。
14.一种流媒体处理系统,其特征在于,包括处理器、存储器和通信模,所述处理器、存储器和通信模块相互连接,其中,所述存储器用于存储数据处理代码,所述通信模块用于与外部设备进行信息交互;所述处理器被配置用于调用所述数据处理代码,执行如权利要求1-7任一项所述的方法。
15.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有程序指令,所述程序指令当被处理器执行时使所述处理器执行如权利要求1-7任一项所述的方法。

说明书全文

流媒体处理方法、装置、系统和计算机可读存储介质

技术领域

[0001] 本发明涉及计算机领域,尤其涉及流媒体处理方法、装置、系统和计算机可读存储介质。

背景技术

[0002] 传统意义的直播定义为广播电视节目的后期合成、播出同时进行的播出方式,按照播放场合可以分为现场直播和播音室或演播室直播等形式。随着网络科技的不断发展,这些年来也出现了网络直播,是一种通过流媒体技术,将图像、声音、文字等丰富元素通互联网展示给用户生动、直观、真实画面的一整套解决方案,包含编码工具,流媒体数据,服务器,网络,播放器。
[0003] 对直播内容,是否存在异常或者非法的情况,现有技术往往通过如图1示出现有技术的直播安全播出的实现原理示意图,在演播室通过人工监看信号来检测异常信号或非法内容,然后通过切换台来切换异常信号。具体包括(1)直播信号经过分线板1之后,一分为二,一路进入监视器1,另一路经过延时器进入分线板3;(2)直播信号进入分线板3之后,一分为二,一路进入监视器3,另一路进行切换台;(3)应急信号经过分线板一分为二,一路进入监视器2,另一路经过延时器进入分线板4;(4)应急信号进入分线板4之后,一分为二,一路进入监视器4,另一路进行切换台;(5)正常直播时,切换台将直播信号作为直播输出信号输出到直播编码器,直播编码器编码为直播流,推送到直播平台进行直播播出。(6)当导播员通过监视器1发现直播出现异常信号或者非法内容时,人工干预开始紧急切换应急信号操作,通过监视器3显示的当前播出内容,当监视器3准备播出异常信号或非法内容时,通过切换台将应急信号切换为直播输出信号,这时直播的内容切换为应急信号的内容,直播处于应急播出中。(7)当导播员通过监视器1发现直播信号恢复正常时,人工干预开始信号恢复操作,通过监视器3显示的当前播出内容,当监视器3准备播出正常信号时,通过切换台将直播信号切换为直播输出信号,这时直播的内容切换为直播信号的内容,直播恢复正常。
[0004] 传统的直播安全播出需要通过导播员人工监看与切换,容易出现监看失误或者切换不及时的情况;并且直播的监控与切换是基于信号进行处理,因此需要专业的硬件设备来支持,成本较高;还有,当前的直播安全播出机制扩展性不强,应对网络直播各种新的特性需求,很难满足。

发明内容

[0005] 本发明实施例所要解决的技术问题在于,提供一种流媒体处理方法、一种流媒体处理装置、一种流媒体处理系统以及一种计算机可读存储介质,解决传统的直播安全播出需要通过导播员人工监看与切换,容易出现监看失误或者切换不及时的情况;并且直播的监控与切换是基于信号进行处理,因此需要专业的硬件设备来支持,成本较高;还有,当前的直播安全播出机制扩展性不强,应对网络直播各种新的特性需求,很难满足的技术问题。
[0006] 为了解决上述技术问题,本发明实施例第一方面公开了一种流媒体处理方法,包括:
[0007] 接收经过编码的第一流媒体和第二流媒体;
[0008] 调用流媒体识别算法对所述第一流媒体进行检测识别,并将所述第一流媒体进行延时处理后基于流传输协议发送给客户端;
[0009] 在检测识别出所述第一流媒体出现异常的情况下,查找所述第一流媒体出现的异常所对应的预警策略;
[0010] 根据查找出的所述预警策略触发执行预警,以将延时处理后的第一流媒体切换为所述第二流媒体基于流传输协议发送给客户端。
[0011] 具体地,基于该第一方面,在其中一种实现方式中,还包括:
[0012] 接收播控设备基于端的流媒体播控平台输入的播控指令;
[0013] 根据所述播控指令对接收的流媒体进行播控。
[0014] 具体地,基于该第一方面,在其中一种实现方式中,所述将所述第一流媒体进行延时处理后基于流传输协议发送给客户端之后,还包括:接收针对所述第一流媒体的举报信息,和/或监控针对所述第一流媒体的弹幕信息;
[0015] 所述调用流媒体识别算法对所述第一流媒体进行检测识别,包括根据所述举报信息和/或所述弹幕信息,调用举报弹幕识别算法对所述第一流媒体进行检测识别。
[0016] 具体地,基于该第一方面,在其中一种实现方式中,还包括:
[0017] 接收播控设备基于云端的流媒体播控平台输入的配置指令;
[0018] 根据所述配置指令,针对流媒体出现的不同异常进行分级,并为每个级别配置对应的预警策略。
[0019] 具体地,基于该第一方面,在其中一种实现方式中,所述调用流媒体识别算法对所述第一流媒体进行检测识别,还包括:
[0020] 调用异常信号检测识别算法检测所述第一流媒体是否出现异常信号;
[0021] 调用非法内容检测识别算法检测所述第一流媒体是否存在非法内容。
[0022] 具体地,基于该第一方面,在其中一种实现方式中,所述根据查找出的所述预警策略触发执行预警,以将延时处理后的第一流媒体切换为所述第二流媒体基于流传输协议发送给客户端,包括:
[0023] 在查找出的预警策略为第一预警策略的情况下,自动将延时处理后的第一流媒体切换为所述第二流媒体基于流传输协议发送给客户端;
[0024] 在查找出的预警策略为第二预警策略的情况下,向播控设备发送告警信息;接收所述播控设备基于云端的流媒体播控平台输入的切换指令,根据所述切换指令将延时处理后的第一流媒体切换为所述第二流媒体基于流传输协议发送给客户端。
[0025] 具体地,基于该第一方面,在其中一种实现方式中,所述根据查找出的所述预警策略触发执行预警,以将延时处理后的第一流媒体切换为所述第二流媒体基于流传输协议发送给客户端,包括:
[0026] 在查找出的预警策略为第三预警策略的情况下,警告所述第一流媒体发送端对应的用户并禁止第一流媒体发送端发送所述第一流媒体,和/或向报警平台举报所述第一流媒体发送端对应的用户。
[0027] 本发明实施例第二方面公开了一种流媒体处理装置,包括用于执行上述第一方面中任一种实现方式的方法的单元。
[0028] 本发明实施例第三方面公开了一种流媒体处理系统,包括处理器、存储器和通信模,所述处理器、存储器和通信模块相互连接,其中,所述存储器用于存储数据处理代码,所述通信模块用于与外部设备进行信息交互;所述处理器被配置用于调用所述程序代码,执行上述第一方面中任一种实现方式的方法。
[0029] 本发明实施例第四方面公开了一种计算机可读存储介质,所述计算机存储介质存储有程序指令,所述程序指令当被处理器执行时使所述处理器执行上述第一方面中任一种实现方式的方法。
[0030] 实施本发明实施例,接收经过编码的第一流媒体和第二流媒体;调用流媒体识别算法对所述第一流媒体进行检测识别,在检测识别出所述第一流媒体出现异常的情况下,查找第一流媒体出现的异常所对应的预警策略;根据查找出的预警策略触发执行预警,以将延时处理后的第一流媒体切换为第二流媒体基于流传输协议发送给客户端,保证有问题的流数据不会被客户端接收。实现了通过机器自动识别并可以主动切换,避免了传统的直播安全播出需要通过导播员人工监看与切换,容易出现监看失误或者切换不及时的情况;本发明实施例由于基于流媒体进行处理,解决了现有技术中由于直播的监控与切换是基于信号进行处理而需要专业的硬件设备来支持,成本较高的问题;并且可以根据流媒体出现的不同异常配置不同的预警策略来触发预警,实现了直播安全播出的可配置化,支持自定义级别的分级预警预案,根据不同等级进行相应预警,提升扩展性,解决了应对网络直播各种新的特性需求,很难满足的技术问题。
[0031] 而且本发明实施例可以接收播控设备基于云端的流媒体播控平台输入的播控指令,根据播控指令对接收的流媒体进行播控,实现了将直播的安全播控放到了云端,只要在允许网络接入的地方,播控管理者就可以通过手机、电脑、ipad等终端播控设备进行在线安全播出控制,不仅仅局限于在演播室现场人工值守来进行。
[0032] 而且在查找出的预警策略为第三预警策略的情况下(例如已多次警告发送端,或发送端上传的流媒体内容属于严重违法或犯罪),可以警告第一流媒体发送端对应的用户并禁止第一流媒体发送端发送所述第一流媒体,以及向报警平台举报第一流媒体发送端对应的用户,提升了直播安全播出的功能。附图说明
[0033] 为了说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
[0034] 图1是现有技术的直播安全播出的实现原理示意图;
[0035] 图2是本发明实施例提供的流媒体处理方法的系统架构示意图;
[0036] 图3是本发明实施例提供的流媒体处理方法的流程示意图;
[0037] 图4是本发明实施例提供的播控页面的示意图;
[0038] 图5是本发明提供的另一实施例的播控页面的示意图;
[0039] 图6是本发明提供的另一实施例的播控页面的示意图;
[0040] 图7是本发明实施例提供的预警策略配置的示意图;
[0041] 图8是本发明实施例提供的流媒体处理方法的实现原理示意图;
[0042] 图9是本发明实施例提供的流媒体处理装置的结构示意图;
[0043] 图10是本发明提供的另一实施例的流媒体处理装置的结构示意图;
[0044] 图11是本发明实施例提供的流媒体处理系统的结构示意图。

具体实施方式

[0045] 下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行描述。
[0046] 还应当理解,在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。
[0047] 还应当进一步理解,在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
[0048] 具体实现中,本发明实施例中描述的流媒体又可以称为流式媒体,是指采用流式传输的方式在网络传输或播放的媒体格式,包括音视频等多媒体文件,比如直播视频的直播流。
[0049] 为了更好的理解本发明实施例提供的一种流媒体处理方法、流媒体处理装置和流媒体处理系统,下面先对本发明实施例流媒体处理方法的系统架构进行描述。如图2示出的本发明实施例提供的流媒体处理方法的系统架构示意图,可以包括流媒体的发送端或上传端、流媒体处理系统、播控设备以及客户端。其中,流媒体的发送端可以包括多个发送端,将采集的流媒体的信号(比如直播信号)发送给流媒体处理系统,以及将用于应急处理的流媒体想信号发送给流媒体处理系统;流媒体处理系统经过本发明实施例的流媒体处理方法,对接收的流媒体进行处理,以进行安全播放的监控,包括播控管理者通过播控设备从云端登陆到该流媒体处理系统的流媒体播控平台输入播控指令以控制流媒体的播控,从而将处理后的流媒体发送给客户端,客户端接收到流媒体后进行播放。
[0050] 其中,本发明实施例中的流媒体的发送端、播控设备以及客户端包括但不限于诸如台式计算机、膝上型计算机、平板计算机、智能终端等。流媒体处理系统包括但不限于处理服务器。
[0051] 下面结合图3示出的本发明实施例提供的流媒体处理方法的流程示意图,具体说明本发明实施例的流媒体处理系统如何对接收到的流媒体进行处理,可以包括以下步骤:
[0052] 步骤S300:接收经过编码的第一流媒体和第二流媒体;
[0053] 具体地,本发明实施例中的第一流媒体可以为用于当前播放的流媒体,第二流媒体可以为用于备用播放或应急播放的流媒体。以直播为例,那该第一流媒体可以为经过直播编码后的直播流媒体。
[0054] 在其中一个实施方式中,第二流媒体可以为与该第一流媒体关联的一个或多个流媒体,以直播为例,对于现场直播可以有多个摄像设备从不同度进行直播拍摄,即产生多路直播信号,可以默认一个或选定一个直播信号作为第一流媒体,其余直播信号作为第二流媒体。第二流媒体也可以为与该第一流媒体不关联的流媒体,以直播为例,即不关联的流媒体即直播内容不同的流媒体。也就是说,本发明实施例的第二流媒体可以为1路或多路的流媒体。
[0055] 一个或多个流媒体的发送端将采集到或存储的流媒体按照流媒体编码规则进行编码后,发送到流媒体处理系统,那么该流媒体处理系统即接收到经过编码的第一流媒体和第二流媒体。
[0056] 步骤S302:调用流媒体识别算法对所述第一流媒体进行检测识别,并将所述第一流媒体进行延时处理后基于流传输协议发送给客户端;
[0057] 具体地,流媒体处理系统调用预设的流媒体识别算法对该第一流媒体进行检测识别,可以包括对流媒体异常信号的识别、流媒体内容是否违法的识别等等。本发明实施例的流媒体识别算法可以包括对流媒体中音视频数据的声强检测算法、噪音信号检测算法,黑屏检测算法、静检测算法、赛克检测算法等等,以及对流媒体内容进行的鉴黄识别算法、模式识别算法、语音识别算法等等。
[0058] 流媒体处理系统将第一流媒体进行延时,得到延时后的流媒体,然后可以基于超文本传输协议视频直播协议(HTTP Live Streaming,HLS)等流传输协议发送给客户端。并且,流媒体处理系统可以通过内容分发网络(Content Delivery Network,CDN)来将延时后的流媒体发送给客户端。
[0059] 步骤S304:在检测识别出所述第一流媒体出现异常的情况下,查找所述第一流媒体出现的异常所对应的预警策略;
[0060] 具体地,流媒体处理系统存储有多个预警策略,每个预警策略对应流媒体出现的不同异常。在检测识别出该第一流媒体出现异常的情况下,该流媒体处理系统将查找该第一流媒体出现的异常所对应的预警策略。
[0061] 本发明实施例中的第一流媒体出现异常可以包括该第一流媒体出现异常信号,比如黑屏、静音、静帧、马赛克等异常信号;或者可以包括该第一流媒体存在非法内容,比如存在色情、暴、侵权等非法内容。
[0062] 步骤S306:根据查找出的所述预警策略触发执行预警,以将延时处理后的第一流媒体切换为所述第二流媒体基于流传输协议发送给客户端。
[0063] 具体地,流媒体处理系统根据查找出的预警策略触发执行预警,比如进行媒体流的自动切换,或者向媒体流的发送端发送告警信号,或者向流媒体的播控设备发送告警信号,等等,最终将延时处理后的第一流媒体切换为第二流媒体基于流传输协议发送给客户端。本发明实施例中的流媒体切换是无缝切换,客户端的播放不会中断,也就是说不会出现播放失败,缓冲或卡顿的现象,客户端侧的用户是在无感知的情况下进行了内容切换。
[0064] 在其中一个实施方式中,若第二流媒体包括多路流媒体的情况下,流媒体处理系统可以从中选取其中1路流媒体进行切换,也就是说,将延迟处理后的第一流媒体切换为选取的该1路流媒体基于流传输协议发送给客户端。
[0065] 实施本发明实施例,接收经过编码的第一流媒体和第二流媒体;调用流媒体识别算法对所述第一流媒体进行检测识别,在检测识别出所述第一流媒体出现异常的情况下,查找第一流媒体出现的异常所对应的预警策略;根据查找出的预警策略触发执行预警,以将延时处理后的第一流媒体切换为第二流媒体基于流传输协议发送给客户端。实现了通过机器自动识别并可以主动切换,避免了传统的直播安全播出需要通过导播员人工监看与切换,容易出现监看失误或者切换不及时的情况;本发明实施例由于基于流媒体进行处理,解决了现有技术中由于直播的监控与切换是基于信号进行处理而需要专业的硬件设备来支持,成本较高的问题;并且可以根据流媒体出现的不同异常配置不同的预警策略来触发预警,实现了直播安全播出的可配置化,支持自定义级别的分级预警预案,根据不同等级进行相应预警,提升扩展性,解决了应对网络直播各种新的特性需求,很难满足的技术问题。
[0066] 在其中一个实施方式中,本发明实施例的流媒体处理方法还可以包括:接收播控设备基于云端的流媒体播控平台输入的播控指令;根据所述播控指令对接收的流媒体进行播控。
[0067] 具体地,流媒体处理系统可以对应运行有流媒体播控平台,该流媒体播控平台可以设置在云端,播控管理者通过可以联网的播控设备即可随时随地的登陆该流媒体播控平台,进行在线安全播出的控制,包括对流媒体的监控、告警和切换等等。
[0068] 如图4示出的本发明实施例提供的播控页面的示意图,播控设备登陆基于云端的流媒体播控平台的后,可以在页面中播放当前输入的多路不同的流媒体,以提供给播控管理员监看。
[0069] 如图5示出的本发明提供的另一实施例的播控页面的示意图,播控设备登陆基于云端的流媒体播控平台的后,可以在页面中以对比画面的形式显示当前的流媒体,比如上方的为正常播放的流媒体,下方为出现异常或非法的流媒体,以便于播控管理员进行播放控制。
[0070] 如图6示出的本发明提供的另一实施例的播控页面的示意图,播控设备登陆基于云端的流媒体播控平台的后,可以针对单路的流媒体进行播控,包括源流媒体播放(即当前无延时的第一流媒体播放界面)、延时流媒体播放(即延时处理后的流媒体播放界面)、外网流媒体播放(即第二流媒体播放界面),切换按钮,告警信息等等。播控管理员可以点击切换按钮人工强制干预,以对流媒体进行切换。告警信息中可以包括对出现异常的流媒体的截图信息、出现流媒体的列表信息,以便于播控管理员进行跟踪和回看。
[0071] 图4、图5和图6中的页面布局只是本发明的其中一个实施例,本发明不作限制。
[0072] 在其中一个实施方式中,本发明实施例的流媒体处理方法还可以包括:接收播控设备基于云端的流媒体播控平台输入的配置指令;根据所述配置指令,针对流媒体出现的不同异常进行分级,并为每个级别配置对应的预警策略。如图7示出本发明实施例提供的预警策略配置的示意图,可以对流媒体出现的异常进行分析汇总,然后对异常进行分级,也就是说设置不同的级别,一个级别可以对应一个或多个异常,每个级别配置对应的预警策略。
[0073] 本发明实施例实现了将直播的安全播控放到了云端,只要在允许网络接入的地方,播控管理者就可以通过手机、电脑、ipad等终端播控设备进行在线安全播出控制,比如监控源流媒体的播放,监控经过延时处理的流媒体的播放,手动人工切换流媒体等等,不仅仅局限于在演播室现场人工值守来进行。
[0074] 下面以直播场景为例(即第一流媒体或源流媒体为直播流为例),对本发明实施例的流媒体处理方法进行说明,如图8示出的本发明实施例提供的流媒体处理方法的实现原理示意图:
[0075] 首先,直播信号与应急信号经过直播编码之后,生成直播流和应急流,即为第一流媒体和第二流媒体,然后将流推送到直播接流服务。图8中的第二流媒体以输入1路信号为例进行说明,该直播接流服务可以为本发明实施例中的流媒体处理系统中用于接入流媒体的接入程序或接入代码。
[0076] 然后,该直播接流服务将解析出该直播流的标识ID或生成该直播流的ID,以及解析出该直播流的流类型,该直播接流服务一方面将该直播流的ID和流类型上报给主Master调度服务,另一方面将接收到的直播流和应急流转发到直播枢纽服务。该Master调度服务可以为本发明实施例中的流媒体处理系统中用于对流媒体进行播控处理的控制程序或代码;该直播枢纽服务可以为本发明实施例中的流媒体处理系统中用于实现流媒体的内部分发的程序或代码。
[0077] 接着,该直播枢纽服务接收到直播流和应急流后,可以提供对外监控播放,实现播控管理者对源信号的监控,也可以提供直播流到直播流检测服务,也就是说将直播流转发到直播流检测服务,实现对直播异常信号或者非法内容的检测;同时,将直播流与应急流转发到直播时移服务;该直播流检测服务可以为本发明实施例中的流媒体处理系统中用于对流媒体进行检测,看是否出现异常的检测程序或识别程序;该直播时移服务可以为本发明实施例中的流媒体处理系统中用于对直播流和/或应急流进行延迟处理,并将提供延时监控播放的程序或代码。
[0078] 该直播时移服务接收到直播流和应急流后,可以只对直播流进行转码后流媒体的延时处理,也可以对直播流和应急流都进行转码后流媒体的延时处理,并将延时处理后的直播流提供延时监控播放,以实现播控管理者对延时信号的监控。该直播时移服务将延时处理后的直播流和应急流(可做延时处理也可以不做延时处理)都转发给直播流切换服务。该直播流切换服务可以为本发明实施例中的流媒体处理系统中用于对直播流和应急流进行相互切换的程序或代码,并将直播流或者应急流基于HLS协议以CDN的方式发送给客户端进行播放。
[0079] 该直播流检测服务在接收到直播流后,可以通过调用流媒体识别算法以实现对直播流的检测,并将检测结果上报给Master调度服务。具体地,可以调用异常信号检测识别算法检测第一流媒体(直播流)是否出现异常信号,以实现对黑屏、静音、静帧、马赛克等异常信号的检测,并将检测结果返回给直播流检测服务;调用非法内容检测识别算法检测第一流媒体(直播流)是否存在非法内容,以实现对色情等非法内容的检测,并将检测结果返回给直播流检测服务。
[0080] 客户端在播放直播流的过程中可以接收用户反馈的信息,通过反馈系统,比如通过举报系统接收用户举报播放的直播流存在色情、暴力、侵权等违法或犯罪的信息;以及通过弹幕监控系统监控识别用户输入的弹幕信息中的关键字(如色情、暴力等关键字),然后将反馈结果上报给Master调度服务。该举报系统或弹幕监控系统可以为本发明实施例中的流媒体处理系统中用于接收举报信息或通过举报弹幕识别算法对流媒体进行检测识别或监控识别的程序或代码;该举报系统或弹幕监控系统也可以为客户端上运行的直播平台上的用于接收举报信息或通过举报弹幕识别算法对流媒体进行检测识别或监控识别的程序或代码,然后将举报信息和弹幕监控结果信息上报给Master调度服务。
[0081] 最后,Master调度服务在接收到直播接流服务上报的直播流的ID和流类型,直播流检测服务上报的检测结果,以及反馈系统上报的针对第一流媒体(直播流)的反馈结果后,根据配置的多个预警策略,比如配置的分级预案,查找对应预警策略或预案,然后下发相应的告警、自动切换与恢复处理,或接收播控管理员人工强制干预的播控指令等。
[0082] 在其中一个实施方式中,Master调度服务还可以接收举报系统或弹幕监控系统上报的针对第一流媒体(直播流)的举报信息,和/或监控针对第一流媒体(直播流)的弹幕信息;然后根据该举报信息和/或所述弹幕信息,调用举报弹幕识别算法对该第一流媒体进行检测识别。
[0083] 在其中一个实施方式中,比如在查找出的预警策略为第一预警策略的情况下,Master调度服务自动将延时处理后的第一流媒体切换为所述第二流媒体基于流传输协议发送给客户端。比如,直播流出现了黑屏、静音、静帧、马赛克等异常,该异常对应第一预警策略,该第一预警策略指示触发该直播流切换服务自动进行流媒体的切换,那么Master调度服务将自动向该直播流切换服务下发切换指令,以使该直播流切换服务根据该切换指令完成流媒体的切换,将直播流切换为应急流。
[0084] 在其中一个实施方式中,比如在查找出的预警策略为第二预警策略的情况下,Master调度服务向播控设备发送告警信息;接收所述播控设备基于云端的流媒体播控平台输入的切换指令,根据所述切换指令将延时处理后的第一流媒体切换为所述第二流媒体基于流传输协议发送给客户端。比如,直播流出现了色情或暴力等违法信息,该异常对应第二预警策略,该第二预警策略可以为指示告警系统向播控设备主动发送告警信息,以提醒播控管理者进行管控。然后在接收到播控设备基于云端的流媒体播控平台输入的切换指令,根据该切换指令触发该直播流切换服务自动进行流媒体的切换,以使该直播流切换服务根据该切换指令完成流媒体的切换,将直播流切换为应急流。或者该第二预警策略可以指示告警系统向播控设备以及第一流媒体发送端同时发送告警信息,以及同时先指示触发该直播流切换服务自动进行流媒体的切换,等等。
[0085] 在其中一个实施方式中,比如在查找出的预警策略为第三预警策略的情况下,Master调度服务警告第一流媒体发送端对应的用户并禁止第一流媒体发送端发送第一流媒体(如直播流),和/或向报警平台举报该第一流媒体发送端对应的用户。比如,Master调度服务根据该直播流的ID分析出该直播流发送端发送非法直播流内容的次数达到阈值,那么该异常对应第三预警策略,该第三预警策略指示Master调度服务触发告警系统进行告警,那么该Master调度服务即触发告警系统向该直播流发送端发送告警信息,并禁止该直播流发送端发送直播流,以及根据该直播流发送端对应的注册用户的信息,可以向报警平台举报该直播流发送端对应的用户。
[0086] 在其中一个实施方式中,Master调度服务可以触发恢复原直播流的播放。比如检测到原来的直播流的异常得到了解决,那么可以触发该直播流切换服务根据该切换指令完成流媒体的切换,将应急流切换为直播流。
[0087] 本发明实施例实现了直播的安全播出,能够对直播流中的异常信号或者非法内容进行实时检测,并通过预定的预警策略进行自动切换、实时告警,通知人工干预等等,并且支持自定义级别的分级应急预案,根据不同等级进行相应处理,也就是说,直播安全播放功能也可配置化,提升扩展性;能够将多路输入的直播流,选择一路直播流输出;能够对直播流进行缓存、延时播出;保证异常信号或非法内容在被播出之前,切换为安全的直播流,实现直播的安全播出;在整个处理的过程中,终端用户无感知,用户播放正常,不会出现播放失败,缓冲,卡顿等情况。而且,直播的安全播控放到了云端,只要在允许网络接入的地方,就可以通过手机、电脑、ipad等终端设备进行在线安全播出控制,不仅仅局限于在演播室现场人工值守来进行;直播异常信号监控与非法内容的检测,通过机器自动识别、实时告警,主动切换来实现。
[0088] 为了便于更好地实施本发明实施例的上述方案,本发明还对应提供了一种流媒体处理装置,下面结合附图来进行详细说明:
[0089] 如图9示出的本发明实施例提供的流媒体处理装置的结构示意图,流媒体处理装置90可以包括:接收单元900、检测识别单元902、发送单元904、查找单元906和触发单元908,其中,
[0090] 接收单元900用于接收经过编码的第一流媒体和第二流媒体;
[0091] 检测识别单元902用于调用流媒体识别算法对所述第一流媒体进行检测识别;
[0092] 发送单元904用于将所述第一流媒体进行延时处理后基于流传输协议发送给客户端;
[0093] 查找单元906用于在检测识别出所述第一流媒体出现异常的情况下,查找所述第一流媒体出现的异常所对应的预警策略;
[0094] 触发单元908用于根据查找出的所述预警策略触发执行预警,以将延时处理后的第一流媒体切换为所述第二流媒体基于流传输协议发送给客户端。
[0095] 具体地,如图10示出的本发明提供的另一实施例的流媒体处理装置的结构示意图,流媒体处理装置90包括接收单元900、检测识别单元902、发送单元904、查找单元906和触发单元908外,还可以包括:播控单元9010和配置单元9012,其中,
[0096] 接收单元900还可以用于接收播控设备基于云端的流媒体播控平台输入的播控指令;
[0097] 播控单元9010用于根据所述播控指令对接收的流媒体进行播控。
[0098] 发送单元904将所述第一流媒体进行延时处理后基于流传输协议发送给客户端之后,接收单元900还可以用于接收针对所述第一流媒体的举报信息,和/或监控针对所述第一流媒体的弹幕信息;
[0099] 检测识别单元902具体可以根据所述举报信息和/或所述弹幕信息,调用举报弹幕识别算法对所述第一流媒体进行检测识别。
[0100] 接收单元900还可以用于接收播控设备基于云端的流媒体播控平台输入的配置指令;
[0101] 配置单元9012用于根据所述配置指令,针对流媒体出现的不同异常进行分级,并为每个级别配置对应的预警策略。
[0102] 检测识别单元902还可以用于调用异常信号检测识别算法检测所述第一流媒体是否出现异常信号;调用非法内容检测识别算法检测所述第一流媒体是否存在非法内容。
[0103] 触发单元908可以用于在查找出的预警策略为第一预警策略的情况下,自动将延时处理后的第一流媒体切换为所述第二流媒体基于流传输协议发送给客户端;
[0104] 触发单元908还可以用于在查找出的预警策略为第二预警策略的情况下,向播控设备发送告警信息;接收所述播控设备基于云端的流媒体播控平台输入的切换指令,根据所述切换指令将延时处理后的第一流媒体切换为所述第二流媒体基于流传输协议发送给客户端。
[0105] 触发单元908还可以用于在查找出的预警策略为第三预警策略的情况下,警告所述第一流媒体发送端对应的用户并禁止第一流媒体发送端发送所述第一流媒体,和/或向报警平台举报所述第一流媒体发送端对应的用户。
[0106] 需要说明的是,本发明实施例中的流媒体处理装置90可以为上述方法实施例中的流媒体处理系统,流媒体处理装置90中各模块的功能可对应参考上述各方法实施例中图1至图8实施例中的流媒体处理系统运行的具体实现方式,这里不再赘述。
[0107] 为了便于更好地实施本发明实施例的上述方案,本发明还对应提供了一种流媒体处理系统,下面结合附图来进行详细说明:
[0108] 如图11示出的本发明实施例提供的流媒体处理系统的结构示意图,流媒体处理系统11可以包括处理器111、存储器114和通信模块115,处理器111、存储器114和通信模块115可以通过总线116相互连接。存储器114可以是高速随机存储记忆体(Random Access Memory,RAM)存储器,也可以是非易失性的存储器(non-volatile memory),例如至少一个磁盘存储器,存储器114包括本发明实施例中的flash。存储器114可选的还可以是至少一个位于远离前述处理器111的存储系统。存储器114用于存储应用程序代码,可以包括操作系统、网络通信模块、用户接口模块以及数据处理程序,通信模块115用于与外部设备进行信息交互;处理器111被配置用于调用该程序代码,执行以下步骤:
[0109] 通过通信模块115接收经过编码的第一流媒体和第二流媒体;
[0110] 调用存储器114中流媒体识别算法对所述第一流媒体进行检测识别,并通过通信模块115将所述第一流媒体进行延时处理后基于流传输协议发送给客户端;
[0111] 在检测识别出所述第一流媒体出现异常的情况下,查找所述第一流媒体出现的异常所对应的预警策略;
[0112] 根据查找出的所述预警策略触发执行预警,以将延时处理后的第一流媒体切换为所述第二流媒体基于流传输协议发送给客户端。
[0113] 在其中一个实施方式中,处理器111还可以执行:
[0114] 通过通信模块115接收播控设备基于云端的流媒体播控平台输入的播控指令;
[0115] 根据所述播控指令对接收的流媒体进行播控。
[0116] 在其中一个实施方式中,处理器111将所述第一流媒体进行延时处理后基于流传输协议发送给客户端之后,还可以执行:通过通信模块115接收针对所述第一流媒体的举报信息,和/或监控针对所述第一流媒体的弹幕信息;
[0117] 所述调用流媒体识别算法对所述第一流媒体进行检测识别,包括根据所述举报信息和/或所述弹幕信息,调用举报弹幕识别算法对所述第一流媒体进行检测识别。
[0118] 在其中一个实施方式中,处理器111还可以执行:
[0119] 通过通信模块115接收播控设备基于云端的流媒体播控平台输入的配置指令;
[0120] 根据所述配置指令,针对流媒体出现的不同异常进行分级,并为每个级别配置对应的预警策略。
[0121] 在其中一个实施方式中,处理器111调用流媒体识别算法对所述第一流媒体进行检测识别,还可以包括:
[0122] 调用存储器114中异常信号检测识别算法检测所述第一流媒体是否出现异常信号;
[0123] 调用存储器114中非法内容检测识别算法检测所述第一流媒体是否存在非法内容。
[0124] 在其中一个实施方式中,处理器111根据查找出的所述预警策略触发执行预警,以将延时处理后的第一流媒体切换为所述第二流媒体基于流传输协议发送给客户端,包括:
[0125] 在查找出的预警策略为第一预警策略的情况下,自动将延时处理后的第一流媒体切换为所述第二流媒体通过通信模块115基于流传输协议发送给客户端;
[0126] 在查找出的预警策略为第二预警策略的情况下,向播控设备发送告警信息;通过通信模块115接收所述播控设备基于云端的流媒体播控平台输入的切换指令,根据所述切换指令将延时处理后的第一流媒体切换为所述第二流媒体通过通信模块115基于流传输协议发送给客户端。
[0127] 在查找出的预警策略为第三预警策略的情况下,通过通信模块115警告所述第一流媒体发送端对应的用户并禁止第一流媒体发送端发送所述第一流媒体,和/或向报警平台举报所述第一流媒体发送端对应的用户。
[0128] 需要说明的是,本发明实施例中的流媒体处理系统11中处理器的执行步骤可参考上述各方法实施例中图1至图8实施例中的流媒体处理系统运行的具体实现方式,这里不再赘述。
[0129] 实施本发明实施例,接收经过编码的第一流媒体和第二流媒体;调用流媒体识别算法对所述第一流媒体进行检测识别,在检测识别出所述第一流媒体出现异常的情况下,查找第一流媒体出现的异常所对应的预警策略;根据查找出的预警策略触发执行预警,以将延时处理后的第一流媒体切换为第二流媒体基于流传输协议发送给客户端,保证有问题的流数据不会被客户端接收。实现了通过机器自动识别并可以主动切换,避免了传统的直播安全播出需要通过导播员人工监看与切换,容易出现监看失误或者切换不及时的情况;本发明实施例由于基于流媒体进行处理,解决了现有技术中由于直播的监控与切换是基于信号进行处理而需要专业的硬件设备来支持,成本较高的问题;并且可以根据流媒体出现的不同异常配置不同的预警策略来触发预警,实现了直播安全播出的可配置化,支持自定义级别的分级预警预案,根据不同等级进行相应预警,提升扩展性,解决了应对网络直播各种新的特性需求,很难满足的技术问题。
[0130] 而且本发明实施例可以接收播控设备基于云端的流媒体播控平台输入的播控指令,根据播控指令对接收的流媒体进行播控,实现了将直播的安全播控放到了云端,只要在允许网络接入的地方,播控管理者就可以通过手机、电脑、ipad等终端播控设备进行在线安全播出控制,不仅仅局限于在演播室现场人工值守来进行。
[0131] 而且在查找出的预警策略为第三预警策略的情况下(例如已多次警告发送端,或发送端上传的流媒体内容属于严重违法或犯罪),可以警告第一流媒体发送端对应的用户并禁止第一流媒体发送端发送所述第一流媒体,以及向报警平台举报第一流媒体发送端对应的用户,提升了直播安全播出的功能。
[0132] 本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。
[0133] 以上所揭露的仅为本发明较佳实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈