一种多屏视频播放优化方法及终端

专利类型 发明公开 法律事件 公开; 实质审查;
专利有效性 实质审查 当前状态 实质审查
申请号 CN202411981848.7 申请日 2024-12-31
公开(公告)号 CN119967208A 公开(公告)日 2025-05-09
申请人 福州城投新基建集团有限公司; 申请人类型 企业
发明人 林宇; 葛维亮; 第一发明人 林宇
权利人 福州城投新基建集团有限公司 权利人类型 企业
当前权利人 福州城投新基建集团有限公司 当前权利人类型 企业
省份 当前专利权人所在省份:福建省 城市 当前专利权人所在城市:福建省福州市
具体地址 当前专利权人所在详细地址:福建省福州市晋安区福新中路226号A座4层01室、02室 邮编 当前专利权人邮编:350000
主IPC国际分类 H04N21/262 所有IPC国际分类 H04N21/262H04N21/2662H04N21/6437H04N21/43
专利引用数量 0 专利被引用数量 0
专利权利要求数量 10 专利文献类型 A
专利代理机构 福州市博深专利事务所 专利代理人 林晓敏;
摘要 本 发明 公开了一种多屏视频播放优化方法及系统,客户端判断是否接收到流媒体 服务器 发送的网络拥堵通知;若是,则在建立新的分屏与所述流媒体服务器的第一链接时,发送第一标识至流媒体服务器;流媒体服务器若接收到所述第一标识则仅通过所述第一链接发送关键 帧 至所述客户端。本发明主动进行视频数据的 质量 调整,关键帧能够保留视频数据的关键内容,在分屏的场景中用户 感知 小,在减少数据传输量的情况下还保证了视频的播放质量,避免了花屏或延迟的情况。
权利要求

1.一种多屏视频播放优化方法,其特征在于,包括步骤:
客户端判断是否接收到流媒体服务器发送的网络拥堵通知;若是,则在建立新的分屏与所述流媒体服务器的第一链接时,发送第一标识至流媒体服务器;
流媒体服务器若接收到所述第一标识则仅通过所述第一链接发送关键至所述客户端。
2.根据权利要求1所述的一种多屏视频播放优化方法,其特征在于,所述客户端判断是否接收到流媒体服务器发送的网络拥堵通知之前还包括:
所述流媒体服务器获取与已建立的分屏与所述流媒体服务器的第二链接对应的帧缓存区的当前容量,并判断所述当前容量是否超过容量阈值;若是,则向所述客户端发送网络拥堵通知。
3.根据权利要求2所述的一种多屏视频播放优化方法,其特征在于,所述流媒体服务器判断所述当前容量是否超过容量阈值后,还包括:
将通过所述第二链接发送的视频数据调整为仅发送关键帧至所述客户端。
4.根据权利要求1所述的一种多屏视频播放优化方法,其特征在于,还包括:
所述客户端判断是否接收到触屏点击信息,若是,则获取所述触屏点击信息对应的目标分屏;
所述客户端确认所述目标分屏对应的目标链接,并通过所述目标链接发送第二标识至所述流媒体服务器;
所述流媒体服务器若通过所述目标链接接收到第二标识,则将所述目标链接恢复为发送完整的视频数据。
5.根据权利要求2所述的一种多屏视频播放优化方法,其特征在于,还包括:
所述客户端通过rtsp协议与所述流媒体服务器建立链接,所述链接包括所述第一链接以及第二链接;
所述在建立新的分屏与所述流媒体服务器的第一链接时,发送第一标识至流媒体服务器包括:
所述客户端在rtsp协议的握手阶段通过定义的私有字段发送第一标识至流媒体服务器。
6.一种多屏视频播放优化系统,包括客户端和流媒体服务器,所述客户端包括第一存储器、第一处理器及存储在所述第一存储器上并可在所述第一处理器上运行的第一计算机程序;所述流媒体服务器包括第二存储器、第二处理器及存储在所述第二存储器上并可在所述第二处理器上运行的第二计算机程序;所述第一处理器执行所述第一计算机程序时实现以下步骤:
判断是否接收到流媒体服务器发送的网络拥堵通知;若是,则在建立新的分屏与所述流媒体服务器的第一链接时,发送第一标识至流媒体服务器;
所述第二处理器在执行所述第二计算机程序时实现以下步骤:
若接收到所述第一标识则仅通过所述第一链接发送关键帧至所述客户端。
7.根据权利要求6所述的一种多屏视频播放优化系统,其特征在于,所述判断是否接收到流媒体服务器发送的网络拥堵通知之前还包括:
所述第二处理器在执行所述第二计算机程序时获取与已建立的分屏与所述流媒体服务器的第二链接对应的帧缓存区的当前容量,并判断所述当前容量是否超过容量阈值;若是,则向所述客户端发送网络拥堵通知。
8.根据权利要求7所述的一种多屏视频播放优化系统,其特征在于,所述判断所述当前容量是否超过容量阈值后,还包括:
将通过所述第二链接发送的视频数据调整为仅发送关键帧至所述客户端。
9.根据权利要求6所述的一种多屏视频播放优化系统,其特征在于,还包括:
所述第一处理器执行所述第一计算机程序时判断是否接收到触屏点击信息,若是,则获取所述触屏点击信息对应的目标分屏;
确认所述目标分屏对应的目标链接,并通过所述目标链接发送第二标识至所述流媒体服务器;
所述第二处理器执行所述第二计算机程序时若通过所述目标链接接收到第二标识,则将所述目标链接恢复为发送完整的视频数据。
10.根据权利要求7所述的一种多屏视频播放优化系统,其特征在于,还包括:
所述第一处理器执行所述第一计算机程序时通过rtsp协议与所述流媒体服务器建立链接,所述链接包括所述第一链接以及第二链接;
所述在建立新的分屏与所述流媒体服务器的第一链接时,发送第一标识至流媒体服务器包括:
所述第一处理器执行所述第一计算机程序时在rtsp协议的握手阶段通过定义的私有字段发送第一标识至流媒体服务器。

说明书全文

一种多屏视频播放优化方法及终端

技术领域

[0001] 本发明涉及多屏播放控制领域,尤其涉及一种多屏视频播放优化方法及终端。

背景技术

[0002] 在视频监控、直播推荐页面、数字大屏等场景中,需要在一个屏幕上显示多个视频的画面,对传输带宽的要求高,容易出现花屏或者延迟的情况。若直接采用降低采样率的方式减少数据量会影响视频的播放效果,并且在需要播放单个视频时无法恢复高质量的播放效果,若采用直接降低清晰度的方式,直接根据分屏数量的多少调整视频显示的清晰度或是根据网络情况调整清晰度。但进行清晰度的转换所耗费的计算时间长、效率低。

发明内容

[0003] 本发明所要解决的技术问题是:提供一种多屏视频播放优化方法及终端,实现多屏数据的高质量显示。
[0004] 为了解决上述技术问题,本发明采用的一种技术方案为:一种多屏视频播放优化方法及终端方法,包括步骤:
客户端判断是否接收到流媒体服务器发送的网络拥堵通知;若是,则在建立新的分屏与所述流媒体服务器的第一链接时,发送第一标识至流媒体服务器;
流媒体服务器若接收到所述第一标识则仅通过所述第一链接发送关键至所述客户端。
[0005] 为了解决上述技术问题,本发明采用的另一种技术方案为:一种多屏视频播放优化系统,包括客户端和流媒体服务器,所述客户端包括第一存储器、第一处理器及存储在所述第一存储器上并可在所述第一处理器上运行的第一计算机程序;所述流媒体服务器包括第二存储器、第二处理器及存储在所述第二存储器上并可在所述第二处理器上运行的第二计算机程序;所述第一处理器执行所述第一计算机程序时实现以下步骤:
判断是否接收到流媒体服务器发送的网络拥堵通知;若是,则在建立新的分屏与所述流媒体服务器的第一链接时,发送第一标识至流媒体服务器;
所述第二处理器在执行所述第二计算机程序时实现以下步骤:
若接收到所述第一标识则仅通过所述第一链接发送关键帧至所述客户端。
[0006] 本发明的有益效果在于:播放分屏的客户端通常每个分屏都会与流媒体服务器建立链接已接收需要播放的视频数据,在接收到网络拥堵通知后,客户端在构建新的分屏与流媒体服务器之间的第一链接时,发送第一标识,则流媒体服务器根据第一标识只会通过第一链接发送视频数据的关键帧而取消发送整个视频,从而主动进行视频数据的质量调整,关键帧能够保留视频数据的关键内容,在分屏的场景中用户感知小,在减少数据传输量的情况下还保证了视频的播放质量,避免了花屏或延迟的情况。附图说明
[0007] 图1为本发明实施例的一种多屏视频播放优化方法的步骤流程图;图2为本发明实施例的一种多屏视频播放优化系统的结构示意图;
标号说明:
1、客户端;11、第一处理器;12、第一存储器;2、流媒体服务器;21、第二处理器;22、第二存储器;3、一种多屏视频播放优化系统。

具体实施方式

[0008] 为详细说明本发明的技术内容、所实现目的及效果,以下结合实施方式并配合附图予以说明。
[0009] 请参照图1,一种多屏视频播放优化方法及终端方法,包括步骤:客户端判断是否接收到流媒体服务器发送的网络拥堵通知;若是,则在建立新的分屏与所述流媒体服务器的第一链接时,发送第一标识至流媒体服务器;
流媒体服务器若接收到所述第一标识则仅通过所述第一链接发送关键帧至所述客户端。
[0010] 从上述描述可知,本发明的有益效果在于:播放分屏的客户端通常每个分屏都会与流媒体服务器建立链接以接收需要播放的视频数据,在接收到网络拥堵通知后,客户端在构建新的分屏与流媒体服务器之间的第一链接时,发送第一标识,则流媒体服务器根据第一标识只会通过第一链接发送视频数据的关键帧而取消发送整个视频,从而主动进行视频数据的质量调整,关键帧能够保留视频数据的关键内容,在分屏的场景中用户感知小,在减少数据传输量的情况下还保证了视频的播放质量,避免了花屏或延迟的情况。
[0011] 进一步地,所述客户端判断是否接收到流媒体服务器发送的网络拥堵通知之前还包括:所述流媒体服务器获取与已建立的分屏与所述流媒体服务器的第二链接对应的帧缓存区的当前容量,并判断所述当前容量是否超过容量阈值;若是,则向所述客户端发送网络拥堵通知。
[0012] 由上述描述可知,流媒体服务器与分屏建立的每个链接都会对应一个帧缓存区,无法上发送给客户端的视频数据会暂时存储在帧缓存区中,帧缓存区中的当前容量如果超过了容量阈值,说明当前有较多的数据还未发送到客户端中,出现网络拥堵情况的概率较大,需要做出调整,则在存在帧缓存区中的当前容量大于容量阈值时,就给客户端发送网络拥堵通知,以使得客户端能在请求新的第一链接时做出请求参数的调整。
[0013] 进一步地,所述流媒体服务器判断所述当前容量超过容量阈值后,还包括:将通过所述第二链接发送的视频数据调整为仅发送关键帧至所述客户端。
[0014] 由上述描述可知,在发现出现网络拥堵的可能性较大的情况下,对于已经构建的第二链接,在流媒体服务器中进行直接调整,只发送关键帧至客户端的对应分屏,减少视频数据传输量的同时能够保证分屏的显示质量。
[0015] 进一步地,还包括:所述客户端判断是否接收到触屏点击信息,若是,则获取所述触屏点击信息对应的目标分屏;
所述客户端确认所述目标分屏对应的目标链接,并通过所述目标链接发送第二标识至所述流媒体服务器;
所述流媒体服务器若通过所述目标链接接收到第二标识,则将所述目标链接恢复为发送完整的视频数据。
[0016] 由上述描述可知,若客户端接收到触屏点击信息,则说明用户想要放大观看某一分屏,将其标记为目标分屏并获取对应的目标链接,通过目标链接发送第二标识至流媒体服务器,则流媒体服务器单独恢复目标链接为发送完整的视频数据,在分屏被放大展示的情况下能够配合恢复链路发送完整的视频数据而不是只发送关键帧,保证了客户想要关注的单个分屏的显示质量。
[0017] 进一步地,还包括:所述客户端通过rtsp协议与所述流媒体服务器建立链接,所述链接包括所述第一链接以及第二链接;
所述在建立新的分屏与所述流媒体服务器的第一链接时,发送第一标识至流媒体服务器包括:
所述客户端在rtsp协议的握手阶段通过定义的私有字段发送第一标识至流媒体服务器。
[0018] 由上述描述可知,采用rtsp协议建立客户端与流媒体服务器之间的链接,实现对流媒体传输过程的控制,并且其基于tcp协议,能够提高数据传输过程的安全性,同时rtsp协议有一定的扩展性,通过在rtsp协议中增加自定义私有字段能够实现客户端和流媒体服务器之间新增控制类型,例如此处仅发送关键帧和发送完整视频数据的变化。
[0019] 一种多屏视频播放优化系统,包括客户端和流媒体服务器,所述客户端包括第一存储器、第一处理器及存储在所述第一存储器上并可在所述第一处理器上运行的第一计算机程序;所述流媒体服务器包括第二存储器、第二处理器及存储在所述第二存储器上并可在所述第二处理器上运行的第二计算机程序;所述第一处理器执行所述第一计算机程序时实现以下步骤:判断是否接收到流媒体服务器发送的网络拥堵通知;若是,则在建立新的分屏与所述流媒体服务器的第一链接时,发送第一标识至流媒体服务器;
所述第二处理器在执行所述第二计算机程序时实现以下步骤:
若接收到所述第一标识则仅通过所述第一链接发送关键帧至所述客户端。
[0020] 本发明的有益效果在于:播放分屏的客户端通常每个分屏都会与流媒体服务器建立链接已接收需要播放的视频数据,在接收到网络拥堵通知后,客户端在构建新的分屏与流媒体服务器之间的第一链接时,发送第一标识,则流媒体服务器根据第一标识只会通过第一链接发送视频数据的关键帧而取消发送整个视频,从而主动进行视频数据的质量调整,关键帧能够保留视频数据的关键内容,在分屏的场景中用户感知小,在减少数据传输量的情况下还保证了视频的播放质量,避免了花屏或延迟的情况。
[0021] 进一步地,所述判断是否接收到流媒体服务器发送的网络拥堵通知之前还包括:所述第二处理器在执行所述第二计算机程序时获取与已建立的分屏与所述流媒体服务器的第二链接对应的帧缓存区的当前容量,并判断所述当前容量是否超过容量阈值;若是,则向所述客户端发送网络拥堵通知。
[0022] 由上述描述可知,流媒体服务器与分屏建立的每个链接都会对应一个帧缓存区,无法马上发送给客户端的视频数据会暂时存储在帧缓存区中,帧缓存区中的当前容量如果超过了容量阈值,说明当前有较多的数据还未发送到客户端中,出现网络拥堵情况的概率较大,需要做出调整,则在存在帧缓存区中的当前容量大于容量阈值时,就给客户端发送网络拥堵通知,以使得客户端能在请求新的第一链接时做出请求参数的调整。
[0023] 进一步地,所述判断所述当前容量超过容量阈值后,还包括:将通过所述第二链接发送的视频数据调整为仅发送关键帧至所述客户端。
[0024] 由上述描述可知,在发现出现网络拥堵的可能性较大的情况下,对于已经构建的第二链接,在流媒体服务器中进行直接调整,只发送关键帧至客户端的对应分屏,减少视频数据传输量的同时能够保证分屏的显示质量。
[0025] 进一步地,还包括:所述第一处理器执行所述第一计算机程序时判断是否接收到触屏点击信息,若是,则获取所述触屏点击信息对应的目标分屏;
确认所述目标分屏对应的目标链接,并通过所述目标链接发送第二标识至所述流媒体服务器;
所述第二处理器执行所述第二计算机程序时若通过所述目标链接接收到第二标识,则将所述目标链接恢复为发送完整的视频数据。
[0026] 由上述描述可知,若客户端接收到触屏点击信息,则说明用户想要放大观看某一分屏,将其标记为目标分屏并获取对应的目标链接,通过目标链接发送第二标识至流媒体服务器,则流媒体服务器单独恢复目标链接为发送完整的视频数据,在分屏被放大展示的情况下能够配合恢复链路发送完整的视频数据而不是只发送关键帧,保证了客户想要关注的单个分屏的显示质量。
[0027] 进一步地,还包括:所述第一处理器执行所述第一计算机程序时通过rtsp协议与所述流媒体服务器建立链接,所述链接包括所述第一链接以及第二链接;
所述在建立新的分屏与所述流媒体服务器的第一链接时,发送第一标识至流媒体服务器包括:
所述第一处理器执行所述第一计算机程序时在rtsp协议的握手阶段通过定义的私有字段发送第一标识至流媒体服务器。
[0028] 由上述描述可知,采用rtsp协议建立客户端与流媒体服务器之间的链接,实现对流媒体传输过程的控制,并且其基于tcp协议,能够提高数据传输过程的安全性,同时rtsp协议有一定的扩展性,通过在rtsp协议中增加自定义私有字段能够实现客户端和流媒体服务器之间新增控制类型,例如此处仅发送关键帧和发送完整视频数据的变化。
[0029] 本发明上述一种多屏视频播放优化方法及系统能够适用于需要进行分屏播放的场景中,例如监控、导播屏等,以下通过具体实施方式进行说明。
[0030] 请参照图1,一种多屏视频播放优化方法,具体包括:S101、客户端判断是否接收到流媒体服务器发送的网络拥堵通知;若是,则在建立新的分屏与所述流媒体服务器的第一链接时,发送第一标识至流媒体服务器。
[0031] S102、流媒体服务器若接收到所述第一标识则仅通过所述第一链接发送关键帧至所述客户端。
[0032] 例如,客户端提供用户设置多屏点播功能,客户端可以选择分多少屏,可以是4、8、16等,例如需要播放16个屏幕,每一个屏幕播放都要和流媒体建议一个tcp链路,并进行对应的rtsp协议握手成功之后接收音视频数据进行播放,当播放到第5屏时,客户端收到流媒体服务器的网络拥堵通知,则从第6屏开始后的6‑8屏,客户端在建立rtsp握手的过程中即通知流媒体服务器只发送关键帧。
[0033] 在本申请的一个实施例中,所述客户端通过rtsp(Real  Time Streaming Protocol,实时流传输协议)协议与所述流媒体服务器建立链接,所述链接包括所述第一链接以及第二链接,则S101中在建立新的分屏与所述流媒体服务器的第一链接时,发送第一标识至流媒体服务器包括:所述客户端在rtsp协议的握手阶段通过定义的私有字段发送第一标识至流媒体服务器。
[0034] 客户端在开启分屏模式时,会逐一将每一分屏和流媒体服务器建立链路,即每一个分屏都会对应一个链路,例如为4分屏,则一共需要建立4个链路,若有16个分屏则需要建立16个链路。
[0035] 在本申请的一个实施例中,通过传输层的tcp协议构建链路之后,在应用层通过rtsp协议进行通信,实现对视频流的播放控制。rtsp协议中可根据需要设定私有字段,本发明中通过第一标识指示流媒体服务器仅发送关键帧(I帧),通过主动丢弃对视频播放效果影响较小的帧(如P帧),实现降低对网络带宽的要求,改善网络拥堵的情况,确保关键帧能够正常接收和显示,避免出现延迟和花屏的问题,提高多屏播放场景中的视频播放质量。如何进行丢帧的过程在现有技术中已较为成熟,在此不再赘述。
[0036] 在本申请的一个实施例中,S101之前包括S0、所述流媒体服务器获取与已建立的分屏与所述流媒体服务器的第二链接对应的帧缓存区的当前容量,并判断所述当前容量是否超过容量阈值;若是,则向所述客户端发送网络拥堵通知,并将通过所述第二链接发送的视频数据调整为仅发送关键帧至所述客户端。
[0037] 在本申请的一个实施例中,容量阈值设置为帧缓存区总容量的2/3,即在当前容量达到帧缓存区总容量的2/3时,认为该帧缓存区对应的链路所连接的分屏存在网络拥堵。因客户端中分屏虽然单独与流媒体服务器建立链接,但整体还是客户端与流媒体服务器之间的链接,各个分屏所对应的链路的传输路径较为接近,只要有链路存在拥堵,就说明其他链路也有很大可能会受到影响,此处在存在链路拥堵的情况下,先将所有已建立的链路调整为仅发送关键帧,通过主动地、可控地丢帧避免网络拥堵造成的被动丢帧丢失关键帧或数据量过大延迟加大,导致分屏显示出现花屏和延迟的问题,并且对于已经建立的链路流媒体服务器直接进行传输数据的调整,无需再重新握手。
[0038] 在构建了客户端与流媒体服务器之间的链路后,流媒体服务器会创建与链路一一对应的帧缓存区,帧缓存区缓存发送给链路对应分频进行显示的视频数据。若流媒体服务器检测到tcp内核底层发送区满了,就不会继续发送数据,而是将帧数据暂存在帧缓存区中,以此确保数据的完整性,避免发送区满造成传输给发送区的数据丢失的情况。
[0039] 在本发明的一个实施例中,在所有分屏都成功建立与流媒体服务器之间的链路开始显示视频数据之后还包括S201‑S203。
[0040] S201、所述客户端判断是否接收到触屏点击信息,若是,则获取所述触屏点击信息对应的目标分屏。即用户可以点击某一个分屏将其变为全屏展示,该功能在现有技术中已较为成熟,在此不再赘述。
[0041] S202、所述客户端确认所述目标分屏对应的目标链接,并通过所述目标链接发送第二标识至所述流媒体服务器。
[0042] S203、所述流媒体服务器若通过所述目标链接接收到第二标识,则将所述目标链接恢复为发送完整的视频数据。
[0043] 在本发明的一个实施例中,在客户端内部会存储分屏标识和链路标识的对应关系,以及每个分屏标识所对应的位置区间,则在接收到点击信息后,可以根据点击信息的位置匹配到分屏标识,确认对应的链路标识,通过rtsp协议中的私有字段(第二标识)通知流媒体服务器恢复链路标识对应的链路中视频数据的正常推送,即同时发送I帧和P帧,未被点击到的其他分屏所对应的链路会继续保持当前的数据发送方式即只发送关键帧,保证被点击的目标分屏的播放效果。
[0044] 例如,需要播放16个屏幕,每一个屏幕播放都要和流媒体建议一个tcp链路,并进行对应的rtsp协议握手成功之后接收音视频数据进行播放,点开其中一屏幕,就是只是把16屏变成1屏,然后其它15屏还在接收数据,只是不显示画面。然后再点击可以再回到原来的16屏。
[0045] 在本申请的一个实施例中,可通过rtsp协议中的CUSTOMIZATION方法自定义私有字段,此方法中用了DropData字段,其中值0:用于客户端通知流媒体主动恢复正常发送帧数据;值1:用于客户端通过流媒体主动丢弃关键帧之外的数据;值2:用于流媒体通知客户端发送存在网络拥堵,存在流媒体侧主动丢帧情况。
[0046] 请参照图2,本发明的实施例二为:一种多屏视频播放优化系统,包括客户端和流媒体服务器,所述客户端包括第一存储器、第一处理器及存储在所述第一存储器上并可在所述第一处理器上运行的第一计算机程序;所述流媒体服务器包括第二存储器、第二处理器及存储在所述第二存储器上并可在所述第二处理器上运行的第二计算机程序;所述第一处理器执行所述第一计算机程序时实现上述的一种多屏视频播放优化方法中客户端执行的步骤;所述第二处理器执行所述第二计算机程序时实现上述的一种多屏视频播放优化方法中流媒体服务器执行的步骤。
[0047] 综上所述,本发明提供了一种多屏视频播放优化方法及系统,客户端在接收到流媒体服务器发送的网络拥堵通知之后,在建立新的分屏与流媒体服务器之间的链接时就通知流媒体服务器仅发送关键帧,通过主动的丢帧避免了网络波动导致的被动丢帧存在关键帧从而导致的花屏和延迟的问题,在网络拥堵的情况下优先保证关键帧的展示。在流媒体服务器中,通过与链路关联的帧缓存区的当前容量是否超过容量阈值判断是否存在网络拥堵情况,能够在发生实际的丢帧情况之前提前做出处置,避免被动丢帧的情况。
[0048] 以上所述仅为本发明的实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等同变换,或直接或间接运用在相关的技术领域,均同理包括在本发明的专利保护范围内。
QQ群二维码
意见反馈