首页 / 专利库 / 物理 / 比探测率 / 一种视频控制方法

一种视频控制方法

阅读:837发布:2024-01-16

专利汇可以提供一种视频控制方法专利检索,专利查询,专利分析的服务。并且本 发明 提供了一种视频控制方法,该方法包括:由视频发送端采集的模拟视频数据进行A/D转换得到数字视频数据,编码成MPEG4码流;发送RTSP协议数据包,向视频接收端 申请 视频传输 质量 反馈,根据反馈信息进行自适应带宽调节和控制;将视频数据通过无线网卡传输;接收端启动 解码器 ,将视频进行解码并映射到智能设备的屏幕中进行显示。本发明提出了一种视频控制方法,显著提升了视频数据的报文丢失率、延迟等指标,提高了为用户节省了带宽。,下面是一种视频控制方法专利的具体信息内容。

1.一种视频控制方法,其特征在于,包括:
由视频发送端的视频输入设备采集模拟视频数据,经过满足BT601视频标准的解码芯片进行A/D转换,得到YUV420格式的数字视频数据,并经过视频前端对数字视频信号进行调度处理,通过标准应用程序接口对视频输入设备执行打开、读写、关闭操作,通过API进行视频数据的采集操作;
将采集到的视频数据,送入数字信号处理器端进行编码,即压缩成标准的MPEG4码流,经过另一个管道PIPE送回发送端进行处理;
采用RTSP协议进行服务质量监测,发送RTSP协议下的流媒体数据包,向视频接收端申请视频传输质量反馈,视频接收端收到流媒体数据包后,根据流媒体数据包的统计信息,解析出数据包中的发送个数,发送时间参数,生成包含报文丢失率,累计报文丢失率,网络延迟的流媒体数据包,然后将流媒体数据包发给发送端,发送端根据反馈信息进行自适应带宽调节和控制;
将MPEG4视频数据在应用层上进行RTSP网络协议的封装,使用USB连接无线网卡拨号获取IP地址,Socket网络编程封装UDP,IP协议及底层协议,发送到WiFi无线网卡传输;
接收端采用Android智能设备,采用Java开发语言,Eclipse编码器,使用Socket网络编程收发数据,轮询探测智能设备无线网卡上是否有数据进入,如果有则进行数据接收,并解封装RTSP,UDP,IP协议;
启动解码器注册及初始化操作,将解码器设置成MPEG4解码器,启动解码器,申请预定数量的连续缓存,读取一帧视频流帧到缓存,此时判断是否为MPEG4视频流,如果是则将MPEG4视频进入队列中,开始解码,将缓存重新入队以实现循环解码;
经过MPEG4解码后可获取到YUV420转换成RGB格式,将RGB格式的视频数据映射到智能设备的屏幕中调用绘图容器线程进行显示。
2.根据权利要求1所述的方法,其特征在于,所述接收端在进行数据接收时,进一步包括:
接收端创建两个线程:即接收数据线程和图像显示线程;
接收数据线程接收发送端传送过来的数据包,然后对每帧图像的每个数据包进行解析,重组并将数据存入相应的缓存中;图像显示线程从缓存中读取数据,然后存入相应的结构体中,最终进行解压,最后显示在屏幕上;两个线程相互配合工作,接收数据线程在处理当前帧图像的同时,图像显示线程完成对上一帧图像的显示工作;
在解析每个数据包时,利用帧ID判断该数据包是否属于目前正在解析的帧,如果属于目前正在解析的帧,则读取该数据包的数据信息,并将其存入链表节点,插入保存到该帧图像信息的链表中;如果不属于目前正在解析的帧,分两种情况分别处理:a)如果该数据包的帧号不为起始帧号,则要丢弃该数据包;b)如果该数据包的帧号为起始帧号,则数据接收线程检验刚处理过的前一帧图像包数是否正确,如果正确,则将数据信息存入相应的缓存,等待图像显示线程读取;利用报文编号确定该数据包在整个帧中的位置,在一帧图像的范围内重组图像信息,依报文编号的顺序读取每一个数据包内的图像数据然后依次插入链表保存,由此从数据包中还原出整个帧的图像信息。
3.根据权利要求2所述的方法,其特征在于,所述视频接收端将流媒体数据包发给发送端,发送端根据反馈信息进行自适应带宽调节和控制,进一步包括:
在显示过程中,用户通过操作智能设备,向发送端发送实时接入指令,发送端获取智能设备的IP地址,视频流开始传输,定义判断控制因子a为:
其中:P为实际报文丢失率,P1为预设报文丢失率阈值,R为实际网络延迟,R1为预设延迟阈值,B为实际发送带宽,B1为预设发送带宽阈值,α,β,γ为权值比重,即α+β+γ=
1,并取报文丢失率阈值P1=0.025,R1=400ms,B1=300Kbps,权值α=0.6,β=0.2,γ=0.2;
若当前帧为从帧内编码帧到前向预测编码帧数据的切换,则使用帧内编码帧平滑处理,并通过RTSP协议获取报文丢失率,延迟,平均带宽信息,计算出带宽控制因子a,如果带宽控制因子a≥=1,则判断报文丢失率是否高于P1阈值0.01,如果超过阈值P1,则降低帧率,等待下一个流媒体数据包接收,并且如果延迟时间低于R1阈值400ms,则降低前向预测编码帧的帧率并提高双向预测编码帧的帧率,如果延迟时间低于R1阈值400ms,则降低双向预测编码帧的帧率并提高前向预测编码帧的帧率;如果报文丢失率低于阈值P1,则进一步判断是否是满帧,如果不满帧,则提高帧率;如果判断为满帧,且未达到当前编解码器支持的最高分辨率,则提高分辨率或步长,如果切换因子a<1,则降低带宽,然后判断是否满帧,如果满帧则降低帧率,等待下一次流媒体数据包反馈;如果帧率已降到小于12fps,则降低分辨率及步长。

说明书全文

一种视频控制方法

技术领域

[0001] 本发明涉及视频控制方法,特别涉及一种在WiFi中传输视频的方法。

背景技术

[0002] 随着无线通信技术的出现和普及,使得无线网络传输实时视频成为了可能。WiFi网络以其技术成熟高,覆盖范围广,终端产品丰富使得WiFi无线网络视频传输系统得到了广泛的应用,如无线视频监控、无线可视电话、视频点播、智能设备电视直播、移动视频会议等。但WiFi无线网络随着网络环境的变化容易受到干扰,从而导致带宽波动、报文丢失、传输时延和抖动,导致现有技术在WiFi无线环境下的传输存在限制。
[0003] 因此,针对相关技术中所存在的上述问题,目前尚未提出有效的解决方案。

发明内容

[0004] 为解决上述现有技术所存在的问题,本发明提出了一种视频控制方法,包括:
[0005] 由视频发送端的视频输入设备输出采集模拟视频数据,经过满足BT601视频标准的解码芯片A/D转换,得到YUV420格式的数字视频数据,并经过视频前端对数字视频信号进行调度处理,通过标准应用程序接口对视频输入设备执行打开、读写、关闭操作,通过API进行视频数据的采集操作;
[0006] 将采集到的视频数据,送入数字信号处理器端进行编码,即压缩成标准的MPEG4码流,经过另一个管道PIPE送回发送端进行处理;
[0007] 采用RTSP协议进行服务质量监测,发送RTSP协议下的流媒体数据包,向视频接收端申请视频传输质量反馈,视频接收端收到流媒体数据包后,根据流媒体数据包的统计信息,解析出数据包中的发送个数,发送时间参数,生成包含报文丢失率,累计报文丢失率,网络延迟的流媒体数据包,然后将流媒体数据包发给发送端,发送端根据反馈信息进行自适应带宽调节和控制;
[0008] 将MPEG4视频数据在应用层上进行RTSP网络协议的封装,使用USB连接无线网卡拨号获取IP地址,Socket网络编程封装UDP,IP协议及底层协议,发送到WiFi无线网卡传输。
[0009] 接收端采用Android智能设备,采用Java开发语言,Eclipse编码器,使用Socket网络编程收发数据,轮询探测智能设备无线网卡上是否有数据进入,如果有则进行数据接收,并解封装RTSP,UDP,IP协议;
[0010] 启动解码器注册及初始化操作,将解码器设置成MPEG4解码器,启动解码器,申请预定数量的连续缓存,读取一帧视频流帧到缓存,此时判断是否为MPEG4视频流,如果是则将MPEG4视频进入队列中,开始解码,将缓存重新入队以实现循环解码;
[0011] 经过MPEG4解码后可获取到YUV420转换成RGB格式,将RGB格式的视频数据映射到智能设备的屏幕中调用绘图容器线程进行显示。
[0012] 优选地,所述接收端在进行数据接收时,进一步包括:
[0013] 接收端创建两个线程:即接收数据线程和图像显示线程;
[0014] 接收数据线程接收发送端传送过来的数据包,然后对每帧图像的每个数据包进行解析,重组并将数据存入相应的缓存中;图像显示线程从缓存中读取数据,然后存入相应的结构体中,最终进行解压,最后显示在屏幕上;两个线程相互配合工作,接收数据线程在处理当前帧图像的同时,图像显示线程完成对上一帧图像的显示工作。
[0015] 在解析每个数据包时,利用帧ID判断该数据包是否属于目前正在解析的帧,如果属于目前正在解析的帧,则读取该数据包的数据信息,并将其存入链表节点,插入保存到该帧图像信息的链表中;如果不属于目前正在解析的帧,分两种情况分别处理:a)如果该数据包的帧号不为起始帧号,则要丢弃该数据包;b)如果该数据包的帧号为起始帧号,则数据接收线程检验刚处理过的前一帧图像包数是否正确,如果正确,则将数据信息存入相应的缓存,等待图像显示线程读取;利用报文编号确定该数据包在整个帧中的位置,在一帧图像的范围内重组图像信息,依报文编号的顺序读取每一个数据包内的图像数据然后依次插入链表保存,由此从数据包中还原出整个帧的图像信息。
[0016] 优选地,所述视频接收端将流媒体数据包发给发送端,发送端根据反馈信息进行自适应带宽调节和控制,进一步包括:
[0017] 在显示过程中,用户通过操作智能设备,向发送端发送实时接入指令,发送端获取智能设备的IP地址,视频流开始传输,定义判断控制因子a为:
[0018]
[0019] 其中:P为实际报文丢失率,P1为预设报文丢失率阈值,R为实际网络延迟,R1为预设延迟阈值,B为实际发送带宽,B1为预设发送带宽阈值,α,β,γ为权值比重,即α+β+γ=1,并取报文丢失率阈值P1=0.025,R1=400ms,B1=300Kbps,权值α=0.6,β=0.2,γ=0.2;
[0020] 若当前帧为从帧内编码帧到前向预测编码帧数据的切换,则使用帧内编码帧平滑处理,并通过RTSP协议获取报文丢失率,延迟,平均带宽信息,计算出带宽控制因子a,如果带宽控制因子a≥=1,则判断报文丢失率是否高于P1阈值0.01,如果超过阈值P1,则降低帧率,等待下一个流媒体数据包接收,并且如果延迟时间低于R1阈值400ms,则降低前向预测编码帧的帧率并提高双向预测编码帧的帧率,如果延迟时间低于R1阈值400ms,则降低双向预测编码帧的帧率并提高前向预测编码帧的帧率;如果报文丢失率低于阈值P1,则进一步判断是否是满帧,如果不满帧,则提高帧率;如果判断为满帧,且未达到当前编解码器支持的最高分辨率,则提高分辨率或步长,如果切换因子a<1,则降低带宽,然后判断是否满帧,如果满帧则降低帧率,等待下一次流媒体数据包反馈;如果帧率已降到小于12fps,则降低分辨率及步长。
[0021] 本发明相比现有技术,具有以下优点:
[0022] 提出了一种视频控制方法,显著提升了视频数据的报文丢失率、延迟等指标,提高了为用户节省了带宽。附图说明
[0023] 图1是根据本发明实施例的视频控制方法的流程图

具体实施方式

[0024] 下文与图示本发明原理的附图一起提供对本发明一个或者多个实施例的详细描述。结合这样的实施例描述本发明,但是本发明不限于任何实施例。本发明的范围仅由权利要求书限定,并且本发明涵盖诸多替代、修改和等同物。在下文描述中阐述诸多具体细节以便提供对本发明的透彻理解。出于示例的目的而提供这些细节,并且无这些具体细节中的一些或者所有细节也可以根据权利要求书实现本发明。
[0025] 本发明一方面提供了一种在WiFi网络中MPEG4视频实时传输方法。包括基于RTSP无线智能视频带宽自适应控制策略,实时检测无线网络信道传输MPEG4视频流的质量,通过智能判断,自适应控制各种颗粒度带宽的码流,大大节省了网络流量。图1是根据本发明实施例的视频控制方法流程图。如图1所示,实施本发明的具体步骤如下:
[0026] 在视频采集阶段,由视频发送端的视频输入设备输出模拟视频数据,经过满足BT601视频标准的解码芯片A/D转换,得到YUV420格式的数字视频数据,并经过视频前端处理,对数字视频信号进行调度处理,通过标准应用程序接口对视频输入设备执行打开、读写、关闭等操作,通过一整套API进行视频数据的采集操作。
[0027] 编码阶段,将采集到的视频数据,送入数字信号处理器端,即压缩成标准的MPEG4码流,经过另一个管道PIPE送回发送端进行处理。
[0028] 智能带宽控制阶段,采用RTSP协议进行服务质量监测,发送RTSP协议下的流媒体数据包向视频接收端来申请视频传输质量反馈,视频接收端收到流媒体数据包后,根据流媒体数据包的统计信息,解析出里面的发送个数,发送时间等参数,生成包含如报文丢失率,累计报文丢失率,网络延迟等反馈数据的流媒体数据包,然后将流媒体数据包发给发送端,发送端根据反馈信息进行自适应带宽调节和控制。
[0029] 传输阶段,将MPEG4视频数据在应用层上进行RTSP网络协议的封装,使用USB连接无线网卡拨号获取IP地址,Socket网络编程封装UDP,IP协议及底层协议,发送到WiFi无线网卡传输。
[0030] 接收端采用Android智能设备,采用Java开发语言,Eclipse编码器,Android SDK开发工具。使用Socket网络编程收发数据,轮询探测智能设备无线网卡上是否有数据进入,如果有则进行数据的接收,并解封装RTSP,UDP,IP协议。
[0031] 接收端创建两个线程:接收数据线程和图像显示线程。接收数据线程接收发送端传送过来的数据包,然后对每帧图像的每个数据包进行解析,重组并将数据存入相应的缓存中。显示线程需要从缓存中读取数据,然后存入相应的结构体中,最终进行解压,最后显示在屏幕上。两个线程相互配合工作,接收线程在处理当前帧图像的同时,显示线程完成对上一帧图像的显示工作。
[0032] 在解析每个数据包的时候,有两个参数至关重要即该数据所述的帧的ID号和该数据包的报文编号。帧ID可以判断该数据包是否属于目前正在解析的帧,如果属于,需要读取该数据包的数据信息,并将其存入链表节点,插入保存到该帧图像信息的链表中。如果不属于,分两种情况分别处理:a)如果该数据包的帧号不为起始帧号,则要丢弃该数据包,即该数据包是上一帧(或者是前面某帧)图像中的一个数据包,由于网络堵塞,传到接收端时延时较大,接收端已经处理完毕其所在的帧;b)该数据包的帧号为起始帧号,说明是新的一帧,这时接收线程就要检验刚处理过的前一帧图像包数是否正确,如果不正确则说明出现报文丢失情况,此时接收到的数据无法完整地表现当前帧的信息,故全部丢弃,如果正确,则将数据信息存入相应的缓存,等待显示线程读取。报文编号可以确定该数据包在整个帧中的位置,重组图像信息可以看做是在一帧图像的范围内,依报文编号的顺序读取每一个数据包内的图像数据然后依次插入链表保存,这样就可以从一个一个的数据包中还原出整个帧的图像信息。
[0033] 在解码阶段,进行解码器注册及初始化操作,将解码器设置成MPEG4解码器,启动编码和解码器,申请预定数量的连续帧缓存,读取一帧视频流帧到缓存,此时判断是否为MPEG4视频流,如果是将MPEG4视频进入队列中,开始解码,将缓存重新入队以实现循环解码。
[0034] 显示阶段:经过MPEG4解码后可获取到YUV420转换成RGB格式,将RGB格式的视频数据映射到智能设备的屏幕中调用绘图容器线程进行显示。
[0035] 在显示过程中,用户通过操作智能设备,向发送端发送实时接入指令,发送端获取智能设备的IP地址,视频流开始传输,实现了任意时刻接入。
[0036] 为了快速判决视频传输质量好坏,定义判断控制因子a为:
[0037]
[0038] 式中:P为实际报文丢失率,P1为预设报文丢失率阈值,R为实际网络延迟,R1为预设延迟阈值,B为实际发送带宽,B1为预设发送带宽阈值。α,β,γ为权值比重,即α+β+γ=1。经WiFi网络实测,报文丢失率P<0.025,延迟R<400ms,B<300Kbps,智能设备接收端还原度强,能满足正常的传输和显示要求,所以报文丢失率阈值P1=0.025,R1=400ms,B1=300Kbps,权值α=0.6,β=0.2,γ=0.2的设置所为自适应视频传输带宽控制策略的重要参考。
[0039] 帧内编码帧到前向预测编码帧数据的切换会产生传输带宽的剧烈跳变,无线信道对传输带宽负载的剧烈跳变敏感,会产生较大的瞬时报文丢失和突发性拥塞,所以使用帧内编码帧平滑处理可以降低突发性拥塞的概率,降低了报文丢失率,通过RTSP协议获取到报文丢失率,延迟,平均带宽等信息。
[0040] 通过RTSP协议获取报文丢失率,延迟,平均带宽信息,计算出带宽控制因子a,如果带宽控制因子a≥=1,则判断报文丢失率是否高于P1阈值0.01,如果超过阈值P1,则降低帧率,等待下一个流媒体数据包接收,并且如果延迟时间低于R1阈值400ms,则降低前向预测编码帧的帧率并提高双向预测编码帧的帧率,如果延迟时间低于R1阈值400ms,则降低双向预测编码帧的帧率并提高前向预测编码帧的帧率;如果报文丢失率低于阈值P1,则进一步判断是否是满帧,如果不满帧,则提高帧率;如果判断为满帧,且未达到当前编解码器支持的最高分辨率,则提高分辨率或步长,如果切换因子a<1,则降低带宽,然后判断是否满帧,如果满帧则降低帧率,等待下一次流媒体数据包反馈;如果帧率已降到小于12fps,则降低分辨率及步长。
[0041] 由于无线信道不能承受较大的抖动,所以不能快速提高发送带宽。当a≥1时,保持分辨率补偿因子等不变,再逐渐提高发送帧率大小。当a<1时,数据发送速率降低一个等级,即可降低数据等级,若此时a<1时,需连续监测,保持发送速率不变。
[0042] 综上所述,本发明提出了一种视频控制方法,显著提升了视频数据的报文丢失率、延迟等指标,提高了为用户节省了带宽。
[0043] 显然,本领域的技术人员应该理解,上述的本发明的各模或各步骤可以用通用的计算系统来实现,它们可以集中在单个的计算系统上,或者分布在多个计算系统所组成的网络上,可选地,它们可以用计算系统可执行的程序代码来实现,从而,可以将它们存储在存储系统中由计算系统来执行。这样,本发明不限制于任何特定的硬件软件结合。
[0044] 应当理解的是,本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理,而不构成对本发明的限制。因此,在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。此外,本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈