技术领域
[0001] 本
发明涉及一种
视频编码传输技术领域的方法及系统，具体是一种针对感兴趣区域加强编码再对码流进行双流传输的方法。
背景技术
[0002] 当今社会政治、经济高速发展，视频监控作为一种有效防范措施以及事后调查手段，其被关注程度也不断提高。用户对视频
监控系统需求不同于传统娱乐视频，主要有两方面的需求：实时性需求与高
质量要求（也称事后调阅的需求）。
[0003] H.264是MPEG-4第十部分，是由ITU-T视频编码专家组（VCEG）和ISO/IEC
动态图像专家组（MPEG）联合组成的联合视频组（JVT，Joint Video Team）提出的高度压缩数字视频编
解码器标准。H264有许多优良的特点：更高的编码效率、高质量的视频画、较高的网络适应能
力、采用混合编码结构、H.24可以应用在不同场合、错误恢复功能、较高的复杂度。另外，H264标准还支持灵活宏
块次序（FMO）与可伸缩编码（SVC）功能。
[0004] 目前，基于H.264中可伸缩特性，能适用于不同终端的不同需求，但对于将H.264应用于视频监控领域并进行自适应编码的研究较少。在论文《监控视频的多流编码与传输研究》（上海交通大学硕士论文，2012年）中提出一种时间域上的合理分配带宽的方案，有效提高了编码效率，剔除时间域上的信息冗余，但论文中未根据视频中用户感兴趣的空间域进行加强编码，因而存在着一定的空间信息冗余。论文《Scalable ROI Algorithm for H.264/SVC-Based Video Streaming》（IEEE International Conference on Consumer Electronics(ICCE),2011）中对视频的中心区域进行ROI加强编码，但其感兴趣区域划分是基于人眼模型，并非针对监控视频序列提出，同时也未对时间域冗余信息进行剔除。
[0005] 针对当前监控视频产业的迅速发展所遇到的海量数据传输存储的问题，根据用户对监控视频需求不同于传统娱乐视频的特点，本文提出了应用于视频监控系统的视频双层ROI区域
时空联合编码传输方法，对异常事件时间段中感兴趣区域进行高质量编码，并合理分配码流传输的时域带宽。同时考虑到视频序列中用单一的整幅图的PSNR值来评价视频质量不能反应出ROI区域与非ROI区域的区别，因而提出一个效用函数作为客观指标，对监控系统这一特定领域中的视频进行客观评价，同时结合主观指标对视频进行综合考量。
发明内容
[0006] 本发明的目的在于克服有技术的不足之处，提出了一种针对感兴趣区域加强编码再对码流进行双流传输的方法及系统，使其能根据视频中用户感兴趣区域信息，对用户感兴趣区域进行加强编码，剔除视频中的时间冗余与空间冗余，实现带宽的高效利用。
[0007] 本发明是通过以下技术方案实现的：
[0008] 本发明提供一种感兴趣区域双流编码传输方法，所述感兴趣区域双流编码传输，是指：感兴趣区域采用更高的码率进行加强编码，而非感兴趣区域则采用一般的码率进行编码，所产生的基本流与增强流通过时间域上的分配，使得其能在有限带宽情况下完成传输；所述方法包括如下步骤：
[0009] 步骤一，在获取感兴趣区域信息及异常信息的
基础上，通过效用函数得到视频基本流与增强流的具体编码参数，同时获得最佳的带宽分配策略；
[0010] 所述的效用函数，是指：充分考虑到视频序列中不同时段不同区域的信息所含的信息重要程度的不同,其中异常时段感兴趣区域具有最高重要程度，在效用函数中也具有最高的权重，而非异常时段的信息重要程度较低，相应分配的权重也较小。
[0011] 步骤二，在步骤一的基础上，对异常时段中感兴趣区域的视频内容进行加强编码；
[0012] 本方法主要是针对视频监控领域对ROI区域进行编码，视频监控领域中更多关注的是车牌、交通中斑
马线区域等，与人眼关注模型有所不同。本文因为重点在于ROI区域编码
算法实现，不在于ROI区域的提取，因而ROI区域的获取为已知条件。
[0013] 采用ROI提取算法得到ROI的区域信息，采用FMO中第二种模式，即前景与背景模式，根据FMO特性与ROI区域信息，把图像分成ROI片组和背景片组。由于不同片组的ROI区域是独立编码的，通过禁止片组间的预测可以实现生成的ROI区域码流与非ROI区域码流相互独立。这样编码时根据事先得到的ROI区域信息作为FMO中第2种方式的前景信息。对基本层设置实时流码率与增强层设置QP值，这样在增强层就能得到两部分码流，即ROI区域的增强码流与非ROI区域的增强码流。通过删除非ROI区域的增强码流，就剩下基本层码流与ROI区域增强码流，两部分的码流解码即可以得到ROI区域有更高图像质量的视频序列。
[0014] 又由于ROI区域信息是随时间变化的，即ROI区域是动态的，故当ROI区域信息发生变化时，需要重新
修改设置MBA的参数，对新的时间里的视频进行编码，编码后去除增强层非ROI区域的码流即可。最后得到的多个码流解码后拼接起来的视频序列即实现了动态ROI区域增强的效果。
[0015] 步骤三，根据步骤一所分配的带宽策略，进行双流传输；
[0016] 所述的双流传输，具体方法为：在异常事件发生时，只传输基本层码流；在异常事件发生结束后，降低基本层码流的码率，使多余带宽用于传输异常事件中的增强层码流，其基增强层码流只包含感兴趣区域的增强信息。当事件检测模块判定异常事件的发生，并得到异常时间段里的异常区域信息。事件检测模块将异常事件及区域信息发给增强流
编码器。同时，会有相应的算法根据ROI区域大小自适应地得到最佳的码率分配方案，并将方案中编码的实时流码率与QP值传递给实时编码器与增强编码器。增强编码器会对异常事件异常区域进行加强编码，并将码流存储起来。当异常事件结束，系统进入无异常事件过程。此时根据刚刚方案中所得到的实时编码码率进行编码，将实时流视频的编码码率降低，留出带宽用于增强流的传输。当高质流视频传输完成后，再将实时流编码器的编码码率上调，所有可用网络传输带宽用于实时流视频的传输。
[0017] 所述根据ROI区域大小自适应地得到最佳的码率分配方案，是指：前端检测的是一块区域是否为用户感兴趣区域的概率，由此概率通过双流ROI效用函数确定其是否为感兴趣区域，并在该效用函数中自适应地调整之后基本层与增强层的编码参数、基本流与增强流的传输带宽分配。
[0018] 本发明还提供一种实现上述感兴趣区域双流编码传输方法的系统，该系统包括：监控视频发送端，网络信道和监控视频接收端。其中：
[0019] 发送端包括：事件及区域检测模块，实时流编码器，增强流编码器，实时传输模块以及非实时传输模块；实时流编码器、增强流编码器分别产生前面提到的实时流与增强流，实时传输模块，非实时传输模块分别对实时流与增强流进行封装传输。事件及区域检测模块用于检测异常事件的时间与区域，并用所得信息控制增强流编码与实时流编码。
[0020] 接收端包括：实时流解码器，存储模块和显示模块；实时流解码器与显示模块为用户提供实时显示的服务；存储模块会存实时流与增强流从而组成高质流，与显示设备一起为用户提供事后调阅的服务。
[0021] 进一步的，所述实时流编码器根据检测模块信息，产生实时流：用于实时浏览，对于图像质量要求不高，对实时性要求较高，需要对视频实时编码并立即传输到后端。
[0022] 进一步的，所述增强流编码器根据检测模块信息，产生增强流：发送端利用事件检测模块检测出某一事件所发生的时间段与该时间段里事件所发生的区域（即感兴趣区域），编码端会对该时段特定区域进行加强编码。由于增强流主要是为了满足事后调查取证的作用，因而对实时性要求不高，但对特定区域的图像质量要求较高。因此将增强流安排在异常事件发生后的一段时间内传输即可。增强流中包含特定时段特定区域的码流以及时段与区域信息。
[0023] 与
现有技术相比，本发明具有如下有益效果：本发明方法除了能剔除视频序列中冗余的时间信息外，还能剔除视频序列中冗余的空间信息，从而实现异常事件中感兴趣区域的加强编码，提高带宽利用率。使用本方案，使得在一定带宽下某些视频中本来无法看清的用户感兴趣信息得能看清。
附图说明
[0024] 图1感兴趣区域双流传输系统结构图；
[0026] 图3前景与背景的片组映射方式FMO；
[0027] 图4原始Tcross序列第192
帧；
[0028] 图5Tcross双层ROI第192帧；
[0029] 图6Tcross双层非ROI第192帧；
[0030] 图7Tcross单流第192帧。
具体实施方式
[0031] 下面结合附图对本发明的
实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
[0032] 本实施例基于JSVM平台，对异常时段中感兴趣区域进行加强编码，再将得到的码流分为基本层码流与增强层码流进行双流传输。在有限的带宽下，在后端恢复的视频中能更加清晰地看到异常时段中感兴趣区域的内容。
[0033] 本实施例涉及的感兴趣区域双流编码传输方法，包括如下具体步骤：
[0034] 步骤一，在获取感兴趣区域信息及异常信息的基础上，基于信息确定度并通过效用函数得到视频基本流与增强流的具体编码参数，同时获得最佳的带宽分配策略；
[0035] 信息确定度自适应的监控视频高效编码研究，其主要思想是：根据逆香农信息的定义：信息是确定性的增加；信息量的度量由负熵变为确定度。在监控视频中，用户定义的高层语义（异常入侵等特定事件）发生的概率，即信息的确定度，成为衡量该段视频信息重要程度的有效度量，直接反映了用户对该信息的感兴趣程度。将信息确定度引入视频编码，依据视频中信息确定度大小，自适应地进行差异化编码，达到有效压缩信息冗余的目的。基于信息确定度，指导监控视频在时间、空间和质量等维度上的可伸缩编码，即信息确定度自适应的可伸缩编码。信息是确定性的增加；信息量的度量由负熵变为确定度。
[0036] 效用函数最早是经济学上的一个概念。决策分析中有两个关键问题：一个是对所研究现象的状态的不确定性进行量化；二是对各种可能出现的后果赋值。一般说来，状态的不确定性用各种状态出现的概率来描述，而研究出现后果的价值则要用到效用理论。将效用函数引入视频研究，通过效用函数对视频进行评价。
[0037] 最后由效用函数最优解与带宽的限制条件，求解得到具体编码参数与带宽分配比例。
[0038] 本实施例中采用的系统结构如附图1所示，包括监控视频发送端，网络信道和监控视频接收端。
[0039] 对监控视频进行双流封装之后，需要封装后码流传输过程中网络带宽资源进行分配。具体分配如下：
[0040] 当事件检测模块判定异常事件的发生，并得到异常时间段里的异常区域信息。事件检测模块将异常事件及区域信息发给增强流编码器。同时，会有相应的算法根据ROI区域大小自适应地得到最佳的码率分配方案，并将方案中编码的实时流码率与QP值传递给实时编码器与增强编码器。增强编码器会对异常事件异常区域进行加强编码，并将码流存储起来。
[0041] 当异常事件结束，系统进入无异常事件过程。此时根据刚刚方案中所得到的实时编码码率进行编码，将实时流视频的编码码率降低，留出带宽用于增强流的传输。当高质流视频传输完成后，再将实时流编码器的编码码率上调，所有可用网络传输带宽用于实时流视频的传输。
[0042] 《监控视频的多流编码与传输研究》（上海交通大学硕士论文，2012年）的推导过程，本实施例给出与该文献所不同的码流含义下的数学表达式。
[0043] 在异常事件过程中：实时流和高质流的码率和传输占用带宽参数可由下式概括：
[0044]
[0045] 上式中Rr为实时流视频编码码率，Br为实时流占用的传输带宽，B为视频监控系统可用的总带宽。Bh为高质流的占用的传输带宽。
[0046] 当异常事件结束后，实时流编码的码率降低，实时流占用的传输带宽减少，多出的带宽用于存的高质流的传输。可用下式表示。
[0047] Br+Bh=B
[0048] 另外定义变量K=Td/Ta，即为非异常事件过程与异常事件过程的时间比。则各时间段的码率及相应带宽需满足下式。其中Br，AE表示实时流在异常事件后的带宽，Rh,error表示异常事件时高层ROI区域产生的码率，Rr，error表示异常事件时实时流码率，Br,error表示异常事件时实时流带宽。
[0049]
[0050] Rr,AE=Br,AE
[0051] Rr，error=Br，error=B
[0052] 根据已有文献中提出了针对QP值的SVC标准编码的码率，图像失真同量化步长值的关系以下式子。其中下标0对应基本层，下标1对应增强层，D为失真（MSE），R为码流码率，Q为编码量化步长。
[0053]
[0054] D1(Q0,Q1)≈D0(Q1)
[0055]
[0056] R1(Q0,Q1)=R0(Q1)-cR0(Q0)
[0057] 结合上式，再根据以下介绍的算法，就可以得到非异常事件过程中的Rr和异常事件过程的Rr和Qh的码率优化分配方案。
[0058] 信息是确定性的增加；信息量的度量由负熵变为确定度Ir，如以下公式所示：
[0059] Ir=logP
[0060] 评价视频质量一般分为两个方面，客观质量评价和主观质量评价。本实施例提出一个较为合理的客观指标，用于评价监控视频这一特定语境下的视频质量，这一客观指标即为ROI双流效用函数。
[0061] PNSR与失真的关系如下式所示：
[0062]
[0063] 为了使其在数学表现上出现二阶导数小于零（即视频的质量提高在人眼看来会出现边际效应的体现），构造如下两个函数对视频初始的PSNR作相应的处理：
[0064] uq，r=Uq，r(psnrr)
[0065] uq，h=Uq,h(psnrh)
[0066] 其中，uq，r是实时流的视频质量效用值，psnr为实时流的PSNR值，uq，r是高质流的视频质量效用值，psnrh为高质流的PSNR值，Uq,r(□)为实时流的视频质量效用函数，Uq,h(□)为高质流的视频质量效用函数。
[0067] 用y=x(1/n)的函数来构造一阶导数大于零二阶导数小于零的函数，其中n值越大，边际效应越明显。因此可得（实例中nr、nh分别取3和2）：
[0068]
[0069]
[0070] 双流ROI传输方法最终的单帧总效用函数可表示为下式：ui=wq,r*uq，r，i+wq,h,roi*uq,h，roi，i*sroi，i+wq,h，nroi*uq,h，nroi，i*Snroi，i
[0071] 其中wq，r表示实际监控无异常事件中实时码流产生效用的权重，表示了对无异常事件发生时对视频的关注程度，wq,h,roi,wq,h，nroi分别表示实际监控异常事件中的高质码流ROI区域与非ROI区域产生效用的权重，代表对实际监控异常事件中对感兴趣区域与非感兴趣区域关注程度的不同，具体取值在下面的公式中会给出。各项u值如前面公式中所介绍的相同，代表以一定编码参数编码得到的画面能带给用户的相应（uq,r对应无异常事件编码部分，uq,h,roi对应异常事件感兴趣区域编码部分，uq，h，nroi对应异常事件非感兴趣区域编码部分）的全图效用值。其中sroi,i和snroi,i分别表示第i帧roi区域和非roi区域占总面积大小的百分比，反应在实际监控系统中就是视频第i帧感兴趣区域在视频整体中所占的空间比例。而由事件检测模块判定一块区域是否是ROI时需根据该区域的确为ROI区域的信息确定度来决定。如下式所示，其中Squreroi，i表示第i帧roi区域面积，Squrewhole表示第i帧视频总面积，其中C为判定是否为ROI区域的信息确定度的域值，该域值意味着只有当某区域的信息确定度大于某个域值时，用户才将其作为感兴趣区域，实际应用中需根据用户不同需求来确定，其中I即区域的信息确定度，本
专利基于信息确定度来判定，但并非本专利研究重点。C的具体值选取亦与I值所采用的算法有关。
[0072]
[0073] 最后，对一段
视频流的每一帧进行加权得到最后的视频效用函数，如下式所示。其中N表示实际一段监控视频所包含的总帧数，其它几个变量含意与之前对单帧总效用函数的描述是相同的。其中E即一段监控视频的平均效用值，是一个对一段监控视频在一定带宽条件限制下所得到的视频质量的参考评价指标。
[0074]
[0075]
[0076] 由主观经验可以知道，感兴趣区域越小，人们对区域的关注度越大，当感兴趣区域扩大到整张图时，对其关注度相应减小。在本方法中，对于wq，h，roi的取值如下式所示，对于某一视频序列是一个正的定值。
[0077]
[0078] 式中Terror表示实际监控视频中异常事件的帧数，在公式中取到一个加权平均的作用,得到感兴趣区域所占面积比的一个均值。其中wq，h，roi与Snroi，i参量的含义在单帧总效用函数描述中已给出。即感兴趣区域的权重由4变到1，其值是与平均感兴趣区域所占面积比的值成反相关关系。另外，本实施例中wq，r、wq，h，nroi都取1。
[0079] 综上即可得-E(u)的最终表达式，再用Fibonacci法进行一维搜索求解Rr,AE（异常事件后实时码流的码率值）即可。
[0080] 步骤二，在步骤一的基础上，对异常时段中感兴趣区域的视频内容进行加强编码：本方法主要是针对视频监控领域对ROI区域进行编码，视频监控领域中更多关注的是车牌、交通中斑马线区域等，与人眼关注模型有所不同。
[0081] 对于图像的分片，需要有宏块到分片的映射信息。通常情况下，一帧图像分一个或多个片，每个片中包宏若干宏块，宏块按光栅扫描顺序排列。如附图2所示。
[0082] 另外，H.264提供了另一种宏块映射的模式，即灵活宏块排序（FMO，Flexible Macro-block Ordering）。这种模式使用片组（Slice Group）的概念，每个片组包含的宏块由参数集中宏块分片组映射表决定。宏块分片组映射表中对每个宏块都有一个片组归属号，标志着宏块属于哪一片组。每个片组可以有一个或多个分片，每个分片中宏块在对应分片中按光栅扫描顺序排列的。此外，当不使用FMO方式时，也可以看作FMO的一种特殊情况，即整图只包含一个片组的情况。
[0083] 对于ROI区域的编码可以基于FMO特性进行实现。选采用一定的ROI提取算法得到ROI的区域信息，采用FMO中第二种模式（见附图3），即前景与背景模式，根据FMO特性与ROI区域信息，把图像分成ROI片组和背景片组。由于不同片组的ROI区域是独立编码的，通过禁止片组间的预测可以实现生成的ROI区域码流与非ROI区域码流相互独立。这样编码时根据事先得到的ROI区域信息作为FMO中第2种方式的前景信息。对基本层设置实时流码率与增强层设置QP值，这样在增强层就能得到两部分码流，即ROI区域的增强码流与非ROI区域的增强码流。通过删除非ROI区域的增强码流，就剩下基本层码流与ROI区域增强码流，两部分的码流解码即可以得到ROI区域有更高图像质量的视频序列。
[0084] 步骤三，对同一监控视频源，进行双路编码产生实时流视频和高质流视频。
[0085] 实时流：用于实时浏览，对于图像质量要求不高，对实时性要求较高，需要对视频实时编码并立即传输到后端。
[0086] 增强流：发送端利用事件检测模块检测出某一事件所发生的时间段与该时间段里事件所发生的区域（即感兴趣区域），编码端会对该时段特定区域进行加强编码。由于增强流主要是为了满足事后调查取证的作用，因而对实时性要求不高，但对特定区域的图像质量要求较高。因此将增强流安排在异常事件发生后的一段时间内传输即可。增强流中包含特定时段特定区域的码流以及时段与区域信息。
[0087] 如图1所示，该双流传输系统结构包括监控视频发送端，网络信道和监控视频接收端。
[0088] 发送端包括：事件及区域检测模块，实时流编码器，增强流编码器，实时传输模块，非实时传输模块。两个编码器分别产生前面提到的实时流与增强流，两个传输模块分别对实时流与增强流进行封装传输。事件及区域检测模块用于检测异常事件的时间与区域，并用所得信息控制增强流编码与实时流编码，将信源码率迅速调整到与信道有效传输带宽相一致。
[0089] 接收端包括：实时流解码器，存储模块和显示模块。实时流解码器与显示模块为用户提供实时显示的服务。存储模块会存实时流与增强流从而组成高质流，与显示设备一起为用户提供事后调阅的服务。
[0090] 所述的将信源码率迅速调整到与信道有效传输带宽相一致，是指：首先是对发送端缓存的清理，将缓存中受到丢失包污染的包丢弃，避免无效数据的发送而浪费带宽；其次是对编码模块的编码码率进行控制，通过修正量化参数、图像帧率及图像
分辨率等措施联合实现，使编码模块编码比特速率与估算到的目标码率相匹配。
[0091] 对监控视频进行双流封装之后，需要封装后码流传输过程中网络带宽资源进行分配。具体分配策略如下：
[0092] 当事件检测模块判定异常事件的发生，并得到异常时间段里的异常区域信息。事件检测模块将异常事件及区域信息发给增强流编码器。同时，会有相应的算法根据ROI区域大小自适应地得到最佳的码率分配方案，并将方案中编码的实时流码率与QP值传递给实时编码器与增强编码器。增强编码器会对异常事件异常区域进行加强编码，并将码流存储起来。
[0093] 当异常事件结束，系统进入无异常事件过程。此时根据刚刚方案中所得到的实时编码码率进行编码，将实时流视频的编码码率降低，留出带宽用于增强流的传输。当高质流视频传输完成后，再将实时流编码器的编码码率上调，所有可用网络传输带宽用于实时流视频的传输。
[0094] 分配中具体带宽参数根据步骤一确定。
[0095] 表1本实施中T-cross序列异常事件中使用本方案的测试结果
[0096]
[0097] 具体图像可见附图4，5，6，7的对比。
[0098] 通过对比可以看出，采用本发明的方法，可以实现时间域与空间域上码率更为合理的分配，提高异常事件时画面的图像质量，使感兴趣区域有更高的图像质量，更好地满足有限带宽条件下满足事后取证的需求。
[0099] 尽管本发明的内容已经通过上述优选实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的
权利要求来限定。
