多流信息传输系统及其传输方法
专利汇可以提供多流信息传输系统及其传输方法专利检索，专利查询，专利分析的服务。并且一种通信技术领域的多流信息传输系统及其传输方法，包括：发送端以及通过信道相连接的接收端，所述的发送端包括： 编码器 、数据分割模 块 、发送端缓存、实时传输模块和非实时传输模块；所述的接收端包括：反馈模块、接收端缓存、融合模块和 解码器 。本 发明 能在传输过程中区分数据是否需要实时传输，从而决定采用实时传输或非实时传输，以此实现数据的实时性和高 质量 要求，满足用户对安防监控视频的特定需求。，下面是多流信息传输系统及其传输方法专利的具体信息内容。
1.一种多流信息传输系统，其特征在于：包括：发送端以及通过信道相连接的接收端；
所述的发送端包括：编码器、数据分割模块、发送端缓存、实时传输模块和非实时传输模块，其中：编码器与数据分割模块相连以传输压缩码流，数据分割模块分别与编码器和发送端缓存相连接并分别接收编码器传来的压缩码流信息以及实时流信息，实时传输模块与数据分割模块相连以传输数据分割后的实时流信息和的反馈信息，非实时传输模块与数据分割模块相连传输增质流信息和补丁流信息，实时传输模块和非实时传输模块分别与IP网络相连接进行实时流信息、反馈信息、增质流信息和补丁流信息向接收端的传输；
所述的接收端包括：反馈模块、接收端缓存、融合模块和解码器，其中：解码器分别与接收端缓存和融合模块相连接以传输实时流信息和融合后的码流信息，反馈模块分别与接收端缓存和IP网络相连接以传输实时流信息并通过IP网络发送反馈信息至发送端，融合模块另外与IP网络相连接以传输发送端发出的增质流信息和补丁流信息。
2.根据权利要求1所述的多流信息传输系统，其特征是，所述的数据分割模块接收编码器传来的压缩码流并将其分割成三部分，一部分为实时流信息，为实时传输所用；一部分为增质流信息，为生成高质量图像所用；同时数据分割模块根据接收到的反馈信息从缓存的实时流信息中提取生成补丁流信息。
3.根据权利要求1所述的多流信息传输系统，其特征是，所述的实时传输模块采用RTP/UDP/IP协议栈传输由数据分割模块得到的实时流信息，经传输网络传送到接收端。
4.根据权利要求1所述的多流信息传输系统，其特征是，所述的非实时传输模块采用RTP/TCP/IP协议栈或FTP/TCP/IP协议栈，对增质流信息和补丁流信息进行可靠传输。
5.根据权利要求1所述的多流信息传输系统，其特征是，所述的反馈模块接收传输网络传来的码流并送入接收缓存，再送入视频解码器解码显示。
6.一种根据权利要求1所述的多流信息传输系统的传输方法，其特征在于，包括以下步骤：
步骤一，基于H.264或MPEG-4中的混合编码法，通过编码器将输入的信息帧或信息场按帧内或帧间预测编码以宏块为单位进行编码处理，生成压缩码流；
步骤二，将压缩码流通过DP或SVC方式分割成实时流信息和增质流信息；
步骤三，对于步骤二得到的实时流信息，采用RTP/UDP/IP协议从发射端向接收端进行传输，传输同时对实时流信息进行本地缓存，
步骤四，接收端根据接收到的实时流信息生成反馈信息；
步骤五，发送端收到接收端发回的反馈信息，得到基本流丢失的包的序列号码，并据此从缓存的实时流信息中将传输丢失的包提取出来，合成为一路补丁流信息；
步骤六，接收端接收到信道传来的视频码流后，采用基于H.264技术的解码器对接收到的码流解码，解码器对接收到的实时流信息数据进行实时解码；对接收到的补丁流信息、增质流信息和缓存的实时流信息进行融合、重排序，得到视频图像。
7.根据权利要求6所述的多流信息传输系统的传输方法，其特征是，所述的步骤一具体包括：
1.1采用帧内预测或帧间预测对原始视频流进行波形编码；
1.2将波形编码后的数据进行变换编码；
1.3将变换编码后的变换域的数据进行量化；
1.4对量化后的数据进行熵编码得到最终的压缩码流，用于网络传输。
8.根据权利要求6所述的多流信息传输系统的传输方法，其特征是，所述的将压缩码流通过DP或SVC方式分割中：
所述的DP方式是指：在H.264编码时选取数据分割模式，得到压缩码流的A、B、C类数据包；
所述的SVC方式是指：采用H.264/SVC编码方式进行原始视频流的编码，得到多层可分级的编码码流信息，包括基本层和增强层信息；
所述的实时流信息包括：采用DP方式得到的数据分割的A+B类数据包；或者采用SVC方式得到的基本层码流和部分增强层码流组成的码流；
所述的增质流信息包括：采用DP方式得到的数据分割的C类数据包；或者SVC方式得到的部分增强层码流组成的码流。
9.根据权利要求6所述的多流信息传输系统的传输方法，其特征是，所述的步骤三具体包括：
3.1按照RFC3894定义的分包规则对压缩码流进行分包；
3.2依据RFC3894定义的打包原则对分包后的单元加入包头，打包成RTP数据包；
3.3依据UDP协议在RTP数据包加入头部字段，打包成UDP数据包；
3.4采用IP协议传输UDP数据包。
10.根据权利要求6所述的多流信息传输系统的传输方法，其特征是，所述的步骤四具体包括：
4.1根据接收到的实时流信息的包头序号的连续性，确定丢失的数据包包头序号；
4.2将丢失的数据包包头序号组成反馈信息通过RTCP/IP协议传输至发送端。
技术领域
本发明涉及的是一种通信技术领域的方法，具体是一种用于安防监控视频的多流信息传输系统及其传输方法。
背景技术
视频安防监控系统有两个需求：实时性和高质量。在无线带宽有限、有线监控点数量大导致带宽资源不够情况下，传输监控视频难以同时做到实时性和高质量。而另一方面，实时监测的图像往往对图像质量要求较低，只要能看清发生了什么事情即可；而用于调查取证的图像则要求图像质量高，但时延可以较长。
经过对现有技术的检索发现，在第三届和谐人机环境联合(第16届全国多媒体技术、第3届全国人机交互、第3届全国普适计算)学术会议论文中的《一个用于双流编码的运动矢量重用算法》文中提出了一种双流编码器来产生两路码流：一路是高分辨率码流用于本地存储，另一路是低分辨率码流用于网络传输，这样此双流编码系统可以满足实时性和高质量的需求。但是该技术带来了计算复杂度的问题，同时增加了发送端的存储压力和调查取证的不便。
发明内容
本发明是通过以下技术方案实现的：
本发明涉及一种多流信息传输系统，包括：发送端以及通过信道相连接的接收端，其中：
所述的发送端包括：编码器、数据分割模块、发送端缓存、实时传输模块和非实时传输模块，其中：编码器与数据分割模块相连以传输压缩码流，数据分割模块分别与编码器和发送端缓存相连接并分别接收编码器传来的压缩码流信息以及实时流信息，实时传输模块与数据分割模块相连以传输数据分割后的实时流信息和的反馈信息，非实时传输模块与数据分割模块相连传输增质流信息和补丁流信息，实时传输模块和非实时传输模块分别与IP网络相连接进行实时流信息、反馈信息、增质流信息和补丁流信息向接收端的传输。
所述的接收端包括：反馈模块、接收端缓存、融合模块和解码器，其中：解码器分别与接收端缓存和融合模块相连接以传输实时流信息和融合后的码流信息，反馈模块分别与接收端缓存和IP网络相连接以传输实时流信息并通过IP网络发送反馈信息至发送端，融合模块另外与IP网络相连接以传输发送端发出的增质流信息和补丁流信息.
所述的编码器完成对输入的帧或是场的压缩编码，压缩后的码流经NAL(网络自适应层)供传输和存储用。
所述的数据分割模块接收编码器传来的压缩码流并将其分割成三部分，一部分为实时流信息，为实时传输所用，一部分为增质流信息，为生成高质量图像所用；同时数据分割模块根据接收到的反馈信息从缓存的实时流信息中提取生成补丁流信息。
所述的实时传输模块采用RTP/UDP/IP协议栈传输由数据分割模块得到的实时流信息，经传输网络传送到接收端，来满足实时性传输的要求。
所述的非实时传输模块采用RTP/TCP/IP协议栈或FTP/TCP/IP协议栈，对增质流信息和补丁流信息进行可靠传输。该模块也可以先对这两路流进行本地缓存，在信道空闲时再采用RTP/TCP/IP协议或FTP/TCP/IP协议传输。
所述的反馈模块接收传输网络传来的码流并送入接收缓存，再送入视频解码器解码显示。接收缓存中的码流经过解析以后，根据包头序号的连续性，统计丢包情况，并根据RTCP(实时传输控制协议)协议产生反馈RTCP包，通过传输网络告知发送端哪些包已丢失，以便在发送端提取出丢失的包合成为补丁流信息重新发送。
所述的融合模块对收到的实时流信息、增质流信息和补丁流信息进行合并、重排序一系列操作，生成一路完整的码流。
所述的解码器对合并后的码流进行解码，具体可分为两部分：(1)对实时流信息解码，得到低质量高实时的图像，供实时监控用。由于传输过程中有丢包，因此该部分解码需要利用H.264中的错误隐藏技术，才能正确解码。(2)对增质流信息、补丁流信息及之前收到的有丢包后的实时流信息进行融合操作后的码流，进行解码，得到高质量图像，供事后调阅。其中，重排序需要根据RTP头信息中的序列号码。
本发明涉及上述多流信息传输系统的传输方法，包括以下步骤：
步骤一，基于H.264或MPEG-4中的混合编码法，通过编码器将输入的信息帧或信息场按帧内或帧间预测编码以宏块为单位进行编码处理，生成压缩码流；具体包括以下步骤：
1.1采用帧内预测或帧间预测对原始视频流进行波形编码；
1.2将波形编码后的数据进行变换编码；
1.3将变换编码后的变换域的数据进行量化；
1.4对量化后的数据进行熵编码得到最终的压缩码流，用于网络传输。
步骤二，将压缩码流通过DP或SVC方式分割成实时流信息和增质流信息；
所述的DP方式是指：在H.264编码时选取数据分割模式，得到压缩码流的A、B、C类数据包。
所述的SVC方式是指：采用H.264/SVC编码方式进行原始视频流的编码，得到多层可分级的编码码流信息，包括基本层和增强层信息。
所述的实时流信息包括：采用DP方式得到的数据分割的A+B类数据包；或者采用SVC方式得到的基本层码流和部分增强层码流组成的码流；
所述的增质流信息包括：采用DP方式得到的数据分割的C类数据包；或者SVC方式得到的部分增强层码流组成的码流；
步骤三，对于步骤二得到的实时流信息，采用RTP/UDP/IP协议从发射端向接收端进行传输，传输同时对实时流信息进行本地缓存，具体步骤包括：
3.1按照RFC3894定义的分包规则对压缩码流进行分包；
3.2依据RFC3894定义的打包原则对分包后的单元加入包头，打包成RTP数据包；
3.3依据UDP协议在RTP数据包加入头部字段，打包成UDP数据包；
3.4采用IP协议传输UDP数据包。
步骤四，接收端根据接收到的实时流信息生成反馈信息，具体步骤包括：
4.1根据接收到的实时流信息的包头序号的连续性，确定丢失的数据包包头序号；
4.2将丢失的数据包包头序号组成反馈信息通过RTCP/IP协议传输至发送端。
步骤五，发送端收到接收端发回的反馈信息，得到基本流丢失的包的序列号码，并据此从缓存的实时流信息中将传输丢失的包提取出来，合成为一路补丁流信息。补丁流信息的传输可容忍高延迟，但需无误传输。因此采用RTP/TCP/IP协议栈传输。
步骤六，接收端接收到信道传来的视频码流后，采用基于H.264技术的解码器对接收到的码流解码，解码器对接收到的实时流信息数据进行实时解码；对接收到的补丁流信息、增质流信息和缓存的实时流信息进行融合、重排序，得到视频图像。
本发明具有如下效果：本发明的数据分割模块将数据分割成三部分，一部分重要的、保证基本图像质量的实时流信息采用实时传输；第二部分增质流信息和第三部分补丁流信息，可在信道空闲的时候发送并采用可靠的传输协议如TCP/IP。接收端收到后将其与收到的实时流信息进行合成、解码。这样既可以满足安防监控实时预览监控的需要，又可以得到事后调查取证所需的高质量图像，同时通过分时和差异化传输，有效提高信道的利用率，降低网络拥塞丢包的概率。
本发明与现有技术相比能很好的同时满足视频监控系统的实时性和高质量的要求，由实时流信息解码的重建视频可以满足实时监控的需求，融合后码流解码得到的重建视频可以满足调查取证的需求，而传统的工业应用上的监控方式要么只能满足实时性需求，要么只能满足高质量需求；
本发明发送端的存储压力小，发送端只需存储编码后的实时流信息，而不用存储编码后所有的压缩流信息，大大减少了发送端的存储压力；
本发明调查取证方便，能够根据信道情况将实时流信息和增质流信息采用不同的方式传送至接收端，满足了接收端的不同业务需求，方便了接收端的调查取证。在发送端和接收端物理距离较远的情况下，本系统的传输方法更为先进和有效。
附图说明
图1为本发明实施示意图。
具体实施方式
如图1所示，本实施例包括：发送端以及通过信道相连接的接收端。
所述的发送端包括：编码器、数据分割模块、发送端缓存、实时传输模块和非实时传输模块，其中：编码器与数据分割模块相连以传输压缩码流，数据分割模块分别与编码器和发送端缓存相连接并分别接收编码器传来的压缩码流信息以及实时流信息，实时传输模块与数据分割模块相连以传输数据分割后的实时流信息和的反馈信息，非实时传输模块与数据分割模块相连传输增质流信息和补丁流信息，实时传输模块和非实时传输模块分别与IP网络相连接进行实时流信息、反馈信息、增质流信息和补丁流信息向接收端的传输。
所述的接收端包括：反馈模块、接收端缓存、融合模块和解码器，其中：解码器分别与接收端缓存和融合模块相连接以传输实时流信息和融合后的码流信息，反馈模块分别与接收端缓存和IP网络相连接以传输实时流信息并通过IP网络发送反馈信息至发送端，融合模块另外与IP网络相连接以传输发送端发出的增质流信息和补丁流信息。
所述的编码器完成对输入的帧或是场的压缩编码，压缩后的码流经NAL(网络自适应层)供传输和存储用。
所述的数据分割模块接收编码器传来的压缩码流并将其分割成三部分，一部分为实时流信息，为实时传输所用，一部分为增质流信息，为生成高质量图像所用；同时数据分割模块根据接收到的反馈信息从缓存的实时流信息中提取生成补丁流信息。
所述的实时传输模块采用RTP/UDP/IP协议栈传输由数据分割模块得到的实时流信息，经传输网络传送到接收端，来满足实时性传输的要求。
所述的非实时传输模块采用RTP/TCP/IP协议栈或FTP/TCP/IP协议栈，对增质流信息和补丁流信息进行可靠传输。该模块也可以先对这两路流进行本地缓存，在信道空闲时再采用RTP/TCP/IP协议或FTP/TCP/IP协议传输。
所述的反馈模块接收传输网络传来的码流并送入接收缓存，再送入视频解码器解码显示。接收缓存中的码流经过解析以后，根据包头序号的连续性，统计丢包情况，并根据RTCP(实时传输控制协议)协议产生反馈RTCP包，通过传输网络告知发送端哪些包已丢失，以便在发送端提取出丢失的包合成为补丁流信息重新发送。
所述的融合模块对收到的实时流信息、增质流信息和补丁流信息进行合并、重排序一系列操作，生成一路完整的码流。
所述的解码器对合并后的码流进行解码，具体可分为两部分：(1)对实时流信息解码，得到低质量高实时的图像，供实时监控用。由于传输过程中有丢包，因此该部分解码需要利用H.264中的错误隐藏技术，才能正确解码。(2)对增质流信息、补丁流信息及之前收到的有丢包后的实时流信息进行融合操作后的码流，进行解码，得到高质量图像，供事后调阅。其中，重排序需要根据RTP头信息中的序列号码。
本实施例通过如下具体步骤进行传输：
步骤一，基于H.264/SVC混合编码方法，采用SVC的编码参考软件JSVM，将输入的信息帧或信息场按帧内或帧间预测编码以宏块为单位进行编码处理，并采用SVC方式生成可分级压缩码流，此压缩码流包括多层码流信息。在本实施实例中，采用表1的编码参数：
表1本实施实例的编码参数选择
参数名称 数值 视频编码标准 H.264/SVC 编解码参考软件 JSVM8.9 编码模式 SVC 编码帧率 25帧/秒 IntraPeriod 16 GOP 8
步骤二：提取压缩码流，生成实时流信息和增质流信息。
提取步骤一生成的可分级压缩码流的基本层和部分增强层信息，组成实时流信息；
将前一步码流提取后剩余的增强层信息组成增质流信息。
步骤三，对于步骤二得到的实时流信息，采用RTP/UDP/IP协议从发射端向接收端进行传输，传输同时对实时流信息进行本地缓存。
具体步骤包括：
按照RFC3894定义的分包规则对压缩码流进行分包；
依据RFC3894定义的打包原则对分包后的单元加入包头，打包成RTP数据包；
依据UDP协议在RTP数据包加入头部字段，打包成UDP数据包；
采用IP协议传输UDP数据包。
步骤四，接收端根据接收到的实时流信息生成反馈信息，具体步骤包括：
根据接收到的实时流信息的包头序号的连续性，确定丢失的数据包包头序号；
将丢失的数据包包头序号组成反馈信息通过RTCP/IP协议传输至发送端。
步骤五，发送端收到接收端发回的反馈信息，得到基本流丢失的包的序列号码，并据此从缓存的实时流信息中将传输丢失的包提取出来，合成为一路补丁流信息，此采用RTP/TCP/IP协议栈传输。
步骤六，接收端接收到信道传来的视频码流后，采用基于JSVM解码器对接收到的码流解码，解码器具体分为两部分：
对接收到的实时流信息数据进行实时解码，得到低质量但高实时性的图像，供实时监控。
对接收到的补丁流信息、增质流信息和缓存的实时流信息进行融合、重排序，得到完整的、无丢包的视频流后再进行解码，得到高质量图像，供事后调查取证用。其中，重排序需要根据RTP头信息中的序列号码。
表2表示了采用本实施例得到的测试结果与传统方法的测试结果的比较.在表2中，“实时流信息重建”表示采用本方法的实时流信息传输解码得到重建视频，“多流重建”表示采用本方法的多路码流经过解码端的融合模块的信息融合、解码器解码后得到的重建视频，“传统重建”是指采用传统的编码、传输、解码方式得到的重建视频.“PSNR”(PeakSignal to Noise Ratio)是一种评价图像的客观标准，它能较好的反映重建图像的质量。其值越大，表示图像质量越好，反之则表示图像质量越差。
从表2可以看出采用本实施例的“实时流信息重建”得到的重建视频PSNR与“传统重建”PSNR接近，表示本实施例可以满足视频监控的实时性需求。而“多流重建”的得到的重建视频PSNR要比“传统重建”的PSNR大很多，表明本实施例可以满足视频监控的高质量要求。
表2本方法与传统方法的测试结果比较
重建方式 实时流信息重 建 多流重建 传统重建 PSNR 22.14dB 33.90dB 24.26dB
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 手语识别系统 | 2020-05-08 | 975 |
| 一种早教机器人的控制方法 | 2020-05-08 | 259 |
| 影像处理设备和影像处理方法 | 2020-05-08 | 951 |
| 一种适用于HEVC标准的帧内预测编码单元划分方法 | 2020-05-08 | 613 |
| 一种视频解码中运动补偿的方法及装置 | 2020-05-08 | 971 |
| 基于多特征融合的景区游玩轨迹预测系统 | 2020-05-08 | 186 |
| 一种视频帧率预测方法、装置及设备 | 2020-05-08 | 117 |
| 一种结合卷积神经网络和轨迹预测的人数统计方法 | 2020-05-08 | 236 |
| 双向光流中的梯度计算 | 2020-05-08 | 626 |
| 基于多模态注意力机制的视频内容描述方法、系统、装置 | 2020-05-08 | 261 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
