多媒体属性实时交互的方法
阅读：743发布：2024-01-09
专利汇可以提供多媒体属性实时交互的方法专利检索，专利查询，专利分析的服务。并且本 发明 涉及一种多媒体属性交互的方法。先对RTP/RTCP协议栈进行初始化处理，并获取本端多媒体音视频 属性信息 ；按照SDP协议中定义的关于音视频媒体属性的描述、H.245协议中能 力 交互消息中关于音视频媒体属性的描述或定义一套私有的多媒体音视频属性描述的语法，形成信息字段，填写到RTCP的APP包内容中。将生成的APP报文通过RTCP告诉给对端进行交互。利用这种多媒体音视频通信交互方法，终端设备可以无需开发繁琐的上层MCS媒体控制子系统中关于媒体会话描述的协议，减少 软件 开发工作量，同时，不破坏现有的RTP/RTCP协议及各种视 音频流 的传输标准，可精确、实时、方便地实现多媒体音视频属性通信交互，提高媒体处理性能。，下面是多媒体属性实时交互的方法专利的具体信息内容。
技术领域
本发明涉及一种多媒体属性交互的方法，主要用于在实时传输RTP/RTCP 系统中，进行视频，音频属性的交互。
背景技术
在多媒体系统软件设计中，一般将整个系统分为两个子系统：(1)媒体控 制子系统MCS(Media Control SubSystem)；(2)媒体处理子系统MPS(Media Process SubSystem)。其中MCS子系统主要实现两个功能：(1)与外部多媒体 系统的会话协商控制(SIP，H.323)；(2)对MPS的媒体处理资源进行管理。MPS 子系统主要实现实时数据流的(RTP/RTCP)的接收和发送，以及对媒体数据流 的处理(包括视频、音频的编解码，对于不同的编码格式还会涉及到转码处理)。
众所周知，在多媒体领域，音视频的编解码，特别是不同格式的视频转码 过程中，如果需要达到优异的处理性能，在处理之前，需要知道一些先验的媒 体属性信息(比如待处理的码流编码类型，尺寸大小，帧率，码率等)，这些信 息往往需要由MCS子系统来提供，这使得MPS子系统对MCS子系统具有很强的 依赖性。
参见附图1，它是两个多媒体系统通信的示意图。从图1可以看出，在媒 体控制子系统MCS中，一般通过采用SIP或者H.323协议与对端进行会话建立 协商，对于多媒体属性的描述，首先采用会话描述协议SDP，或者多媒体通信 控制协议H.245描述，然后将描述后消息体挂载在SIP报文或者H.323中进行 交互。MCS协商结束后，将多媒体属性信息下发给下面的MPS子系统，MPS子 系统启动相应的音视频媒体处理操作，并且负责将数据进行传输，在数据传输 那块，目前通用的做法是采用RTP/RTCP协议进行传输以及传输控制。
由此可知，MPS媒体处理子系统对MCS媒体控制子系统具有很强的依赖性。 要使得MPS正常高效的工作，MCS必须实时准确的对MPS提供关于音视频媒体 属性的信息。但一方面来讲，虽然SDP、H.245协议中定义了关于媒体属性的描 述，但并没有做到完整而精确，两个协议的会话交互更多的在于多媒体音视频 属性最大能力的交互，而不是即将实时传输的多媒体音视频属性的交互；另一 方面在带宽资源有限而复杂的现实网络中，为了实现多媒体音视频的可靠传输， MPS必须主动的改变其编码属性(比如说降低码率，帧率等)，一旦发生变化， 它必须及时的通过MCS子系统来告诉对端，从消息流程来看，这需要在MCS、 MPS之间进行多次通信，在软件设计方面凸显的比较复杂。那么是否能够找到 一种好的方法，能够直接在双方MPS子系统进行动态的多媒体属性交互，既能 简化软件处理流程又能及时准确的交互媒体属性信息。
作为一种传输协议，RTP/RTCP得到了广泛的应用。国际标准化组织分别在 RFC3016/RFC2190/RFC3984等一系列协议中定义了MPEG4/H263/H264等媒体格 式的RTP传输方法。但从目前运用情况来看，在视频会议，视频监控等产品应 用中，各个厂家还是选择在传输数据中添加了一些私有的信息头。追其原因， 一方面或许有行业保护的含有，另一方面也是因为不想去开发繁琐的上层MCS 协议，希望通过自身定义的私有信息来实时的获得处理需要的音视频属性信息。 这种做法破坏了传输的标准性。因此，设计一种新的方法，使得能够在不破坏 现有的RTP/RTCP多媒体数据传输标准的前提下，实时、精确、方便地进行音视 频多媒体属性交互实为必要。
众所周知，在多媒体领域，音视频的编解码，特别是不同格式的视频转码 过程中，如果需要达到优异的处理性能，在处理之前，需要知道一些先验的媒 体属性信息(比如待处理的码流编码类型，尺寸大小，帧率，码率等)，这些信 息往往需要由MCS子系统来提供，这使得MPS子系统对MCS子系统具有很强的 依赖性。
参见附图1，它是两个多媒体系统通信的示意图。从图1可以看出，在媒 体控制子系统MCS中，一般通过采用SIP或者H.323协议与对端进行会话建立 协商，对于多媒体属性的描述，首先采用会话描述协议SDP，或者多媒体通信 控制协议H.245描述，然后将描述后消息体挂载在SIP报文或者H.323中进行 交互。MCS协商结束后，将多媒体属性信息下发给下面的MPS子系统，MPS子 系统启动相应的音视频媒体处理操作，并且负责将数据进行传输，在数据传输 那块，目前通用的做法是采用RTP/RTCP协议进行传输以及传输控制。
由此可知，MPS媒体处理子系统对MCS媒体控制子系统具有很强的依赖性。 要使得MPS正常高效的工作，MCS必须实时准确的对MPS提供关于音视频媒体 属性的信息。但一方面来讲，虽然SDP、H.245协议中定义了关于媒体属性的描 述，但并没有做到完整而精确，两个协议的会话交互更多的在于多媒体音视频 属性最大能力的交互，而不是即将实时传输的多媒体音视频属性的交互；另一 方面在带宽资源有限而复杂的现实网络中，为了实现多媒体音视频的可靠传输， MPS必须主动的改变其编码属性(比如说降低码率，帧率等)，一旦发生变化， 它必须及时的通过MCS子系统来告诉对端，从消息流程来看，这需要在MCS、 MPS之间进行多次通信，在软件设计方面凸显的比较复杂。那么是否能够找到 一种好的方法，能够直接在双方MPS子系统进行动态的多媒体属性交互，既能 简化软件处理流程又能及时准确的交互媒体属性信息。
作为一种传输协议，RTP/RTCP得到了广泛的应用。国际标准化组织分别在 RFC3016/RFC2190/RFC3984等一系列协议中定义了MPEG4/H263/H264等媒体格 式的RTP传输方法。但从目前运用情况来看，在视频会议，视频监控等产品应 用中，各个厂家还是选择在传输数据中添加了一些私有的信息头。追其原因， 一方面或许有行业保护的含有，另一方面也是因为不想去开发繁琐的上层MCS 协议，希望通过自身定义的私有信息来实时的获得处理需要的音视频属性信息。 这种做法破坏了传输的标准性。因此，设计一种新的方法，使得能够在不破坏 现有的RTP/RTCP多媒体数据传输标准的前提下，实时、精确、方便地进行音视 频多媒体属性交互实为必要。
附图说明
发明内容
为了克服现有技术存在的不足，本发明提供一种实时、精确、方便地进行 多媒体音视频属性的通信交互的方法。
为达到上述发明目的，本发明所采用的技术方案是：提供一种多媒体属性 实时交互的方法，其特征在于步骤如下：
(1)对RTP/RTCP协议栈进行初始化处理；
(2)获取本端多媒体音视频属性信息；
(3)将本端多媒体属性按照下列三种多媒体音视频属性描述方法中的任 意一种格式，形成信息字段，填写到RTCP的APP包内容中：
A、按照SDP协议中定义的关于音视频媒体属性的描述；
B、按照H.245协议中能力交互消息中关于音视频媒体属性的描述；
C、定义一套私有的多媒体音视频属性描述的语法。
(4)将生成的APP报文通过RTCP告诉给对端，与对端进行交互。
(5)如果本端多媒体属性发生改变，重复步骤(3)和(4)。
本发明的主要思想是利用现存的RTP/RTCP协议栈所定义的APP (Application-defined RTCP packet)包结构，将多媒体音视频属性信息挂载 在APP包内容中，通过正常的RTCP通信交互方式来实现双方的多媒体音视频属 性通信交互。而且由于在RTCP协议定义中，APP包结构本身是用户可定义的， 所以不会破坏现有的RTP/RTCP协议结构，使得传输本身还是具有标准化。
本发明具有以下明显优点：
(1)精确、实时、方便地实现多媒体音视频属性通信交互，提高媒体处 理性能。
(2)可以利用现有的基于RTCP的带宽检测技术，及时的将带宽信息进行 通信交互，提高音视频多媒体在复杂网络环境下的可靠性应用。
(3)利用这种多媒体音视频通信交互方法，终端设备可以无需开发繁琐 的上层MCS媒体控制子系统中关于媒体会话描述的协议，减少软件开发工作量。
(4)利用这种方法不破坏现有的RTP/RTCP协议，以及各种视频，音频流 的传输标准，对各厂商产品的互通没有影响。
为达到上述发明目的，本发明所采用的技术方案是：提供一种多媒体属性 实时交互的方法，其特征在于步骤如下：
(1)对RTP/RTCP协议栈进行初始化处理；
(2)获取本端多媒体音视频属性信息；
(3)将本端多媒体属性按照下列三种多媒体音视频属性描述方法中的任 意一种格式，形成信息字段，填写到RTCP的APP包内容中：
A、按照SDP协议中定义的关于音视频媒体属性的描述；
B、按照H.245协议中能力交互消息中关于音视频媒体属性的描述；
C、定义一套私有的多媒体音视频属性描述的语法。
(4)将生成的APP报文通过RTCP告诉给对端，与对端进行交互。
(5)如果本端多媒体属性发生改变，重复步骤(3)和(4)。
本发明的主要思想是利用现存的RTP/RTCP协议栈所定义的APP (Application-defined RTCP packet)包结构，将多媒体音视频属性信息挂载 在APP包内容中，通过正常的RTCP通信交互方式来实现双方的多媒体音视频属 性通信交互。而且由于在RTCP协议定义中，APP包结构本身是用户可定义的， 所以不会破坏现有的RTP/RTCP协议结构，使得传输本身还是具有标准化。
本发明具有以下明显优点：
(1)精确、实时、方便地实现多媒体音视频属性通信交互，提高媒体处 理性能。
(2)可以利用现有的基于RTCP的带宽检测技术，及时的将带宽信息进行 通信交互，提高音视频多媒体在复杂网络环境下的可靠性应用。
(3)利用这种多媒体音视频通信交互方法，终端设备可以无需开发繁琐 的上层MCS媒体控制子系统中关于媒体会话描述的协议，减少软件开发工作量。
(4)利用这种方法不破坏现有的RTP/RTCP协议，以及各种视频，音频流 的传输标准，对各厂商产品的互通没有影响。
具体实施方式
下面结合附图和实施例对本发明作进一步描述：
实施例1：
参见附图2，本实施例技术方案的步骤如下：
步骤1：MPS媒体处理子系统进行RTP/RTCP的初始化创建。
步骤2：在进行多媒体音视频数据传输之前，获取本端多媒体音视频属性。 获取方法有两种，一是通过媒体处理参数获得，二是从待传输的媒体数据包中 获得。
步骤3：将获得的本端多媒体音视频属性信息进行APP报文封装，它可以 运用以下三种不同的方法实现：
(A)按照SDP协议中定义的关于音视频媒体属性的描述方法，直接生成信 息字段写入到APP包内容中。比如说采用“b＝”、“m＝”、“a＝fmtp:”、“a ＝rtpmap:”、“a＝framerat e:”等描述关于网络带宽大小，编码属性 (MPEG4，H.263，H.264等)，尺寸大小(QCIF，CIF，4CIF，D1)，码率，帧率 等信息；
(B)按照H.245协议中关于能力交互消息中音视频媒体属性的描述方法的 定义生成消息字段，写入到APP包内容中；
(C)定义一套私有的多媒体音视频属性描述的语法，将描述后的信息字段 填入APP包内容中。
步骤4：将生成的APP报文通过RTCP告诉给对端，与对端进行交互。
步骤5：开始进行正常的RTP/RTCP多媒体音视频数据传输。
步骤6：如果发现本端多媒体音视频属性发生改变，或者网络带宽发生改 变，重复步骤3和4，及时通知对端。
上述三种多媒体音视频属性描述方法各有特点，(A)、(B)两种方法利用现 有的协议规范定义多媒体音视频属性信息，具有通用性。但在SDP，H.245协议 中，针对多媒体音视频信息的描述，更多在于多媒体音视频属性最大能力的交 互，而不是即将实时传输的多媒体音视频属性的交互。因此说(A)、(B)两种 方法无法准确的描述当前传输的媒体属性，方法(C)由于是自己可定义的，所 以不存在这种缺点，但是通用性上略显不足。在实际运用中，可以考虑不同的 应用环境选择不同的方法。
RTCP协议的作用是进行传输可靠性控制，本发明巧妙的运用了其中的APP 报文字段，进行多媒体属性的协商，使得协议本身增加了多媒体协商的功能。 另外由于RTP/RTCP协议模块负责多媒体音视频数据的传输，因此在RTP/RTCP 模块中可以非常准确的把握每一个数据包的内容，一旦多媒体音视频属性发生 变化，RTP/RTCP模块可以马上知晓。所以采用这种将多媒体音视频属性挂载在 RTCP APP包内通信交互的方法可以精确、及时地进行多媒体音视频属性的交互。 同时也可以利用现有的基于RTCP的带宽检测的方法，及时将带宽信息包含在 APP包中，使得本地MPS子系统能够及时动态的调整编码参数(码率，帧率等)， 以及传输策略，满足在复杂网络下多媒体音视频应用的可靠性要求。
实施例1：
参见附图2，本实施例技术方案的步骤如下：
步骤1：MPS媒体处理子系统进行RTP/RTCP的初始化创建。
步骤2：在进行多媒体音视频数据传输之前，获取本端多媒体音视频属性。 获取方法有两种，一是通过媒体处理参数获得，二是从待传输的媒体数据包中 获得。
步骤3：将获得的本端多媒体音视频属性信息进行APP报文封装，它可以 运用以下三种不同的方法实现：
(A)按照SDP协议中定义的关于音视频媒体属性的描述方法，直接生成信 息字段写入到APP包内容中。比如说采用“b＝”、“m＝”、“a＝fmtp:”、“a ＝rtpmap:”、“a＝framerat e:”等描述关于网络带宽大小，编码属性 (MPEG4，H.263，H.264等)，尺寸大小(QCIF，CIF，4CIF，D1)，码率，帧率 等信息；
(B)按照H.245协议中关于能力交互消息中音视频媒体属性的描述方法的 定义生成消息字段，写入到APP包内容中；
(C)定义一套私有的多媒体音视频属性描述的语法，将描述后的信息字段 填入APP包内容中。
步骤4：将生成的APP报文通过RTCP告诉给对端，与对端进行交互。
步骤5：开始进行正常的RTP/RTCP多媒体音视频数据传输。
步骤6：如果发现本端多媒体音视频属性发生改变，或者网络带宽发生改 变，重复步骤3和4，及时通知对端。
上述三种多媒体音视频属性描述方法各有特点，(A)、(B)两种方法利用现 有的协议规范定义多媒体音视频属性信息，具有通用性。但在SDP，H.245协议 中，针对多媒体音视频信息的描述，更多在于多媒体音视频属性最大能力的交 互，而不是即将实时传输的多媒体音视频属性的交互。因此说(A)、(B)两种 方法无法准确的描述当前传输的媒体属性，方法(C)由于是自己可定义的，所 以不存在这种缺点，但是通用性上略显不足。在实际运用中，可以考虑不同的 应用环境选择不同的方法。
RTCP协议的作用是进行传输可靠性控制，本发明巧妙的运用了其中的APP 报文字段，进行多媒体属性的协商，使得协议本身增加了多媒体协商的功能。 另外由于RTP/RTCP协议模块负责多媒体音视频数据的传输，因此在RTP/RTCP 模块中可以非常准确的把握每一个数据包的内容，一旦多媒体音视频属性发生 变化，RTP/RTCP模块可以马上知晓。所以采用这种将多媒体音视频属性挂载在 RTCP APP包内通信交互的方法可以精确、及时地进行多媒体音视频属性的交互。 同时也可以利用现有的基于RTCP的带宽检测的方法，及时将带宽信息包含在 APP包中，使得本地MPS子系统能够及时动态的调整编码参数(码率，帧率等)， 以及传输策略，满足在复杂网络下多媒体音视频应用的可靠性要求。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种人体解剖结构模型、植入物快速成型方法 | 2020-11-20 | 0 |
| 一种车载电缆故障综合测试系统 | 2021-03-09 | 1 |
| 车间设备智能管理方法 | 2021-06-09 | 0 |
| 一种大型铸钢件压箱、打箱的方法 | 2021-09-20 | 2 |
| 一种镂空圆环形空间网格结构装配式节点 | 2021-02-24 | 0 |
| 一种离子注入样品台 | 2021-07-19 | 0 |
| 一种激光加工现场图形显示方法 | 2020-09-08 | 2 |
| 一种可实现扑固翼结构转换的机电装置及飞行器 | 2020-10-13 | 0 |
| 一种用于转向架安装板螺栓预紧力测试装置 | 2021-03-12 | 0 |
| 旋轉凸輪式真空切換模組 | 2021-12-29 | 2 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈