媒体流的发送、接收方法及装置、系统、视频中继
阅读：837发布：2020-06-08
专利汇可以提供媒体流的发送、接收方法及装置、系统、视频中继专利检索，专利查询，专利分析的服务。并且本 发明 提供了一种 媒体流 的发送、接收方法及装置、系统、视频中继；其中，该方法包括：接收发送端发送的媒体流；其中，媒体流为发送端按照发送端接收到的等级要求编码的媒体流；按照预先建立的媒体流的等级与接收端的对应关系，将接收到的媒体流中与接收端对应的等级的媒体流发送给接收端。通过本发明，解决了相关技术中的IMS的多流架构中所有用户能看到的 视频流 的等级完全相同而导致用户体验度低的问题，进而达到了提高用户体验度的效果。，下面是媒体流的发送、接收方法及装置、系统、视频中继专利的具体信息内容。
1.一种媒体流的发送方法，其特征在于，包括：
接收发送端发送的媒体流；其中，所述媒体流为所述发送端按照所述发送端接收到的等级要求编码的媒体流；
按照预先建立的媒体流的等级与接收端的对应关系，将接收到的所述媒体流中与接收端对应的等级的媒体流发送给所述接收端。
2.根据权利要求1所述的方法，其特征在于，所述接收端包括：支持接收和解码分等级媒体流的第一终端。
3.根据权利要求2所述的方法，其特征在于，在所述接收端包括多个所述第一终端的情况下，按照预先建立的媒体流的等级与接收端的对应关系，将接收到的所述媒体流中与接收端对应的等级的媒体流发送给所述接收端包括：
按照所述对应关系，将接收到的所述媒体流中多个所述第一终端对应的相同等级的媒体流复制为多份，将复制的多份所述相同等级的媒体流和与所述多个所述第一终端各自对应的其他等级的媒体流分别发送给多个所述第一终端。
4.根据权利要求3所述的方法，其特征在于，在所述接收端还包括高级视频编码AVC终端的情况下，按照预先建立的媒体流的等级与接收端的对应关系，将接收到的所述媒体流中与接收端对应的等级的媒体流发送给所述接收端还包括：
复制接收到的所述媒体流；
将接收到的所述媒体流中等级最低的媒体流中的网络抽象层面NAL头部修改为AVC格式的NAL头部；
按照所述AVC格式将修改后的等级最低的媒体流发送给所述AVC终端。
5.根据权利要求2所述的方法，其特征在于，在所述编码为可分层视频编解码SVC编码的情况下，接收到的所述媒体流中的NAL头部中包括：所述媒体流的各个等级的等级标识。
6.根据权利要求5所述的方法，其特征在于，按照预先建立的媒体流的等级与接收端的对应关系，将接收到的所述媒体流中与接收端对应的等级的媒体流发送给所述接收端包括：
按照所述对应关系和所述等级标识，将接收到的所述媒体流中与接收端对应的等级的媒体流发送给所述接收端。
7.根据权利要求1所述的方法，其特征在于，在接收发送端发送的媒体流之前，所述方法还包括：
接收所述接收端发送的用于请求调整媒体流等级的第一请求信息；其中，所述第一请求信息中携带所述接收端的等级要求；
建立所述对应关系；
向所述发送端发送用于请求将媒体流调整为分级方式的第二请求信息，其中，所述第二请求信息中也携带所述接收端的等级要求。
8.根据权利要求7所述的方法，其特征在于，接收所述接收端发送的用于请求调整媒体流等级的第一请求信息包括以下之一：
直接接收所述接收端发送的所述第一请求信息；
通过网页Web服务器和应用服务器接收所述接收端发送的所述第一请求信息。
9.根据权利要求7或8所述的方法，其特征在于，在向所述发送端发送用于请求将媒体流调整为分级方式的第二请求信息之后，所述方法还包括以下之一：
所述发送端拒绝所述第二请求信息；
所述发送端接受所述第二请求信息。
10.一种媒体流的发送系统，其特征在于，包括：发送端、视频中继和接收端；
所述发送端按照所述发送端接收到的等级要求对媒体流进行编码，以及将编码后的所述媒体流发送给所述视频中继；
所述视频中继接收到所述编码后的所述媒体流后，按照预先建立的媒体流的等级与接收端的对应关系，将接收到的所述编码后的所述媒体流中与接收端对应的等级的媒体流发送给所述接收端。
11.根据权利要求10所述的系统，其特征在于，所述接收端包括：支持接收和解码分等级媒体流的第一终端。
12.根据权利要求11所述的系统，其特征在于，所述视频中继还用于按照所述对应关系，将接收到的所述媒体流中多个所述第一终端对应的相同等级的媒体流复制为多份，将复制的多份所述相同等级的媒体流和与所述多个所述第一终端各自对应的其他等级的媒体流分别发送给多个所述第一终端。
13.根据权利要求11所述的系统，其特征在于，在所述接收端还包括高级视频编码AVC终端的情况下，所述视频中继还用于复制接收到的所述媒体流，将接收到的所述媒体流中等级最低的媒体流中的网络抽象层面NAL头部修改为AVC格式的NAL头部以及按照所述AVC格式将修改后的等级最低的媒体流发送给所述AVC终端。
14.根据权利要求11所述的系统，其特征在于，在所述编码为可分层视频编解码SVC编码的情况下，接收到的所述媒体流中的NAL头部中包括：所述媒体流的各个等级的等级标识。
15.根据权利要求14所述的系统，其特征在于，所述视频中继还用于按照所述对应关系和所述等级标识，将接收到的所述媒体流中与接收端对应的等级的媒体流发送给所述接收端。
16.根据权利要求10所述的系统，其特征在于，所述接收端还用于向所述视频中继发送用于请求调整媒体流等级的第一请求信息；其中，所述第一请求信息中携带所述接收端的等级要求；所述视频中继在接收到所述第一请求信息后，建立所述对应关系；以及向所述发送端发送用于请求将媒体流调整为分级方式的第二请求信息；其中，所述第二请求信息中也携带所述接收端的等级要求。
17.根据权利要求16所述的系统，其特征在于，所述系统还包括：网页Web服务器；其中，所述Web服务器用于向所述接收端提供Web界面，所述Web界面用于向所述Web服务器提交用户选择的所述等级要求。
18.根据权利要求17所述的系统，其特征在于，所述系统还包括：应用服务器，用于将提交给所述Web服务器的所述等级要求发送给所述视频中继。
19.根据权利要求16至18中任一项所述的系统，其特征在于，所述发送端还用于以下至少之一：
拒绝所述第二请求信息；
接受所述第二请求信息。
20.一种媒体流的发送装置，其特征在于，包括：
接收模块，用于接收发送端发送的媒体流；其中，所述媒体流为所述发送端按照所述发送端接收到的等级要求编码的媒体流；
发送模块，用于按照预先建立的媒体流的等级与接收端的对应关系，将接收到的所述媒体流中与接收端对应的等级的媒体流发送给所述接收端。
21.根据权利要求20所述的装置，其特征在于，所述接收端包括：支持接收和解码分等级媒体流的第一终端。
22.根据权利要求21所述的装置，其特征在于，在所述接收端包括多个所述第一终端的情况下，所述发送模块还包括：
复制单元，用于按照所述对应关系，将接收到的所述媒体流中多个所述第一终端对应的相同等级的媒体流复制为多份；
发送单元，用于将复制的多份所述相同等级的媒体流和与所述多个所述第一终端各自对应的其他等级的媒体流分别发送给多个所述第一终端。
23.根据权利要求22所述的装置，其特征在于，在所述接收端还包括高级视频编码AVC终端的情况下，所述复制单元，还用于复制接收到的所述媒体流；
所述发送模块还包括：修改单元，用于将接收到的所述媒体流中等级最低的媒体流中的网络抽象层面NAL头部修改为AVC格式的NAL头部；
所述发送单元，还用于按照所述AVC格式将修改后的等级最低的媒体流发送给所述AVC终端。
24.根据权利要求21所述的装置，其特征在于，在所述编码为可分层视频编解码SVC编码的情况下，接收到的所述媒体流中的NAL头部中包括：所述媒体流的各个等级的等级标识。
25.根据权利要求24所述的装置，其特征在于，所述发送模块，还用于按照所述对应关系和所述等级标识，将接收到的所述媒体流中与接收端对应的等级的媒体流发送给所述接收端。
26.根据权利要求20所述的装置，其特征在于，所述接收模块还用于接收所述接收端发送的用于请求调整媒体流等级的第一请求信息；其中，所述第一请求信息中携带所述接收端的等级要求；
所述装置还包括：建立模块，用于建立所述对应关系；
所述发送模块，还用于向所述发送端发送用于请求将媒体流调整为分级方式的第二请求信息，其中，所述第二请求信息中也携带所述接收端的等级要求。
27.根据权利要求26所述的装置，其特征在于，所述接收模块还用于以下之一：
直接接收所述接收端发送的所述第一请求信息；
通过网页Web服务器和应用服务器接收所述接收端发送的所述第一请求信息。
28.一种视频中继，其特征在于，包括权利要求20至27中任一项所述的装置。
29.一种媒体流的发送方法，其特征在于，包括：
通过视频中继接收接收端的等级要求；
按照所述等级要求对媒体流进行编码；
将编码后的媒体流发送给所述视频中继。
30.根据权利要求29所述的方法，其特征在于，通过视频中继接收接收端的等级要求包括：
接收所述视频中继发送的用于请求将媒体流调整为分级方式的请求信息；其中，所述请求信息中携带所述接收端的等级要求。
31.根据权利要求30所述的方法，其特征在于，接收所述视频中继发送的用于请求将媒体流调整为分级方式的请求信息之后，所述方法还包括以下之一：
拒绝所述请求信息；
接受所述请求信息。
32.根据权利要求29所述的方法，其特征在于，按照所述等级要求对媒体流进行编码包括：
按照所述等级要求对媒体流进行SVC编码；其中，SVC编码后的媒体流中的NAL头部中包括：所述媒体流的各个等级的等级标识。
33.一种媒体流的发送装置，其特征在于，包括：
接收模块，用于通过视频中继接收接收端的等级要求；
编码模块，用于按照所述等级要求对媒体流进行编码；
发送模块，用于将编码后的媒体流发送给所述视频中继。
34.根据权利要求33所述的装置，其特征在于，所述接收模块，还用于接收所述视频中继发送的用于请求将媒体流调整为分级方式的请求信息；其中，所述请求信息中携带所述接收端的等级要求。
35.根据权利要求33所述的装置，其特征在于，所述编码模块，还用于按照所述等级要求对媒体流进行SVC编码；其中，SVC编码后的媒体流中的NAL头部中包括：所述媒体流的各个等级的等级标识。
36.一种媒体流的接收方法，其特征在于，包括：
通过视频中继向发送端发送等级要求；其中，所述等级要求用于所述发送端对媒体流进行编码；
通过所述视频中继接收与接收端对应的等级的媒体流。
37.根据权利要求36所述的方法，其特征在于，通过视频中继向发送端发送等级要求包括：
通过所述视频中继向所述发送端发送用于请求将所述媒体流调整为分级方式的请求信息；其中，所述请求信息中携带所述等级要求。
38.根据权利要求36所述的方法，其特征在于，所述编码为可分层视频编解码SVC编码。
39.根据权利要求36所述的方法，其特征在于，在通过视频中继向发送端发送等级要求之前，所述方法还包括：
向网页Web服务器请求Web界面，其中，所述Web界面用于向所述Web服务器提交用户选择的所述等级要求。
40.一种媒体流的接收装置，其特征在于，包括：
发送模块，用于通过视频中继向发送端发送等级要求；其中，所述等级要求用于所述发送端对媒体流进行编码；
接收模块，用于通过所述视频中继接收与接收端对应的等级的媒体流。
41.根据权利要求40所述的装置，其特征在于，所述发送模块，还用于通过所述视频中继向所述发送端发送用于请求将所述媒体流调整为分级方式的请求信息；其中，所述请求信息中携带所述等级要求。
42.根据权利要求40所述的装置，其特征在于，所述编码为可分层视频编解码SVC编码。
43.根据权利要求40所述的装置，其特征在于，所述装置还包括：
请求模块，用于向网页Web服务器请求Web界面，其中，所述Web界面用于向所述Web服务器提交用户选择的所述等级要求。
媒体流的发送、接收方法及装置、系统、视频中继
技术领域
[0001] 本发明涉及通信技术领域，具体而言，涉及一种媒体流的发送、接收方法及装置、系统、视频中继。
背景技术
[0002] 基于IP多媒体子系统(IP Multimedia Subsystem,简称IMS)的多流架构目前已经获得多家主流运营商的高度认可。但是目前运营商也针对此架构提出一些关键的增强需求。其中最为关键的一个增强需求，就是针对中继服务器(Relay Server)的媒体分级的。具体描述如下：
[0003] 目前的IMS多流架构，允许多方视频的场景中，根据成员数量，动态的调整单个用户的上行视频流的等级(如分辨率、码率等)。这么做，用户的上行视频流总是按照实际显示的需要提供，可以有效降低单个用户的上行带宽占用。但是这样做，还是存在一个局限性，就是所有用户所能看到的具体的一个视频流的等级是完全一样的，通俗的说就是，具体的一个视频流，要分辨率高，大家看的都会是分辨率高的；要分辨率低，大家看的都会是分辨率低的。
[0004] 随着技术的发展和用户需求的提高，如有些用户用的是大屏设备(如Pad或机顶盒+平板电视机)，对某些流的清晰度要求会高于手机终端用户，所以他们就希望这些流的发送端能按高等级传送视频流。又比如，不同用户存在差异化的需求，某个用户可能对会议中的另一个人更关注一些，对这个用户的流的清晰度要求会高于其它用户，所以希望这个流的发送端能按高等级传送视频流。
[0005] 针对相关技术中的上述技术问题，目前尚未提出有效的解决方案。
发明内容
[0006] 本发明实施例提供了一种媒体流的发送、接收方法及装置、系统、视频中继，以至少解决相关技术中的IMS的多流架构中所有用户能看到的视频流的等级完全相同而导致用户体验度低的问题。
[0007] 根据本发明的一个实施例，提供了一种媒体流的发送方法，包括：接收发送端发送的媒体流；其中，媒体流为发送端按照发送端接收到的等级要求编码的媒体流；按照预先建立的媒体流的等级与接收端的对应关系，将接收到的媒体流中与接收端对应的等级的媒体流发送给接收端。
[0008] 可选地，接收端包括：支持接收和解码分等级媒体流的第一终端。
[0009] 可选地，在接收端包括多个第一终端的情况下，按照预先建立的媒体流的等级与接收端的对应关系，将接收到的媒体流中与接收端对应的等级的媒体流发送给接收端包括：按照对应关系，将接收到的媒体流中多个第一终端对应的相同等级的媒体流复制为多份，将复制的多份相同等级的媒体流和与多个第一终端各自对应的其他等级的媒体流分别发送给多个第一终端。
[0010] 可选地，在接收端还包括高级视频编码AVC终端的情况下，按照预先建立的媒体流的等级与接收端的对应关系，将接收到的媒体流中与接收端对应的等级的媒体流发送给接收端还包括：复制接收到的媒体流；将接收到的媒体流中等级最低的媒体流中的网络抽象层面NAL头部修改为AVC格式的NAL头部；按照AVC格式将修改后的等级最低的媒体流发送给AVC终端。
[0011] 可选地，在编码为可分层视频编解码SVC编码的情况下，接收到的媒体流中的NAL头部中包括：媒体流的各个等级的等级标识。
[0012] 可选地，按照预先建立的媒体流的等级与接收端的对应关系，将接收到的媒体流中与接收端对应的等级的媒体流发送给接收端包括：按照对应关系和等级标识，将接收到的媒体流中与接收端对应的等级的媒体流发送给接收端。
[0013] 可选地，在接收发送端发送的媒体流之前，方法还包括：接收接收端发送的用于请求调整媒体流等级的第一请求信息；其中，第一请求信息中携带接收端的等级要求；建立对应关系；向发送端发送用于请求将媒体流调整为分级方式的第二请求信息，其中，第二请求信息中也携带接收端的等级要求。
[0014] 可选地，接收接收端发送的用于请求调整媒体流等级的第一请求信息包括以下之一：直接接收接收端发送的第一请求信息；通过网页Web服务器和应用服务器接收接收端发送的第一请求信息。
[0015] 可选地，在向发送端发送用于请求将媒体流调整为分级方式的第二请求信息之后，方法还包括以下之一：发送端拒绝第二请求信息；发送端接受第二请求信息。
[0016] 根据本发明的另一个实施例，提供了一种媒体流的发送系统，包括：发送端、视频中继和接收端；发送端按照发送端接收到的等级要求对媒体流进行编码，以及将编码后的媒体流发送给视频中继；视频中继接收到编码后的媒体流后，按照预先建立的媒体流的等级与接收端的对应关系，将接收到的编码后的媒体流中与接收端对应的等级的媒体流发送给接收端。
[0017] 可选地，接收端包括：支持接收和解码分等级媒体流的第一终端。
[0018] 可选地，视频中继还用于按照对应关系，将接收到的媒体流中多个第一终端对应的相同等级的媒体流复制为多份，将复制的多份相同等级的媒体流和与多个第一终端各自对应的其他等级的媒体流分别发送给多个第一终端。
[0019] 可选地，在接收端还包括高级视频编码AVC终端的情况下，视频中继还用于复制接收到的媒体流，将接收到的媒体流中等级最低的媒体流中的网络抽象层面NAL头部修改为AVC格式的NAL头部以及按照AVC格式将修改后的等级最低的媒体流发送给AVC终端。
[0020] 可选地，在编码为可分层视频编解码SVC编码的情况下，接收到的媒体流中的NAL头部中包括：媒体流的各个等级的等级标识。
[0021] 可选地，视频中继还用于按照对应关系和等级标识，将接收到的媒体流中与接收端对应的等级的媒体流发送给接收端。
[0022] 可选地，接收端还用于向视频中继发送用于请求调整媒体流等级的第一请求信息；其中，第一请求信息中携带接收端的等级要求；视频中继在接收到第一请求信息后，建立对应关系；以及向发送端发送用于请求将媒体流调整为分级方式的第二请求信息；，其中，第二请求信息中也携带接收端的等级要求。
[0023] 可选地，系统还包括：网页Web服务器；其中，Web服务器用于向接收端提供Web界面，Web界面用于向Web服务器提交用户选择的等级要求。
[0024] 可选地，系统还包括：应用服务器，用于将提交给Web服务器的等级要求发送给视频中继。
[0025] 可选地，发送端还用于以下至少之一：拒绝第二请求信息；接受第二请求信息。
[0026] 根据本发明的另一个实施例，提供了一种媒体流的发送装置，其特征在于，包括：接收模块，用于接收发送端发送的媒体流；其中，媒体流为发送端按照发送端接收到的等级要求编码的媒体流；发送模块，用于按照预先建立的媒体流的等级与接收端的对应关系，将接收到的媒体流中与接收端对应的等级的媒体流发送给接收端。
[0027] 可选地，接收端包括：支持接收和解码分等级媒体流的第一终端。
[0028] 可选地，在接收端包括多个第一终端的情况下，发送模块还包括：复制单元，用于按照对应关系，将接收到的媒体流中多个第一终端对应的相同等级的媒体流复制为多份；发送单元，用于将复制的多份相同等级的媒体流和与多个第一终端各自对应的其他等级的媒体流分别发送给多个第一终端。
[0029] 可选地，在接收端还包括高级视频编码AVC终端的情况下，复制单元，还用于复制接收到的媒体流；发送模块还包括：修改单元，用于将接收到的媒体流中等级最低的媒体流中的网络抽象层面NAL头部修改为AVC格式的NAL头部；发送单元，还用于按照AVC格式将修改后的等级最低的媒体流发送给AVC终端。
[0030] 可选地，在编码为可分层视频编解码SVC编码的情况下，接收到的媒体流中的NAL头部中包括：媒体流的各个等级的等级标识。
[0031] 可选地，发送模块，还用于按照对应关系和等级标识，将接收到的媒体流中与接收端对应的等级的媒体流发送给接收端。
[0032] 可选地，接收模块还用于接收接收端发送的用于请求调整媒体流等级的第一请求信息；其中，第一请求信息中携带接收端的等级要求；装置还包括：建立模块，用于建立对应关系；发送模块，还用于向发送端发送用于请求将媒体流调整为分级方式的第二请求信息，其中，第二请求信息中也携带接收端的等级要求。
[0033] 可选地，接收模块还用于以下之一：直接接收接收端发送的第一请求信息；通过网页Web服务器和应用服务器接收接收端发送的第一请求信息。
[0034] 根据本发明的另一个实施例，提供了一种视频中继，包括上述的媒体流的发送装置。
[0035] 根据本发明的另一个实施例，提供了一种媒体流的发送方法，包括：通过视频中继接收接收端的等级要求；按照所述等级要求对媒体流进行编码；将编码后的媒体流发送给所述视频中继。
[0036] 可选地，通过视频中继接收接收端的等级要求包括：接收所述视频中继发送的用于请求将媒体流调整为分级方式的请求信息；其中，所述请求信息中携带所述接收端的等级要求。
[0037] 可选地，接收所述视频中继发送的用于请求将媒体流调整为分级方式的请求信息之后，所述方法还包括以下之一：拒绝所述请求信息；接受所述请求信息。
[0038] 可选地，按照所述等级要求对媒体流进行编码包括：按照所述等级要求对媒体流进行SVC编码；其中，SVC编码后的媒体流中的NAL头部中包括：所述媒体流的各个等级的等级标识。
[0039] 根据本发明的另一个实施例，提供了一种媒体流的发送装置，包括：接收模块，用于通过视频中继接收接收端的等级要求；编码模块，用于按照所述等级要求对媒体流进行编码；发送模块，用于将编码后的媒体流发送给所述视频中继。
[0040] 可选地，所述接收模块，还用于接收所述视频中继发送的用于请求将媒体流调整为分级方式的请求信息；其中，所述请求信息中携带所述接收端的等级要求。
[0041] 可选地，所述编码模块，还用于按照所述等级要求对媒体流进行SVC编码；其中，SVC编码后的媒体流中的NAL头部中包括：所述媒体流的各个等级的等级标识。
[0042] 根据本发明的另一个实施例，提供了一种媒体流的接收方法，包括：通过视频中继向发送端发送等级要求；其中，所述等级要求用于所述发送端对媒体流进行编码；通过所述视频中继接收与接收端对应的等级的媒体流。
[0043] 可选地，通过视频中继向发送端发送等级要求包括：通过所述视频中继向所述发送端发送用于请求将所述媒体流调整为分级方式的请求信息；其中，所述请求信息中携带所述等级要求。
[0044] 可选地，所述编码为可分层视频编解码SVC编码。
[0045] 可选地，在通过视频中继向发送端发送等级要求之前，所述方法还包括：向网页Web服务器请求Web界面，其中，所述Web界面用于向所述Web服务器提交用户选择的所述等级要求。
[0046] 根据本发明的另一个实施例，提供了一种媒体流的接收装置，包括：发送模块，用于通过视频中继向发送端发送等级要求；其中，所述等级要求用于所述发送端对媒体流进行编码；接收模块，用于通过所述视频中继接收与接收端对应的等级的媒体流。
[0047] 可选地，所述发送模块，还用于通过所述视频中继向所述发送端发送用于请求将所述媒体流调整为分级方式的请求信息；其中，所述请求信息中携带所述等级要求。
[0048] 可选地，所述编码为可分层视频编解码SVC编码。
[0049] 可选地，所述装置还包括：请求模块，用于向网页Web服务器请求Web界面，其中，所述Web界面用于向所述Web服务器提交用户选择的所述等级要求。
[0050] 根据本发明的又一个实施例，还提供了一种存储介质。该存储介质设置为存储用于执行以下步骤的程序代码：接收发送端发送的媒体流；其中，媒体流为发送端按照发送端接收到的等级要求编码的媒体流；按照预先建立的媒体流的等级与接收端的对应关系，将接收到的媒体流中与接收端对应的等级的媒体流发送给接收端。
[0051] 根据本发明的又一个实施例，还提供了一种存储介质。该存储介质设置为存储用于执行以下步骤的程序代码：通过视频中继接收接收端的等级要求；按照所述等级要求对媒体流进行编码；将编码后的媒体流发送给所述视频中继。
[0052] 根据本发明的又一个实施例，还提供了一种存储介质。该存储介质设置为存储用于执行以下步骤的程序代码：通过视频中继向发送端发送等级要求；其中，所述等级要求用于所述发送端对媒体流进行编码；通过所述视频中继接收与接收端对应的等级的媒体流。
[0053] 通过本发明，由于媒体流按照接收端的等级要求进行了编码，使得可以根据媒体流的等级与接收端的对应关系，将接收到的媒体流中与接收端对应的等级的媒体流发送给接收端，可以使得不同的接收端所接收到的媒体流的等级不同，因而使得不同用户观看到的视频流的等级不同，因此，可以解决相关技术中的IMS的多流架构中所有用户能看到的视频流的等级完全相同而导致用户体验度低的问题，提高了用户的体验度。附图说明
[0054] 此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
[0055] 图1是根据本发明优选实施例提供的流媒体分级的Relay架构的结构框图；
[0056] 图2是根据本发明优选实施例提供的Web化控制的媒体流分级的Relay架构的结构框图；
[0057] 图3是根据本发明实施例提供的媒体流的发送方法的流程图；
[0058] 图4是根据本发明实施例提供的媒体流的发送方法的流程示意图；
[0059] 图5是根据本发明实施例提供的媒体流的接收方法的流程示意图；
[0060] 图6是根据本发明优选实施例提供的媒体流分级的Relay处理流程的示意图一；
[0061] 图7是根据本发明优选实施例提供的媒体流分级的Relay处理流程的示意图二；
[0062] 图8是根据本发明优选实施例提供的基于SVC技术的媒体流分级的Relay处理流程的示意图一；
[0063] 图9是根据本发明优选实施例提供的基于SVC技术的媒体流分级的Relay处理流程的示意图二；
[0064] 图10是根据本发明优选实施例提供的媒体流分级协商流程的示意图一；
[0065] 图11是根据本发明优选实施例提供的Web化控制的媒体流分级协商流程的示意图；
[0066] 图12是根据本发明优选实施例提供的视频源不支持媒体流分级的处理流程的示意图；
[0067] 图13是根据本发明优选实施例提供的SBC进行媒体流分级转码的处理流程的示意图；
[0068] 图14是根据本发明实施例提供的媒体流的发送装置的结构框图一；
[0069] 图15是根据本发明实施例提供的媒体流的发送装置的结构框图二；
[0070] 图16是根据本发明实施例提供的一种媒体流的接收装置的结构框图；
[0071] 图17是根据本发明实施例提供的媒体流的发送系统的结构框图。
具体实施方式
[0072] 下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
[0074] 实施例1
[0075] 本申请实施例可以运行于图1或图2所示的网络架构上，如图1或2所示，该网络架构包括：A类终端、视频中继、B类终端和/或C类终端，其中，A类终端与B类终端和/或C类终端之间通过视频中继进行交互，或者A类终端与B类终端和/或C类终端之间通过视频中继、Web服务器和应用服务器进行交互。
[0076] 在本实施例中提供了一种运行于上述网络架构的媒体流的发送方法，图3是根据本发明实施例提供的媒体流的发送方法的流程图，如图3所示，该流程包括如下步骤：
[0077] 步骤S302，接收发送端发送的媒体流；其中，媒体流为发送端按照发送端接收到的等级要求编码的媒体流；
[0078] 步骤S304，按照预先建立的媒体流的等级与接收端的对应关系，将接收到的媒体流中与接收端对应的等级的媒体流发送给接收端。
[0079] 通过上述步骤，由于媒体流按照接收端的等级要求进行了编码，根据媒体流的等级与接收端的对应关系，将接收到的媒体流中与接收端对应的等级的媒体流发送给接收端，可以使得不同的接收端所接收到的媒体流的等级不同，因而使得不同用户观看到的视频流的等级不同，因此，可以解决相关技术中的IMS的多流架构中所有用户能看到的视频流的等级完全相同而导致用户体验度低的问题，提高了用户的体验度。
[0080] 需要说明的是，上述等级可以是媒体流的分辨率的等级或者媒体流的码率的等级，但并不限于此，比如在为分辨率的等级的情况下，可以将等级分为高清、标清，流畅等，但并不限于此。
[0081] 在本发明的一个实施例中，上述接收端可以包括：支持接收和解码分等级媒体流的第一终端。上述发送端可以是支持分级编码协商、分级视频编码并发送的终端。需要说明的是，一般该接收端可以不具有发送端的能力，发送端可以具有接收端的能力。
[0082] 需要说明的是，上述对媒体流进行编码可以通过层级间依赖的方式进行编码，比如等级1为最低等级，等级2为高一级的等级，而完整的等级2的媒体流包括等级1和等级2两部分媒体流，因而，在接收端对应的等级(接收端的等级要求为等级2)的情况下，上述步骤S304可以表现为：将等级1和等级2对应的媒体流(即完整的等级2的媒体流)都发送给该接收端。但并不限于上述编码方式，比如SVC编码。
[0083] 在本发明的一个实施例中，在接收端包括多个第一终端的情况下，上述步骤S304可以表现为：按照对应关系，将接收到的媒体流中多个第一终端对应的相同等级的媒体流复制为多份，将复制的多份相同等级的媒体流和与多个第一终端各自对应的其他等级的媒体流分别发送给多个第一终端。
[0084] 以下举例说明，比如上述第一终端包括两个，分别为终端1和终端2，而终端1的等级要求为等级2，终端2的等级要求为等级3，那么基于上述层级间依赖的方式进行编码，则终端1对应的等级为等级1和等级2，终端2对应的等级为等级1、等级2和等级3，则两者相同的等级为等级1和等级2，则将等级1和等级2对应的媒体流复制为两份，将复制的一份等级1和等级2对应的媒体流发送给终端1，将另一份等级1和等级2对应的媒体流和等级3对应的媒体流一起发送给终端2。
[0085] 在本发明的一个实施例中，在上述接收端还可以包括高级视频编码AVC终端的情况下，上述步骤S304还可以包括：复制接收到的媒体流；将接收到的媒体流中等级最低的媒体流中的网络抽象层面NAL头部修改为AVC格式的NAL头部；按照AVC格式将修改后的等级最低的媒体流发送给AVC终端。
[0086] 需要说明的是，上述接收到的媒体流中等级最低的媒体流中的数据块部分可以不变，仅仅修改了NAL头部，使得媒体流中的最低等级是与AVC完全兼容的，即只需要将NAL修改，传统的AVC终端则可以解码该媒体流。
[0087] 需要说明的是，上述步骤S304中将接收到的媒体流中与接收端对应的等级的媒体流发送给接收端可以通过实时传输协议(Real-time Transport Protocol，简称RTP)发送给接收端。
[0088] 在本发明的一个实施例中，在编码为可分层视频编解码SVC编码的情况下，接收到的媒体流中的NAL头部中包括：媒体流的各个等级的等级标识。因而，可以通过该等级标识将媒体流进行分发，具体的，在本发明的一个实施例中，上述步骤S304可以表现为：按照对应关系和等级标识，将接收到的媒体流中与接收端对应的等级的媒体流发送给接收端。
[0089] 在本发明的一个实施例中，在上述步骤S302之前，上述方法还可以包括：接收接收端发送的用于请求调整媒体流等级的第一请求信息；其中，第一请求信息中携带接收端的等级要求；建立对应关系；向发送端发送用于请求将媒体流调整为分级方式的第二请求信息，其中，第二请求信息中也携带接收端的等级要求。
[0090] 需要说明的是：接收接收端发送的用于请求调整媒体流等级的第一请求信息包括以下之一：直接接收接收端发送的第一请求信息；通过网页Web服务器和应用服务器接收接收端发送的第一请求信息。
[0091] 需要说明的是，上述接收端可以从Web服务器中下载Web界面，用户可在Web界面上选择该等级要求，触发上述第一请求信息，该第一请求信息中包括选择的等级要求，然后上报给Web服务器，然后再通过应用服务器来获取该第一请求信息。
[0092] 在本发明的一个实施例中，在向发送端发送用于请求将媒体流调整为分级方式的第二请求信息之后，上述方法还可以包括以下之一：发送端拒绝第二请求信息；发送端接受第二请求信息。
[0093] 通过上述发送端和接收端的协商过程，可以实现发送端按照接收端的需要进行具体的分级，进而可以实现某一个媒体流，对于不同的接收端，可以采用不同的媒体等级呈现。
[0094] 可选地，上述步骤的执行主体可以为视频中继等，但不限于此。
[0095] 本实施例中还提供了一种媒体流的发送方法，图4是根据本发明实施例提供的媒体流的发送方法的流程示意图，如图4所示，包括：
[0096] 步骤S402，通过视频中继接收接收端的等级要求；
[0097] 步骤S404，按照所述等级要求对媒体流进行编码；
[0098] 步骤S406，将编码后的媒体流发送给所述视频中继。
[0099] 通过上述步骤，根据接收端的等级要求对媒体流进行编码，将编码后的媒体流发送给视频中继，进而可以使得接收端有可能通过视频中继来得到接收端本身需要的等级要求的媒体流，进而可以实现不同的接收端可以采用不同的视频等级来实现，因而使得不同用户观看到的视频流的等级可以不同，因此，可以解决相关技术中的IMS的多流架构中所有用户能看到的视频流的等级完全相同而导致用户体验度低的问题，提高了用户的体验度。
[0100] 在本发明的一个实施例中，上述步骤S402可以表现为：接收所述视频中继发送的用于请求将媒体流调整为分级方式的请求信息；其中，所述请求信息中携带所述接收端的等级要求。即可以通过请求信息的方式来接收接收端的等级要求。
[0101] 通过上述步骤，可以按照接收端的需要进行具体的分级，进而可以实现某一个媒体流，对于不同的接收端，可以采用不同的媒体等级呈现。
[0102] 在本发明的一个实施例中，上述步骤S404可以表现为：按照所述等级要求对媒体流进行SVC编码；其中，SVC编码后的媒体流中的NAL头部中包括：所述媒体流的各个等级的等级标识。
[0103] 需要说明的是，在上述步骤S402之后，上述方法还可以包括：拒绝所述请求信息；接受所述请求信息。
[0104] 需要说明的是，在接受所述请求信息的情况下，可以执行上述步骤S404，在拒绝上述请求信息的情况下，可以不执行步骤S404，但并不限于此。
[0105] 需要说明的是，上述步骤S406可以表现为将编码后的媒体流通过RTP发送给所述视频中继，但并不限于此。
[0106] 需要说明的是，上述图4所示的实施例的方法的执行主体可以是发送端，比如上述图1或图2所述的A类终端，但并不限于此。
[0107] 本实施例中还提供了一种媒体流的接收方法，图5是根据本发明实施例提供的媒体流的接收方法的流程示意图，如图5所示，包括：
[0108] 步骤S502，通过视频中继向发送端发送等级要求；其中，所述等级要求用于所述发送端对媒体流进行编码；
[0109] 步骤S504，通过所述视频中继接收与接收端对应的等级的媒体流。
[0110] 通过上述步骤，通过向发送端发送等级要求；其中，等级要求用于所述发送端对媒体流进行编码；使得发送端可以根据接收端的等级要求对媒体流进行编码，将编码后的媒体流发送给视频中继，进而可以使得接收端有可能通过视频中继来得到接收端本身需要的等级要求的媒体流，进而可以实现不同的接收端可以采用不同的视频等级来实现，因而使得不同用户观看到的视频流的等级可以不同，因此，可以解决相关技术中的IMS的多流架构中所有用户能看到的视频流的等级完全相同而导致用户体验度低的问题，提高了用户的体验度。
[0111] 需要说明的是，上述步骤S502可以表现为：通过所述视频中继向所述发送端发送用于请求将所述媒体流调整为分级方式的请求信息；其中，所述请求信息中携带所述等级要求。
[0112] 需要说明的是，上述编码可以为可分层视频编解码SVC编码，但并不限于此。
[0113] 在本发明的一个实施例中，在上述步骤S502之前，上述方法还可以包括：向网页WEB服务器请求WEB界面，其中，所述Web界面用于向所述Web服务器提交用户选择的所述等级要求。
[0114] 需要说明的是，上述图5所示的实施例的方法的执行主体可以是接收端，比如上述图1或图2所述的B类终端，但并不限于此。
[0115] 需要说明的是，上述图4所示的方法和图5所示的方法实际上都是发送端与接收端进行媒体流分级协商的流程。
[0116] 为了更好地理解本发明，以下结合优选的实施例对本发明做进一步解释。
[0117] 本发明优选实施例提供了一种媒体流的发送方法，其中，图6是根据本发明优选实施例提供的媒体流分级的Relay处理流程的示意图一，如图6所示，包括：
[0118] 1，UE_A为视频源，为支持媒体流分级发送的UE，UE_A之前通过其它操作(下文其它实施例会描述)，已经建立视频流需要的编码分级的等级，具体为需要按几个等级编码，每个等级的视频等级定义(如分辨率、码率、帧速率、视频质量等)；
[0119] 2，Video Relay为支持媒体流分级的Relay Server，Video Relay之前通过其它操作(下文其它实施例会描述)，已经建立视频流的分级分发关系，具体为某一个分级视频流(如UE_A发出的分级视频流)，其中某个等级需要转发到哪些接收端(UE)；
[0120] 3，UE_A按具体的分级等级要求编码；
[0121] 4，UE_A将分级视频流通过RTP发送到Video Relay；
[0122] 5，Video Relay按照UE_A的视频流的分发关系复制(如对多个接收端对某个等级的RTP流都提出需求)、分发。当有多个视频源时，Video Relay需要对每个视频源建立分发关系，如果这些视频源中有分级视频流(如UE_A的视频流)，则对应的分发关系需要是分级分发关系；
[0123] 6，如UE_B1在分发关系中，是等级1，则Video Relay将从UE_A接受的视频流中的等级1的部分发送到UE_B1；
[0124] 7，如UE_B2在分发关系中，是等级2，则Video Relay将从UE_A接受的视频流中的等级2的部分发送到UE_B12；
[0125] 8，如UE_B3在分发关系中，是等级3，则Video Relay将从UE_A接受的视频流中的等级3的部分发送到UE_B3；
[0126] 备注：步骤1、2是前置条件，在时序上可以互换，后续步骤并不依赖于步骤1、2发生的时序，而是依赖于步骤1、2已经发生。
[0127] 备注：如果分级视频是按层级间依赖的方式编码的，如等级1为最低等级，等级2为高一级的等级(以等级1为基础，等级2的为补充部分)，则完整的等级2的视频流包括等级1和等级2两部分视频流；同理完整的等级3的视频流包括等级1、等级2和等级3三部分视频流。所以此时转给UE_B2的分级视频流，应该是包括等级1和等级2两部分。
[0128] 备注：UE_A在编码时，分级视频的分级关系，以及分级内的视频内容(Network Abstraction Layer数据)与RTP的序列编号是无关的，所以Video Relay不需要对RTP包内的数据进行修改，直接转发。UE_B(包括UE_B1、UE_B2、UE_B3)在解码时，也不依赖于RTP的序列编号，而是根据分级内的视频内容(Network Abstraction Layer数据)进行解码。
[0129] 图7是根据本发明优选实施例提供的媒体流分级的Relay处理流程的示意图二，该流程兼容AVC类型终端，包括：
[0130] 1，UE_A为视频源，为支持媒体流分级发送的UE，UE_A之前通过其它操作(下文其它实施例会描述)，已经建立视频流需要的编码分级的等级，具体为需要按几个等级编码，每个等级的视频等级定义(如分辨率、码率、帧速度、视频质量等)；
[0131] 2，Video Relay为支持媒体流分级的Relay Server，Video Relay之前通过其它操作(下文其它实施例会描述)，已经建立视频流的分级分发关系，具体为某一个分级视频流(如UE_A发出的分级视频流)，其中某个等级需要转发到哪些接收端(UE)；
[0132] 3，UE_A按具体的分级等级要求编码；
[0133] 4，UE_A将分级视频流通过RTP发送到Video Relay；
[0134] 5，Video Relay按照UE_A的视频流的分发关系分发。当有多个视频源时，Video Relay需要对每个视频源建立分发关系，如果这些视频源中有分级视频流(如UE_A的视频流)，则对应的分发关系需要是分级分发关系；
[0135] 6，Video Relay根据分发关系，将某个等级的RTP复制、分发到UE_B；
[0136] 7，Video Relay根据分发关系，需要将流复制、分发到传统的AVC终端(如UE_C)，则Video Relay需要将最低等级(等级1)的RTP流进行预处理，具体的处理为，将视频流的分等级的NAL头部(Network Abstraction Layer Unit Header)修改为AVC格式的NAL头部；
[0137] 8，Video Relay按照AVC格式，将RTP流发送到UE_C；
[0138] 备注：分级视频流的最低等级(等级1)的VCL(Video Coding Layer)与AVC是完全兼容的。所以只需要将NAL修改，则传统AVC终端则可以解码该RTP流。
[0139] 图8是根据本发明优选实施例提供的基于SVC技术的媒体流分级的Relay处理流程的示意图一，典型的分级视频编码，为RFC6190定义的SVC技术。该流程包括：
[0140] 1，UE_A为视频源，为支持媒体流分级发送的UE，UE_A之前通过其它操作(下文其它实施例会描述)，已经建立视频流需要的编码分级的等级，具体为需要按几个等级编码，每个等级的视频等级定义(如分辨率、码率、帧速度、视频质量等)；
[0141] 2，Video Relay为支持媒体流分级的Relay Server，Video Relay之前通过其它操作(下文其它实施例会描述)，已经建立视频流的分级分发关系，具体为某一个分级视频流(如UE_A发出的分级视频流)，其中某个等级需要转发到哪些接收端(UE)；
[0142] 3，UE_A按具体的SVC分级等级要求编码；
[0143] 4，UE_A将SVC分级视频流通过RTP发送到Video Relay；
[0144] 5，Video Relay按照UE_A的视频流的分发关系复制(如对多个接收端对某个等级的RTP流都提出需求)、分发。当有多个视频源时，Video Relay需要对每个视频源建立分发关系，如果这些视频源中有分级视频流(如UE_A的视频流)，则对应的分发关系需要是分级分发关系；对于SVC编码，在NAL头部中扩展了视频分级的标识，Video Relay可以根据此标识进行分发。
[0145] 6，如UE_B1在分发关系中，是等级1，则Video Relay将从UE_A接受的视频流中的等级1的部分发送到UE_B1；
[0146] 7，如UE_B2在分发关系中，是等级2，则Video Relay将从UE_A接受的视频流中的等级2的部分发送到UE_B12；
[0147] 8，如UE_B3在分发关系中，是等级3，则Video Relay将从UE_A接受的视频流中的等级3的部分发送到UE_B3；
[0148] 备注：SVC技术只是定义了编码的分级，即一次编码可以等到源视频的多个等级的版本，在后续使用中，如果需要不同的等级的版本，不需要转码。但是SVC并没有定义Video Relay的分发机制，更没有定义如何在复杂的分发环境中，由接收端与视频源进行视频等级的协商，以及Video Relay根据这些协商结果，进行精确的分级转发。这是本发明与SVC技术最大的区别特征。
[0149] 图9是根据本发明优选实施例提供的基于SVC技术的媒体流分级的Relay处理流程的示意图二，该流程兼容AVC类型终端，该流程包括：
[0150] 1，UE_A为视频源，为支持媒体流分级发送的UE，UE_A之前通过其它操作(下文其它实施例会描述)，已经建立视频流需要的编码分级的等级，具体为需要按几个等级编码，每个等级的视频等级定义(如分辨率、码率、帧速度、视频质量等)；
[0151] 2，Video Relay为支持媒体流分级的Relay Server，Video Relay之前通过其它操作(下文其它实施例会描述)，已经建立视频流的分级分发关系，具体为某一个分级视频流(如UE_A发出的分级视频流)，其中某个等级需要转发到哪些接收端(UE)；
[0152] 3，UE_A按具体的SVC分级等级要求编码；
[0153] 4，UE_A将SVC分级视频流通过RTP发送到Video Relay；
[0154] 5，Video Relay按照UE_A的视频流的分发关系分发。当有多个视频源时，Video Relay需要对每个视频源建立分发关系，如果这些视频源中有分级视频流(如UE_A的视频流)，则对应的分发关系需要是分级分发关系；
[0155] 6，Video Relay根据分发关系，将某个等级的RTP复制、分发到UE_B；
[0156] 7，Video Relay根据分发关系，需要将流复制、分发到传统的AVC终端(如UE_C)，则Video Relay需要将最低等级(等级1)的RTP流进行预处理，具体的处理为，将视频流的分等级的NAL头部(Network Abstraction Layer Unit Header)修改为AVC格式的NAL头部；Video Relay按照AVC格式，将RTP流发送到UE_C；
[0157] 8，Video Relay按照AVC格式，将RTP流发送到UE_C。
[0158] 图10是根据本发明优选实施例提供的媒体流分级协商流程的示意图一，该流程包括：
[0159] 1，当前视频源(UE_A)按照固定等级的视频，如AVC发送。此时UE_B1对视频提出不同等级要求，通过RTCP协议，在带内发送调整视频等级请求；
[0160] 2，因为有接收端提出不同的视频等级要求，Video Relay则需要建立分级分发关系
[0161] 3，Video Relay通过RTCP协议向视频源(UE_A)在带内发送调整视频等级请求；
[0162] 4，UE_A根据请求，建立编码分级的等级；
[0163] 5，目前为两个等级，UE_A按两个等级编码，并由Video Relay转发；
[0164] 6，此时UE_B2也提出等级要求，通过RTCP协议，在带内发送调整视频等级请求；
[0165] 7，Video Relay根据收到的请求，修改分级分发关系；
[0166] 8，Video Relay通过RTCP协议向视频源(UE_A)在带内发送调整视频等级请求；
[0167] 9，UE_A根据请求，修改编码分级的等级；
[0168] 10，目前为三个等级，UE_A按三个等级编码，并由Video Relay转发。
[0169] 备注：如果第6步中，UE_B2提出的视频等级要求并不是第三个等级，而是与UE_B1相同的等级，则Video Relay只需要修改分级转发关系，将第2等级的也转发到UE_B2即可。并不需要向UE_A发送第三个等级的要求。
[0170] 图11是根据本发明优选实施例提供的Web化控制的媒体流分级协商流程的示意图：
[0171] 如果终端形式是Web化的，则可以提出一种更为便捷的媒体流分级协商流程。
[0172] 该流程包括：
[0173] 1，UE_A注册时，在注册消息中携带其视频分级能力等级，即UE_A可以按几个等级进行视频分级编码，以及具体每个等级的视频等级定义(如分辨率、码率、帧速率、视频质量等)，这类信息由AS记录；
[0175] 3，AS返回结果，具体可以通过HTTP协议的200OK响应；
[0176] 4，UE_B1接入整个多流业务场景(如视频会议)，且UE_B1使用Web化的界面，则UE_B1向Web Server请求Web应用(WebApp)的页面，具体可以通过HTTP协议的Get请求；
[0177] 5，Web Server返回页面，具体可以通过HTTP协议的200OK响应；在Web页面上，会有UE_A的视频流对应的
[0178] 6，UE_B2请求页面，同UE_B1；
[0179] 7，返回页面，同与UE_B1的交互；
[0180] 8，UE_C请求页面，同UE_B1；
[0181] 9，返回页面，同与UE_B1的交互；UE_C为AVC终端能力，在此视频界面上，不呈现此视频的能力等级；
[0182] 10，UE_B1的用户通过Web界面的操作，修改视频等级(如从标清改为高清)；
[0183] 11，UE_B1向Web Server提交修改请求，具体可以通过HTTP协议的PUT请求；
[0184] 12，Web Server返回响应，具体可以是200OK；
[0185] 13，Web Server通过AS开放的能力接口，向AS请求某个接受端(UE_B1)对视频分级的设定，具体可以通过HTTP协议的PUT请求；
[0186] 14，AS返回响应，具体可以是200OK；
[0187] 15，AS通过媒体控制接口，控制Video Relay修改分级设定(如果之前该视频流没有分级，就是创建分级设定)及分发关系，具体可以通过INFO消息，携带XML控制结构；
[0188] 16，Video Relay回200OK；
[0189] 17，因为之前该视频流没有分级，Video Relay创建分级分发关系；
[0190] 18，Video Relay通过RTCP协议，带内发送分级请求；
[0191] 19，UE_A根据请求，建立编码分级的等级；
[0192] 20，目前为两个等级，UE_A按两个等级编码，并由Video Relay转发；
[0193] 21，UE_B2的用户通过Web界面的操作，修改视频等级(如从标清改为高清)；
[0194] 22，UE_B2向Web Server提交修改请求，具体可以通过HTTP协议的PUT请求；
[0195] 23，Web Server返回响应，具体可以是200OK；
[0196] 24，Web Server通过AS开放的能力接口，向AS请求某个接受端(UE_B2)对视频分级的设定，具体可以通过HTTP协议的PUT请求；
[0197] 25，AS返回响应，具体可以是200OK；
[0198] 26，AS通过媒体控制接口，控制Video Relay修改分级设定及分发关系，具体可以通过INFO消息，携带XML控制结构；
[0199] 27，Video Relay回200OK；
[0200] 28，Video Relay修改分级分发关系；
[0201] 29，Video Relay通过RTCP协议，带内发送分级请求；
[0202] 30，UE_A根据请求，修改编码分级的等级；
[0203] 31，目前为三个等级，UE_A按三个等级编码，并由Video Relay转发；
[0204] 图12是根据本发明优选实施例提供的视频源不支持媒体流分级的处理流程的示意图，视频源UE_A为C类终端，及不支持分级的终端，其中，流程包括：
[0205] 1，UE_B1通过RTCP协议，带内发送分级请求；
[0206] 2，因为UE_A不支持分级视频，Video Relay拒绝；
[0207] 3，UE_A继续按AVC编码，Video Relay继续按AVC复制、分发。
[0208] 备注：Video Relay获取UE_A不支持分级视频的信息的方式，可以通过向UE_A发送转发分级请求被拒绝/没有响应，或通过AS指示。
[0209] 图13是根据本发明优选实施例提供的SBC进行媒体流分级转码的处理流程的示意图，如图13所示，该流程包括：
[0210] 1，UE_B1通过RTCP协议，带内发送分级请求；
[0211] 2，Video Relay创建分级分发关系；
[0212] 3，Video Relay向UE_A侧通过RTCP协议，带内发送分级请求，先发送到SBC；
[0213] 4，SBC根据请求，建立编码分级的等级；
[0214] 5，SBC向UE_A通过RTCP协议，带内发送调整视频等级请求(AVC兼容的请求)，SBC按分级中的最高等级要求；
[0215] 6，UE_A按新等级要求编码；
[0216] 7，UE_A发送新等级的RTP流；
[0217] 8，SBC将高等级的AVC流转码为分级流形式，如SVC；
[0218] 9，SBC发送分级流到Video Relay；
[0219] 10，Video Relay按分级分发关系分发；
[0220] 11，等级2的发送到UE_B1；
[0221] 12，等级1的发送到UE_B2。
[0222] 需要说明的是，上述UE_A或者视频源都可以认为是发送端，上述UE_B和/或UE_C都可以认为接收端。
[0223] 通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
[0224] 实施例2
[0225] 在本实施例中还提供了一种媒体流的发送装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
[0226] 图14是根据本发明实施例提供的媒体流的发送装置的结构框图一，如图14所示，该装置包括：
[0227] 接收模块1402，用于接收发送端发送的媒体流；其中，媒体流为发送端按照发送端接收到的等级要求编码的媒体流；
[0228] 发送模块1404，与上述接收模块1402连接，用于按照预先建立的媒体流的等级与接收端的对应关系，将接收到的媒体流中与接收端对应的等级的媒体流发送给接收端。
[0229] 通过上述装置，由于媒体流按照接收端的等级要求进行了编码，因而上述装置可以根据媒体流的等级与接收端的对应关系，将接收到的媒体流中与接收端对应的等级的媒体流发送给接收端，可以使得不同的接收端所接收到的媒体流的等级不同，因而使得不同用户观看到的视频流的等级不同，因此，可以解决相关技术中的IMS的多流架构中所有用户能看到的视频流的等级完全相同而导致用户体验度低的问题，提高了用户的体验度。
[0230] 需要说明的是，上述等级可以是媒体流的分辨率的等级或者媒体流的码率的等级，但并不限于此，比如在为分辨率的等级的情况下，可以将等级分为高清、标清，流畅等，但并不限于此。
[0231] 在本发明的一个实施例中，上述接收端可以包括：支持接收和解码分等级媒体流的第一终端。上述发送端可以是支持分级编码协商、分级视频编码并发送的终端。需要说明的是，一般该接收端可以不具有发送端的能力，发送端可以具有接收端的能力。
[0232] 需要说明的是，上述媒体流的编码为层级间依赖的方式的编码，比如等级1为最低等级，等级2为高一级的等级，而完整的等级2的媒体流包括等级1和等级2两部分媒体流，因而，在接收端对应的等级(接收端的等级要求为等级2)的情况下，上述发送模块1304可以将等级1和等级2对应的媒体流(即完整的等级2的媒体流)都发送给该接收端。但并不限于上述编码方式，比如SVC编码。
[0233] 在本发明的一个实施例中，在接收端包括多个第一终端的情况下，上述发送模块1404还可以包括：复制单元，用于按照对应关系，将接收到的媒体流中多个第一终端对应的相同等级的媒体流复制为多份；发送单元，与上述复制单元连接，用于将复制的多份相同等级的媒体流和与多个第一终端各自对应的其他等级的媒体流分别发送给多个第一终端。
[0234] 以下举例说明，比如上述第一终端包括两个，分别为终端1和终端2，而终端1的等级要求为等级2，终端2的等级要求为等级3，那么基于上述层级间依赖的方式进行编码，则终端1对应的等级为等级1和等级2，终端2对应的等级为等级1、等级2和等级3，则两者相同的等级为等级1和等级2，则复制单元将等级1和等级2对应的媒体流复制为两份，发送单元将复制的一份等级1和等级2对应的媒体流发送给终端1以及将另一份等级1和等级2对应的媒体流和等级3对应的媒体流一起发送给终端2。
[0235] 在本发明的一个实施例中，在上述接收端还包括高级视频编码AVC终端的情况下，上述复制单元，还用于复制接收到的媒体流；上述发送模块1404还包括：修改单元，与上述复制单元连接，用于将接收到的媒体流中等级最低的媒体流中的网络抽象层面NAL头部修改为AVC格式的NAL头部；上述发送单元，还可以用于按照AVC格式将修改后的等级最低的媒体流发送给AVC终端。
[0236] 需要说明的是，上述接收到的媒体流中等级最低的媒体流中的数据块部分可以不变，仅仅修改了NAL头部，使得媒体流中的最低等级是与AVC完全兼容的，即只需要将NAL修改，传统的AVC终端则可以解码该媒体流。
[0237] 需要说明的是，上述发送模块1404可以通过实时传输协议(Real-time Transport Protocol，简称RTP)将接收到的媒体流中与接收端对应的等级的媒体流发送给接收端发送给接收端。
[0238] 在本发明的一个实施例中，在编码为可分层视频编解码SVC编码的情况下，接收到的媒体流中的NAL头部中包括：媒体流的各个等级的等级标识。因而，可以通过该等级标识将媒体流进行分发，具体的，在本发明的一个实施例中，上述发送模块1404，还可以用于按照对应关系和等级标识，将接收到的媒体流中与接收端对应的等级的媒体流发送给接收端。
[0239] 在本发明的一个实施例中，上述接收模块1402还可以用于接收接收端发送的用于请求调整媒体流等级的第一请求信息；其中，第一请求信息中携带接收端的等级要求；装置还包括：建立模块，与上述接收模块1402连接，用于建立对应关系；发送模块1404，还可以用于向发送端发送用于请求将媒体流调整为分级方式的第二请求信息，其中，第二请求信息中也携带接收端的等级要求。
[0240] 需要说明的是，上述接收模块1404还可以用于以下之一：直接接收接收端发送的第一请求信息；通过网页Web服务器和应用服务器接收接收端发送的第一请求信息。
[0241] 需要说明的是，上述接收端可以从Web服务器中下载Web界面，用户可在Web界面上选择该等级要求，触发上述第一请求信息，该第一请求信息中包括选择的等级要求，然后上报给Web服务器，然后再通过应用服务器来获取该第一请求信息。
[0242] 通过接收模块1402和发送模块1404实现了上述发送端和接收端的协商过程，进而可以实现发送端按照接收端的需要进行具体的分级，进而可以实现某一个媒体流，对于不同的接收端，可以采用不同的媒体等级呈现。
[0243] 在本发明实施例中，还提供了一种视频中继，包括上述实施例中的媒体流的发送装置。
[0244] 需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
[0245] 实施例3
[0246] 本实施例中提供了一种媒体流的发送装置，图15是根据本发明实施例提供的一种媒体流的发送装置的结构框图二，如图15所示，该装置包括：
[0247] 接收模块1502，用于通过视频中继接收接收端的等级要求；
[0248] 编码模块1504，与接收模块1502连接，用于按照所述等级要求对媒体流进行编码；
[0249] 发送模块1506，与编码模块1504连接，用于将编码后的媒体流发送给所述视频中继。
[0250] 通过上述装置，可以根据接收端的等级要求对媒体流进行编码，将编码后的媒体流发送给视频中继，进而可以使得接收端有可能通过视频中继来得到接收端本身需要的等级要求的媒体流，进而可以实现不同的接收端可以采用不同的视频等级来实现，因而使得不同用户观看到的视频流的等级可以不同，因此，可以解决相关技术中的IMS的多流架构中所有用户能看到的视频流的等级完全相同而导致用户体验度低的问题，提高了用户的体验度。
[0251] 在本发明的一个实施例中，上述接收模块1502还用于接收所述视频中继发送的用于请求将媒体流调整为分级方式的请求信息；其中，所述请求信息中携带所述接收端的等级要求。即可以通过请求信息的方式来接收接收端的等级要求。
[0252] 通过上述装置，可以按照接收端的需要进行具体的分级，进而可以实现某一个媒体流，对于不同的接收端，可以采用不同的媒体等级呈现。
[0253] 在本发明的一个实施例中，上述编码模块1504，还可以用于按照所述等级要求对媒体流进行SVC编码；其中，SVC编码后的媒体流中的NAL头部中包括：所述媒体流的各个等级的等级标识。
[0254] 需要说明的是，上述装置还包括：处理模块，与上述接收模块1502连接，用于拒绝或者接受所述请求信息。
[0255] 需要说明的是，上述发送模块1506还可以将编码后的媒体流通过RTP发送给所述视频中继，但并不限于此。
[0256] 需要说明的是，上述装置可以位于发送端，比如图1或图2所示的A类终端中，但并不限于此。
[0257] 需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
[0258] 本实施例中提供了一种媒体流的接收装置，图16是根据本发明实施例提供的一种媒体流的接收装置的结构框图，如图16所示，该装置包括：
[0259] 发送模块1602，用于通过视频中继向发送端发送等级要求；其中，所述等级要求用于所述发送端对媒体流进行编码；
[0260] 接收模块1604，与上述发送模块1602连接，用于通过所述视频中继接收与接收端对应的等级的媒体流。
[0261] 通过上述装置，通过向发送端发送等级要求；其中，等级要求用于所述发送端对媒体流进行编码；使得发送端可以根据接收端的等级要求对媒体流进行编码，将编码后的媒体流发送给视频中继，进而可以使得接收端有可能通过视频中继来得到接收端本身需要的等级要求的媒体流，进而可以实现不同的接收端可以采用不同的视频等级来实现，因而使得不同用户观看到的视频流的等级可以不同，因此，可以解决相关技术中的IMS的多流架构中所有用户能看到的视频流的等级完全相同而导致用户体验度低的问题，提高了用户的体验度。
[0262] 需要说明的是，上述发送模块1602，还可以用于通过所述视频中继向所述发送端发送用于请求将所述媒体流调整为分级方式的请求信息；其中，所述请求信息中携带所述等级要求。
[0263] 需要说明的是，上述编码可以为可分层视频编解码SVC编码，但并不限于此。
[0264] 在本发明的一个实施例中，上述述装置还可以包括：请求模块，与上述发送模块1602连接，用于向网页Web服务器请求Web界面，其中，所述Web界面用于向所述Web服务器提交用户选择的所述等级要求。
[0265] 需要说明的是，上述装置可以位于接收端，比如图1或图2所示的B类终端中，但并不限于此。
[0266] 需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
[0267] 实施例4
[0268] 本发明实施例还提供了一种媒体流的发送系统，图17是根据本发明实施例提供的媒体流的发送系统的结构框图，如图17所示，该系统包括：发送端1702、视频中继1704和接收端1706；
[0269] 发送端1702按照发送端1702接收到的等级要求对媒体流进行编码，以及将编码后的媒体流发送给视频中继1704；视频中继1704接收到编码后的媒体流后，按照预先建立的媒体流的等级与接收端的对应关系，将接收到的编码后的媒体流中与接收端1706对应的等级的媒体流发送给接收端1706。
[0270] 通过上述系统，由于媒体流按照接收端的等级要求进行了编码，因而上述系统可以根据媒体流的等级与接收端的对应关系，将接收到的媒体流中与接收端对应的等级的媒体流发送给接收端，可以使得不同的接收端所接收到的媒体流的等级不同，因而使得不同用户观看到的视频流的等级不同，因此，可以解决相关技术中的IMS的多流架构中所有用户能看到的视频流的等级完全相同而导致用户体验度低的问题，提高了用户的体验度。
[0271] 需要说明的是，上述等级可以是媒体流的分辨率的等级或者媒体流的码率的等级，但并不限于此，比如在为分辨率的等级的情况下，可以将等级分为高清、标清，流畅等，但并不限于此。
[0272] 在本发明的一个实施例中，上述接收端1706可以包括：支持接收和解码分等级媒体流的第一终端。上述发送端1702可以是支持分级编码协商、分级视频编码并发送的终端。需要说明的是，一般该接收端1706可以不具有发送端1702的能力，发送端1702可以具有接收端1706的能力。
[0273] 需要说明的是，上述媒体流的编码为层级间依赖的方式的编码，比如等级1为最低等级，等级2为高一级的等级，而完整的等级2的媒体流包括等级1和等级2两部分媒体流，因而，在接收端对应的等级(接收端的等级要求为等级2)的情况下，上述视频中继1504可以将等级1和等级2对应的媒体流(即完整的等级2的媒体流)都发送给该接收端1506。但并不限于上述编码方式，比如SVC编码。
[0274] 在本发明的一个实施例中，上述接收端1706包括：支持接收和解码分等级媒体流的第一终端。
[0275] 在本发明的一个实施例中，上述视频中继1704还可以用于按照对应关系，将接收到的媒体流中多个第一终端对应的相同等级的媒体流复制为多份，将复制的多份相同等级的媒体流和与多个第一终端各自对应的其他等级的媒体流分别发送给多个第一终端。
[0276] 以下举例说明，比如上述第一终端包括两个，分别为终端1和终端2，而终端1的等级要求为等级2，终端2的等级要求为等级3，那么基于上述层级间依赖的方式进行编码，则终端1对应的等级为等级1和等级2，终端2对应的等级为等级1、等级2和等级3，则两者相同的等级为等级1和等级2，则上述视频中继1704用于将等级1和等级2对应的媒体流复制为两份，将复制的一份等级1和等级2对应的媒体流发送给终端1以及将另一份等级1和等级2对应的媒体流和等级3对应的媒体流一起发送给终端2。
[0277] 在本发明的一个实施例中，在上述接收端1706还可以包括高级视频编码AVC终端的情况下，上述视频中继1704还可以用于复制接收到的媒体流，将接收到的媒体流中等级最低的媒体流中的网络抽象层面NAL头部修改为AVC格式的NAL头部以及按照AVC格式将修改后的等级最低的媒体流发送给AVC终端。
[0278] 需要说明的是，上述接收到的媒体流中等级最低的媒体流中的数据块部分可以不变，仅仅修改了NAL头部，使得媒体流中的最低等级是与AVC完全兼容的，即只需要将NAL修改，传统的AVC终端则可以解码该媒体流。
[0279] 需要说明的是，上述视频中继1704可以通过实时传输协议(Real-time Transport Protocol，简称RTP)将接收到的媒体流中与接收端1706对应的等级的媒体流发送给接收端1706。
[0280] 在本发明的一个实施例中，在编码为可分层视频编解码SVC编码的情况下，接收到的媒体流中的NAL头部中包括：媒体流的各个等级的等级标识。因而，可以通过该等级标识将媒体流进行分发，具体的，在本发明的一个实施例中，上述视频中继1704还可以用于按照对应关系和等级标识，将接收到的媒体流中与接收端1706对应的等级的媒体流发送给接收端1706。
[0281] 在本发明的一个实施例中，上述接收端1706还可以用于向视频中继发送用于请求调整媒体流等级的第一请求信息；其中，第一请求信息中携带接收端的等级要求；视频中继在接收到第一请求信息后，建立对应关系；以及向发送端发送用于请求将媒体流调整为分级方式的第二请求信息；，其中，第二请求信息中也携带接收端的等级要求。
[0282] 在本发明的一个实施例中，上述系统还可以包括：网页Web服务器；其中，Web服务器用于向接收端1706提供Web界面，Web界面用于向Web服务器提交用户选择的等级要求。
[0283] 需要说明的是，上述系统还包括：应用服务器，用于将提交给Web服务器的等级要求发送给视频中继1704。
[0284] 在本发明的一个实施例中，上述发送端1702还可以用于以下至少之一：拒绝第二请求信息；接受第二请求信息。
[0285] 为了更好的理解本发明，以下结合优选的实施例，对本发明做进一步解释。
[0286] 图1是根据本发明优选实施例提供的流媒体分级的Relay架构的结构框图，如图1所示，包括：
[0287] 视频中继(Video Relay)：支持对视频流内部建立分级分发关系，并将收到的分级视频流按照分级分发关系分发给不同的接受端；Video Relay支持接受多个视频流，部分为分级视频流，部分为非分级视频流(AVC格式)。
[0288] A类终端：支持分级编码协商、分级视频编码并发送的终端。一般A类终端也具有B类终端的能力。
[0289] B类终端：支持分级视频接受和解码的终端。可选的，支持RTCP带内调整视频等级。一般B类终端也具有A类终端的能力。
[0290] C类终端：不支持分级视频接受和解码的终端。如典型的AVC格式的终端。
[0291] 网络接口：
[0292] 带内控制接口A(A类终端与Video Relay之间)：Video Relay发送到A类终端的请求，使用RTCP协议，用于请求将视频源调整为分级方式，并指示具体的分级等级。
[0293] 带内控制接口A(B类终端与Video Relay之间)：B类终端送到Video Rela的请求，使用RTCP协议，用于请求调整视频等级。备注：可选接口。
[0294] 视频媒体接口A(A类终端与Video Relay之间)：A类终端发送到Video Relay的分等级RTP流。
[0295] 视频媒体接口B(B类终端与Video Relay之间)：Video Relay分发到B类终端的某个等级的RTP流。
[0296] 视频媒体接口C(C类终端与Video Relay之间)：Video Relay分发到C类终端的AVC格式的RTP流。
[0297] 图2是根据本发明优选实施例提供的Web化控制的媒体流分级的Relay架构的结构框图，如图2所示，与上述图1相比，新增功能实体包括：
[0298] Web服务器(Web Server)：向终端提供Web界面(界面中包含视频源的分级等级能力)，并通过用户对页面的操作，向Web Server提交用户对视频等级的选择。
[0299] 应用服务器(AS)：通过A类终端注册时，获取视频源的分级等级能力，并通过AS的能力开放接口，供Web Server查询视频源的分级等级能力。同时通过AS的能力开放接口，接受Web Server对某个视频源的分级等级设定，并通过媒体控制接口，向Video Relay设定。
[0300] 视频中继(Video Relay)：需要具备图1中Video Relay的能力。此外，还需要接受AS通过媒体控制接口，对某个视频源的分级等级设定，并触发向A类终端发送带内RTCP设定视频源的分级等级。
[0301] A类终端：同图1中A类终端。
[0302] B类终端：支持分级视频接受和解码的终端。同时支持Web界面。
[0303] C类终端：同图1中C类终端。
[0304] 需要说明的是，上述图1和/或图2中的视频中继相当于上述视频中继1704，上述A类终端相当于上述图1和/或图2中的发送端1702，上述B类终端和/或C类终端相当于上述图1和/或图2中的接收端1706。
[0305] 实施例5
[0306] 本发明的实施例还提供了一种存储介质。可选地，在本实施例中，上述存储介质可以被设置为存储用于执行实施例1中的方法的步骤的程序代码。
[0307] 可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
[0308] 可选地，在本实施例中，处理器根据存储介质中已存储的程序代码执行实施例1中的方法的步骤。
[0309] 可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
[0310] 显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
[0311] 以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种视频编码的方法和装置 | 2020-05-08 | 697 |
| 压缩/解压缩的装置和系统、芯片、电子装置、方法 | 2020-05-08 | 169 |
| 视频数据解码方法、编码方法以及相关设备 | 2020-05-08 | 517 |
| 广播级内模块式超高清摄像机 | 2020-05-11 | 695 |
| 一种基于机器学习的内容自适应视频编码方法 | 2020-05-08 | 839 |
| 用于基于三维色彩映射模型参数优化的系统和方法 | 2020-05-08 | 959 |
| 具有低延迟的视频编码方法及装置 | 2020-05-11 | 341 |
| 针对高效率视频编码标准的跳过编码模式提前判决方法 | 2020-05-12 | 579 |
| 仿射模型的多个假设 | 2020-05-08 | 85 |
| 针对多层视频编码的层间参考图片增强的设备 | 2020-05-11 | 799 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈