技术领域
[0001] 本
发明是关于网络视频会议技术领域，特别是关于一种嵌入式终端、4K视频会议系统的数据处理方法。
背景技术
[0002] 随着互联网和多媒体技术的快速发展，越来越多的用户开始使用基于互联网的视频会议。每个用户不管在任何地点，使用手机、计算机、会议室终端等设备，只要有互联网就可以随时接入会议。在网络视频会议产品中，每个与会终端通过互联网连接到后台
服务器并进行信令和媒体数据的传输，实现了多点、多人会议的音视频通话。会议室专用的终端设备，可以提供更高清晰度和
质量的与会体验。
[0003] 互联网的快速发展也给视频会议带来了新变化，具有超高清晰度的视频会议越来越受到用户的青睐。4K视频比1080P视频
分辨率扩大4倍，8K视频比1080P视频分辨率扩大16倍；同时每秒30
帧的
视频帧率在某些场景下已然不能满足用户的需求，每秒60帧正在走向更多的用户和应用场景。分辨率的增大和帧率的提升导致视频会议终端和后台需要处理的数据量增大很多，视频图像的编码压缩
算法运算量也大大增加；而为了达到更加清晰的观看效果，视频码率也在增加。例如从1080P到4K视频，相同帧率下的编码运算量增加了4倍，使用HEVC代替H264/AVC，
编码器复杂度增加了4倍以上，码率升高到4Mbps以上甚至到16Mbps。
[0004] 企业用户与个人用户相比，企业内部一般会有多个会议室，为了获得更好的视频会议效果，每个会议室都要部署一套视频会议室终端设备。同时，企业用户一般在办公场所，所购买或租用的互联网带宽远比局域网带宽低，当企业内同时与会的人员较多时，互联网出口带宽可能成为
瓶颈或者视频质量明显下降。
[0005] 现有的4K视频会议室终端一般包括视频采集、压缩编码、网络传输、解码显示等功能模
块，整机使用一块或者多块板卡来处理音视频数据。其中4K视频数据可以通过HDMI
接口、USB接口、网络接口采集到处理板卡，完成编码压缩后通过网络传输给后台服务；从网络接收的后台视频码流，使用集成的板卡完成解码和视频显示。
现有技术中存在以下问题：第一、视频采集、压缩编码、解码显示等主要功能模块集中在一台嵌入式设备中，由于4K视频需要处理的数据量巨大，导致终端设计复杂度和成本都较高。并且不利于功能和性能的灵活配置；第二、为了获得较好的视频质量，4K视频的编码码率一般较高，所需网络带宽也较高。当同一企业的局域网内有多台4K终端同时参会时，企业所需要的互联网带宽较大，并且会导致音视频质量明显下降，甚至会影响开会效果。第三、视频清晰度不断提高，
硬件升级困难，随着视频分辨率的提升，压缩效率更好、运算复杂度更高的视频压缩算法也在逐步升级，现在的4K终端较难依靠
软件升级而支持新的技术。
[0006] 公开于该背景技术部分的信息仅仅旨在增加对本发明的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。
发明内容
[0007] 本发明的目的在于提供一种嵌入式终端、4K视频会议系统的数据处理方法，该嵌入式终端的功能比较简单，在视频会议中，视频采集和压缩编码是在4K摄像头中进行，解码以及显示是在4K显示终端中进行，嵌入式终端仅负责单一
媒体流传输以及会议管理，便于设计，结构简单，实现成本低，而且该嵌入式终端具有本地代理功能，可以在功能不变的前提下，在很多场景下变公网媒体流传输为局域网媒体流传输，提高了网络传输质量，从而提高视频会议的音视频质量和体验，同时降低了公网带宽的占用，节省了视频会议的网络带宽成本。
[0008] 为实现上述目的，本发明提供了一种4K
网络摄像头，其包括：硬件编码和第一
中央处理器。硬件编码器用于将采集到的YUV视频帧压缩成HEVC码流。第一中央处理器用于将采集到的语音压缩成OPUS音频码流，并将压缩后的每一帧HEVC码流和每一帧OPUS音频码流根据各自的采集时间戳复用成单一媒体流从而保证每一帧HEVC码流和每一帧OPUS音频码流的同步性。
[0009] 本发明还提供了一种嵌入式终端，其包括：会议管理模块和媒体流传输模块。会议管理模块用于接收会议控制
云服务平台的控制信令来实现对网络会议的管理，其中，所述会议管理模块对网络会议的管理包括：管理其他终端注册和登录所述嵌入式终端的行为、建立会议、删除会议和/或对媒体数据传输路由表进行建立和更新。媒体流传输模块与所述会议管理模块相耦合，用于根据所述会议管理模块的信令传输媒体流，其中，所述媒体流由每一帧HEVC码流和每一帧OPUS音频码流同步复用而成。
[0010] 本发明还提供了一种4K显示终端，其包括：媒体流去复用模块、视频解码模块、第二中央处理器、显示屏、扬声器。媒体流去复用模块用于将接收的媒体流数据进行去复用从而得到HEVC码流和OPUS音频码流。视频解码模块用于对所述HEVC码流进行解码从而得到视频数据。第二中央处理器用于对所述OPUS音频码流进行解码并进行多路混音。显示屏与所述视频解码模块相耦合，用于将所述视频数据进行显示。扬声器与所述第二中央处理器相耦合，用于将多路混音的音频数据进行输出。
[0011] 本发明还提供了一种4K视频会议系统，其包括：上述的4K网络摄像头、上述的嵌入式终端以及上述的4K显示终端、会议控制云服务平台以及会议媒体云服务平台。
[0012] 本发明还提供了一种4K视频会议系统的数据处理方法，该4K视频会议系统包括：上述4K网络摄像头、上述嵌入式终端以及上述4K显示终端、会议控制云服务平台以及会议媒体云服务平台，其中，上述4K网络摄像头以及上述4K显示终端通过同一个局域网连接到所述嵌入式终端，所述嵌入式终端通过公网连接到所述会议控制云服务平台以及所述会议媒体云服务平台。
[0013] 该4K视频会议系统的数据处理方法包括：所述嵌入式终端将与自身连接的所述4K网络摄像头和所述4K显示终端的IP地址加入会议设备列表中，建立本地媒体数据传输路由表；所述嵌入式终端开启本地视频会议，并实时更新所述本地媒体数据传输路由表；所述嵌入式终端根据所述本地媒体数据传输路由表的信息将所述4K网络摄像头的媒体流传输到
指定的所述4K显示终端上。
[0014] 本发明还提供了一种4K视频会议系统的数据处理方法，该4K视频会议系统包括上述的4K网络摄像头、上述的嵌入式终端、上述的4K显示终端、会议控制云服务平台以及会议媒体云服务平台；其中，所述4K网络摄像头、以及所述4K显示终端通过同一个局域网连接到各个所述嵌入式终端；所述嵌入式终端通过公网连接到所述会议控制云服务平台以及所述会议媒体云服务平台，并且所有嵌入式终端中的一个嵌入式终端被指定作为主持人
角色。
[0015] 该4K视频会议系统的数据处理方法包括：各个所述嵌入式终端将与自身相连接的所述4K网络摄像头以及所述4K显示终端的IP地址加入到会议设备列表中，建立本地媒体数据传输路由表，并将各自的本地媒体数据传输路由表信息发送至作为主持人角色的嵌入式终端；所述作为主持人角色的嵌入式终端建立本地媒体数据传输路由表，并开启本地会议，邀请其他嵌入式终端加入会议，并实时更新自身的本地媒体数据传输路由表；所述作为主持人角色的嵌入式终端接收其他嵌入式终端发送的媒体流，并根据自身的本地媒体数据传输路由表将媒体流转发至相应的嵌入式终端；接收到媒体流的嵌入式终端根据自身的本地媒体数据传输路由表将媒体流转发至相应的4K显示终端。
[0016] 本发明还提供了一种4K视频会议系统的数据处理方法，该4K视频会议系统包括：第一子系统、第二子系统、会议控制云服务平台以及会议媒体云服务平台，其中，所述第一子系统包括上述的4K网络摄像头、上述的嵌入式终端以及多个上述的4K显示终端，其中，所述第一子系统中的4K网络摄像头以及4K显示终端通过相同或不同的局域网连接至该第一子系统中的嵌入式终端；所述第二子系统包括上述的4K网络摄像头、上述的嵌入式终端，以及上述的4K显示终端，其中，所述第二子系统中的4K网络摄像头以及4K显示终端通过公网连接至第二子系统中的嵌入式终端。
[0017] 该4K视频会议系统的数据处理方法包括：各个所述嵌入式终端将与自身相连接的各个所述4K网络摄像头以及所述4K显示终端的IP地址加入到各自的会议设备列表中，建立各自的本地媒体数据传输路由表，并将各自的本地媒体数据传输路由表信息发送至所述会议控制云服务平台；所述会议控制云服务平台下发信令通知所有与会的嵌入式终端加入会议，并且在每个局域网中指定一个嵌入式终端作为代理嵌入式终端；所述会议控制云服务平台下发媒体数据传输路由表给所述代理嵌入式终端；当所述公网中的嵌入式终端选看所述局域网中的媒体流，则所述会议控制云服务平台通过信令通知所述局域网中的所述代理嵌入式终端将选看的媒体流数据转发给所述会议媒体云服务平台，之后所述会议媒体云服务平台将该媒体流数据转发至所述公网中相应的嵌入式终端。
[0018] 在本发明的一实施方式中，该数据处理方法还包括：当所述局域网中的嵌入式终端选看所述公网中的媒体流，则所述会议控制云服务平台通过信令通知该局域网中的所述代理嵌入式终端，并且所述会议媒体云服务平台将所述公网中的媒体流转发给该局域网中的代理嵌入式终端，然后该代理嵌入式终端将该媒体流转发给该局域网中相应的嵌入式终端。
[0019] 在本发明的一实施方式中，该数据处理方法还包括：接收到媒体流的嵌入式终端根据自身的本地媒体数据传输路由表将该媒体流转发给相应的4K显示终端。
[0020] 基于同样的发明构思，本发明还提供了一种计算机可存储介质，该计算机可存储介质用于执行上述任一实施方式的4K视频会议系统的数据处理方法。
[0021] 与现有技术相比，根据本发明的嵌入式终端、4K视频会议系统的数据处理方法，在4K网络摄像头内部把4K视频压缩成HEVC码流；同时4K视频的解码和显示集中在4K显示终端，减少了YUV原始图像数据的传输，降低了嵌入式终端设计难度，简化了嵌入式终端以及
4K视频会议系统的结构，降低了嵌入式终端以及4K视频会议系统的成本。并且局域网内的嵌入式终端具备本地代理功能，可以在功能不变的前提下，在很多场景下变公网媒体流传输为局域网媒体流传输，提高了网络传输质量，从而最终提高了视频会议的音视频质量和体验，同时降低了公网带宽的占用，节省了使用视频会议的网络带宽成本。并且4K网络摄像头根据采集时间戳把音视频码流复用成单一媒体流，音视频可以做到精确同步，这样避免在网络传输过程中导致的音视频失步，从而保证了会议中的音视频同步体验。
附图说明
[0022] 图1是根据本发明一实施方式的4K网络摄像头；
[0023] 图2是根据本发明一实施方式的嵌入式终端；
[0024] 图3是根据本发明一实施方式的4K显示终端；
[0025] 图4是根据本发明一实施方式的4K视频会议系统；
[0026] 图5是根据本发明一实施方式的4K视频会议系统的数据处理方法；
[0027] 图6是根据本发明一实施方式的4K视频会议系统；
[0028] 图7是根据本发明一实施方式的4K视频会议系统的数据处理方法；
[0029] 图8是根据本发明一实施方式的4K视频会议系统；
[0030] 图9是根据本发明一实施方式的4K视频会议系统的数据处理方法。
具体实施方式
[0031] 下面结合附图，对本发明的具体实施方式进行详细描述，但应当理解本发明的保护范围并不受具体实施方式的限制。
[0032] 除非另有其它明确表示，否则在整个
说明书和
权利要求书中，术语“包括”或其变换如“包含”或“包括有”等等将被理解为包括所陈述的元件或组成部分，而并未排除其它元件或其它组成部分。
[0033] 图1是根据本发明一实施方式的4K网络摄像头。该4K网络摄像头100包括：硬件编码器11和第一中央处理器12。
[0034] 硬件编码器11用于将采集到的YUV视频帧压缩成HEVC码流。
[0035] 第一中央处理器12用于将采集到的语音压缩成OPUS音频码流，并将压缩后的每一帧HEVC码流和每一帧OPUS音频码流根据各自的采集时间戳复用成单一媒体流从而保证每一帧HEVC码流和每一帧OPUS音频码流的同步性。
[0036] 该4K网络摄像头减少了YUV原始图像数据的传输，降低了后续用于转发媒体流数据的嵌入式终端的设计难度、有利于简化嵌入式终端的结构，降低嵌入式终端的成本。
[0037] 图2是根据本发明一实施方式的嵌入式终端。该嵌入式终端200包括会议管理模块21和媒体流传输模块22。
[0038] 会议管理模块21用于对网络会议进行管理，其中，会议管理模块21对网络会议的管理包括：管理其他终端注册和登录嵌入式终端的行为、建立会议、删除会议和/或对媒体数据传输路由表进行建立和更新。
[0039] 媒体流传输模块22与会议管理模块21相耦合，用于根据会议管理模块的信令传输媒体流。其中，所述媒体流由每一帧HEVC码流和每一帧OPUS音频码流同步复用而成。
[0040] 该嵌入式终端200仅用于对网络会议进行管理和媒体流的转发，便于设计、结构简单且实现成本低。
[0041] 图3是根据本发明一实施方式的4K显示终端，该4K显示终端300包括：媒体流去复用模块31、视频解码模块32、第二中央处理器33、显示屏34以及扬声器35。
[0042] 媒体流去复用模块31用于将接收的媒体流数据进行去复用从而得到HEVC码流和OPUS音频码流。
[0043] 视频解码模块32与媒体流去复用模块31相耦合，用于对HEVC码流进行解码从而得到视频数据。
[0044] 第二中央处理器33与媒体流去复用模块31相耦合，用于对OPUS音频码流进行解码并进行多路混音。
[0045] 显示屏34与视频解码模块32相耦合，用于将视频数据进行显示。
[0046] 扬声器35与第二中央处理器33相耦合，用于将多路混音的音频数据进行输出。
[0047] 在本发明的一实施方式，4K视频会议系统由上述的4K网络摄像头100，嵌入式终端200以及4K显示终端300、会议控制云服务平台400以及会议媒体云服务平台500所搭建而成。
[0048] 具体而言，如图4所示，一实施方式的4K视频会议系统包括：2个4K网络摄像头100、1个嵌入式终端200以及2个4K显示终端300、会议控制云服务平台400以及会议媒体云服务平台500，其中，4K网络摄像头100以及4K显示终端300通过同一个局域网连接到嵌入式终端
200，嵌入式终端200通过公网连接到会议控制云服务平台400以及会议媒体云服务平台
500。
[0049] 如图5所示，该4K视频会议系统的数据处理方法包括：步骤S11～步骤S14。
[0050] 在步骤S11中，嵌入式终端建立本地媒体数据传输路由表。嵌入式终端200将与自身连接的4K网络摄像头100和4K显示终端300的IP地址加入会议设备列表中，建立本地媒体数据传输路由表。
[0051] 在步骤S12中，嵌入式终端开启本地视频会议，实时更新本地媒体数据传输路由表。
[0052] 在步骤S13中，嵌入式终端传输媒体流。嵌入式终端200根据本地媒体数据传输路由表的信息将4K网络摄像头100的媒体流传输到指定的4K显示终端300上。
[0053] 在步骤S14中，4K显示终端播放媒体流。4K显示终端300对收到的媒体流进行去复用操作，然后对
音频流进行解码，并选择多路音频数据混音后输出到扬声器，同时对
视频流进行解码，并根据会议布局合屏后输出到显示屏。
[0054] 嵌入式终端200在会议过程中随时可以通过嵌入式终端200的会议控制台或者web进行会议布局的更新以及本地媒体数据传输路由表的更新。
[0055] 如图6所示，一实施方式的4K视频会议系统包括：2个4K网络摄像头100、2个嵌入式终端200、2个4K显示终端300、会议控制云服务平台400以及会议媒体云服务平台500；其中，2个4K网络摄像头100、2个嵌入式终端200、2个4K显示终端300通过同一个局域网实现连接；
2个嵌入式终端200通过公网连接到会议控制云服务平台400以及会议媒体云服务平台500，并且所有嵌入式终端200中的一个嵌入式终端200被指定作为主持人角色。
[0056] 如图7所示，该4K视频会议系统的数据处理方法包括步骤S21～步骤S25。
[0057] 在步骤S21中，嵌入式终端建立本地媒体数据传输路由表。各个嵌入式终端200将与自身相连接的4K网络摄像头100以及4K显示终端300的IP地址加入到会议设备列表中，建立本地媒体数据传输路由表，并将各自的本地媒体数据传输路由表信息发送至作为主持人角色的嵌入式终端200。
[0058] 在步骤S22中，作为主持人角色的嵌入式终端开启会议。作为主持人角色的嵌入式终端200建立本地媒体数据传输路由表，并开启本地会议，邀请其他嵌入式终端200加入会议，并实时更新自身的本地媒体数据传输路由表。
[0059] 在步骤S23中，作为主持人角色的嵌入式终端进行媒体流转发。作为主持人角色的嵌入式终端200接收其他嵌入式终端200发送的媒体流，并根据自身的本地媒体数据传输路由表将媒体流转发至相应的嵌入式终端200。
[0060] 在步骤S24中，嵌入式终端传输媒体流。接收到媒体流的嵌入式终端200根据自身的本地媒体数据传输路由表将媒体流转发至相应的4K显示终端300。
[0061] 在步骤S25中，4K显示终端播放媒体流。4K显示终端300对收到的媒体流进行去复用操作，然后对音频流进行解码，并选择多路音频数据混音后输出到扬声器，同时对视频流进行解码，并根据会议布局合屏后输出到显示屏。
[0062] 嵌入式终端200在会议过程中随时可以通过嵌入式终端200的会议控制台或者web进行会议布局的更新以及本地媒体数据传输路由表的更新。
[0063] 如图8所示，一实施方式的4K视频会议系统包括：第一子系统600、第二子系统700、会议控制云服务平台400以及会议媒体云服务平台500。其中，第一子系统600包括2个4K网络摄像头100、2个嵌入式终端200以及2个4K显示终端300，其中，第一子系统600中的4K网络摄像头100以及4K显示终端300通过相同或不同的局域网连接至该第一子系统600中的嵌入式终端200；第二子系统700包括1个4K网络摄像头100、1个嵌入式终端200，1个4K显示终端300，其中，第二子系统中的4K网络摄像头100以及4K显示终端300通过公网连接至第二子系统中的嵌入式终端200。
[0064] 如图9所示，4K视频会议系统的数据处理方法包括：步骤31～步骤36。
[0065] 在步骤S31中，嵌入式终端建立本地媒体数据传输路由表。各个嵌入式终端200将与自身相连接的各个4K网络摄像头100以及4K显示终端300的IP地址加入到各自的会议设备列表中，建立各自的本地媒体数据传输路由表，并将各自的本地媒体数据传输路由表信息发送至会议控制云服务平台400。
[0066] 在步骤S32中，会议控制云服务平台开启会议。会议控制云服务平台400下发信令通知所有与会的嵌入式终端200加入会议，并且在每个局域网中指定一个嵌入式终端200作为代理嵌入式终端。
[0067] 在步骤S33中，会议控制云服务平台下发媒体数据传输路由表给代理嵌入式终端。
[0068] 在步骤S34中，代理嵌入式终端和会议媒体云服务平台进行媒体流转发。
[0069] 具体而言，当公网中的嵌入式终端200选看局域网中的媒体流，则会议控制云服务平台400通过信令通知局域网中的代理嵌入式终端将选看的媒体流数据转发给会议媒体云服务平台500，之后会议媒体云服务平台500将该媒体流数据转发至公网中相应的嵌入式终端200。
[0070] 当局域网中的嵌入式终端200选看公网中的媒体流，则会议控制云服务平台400通过信令通知该局域网中的代理嵌入式终端，并且会议媒体云服务平台500将公网中的媒体流转发给该局域网中的代理嵌入式终端，然后该代理嵌入式终端将该媒体流转发给该局域网中相应的嵌入式终端200。
[0071] 在步骤S35中，嵌入式终端传输媒体流。嵌入式终端200根据本地媒体数据传输路由表的信息将4K网络摄像头100的媒体流传输到指定的4K显示终端300上。
[0072] 在步骤S36中，4K显示终端播放媒体流。4K显示终端300对收到的媒体流进行去复用操作，然后对音频流进行解码，并选择多路音频数据混音后输出到扬声器，同时对视频流进行解码，并根据会议布局合屏后输出到显示屏。
[0073] 嵌入式终端200在会议过程中随时可以通过嵌入式终端200的会议控制台或者web进行会议布局的更新以及本地媒体数据传输路由表的更新。
[0074] 基于同样的发明构思，本发明还提供了一种计算机可存储介质，该计算机可存储介质用于执行上述任一实施方式的4K视频会议系统的数据处理方法。
[0075] 综上所述，根据本实施方式的嵌入式终端、4K视频会议系统的数据处理方法、计算机可存储介质，在4K网络摄像头内部把4K视频压缩成HEVC码流；同时4K视频的解码和显示集中在4K显示终端，减少了YUV原始图像数据的传输，降低了嵌入式终端设计难度，简化了嵌入式终端以及4K视频会议系统的结构，降低了嵌入式终端以及4K视频会议系统的成本。并且局域网内的嵌入式终端具备本地代理功能，可以在功能不变的前提下，在很多场景下变公网媒体流传输为局域网媒体流传输，提高了网络传输质量，从而最终提高了视频会议的音视频质量和体验，同时降低了公网带宽的占用，节省了使用视频会议的网络带宽成本。
并且4K网络摄像头根据采集时间戳把音视频码流复用成单一媒体流，音视频可以做到精确同步，这样避免在网络传输过程中导致的音视频失步，从而保证了会议中的音视频同步体验。
[0076] 本领域内的技术人员应明白，本
申请的
实施例可提供为方法、系统、或
计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘
存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
[0077] 本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的
流程图和/或方
框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0078] 这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0079] 这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0080] 前述对本发明的具体示例性实施方案的描述是为了说明和例证的目的。这些描述并非想将本发明限定为所公开的精确形式，并且很显然，根据上述教导，可以进行很多改变和变化。对示例性实施例进行选择和描述的目的在于解释本发明的特定原理及其实际应用，从而使得本领域的技术人员能够实现并利用本发明的各种不同的示例性实施方案以及各种不同的选择和改变。本发明的范围意在由权利要求书及其等同形式所限定。
