音视频数据处理方法、装置、计算机设备及存储介质专利检索-混频器信号处理专利检索查询-专利查询网

音视频 数据处理方法、装置、计算机设备及存储介质

阅读：858发布：2020-05-08

专利汇可以提供音视频数据处理方法、装置、计算机设备及存储介质专利检索，专利查询，专利分析的服务。并且本发明实施例公开了一种音视频数据处理方法、装置、计算机设备及存储介质。其中，方法包括：根据控制器的会议建立请求，建立并开启至少一个音视频数据输入通道；通过音视频数据输入通道，接收至少一个视频会议终端经由控制器发送的音视频数据；对音视频采集数据进行数据解析，得到与音视频数据对应的至少一个业务逻辑；根据业务逻辑调用与业务逻辑对应的媒体处理服务单元对匹配的业务逻辑进行处理，得到音视频数据处理结果；将音视频数据处理结果发送至各视频会议终端。实现了多媒体指挥调度系统与第三方视频会议系统之间的音视频数据的互通，不需要断开多个视频会议终端与控制器的连接，并且也不会占用大量的带宽资源。，下面是音视频数据处理方法、装置、计算机设备及存储介质专利的具体信息内容。

权利要求

1.一种音视频数据处理方法，应用于多媒体指挥调度系统中，所述多媒体指挥调度系统与第三方视频会议系统中的控制器相连，所述控制器与至少一个视频会议终端相连，其特征在于，所述方法包括：
根据控制器的会议建立请求，建立并开启至少一个音视频数据输入通道；
通过所述音视频数据输入通道，接收所述至少一个视频会议终端经由所述控制器发送的音视频数据；
对所述音视频数据进行数据解析，得到与所述音视频数据对应的至少一个业务逻辑；
根据所述业务逻辑调用与业务逻辑对应的媒体处理服务单元对匹配的业务逻辑进行处理，得到音视频数据处理结果；
通过音视频数据输出通道，将所述音视频数据处理结果发送至各所述视频会议终端。
2.根据权利要求1所述的方法，其特征在于，根据所述控制器的会议建立请求，建立并开启至少一个音视频数据输入通道，还包括：
根据所述控制器的会议建立请求，创建会话；
根据所述会议建立请求包括的所述至少一个视频会议终端的终端信息，在所述会话中建立并配置至少一个混频器，和/或至少一个混音器；
根据所述会话，建立并开启至少一个音视频数据输入通道。
3.根据权利要求2所述的方法，其特征在于，在所述会话中建立并配置至少一个混频器，和/或至少一个混音器，包括：
根据视频分辨率、码率、帧率以及分屏数创建所述混频器；和/或，
根据参加所述会话的至少一个视频会议终端的终端信息创建所述混音器。
4.根据权利要求1-3任一项所述的方法，其特征在于，在通过所述音视频数据输入通道，接收所述至少一个视频会议终端经由所述控制器发送的音视频数据之前，还包括：
检测所述音视频数据输入通道是否创建成功，若创建成功，则开启所述音视频数据输入通道。
5.根据权利要求1所述的方法，其特征在于，在通过所述音视频通道，将所述音视频数据处理结果发送至各所述视频会议终端之前，还包括：
获取所述控制器IP以及发送所述音视频数据处理结果的端口，并根据所述控制器IP以及发送所述音视频数据处理结果的端口创建音视频数据输出通道，检测所述视频输出通道是否创建成功，若创建成功，则开启所述音视频数据输出通道。
6.根据权利要求1所述的方法，其特征在于，通过所述音视频数据输入通道，接收所述至少一个视频会议终端经由所述控制器发送的音视频数据，还包括：
当所述音视频数据输入通道断开时，则停止使用所述音视频数据输入通道，并删除所述音视频数据输入通道。
7.根据权利要求1所述的方法，其特征在于，通过音视频数据输出通道，将所述音视频数据处理结果发送至各所述视频会议终端，还包括：
当检测到所述音视频数据输出通道断开时，则停止使用所述音视频数据输出通道，并删除所述音视频数据输出通道。
8.一种音视频数据处理装置，应用于多媒体指挥调度系统中，其特征在于，包括：
音视频数据输入通道建立模块，用于根据控制器的会议建立请求，建立并开启至少一个音视频数据输入通道；
音视频数据接收模块，用于通过所述音视频数据输入通道，接收所述至少一个视频会议终端经由所述控制器发送的音视频数据；
数据解析模块，用于对所述音视频采集数据进行数据解析，得到与所述音视频数据对应的至少一个业务逻辑；
处理结果获取模块，用于根据所述业务逻辑调用与业务逻辑对应的媒体处理服务单元对匹配的业务逻辑进行处理，得到音视频数据处理结果；
处理结果发送模块，用于通过音视频数据输出通道，将所述音视频数据处理结果经由所述控制器发送至各所述视频会议终端。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7任一所述的音视频数据处理方法。
10.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7任一所述的音视频数据处理方法。

说明书全文

音视频数据处理方法、装置、计算机设备及存储介质

技术领域

[0001] 本发明实施例涉及通信技术领域，尤其涉及一种音视频数据处理方法、装置、计算机设备及存储介质。

背景技术

[0002] 随着通信技术以及互联网技术的不断发展，实现两个或两个以上不同地点的个人或群体，将声音、影像及文件资料互传、实时且互动的沟通的远程会议得到了广泛的应用。

[0003] 现阶段，主要通过多媒体指挥调度系统直接与第三方视频会议系统中的多个视频会议终端对接的方式，实现多媒体指挥调度系统与第三方视频会议系统之间的音视频数据的互通。其中，第三方视频会议系统中可以包括多个视频会议终端，并且第三方视频会议系统与多媒体指挥调度系统的生产厂家不同。

[0004] 现有技术的方法，当需要接入第三方视频会议系统的多个视频会议终端时，视频会议终端需要先断开与第三方视频会议系统中的控制器(Media Control Unit，MCU)的连接，才能实现与多媒体指挥调度系统的连接；并且成功建立第三方视频会议系统与多媒体指挥调度系统的通信连接之前，第三方视频会议系统中的多个视频会议终端需要在与多媒体指挥调度系统对应的注册服务器中注册，这样导致在进行多媒体指挥调度系统与多个视频会议终端之间的音视频数据互通时会占用大量的带宽资源。

发明内容

[0005] 本发明实施例提供一种音视频数据处理方法、装置、计算机设备及存储介质，以实现多媒体指挥调度系统与第三方多媒体指挥调度系统之间的音视频数据的互通，不需要断开第三方视频会议系统中的多个视频会议终端与控制器的连接，并且传输音视频数据不会占用大量的带宽资源。

[0006] 第一方面，本发明实施例提供了一种音视频数据处理方法，应用于多媒体指挥调度系统中，所述多媒体指挥调度系统与第三方视频会议系统中的控制器相连，所述控制器与至少一个视频会议终端相连，该方法包括：

[0007] 根据所述控制器的会议建立请求，建立并开启至少一个音视频数据输入通道；

[0008] 通过所述音视频数据输入通道，接收所述至少一个视频会议终端经由所述控制器发送的音视频数据；

[0009] 对所述音视频采集数据进行数据解析，得到与所述音视频数据对应的至少一个业务逻辑；

[0010] 根据所述业务逻辑调用与业务逻辑对应的媒体处理服务单元对匹配的业务逻辑进行处理，得到音视频数据处理结果；

[0011] 通过音视频数据输出通道，将所述音视频数据处理结果经由所述控制器发送至各所述视频会议终端。

[0012] 第二方面，本发明实施例还提供了一种音视频数据处理装置，应用于多媒体指挥调度系统中，该装置包括：

[0013] 音视频数据输入通道建立模块，用于根据所述控制器的会议建立请求，建立并开启至少一个音视频数据输入通道；

[0014] 音视频数据接收模块，用于通过所述音视频数据输入通道，接收所述至少一个视频会议终端经由所述控制器发送的音视频数据；

[0015] 数据解析模块，用于对所述音视频采集数据进行数据解析，得到与所述音视频数据对应的至少一个业务逻辑；

[0016] 处理结果获取模块，用于根据所述业务逻辑调用与业务逻辑对应的媒体处理服务单元对匹配的业务逻辑进行处理，得到音视频数据处理结果；

[0017] 处理结果发送模块，用于通过音视频数据输出通道，将所述音视频数据处理结果经由所述控制器发送至各所述视频会议终端。

[0018] 第三方面，本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明实施例中任一实施例所述的音视频数据处理方法。

[0019] 第四方面，本发明实施例还提供了一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如本发明实施例中任一实施例所述的音视频数据处理方法。

[0020] 本发明实施例根据控制器的会议建立请求，建立并开启至少一个音视频数据输入通道；通过音视频数据输入通道，接收至少一个视频会议终端经由控制器发送的音视频数据；对音视频采集数据进行数据解析，得到与音视频数据对应的至少一个业务逻辑；根据业务逻辑调用与业务逻辑对应的媒体处理服务单元对匹配的业务逻辑进行处理，得到音视频数据处理结果；通过音视频数据输出通道，将音视频数据处理结果经由控制器发送至各视频会议终端。实现了多媒体指挥调度系统与第三方多媒体指挥调度系统之间的音视频数据的互通，不需要断开第三方视频会议系统中的多个视频会议终端与控制器的连接，并且传输音视频数据不会占用大量的带宽资源。附图说明

[0021] 图1是本发明实施例中的一种音视频数据处理方法的流程图；

[0022] 图2是本发明实施例二中的一种音视频数据处理方法的流程图；

[0023] 图3是本发明实施例二中的一种多媒体调度系统的结构示意图；

[0024] 图4是本发明实施例二中的一种多媒体调度系统的中的合成转码媒体服务器的外部结构示意图；

[0025] 图5是本发明实施例二中的一种多媒体调度系统的中的合成转码媒体服务器的内部结构示意图；

[0026] 图6是本发明实施例二中适用的创建会话流程的示意图；

[0027] 图7是本发明实施例二中适用的创建混频器流程的示意图；

[0028] 图8是本发明实施例二中适用的创建混音器流程的示意图；

[0029] 图9是本发明实施例二中适用的音视频数据的输入流程的示意图；

[0030] 图10是本发明实施例二中适用的音视频数据输入断开流程的示意图；

[0031] 图11是本发明实施例二中适用的音视频数据的输出流程的示意图；

[0032] 图12是本发明实施例二中适用的音视频数据输出断开流程的示意图；

[0033] 图13是本发明实施例三中的一种音视频数据处理装置的结构示意图；

[0034] 图14是本发明实施例四中的一种计算机设备的结构示意图。

具体实施方式

[0035] 下面结合附图和实施例对本发明实施例作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明实施例，而非对本发明实施例的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明实施例相关的部分而非全部结构。

[0036] 实施例一

[0037] 图1为本发明实施例一提供的一种音视频数据处理方法的流程图，本实施例可适用于实现多媒体指挥调度系统与第三方多媒体指挥调度系统之间的音视频数据的互通的情况，该方法可以由音视频数据处理装置来执行，该装置可以通过软件和/或硬件的方式实现，该装置可以由独立的硬件设备完成，例如在多媒体指挥系统中增加独立的服务器，也可以集成在多媒体指挥系统中已有的中心管理服务器。该方法应用于多媒体指挥调度系统中，多媒体指挥调度系统与第三方视频会议系统中的控制器相连，控制器与至少一个视频会议终端相连。具体的，参考图1，音视频数据处理方法具体包括如下步骤：

[0038] S110、根据控制器的会议建立请求，建立并开启至少一个音视频数据输入通道。

[0039] 具体的，在创建视频会议之前，需要先建立多媒体指挥调度系统与第三方视频会议系统的控制器的通信连接，通信连接建立成功之后，可以进一步的建立并开启至少一个音视频数据输入通道。需要说明的是，与控制器相连的视频会议终端的数量可以为一个也可以为多个，本发明实施例中对其不作限定。示例性的，视频会议终端可以采集与其对应的会议室或者房间的音视频数据，并将采集到的音频数据通过音视频数据输入通道传输至多媒体指挥调度系统。

[0040] 需要说明的是，本发明实施例中涉及到的音视频数据输入通道的数量可以为一个，也可以为多个，本发明实施例中对其不作限定。

[0041] 可选的，根据控制器的会议建立请求，建立并开启至少一个音视频数据输入通道，还可以包括：根据控制器的会议建立请求，创建会话；根据会议建立请求包括的至少一个视频会议终端的终端信息，在会话中建立并配置至少一个混频器，和/或至少一个混音器；根据会话，建立并开启至少一个音视频数据输入通道。

[0042] 具体的，多媒体指挥调度系统接收到控制器发送的会议建立请求之后，对接收到的会议建立请求进行解析，创建与会议建立请求对应的会话，并将创建的会话的标识号(Identity document，ID)返回至第三方视频会议系统的控制器。

[0043] 进一步的，可以根据会议建立请求中包括的至少一个视频会议终端的终端信息，在会话中建立并配置至少一个混频器，和/或至少一个混音器。示例性的，若会议建立请求中包括视频会议终端A以及视频会议终端B的终端信息，其中，视频会议终端A以及视频会议终端B的终端信息中可以包括：视频会议终端A以及视频会议终端B的网际互联协议(Internet Protocol，IP)或者视频会议终端A以及视频会议终端B的端口信息等。可以通过接收到的会议建立请求中包括的视频会议终端A以及视频会议终端B的终端信息，建立并配置至少一个混频器，和/或至少一个混音器。

[0044] 需要说明的是，通过配置的混频器可以对通过不同视频会议终端采集到的视频数据进行处理；通过配置的混音器可以对通过不同视频会议终端采集到的音频频数据进行处理。

[0045] 可选的，可以根据视频分辨率、码率、帧率以及分屏数创建混频器；和/或，根据参加会话的至少一个视频会议终端的终端信息创建混音器。具体的，可以根据视频会议终端采集到的视频的分辨率、码率、帧率以及分屏数创建多个混频器；也可以根据参加会话的至少一个视频会议终端的终端信息创建混音器。

[0046] 示例性的，若参加会话的视频会议终端包括视频会议终端A以及视频会议终端B，则可以根据视频会议终端A以及视频会议终端B采集到的视频的分辨率、码率、帧率以及分屏数创建多个混频器；可以根据根据视频会议终端A以及视频会议终端B的IP信息或者端口信息创建多个混音器。

[0047] 需要说明的是，不同的混频器或者混音器，其输入的以及输出的音视频信号可以为不同的视频会议终端，例如，在一个会话中，混频器A输入的音视频信号可以为视频会议终端A以及视频会议终端B采集到的视频信号，混频器A处理后的视频信号可以输出至视频会议终端C；混频器B输入的音视频信号可以为视频会议终端A以及视频会议终端B采集到的视频信号，混频器A处理后的视频信号可以输出至视频会议终端A、因此，通过在会话中配置多个不同的混频器以及混音器，可以实现每个视频会议终端看到的视频和听到的声音不同。

[0048] 进一步的，可以根据创建的会话，建立并开启至少一个音视频数据输入通道。需要说明的是，音视频数据输入通道的数量可以为一个也可以为多个；一个音视频数据输入通道可以传输一个视频会议终端采集到的音视频数据，也可以同时传输多个视频会议终端采集到的音视频数据，本发明实施例中对其不作限定。

[0049] S120、通过音视频数据输入通道，接收至少一个视频会议终端经由控制器发送的音视频数据。

[0050] 具体的，建立并开启至少一个音视频数据输入通道之后，可以通过各音视频数据输入通道接收至少一个视频会议终端经由控制器发送的音视频数据。其中，第三方视频会议系统的至少一个视频会议终端可以将其采集到的音视频数据发送至第三方视频会议系统的控制器，控制器再将不同视频会议终端采集到的音视频数据通过不同的输入流音视频数据通道发送至多媒体指挥调度系统。

[0051] 示例性的，多媒体指挥调度系统建立并开启了两个音视频数据输入通道，分别为音视频数据输入通道A和音视频数据输入通道B；第三方视频会议系统的视频会议终端A、视频会议终端B以及视频会议终端C，分别将其采集到的音视频数据发送至第三方视频会议系统的控制器，控制器再将视频会议终端A、视频会议终端B以及视频会议终端C采集到的音视频数据通过不同的音视频数据输入通道发送至多媒体指挥调度系统。例如，控制器可以将视频会议终端A和视频会议终端B采集到的音视频数据通过音视频数据输入通道A发送至多媒体指挥调度系统；控制器也可以将视频会议终端C采集到的音视频数据通过音视频数据输入通道B发送至多媒体指挥调度系统。

[0052] 可选的，通过音视频数据输入通道，接收至少一个视频会议终端经由控制器发送的音视频数据，还可以包括：当音视频数据输入通道断开时，则停止使用音视频数据输入通道，并删除音视频数据输入通道。

[0053] 具体的，当检测到客户端软件对创建的音视频输入通道进行断开操作时，则控制器无法继续通过该通道向多媒体指挥调度系统发送音视频数据；多媒体指挥调度系统会停止对该音视频数据输入通道的使用，并删除该音视频数据输入通道。

[0054] 需要说明的是，由于每个会话中都可以包括多个混频器和混音器，因此，会存在某一音视频数据在多个混频器和混音器中的现象，此时连接ID是被复用的，则只需要停止使用该音视频数据输入通道并删除该音视频数据输入通道即可；如果连接ID没有被复用，则删除该连接ID；其中，连接ID为创建的会话ID。

[0055] S130、对音视频数据进行数据解析，得到与音视频数据对应的至少一个业务逻辑。

[0056] 具体的，多媒体指挥调度系统通过音视频数据输入通道，接收至少一个视频会议终端经由控制器发送的音视频数据之后，多媒体指挥调度系统可以对接受到的音视频数据进行解析，从而得到与音视频数据对应的至少一个业务逻辑。其中，与音视频数据对应的业务逻辑可以为会议控制业务逻辑、混音控制业务逻辑或者混频控制业务逻辑。

[0057] S140、根据业务逻辑调用与业务逻辑对应的媒体处理服务单元对匹配的业务逻辑进行处理，得到音视频数据处理结果。

[0058] 具体的，对接收到的音视频数据进行解析，得到与音频数据对应的至少一个业务逻辑之后，可以根据业务逻辑调用与业务逻辑对应的媒体处理服务单元对匹配的业务逻辑进行处理，得到音视频数据处理结果。其中，各媒体处理服务单元为控制器内的媒体处理服务单元。示例性的，可以通过远程过程调用(Romote Procedure Call，RPC)调用控制器接口，根据不同的业务逻辑调用不同的媒体处理服务单元，对不用的业务逻辑进行处理。

[0059] 这样设置的好处在于，通过控制器内不同的媒体处理服务单元对不同的业务逻辑进行处理，可以实现合理地分配控制器的负载，不会出现某一媒体处理服务单元负载过量的问题。

[0060] 示例性的，若对接收到的音视频数据进行解析，得到的业务逻辑为会议控制业务逻辑，则调用与会议控制业务逻辑对应的媒体处理服务单元对会议控制业务逻辑进行处理；若对接收到的音视频数据进行解析，得到的业务逻辑为混音控制业务逻辑，则调用与混音控制业务逻辑对应的媒体处理服务单元对混音控制业务逻辑进行处理；若对接收到的音视频数据进行解析，得到的业务逻辑为混屏控制业务逻辑，则调用与混屏控制业务逻辑对应的媒体处理服务单元对混屏控制业务逻辑进行处理。

[0061] S150、通过音视频数据输出通道，将音视频数据处理结果发送至各视频会议终端。

[0062] 具体的，通过调用控制器不同的媒体处理服务单元对不同的业务逻辑进行处理，得到音视频数据处理结果之后，可以通过音视频数据输出通道，将音视频数据处理结果发送至第三视频会议系统的各视频会议终端。

[0063] 可选的，通过音视频数据输出通道，将音视频数据处理结果发送至各视频会议终端，还可以包括：当检测到音视频数据输出通道断开时，则停止使用音视频数据输出通道，并删除音视频数据输出通道。

[0064] 具体的，当检测到客户端软件对创建的音视频输出通道进行断开操作时，则控制器无法继续通过该通道向各视频会议终端发送音视频数据处理结果；控制器会停止对该音视频数据输出通道的使用，并删除该音视频数据输出通道。需要说明的是，由于控制器将处理后的音视频数据发送至不同的视频会议终端，因此不存在连接被复用的情况，因此最后需要删除连接ID，即删除会话。

[0065] 本实施例的方案，可以应用于多媒体指挥调度系统中，多媒体指挥调度系统与第三方视频会议系统中的控制器相连，控制器与至少一个视频会议终端相连。具体的，根据控制器的会议建立请求，建立并开启至少一个音视频数据输入通道；通过音视频数据输入通道，接收至少一个视频会议终端经由控制器发送的音视频数据；对音视频采集数据进行数据解析，得到与音视频数据对应的至少一个业务逻辑；根据业务逻辑调用与业务逻辑对应的媒体处理服务单元对匹配的业务逻辑进行处理，得到音视频数据处理结果；通过音视频数据输出通道，将音视频数据处理结果发送至各视频会议终端。实现了多媒体指挥调度系统与第三方视频会议系统之间的音视频数据的互通，不需要断开多个视频会议终端与控制器的连接，并且也不会占用大量的带宽资源。

[0066] 实施例二

[0067] 图2是本发明实施例二提供的一种音视频数据处理方法的流程图，本实施例在上述实施例的基础上对本发明实施例进行细化，具体的，在通过音视频数据输入通道，接收至少一个视频会议终端经由控制器发送的音视频数据之前，还可以包括：检测音视频数据输入通道是否创建成功，若创建成功，则开启音视频数据输入通道；在通过音视频通道，将音视频数据处理结果发送至各视频会议终端之前，还可以包括：获取控制器IP以及发送音视频数据处理结果的端口。具体的，参考图2，该方法具体包括如下步骤：

[0068] S210、根据控制器的会议建立请求，建立并开启至少一个音视频数据输入通道。

[0069] S220、检测音视频数据输入通道是否创建成功，若创建成功，则开启音视频数据输入通道。

[0070] 具体的，在通过音视频数据输入通道，接收至少一个视频会议终端经由控制器发送的音视频数据之前，还可以包括：检测音视频数据输入通道是否创建成功，若创建成功，则开启音视频数据输入通道。

[0071] 具体的，多媒体指挥调度系统在通过音视频数据输入通道，接收至少一个视频会议终端经由控制器发送的音视频数据之前，还可以检测音视频数据输入通道是否创建成功，若创建成功，则开启音视频数据输入通道。

[0072] 可选的，在检测音视频数据输入通道是否创建成功，若创建成功，则开启音视频数据输入通道之前，还可以包括：获取控制器的IP以及控制器发送音视频数据的端口。

[0073] 在本发明实施例的一个具体例子中，可以通过多媒体指挥调度系统向控制器发送创建连接指令create connect，并接收控制器返回的结果；若控制器返回的结果为与音视频数据输入通道对应的ID，则该音视频数据输入通道创建成功，即控制器可以通过该音视频数据输入通道转发至少一个视频会议终端采集到的音视频数据；若控制器返回的结果为错误代码，则该音视频数据输入通道未创建成功，即控制器无法通过该音视频数据输入通道转发至少一个视频会议终端采集到的音视频数据。

[0074] S230、通过音视频数据输入通道，接收至少一个视频会议终端经由控制器发送的音视频数据。

[0075] S240、对音视频数据进行数据解析，得到与音视频数据对应的至少一个业务逻辑。

[0076] S250、根据业务逻辑调用与业务逻辑对应的媒体处理服务单元对匹配的业务逻辑进行处理，得到音视频数据处理结果。

[0077] S260、获取控制器IP以及发送音视频数据处理结果的端口。

[0078] 具体的，在通过音视频数据输出通道，将音视频数据处理结果发送至各视频会议终端之前，还可以包括：获取控制器IP以及发送音视频数据处理结果的端口。

[0079] 进一步的，在获取控制器IP以及转发音视频数据处理结果的端口之后，还可以包括：根据控制器IP以及发送音视频数据处理结果的端口创建音视频数据输出通道，并检测视频输出通道是否创建成功，若创建成功，则开启音视频数据输出通道。

[0080] 在本发明实施例的一个具体例子中，可以通过多媒体指挥调度系统向控制器发送创建连接指令create connect，并接收控制器返回的结果；若控制器返回的结果为与音视频数据输出通道对应的ID，则该音视频数据输出通道创建成功，即控制器可以通过该音视频数据输出通道将音视频数据处理结果发送至至少一个视频会议终端；若控制器返回的结果为错误代码，则该音视频数据输出通道未创建成功，即控制器无法通过该音视频数据输出通道将音视频数据处理结果发送至至少一个视频会议终端。

[0081] S270、通过音视频数据输出通道，将音视频数据处理结果发送至各视频会议终端。

[0082] 本实施例在上述实施例的基础上，对本发明实施例进行细化，在通过音视频数据输入通道，接收至少一个视频会议终端经由控制器发送的音视频数据之前，还可以获取控制器的网际互联协议IP以及控制器发送音视频数据的端口；在通过音视频通道，将音视频数据处理结果发送至各视频会议终端之前，还可以获取控制器IP以及发送音视频数据处理结果的端口。实现了多媒体指挥调度系统与第三方视频会议系统之间的音视频数据的互通，不需要断开多个视频会议终端与控制器的连接，并且也不会占用大量的带宽资源。

[0083] 应用场景

[0084] 为了更好地理解本发明实施例，本应用场景继续对本发明实施例进行描述。具体的，图3是本发明实施例中的一种多媒体指挥调度系统的结构示意图，从图3中可以看出，多媒体指挥调度系统310包括：中心管理服务器311、合成转码媒体服务器312以及多个指挥调度终端313；第三方视频会议系统320包括：控制器321以及多个视频会议终端322。

[0085] 其中，多媒体指挥调度系统310通过合成转码媒体服务器312建立与第三方视频会议系统320中的控制器321的通信连接，示例性的，合成转码媒体服务器312可以通过会话初始协议(Session Initiation Protocol，SIP)或者应用程序接口(Application Programming Interface，API)建立与第三方视频会议系统320中的控制器321的通信连接。

[0086] 需要说明的是，多媒体指挥调度系统310中的合成转码媒体服务器312可以作为一个独立的进程，如图4所示，其可以由系统运维通过rest接口进行激活，与中心管理服务器311以及控制器321通过sip message接口连接；合成转码媒体服务器312也可以对多个视频会议终端322采集的并经由控制器321转发至多媒体指挥调度系统310的音视频数据进行合成以及转码，并将转换后的音视频数据输出至控制器321。

[0087] 具体的，合成转码媒体服务器312的内部结构如图5所示，需要说明的是，合成转码媒体服务器312主要包括信令处理单元510、负载均衡单元520以及媒体处理服务单元530；其中，媒体处理服务单元530的数量可以为一个或多个，图5中以三个媒体处理服务单元为例进行描述，其并不是对发明实施例的限制；媒体处理服务单元530可以包括流媒体管理、混频器、混音器以及媒体引擎等。

[0088] 其中，信令处理单元510，用于对通过sip message接口接收到的中心管理服务器311或者控制器321发送的音视频数据或者指令进行解析，解析得到与音视频数据或者指令对应的业务逻辑，并通过解析得到的业务逻辑调用负载均衡单元520的相应接口。其中，解析得到的业务逻辑可以为会议控制业务逻辑、混音控制业务逻辑或者混频控制业务逻辑。
示例性的，若解析到的业务逻辑为会议控制业务逻辑，则可以调用负载均衡单元520的会议控制业务接口；若解析到的业务逻辑为混音控制业务逻辑，则可以调用负载均衡单元520的混音控制业务接口；若解析到的业务逻辑为混频控制业务逻辑，则可以调用负载均衡单元
520的混频控制业务接口。

[0089] 负载均衡单元520可以通过RPC调用控制器321的接口，根据控制器321的主机负载，合理分配业务逻辑到负载最低的控制器321的主机进行处理，即选择不同的媒体处理单元对解析得到的业务逻辑进行处理。

[0090] 流媒体管理可以实现对流媒体对象即解析得到的不同业务逻辑、混频器、混音器以及媒体引擎进行统一管理。其中，混频器可以根据混频模式混合输入视频流；混音器可以根据混音策略混合输入音频流；媒体引擎可以实现对音视频数据的编码以及解码。

[0091] 在本发明实施例的一个具体例子中，合成转码媒体服务器312的对外交互流程可以包括：创建会话、创建混频器、创建混音器、音视频数据的流入、音视频数据的流出、输入的断开以及输出的断开等七个流程。下面将对这些流程进行具体的介绍：

[0092] 图6是本发明实施例二中适用的创建会话流程的示意图。具体的，创建会议时需要创建一个相应的会话，第三方视频会议系统的控制器321向合成转码媒体服务器312发送“creatsession”指令，信令处理单元对向合成转码媒体服务器312接收到的指令进行解析，并通过媒体处理服务单元进行内部接口调用，最后将会话ID返回至控制器321；控制器321接收到会话ID后，即完成了一个会话的创建。

[0093] 进一步的，创建会话完成后，可以根据会议的成员看到的画面创建混频器，并对混频器进行相应的设置。图7是本发明实施例二中适用的创建混频器流程的示意图。具体的，信令解析单元对接收到的控制器321发送的“creatvideomix”指令，并对该指令进行解析，通过媒体处理服务单元进行内部接口调用，最后将混频器ID返回至控制器321；控制器321接收到混频器ID后，即完成了一个混频器的创建。

[0094] 图8是本发明实施例二中适用的创建混音器流程的示意图。具体的，信令解析单元对接收到的控制器321发送的“creataudiomix”指令，并对该指令进行解析，通过媒体处理服务单元进行内部接口调用，最后将混音器ID返回至控制器321；控制器321接收到混音器ID后，即完成了一个混音器的创建。

[0095] 需要说明的是，通过创建不同的混频器以及混音器可以实现不同的会议成员看到的画面以及听到的声音都不相同。示例性的，也可以根据会议成员看到的画面以及听到的声音创建多个不同的混频器以及混音器，本发明实施例在此不再对其进行赘述。

[0096] 具体的，按照上述方法创建多个不同的混频器以及混音器之后，可以根据音视频数据的输入情况，拉取输入流，创建并打开音视频数据输入通道。具体的，图9是本发明实施例二中适用的音视频数据的输入流程的示意图。具体的，信令解析单元对接收到的控制器321发送的“getaddress”指令，并对该指令进行解析，通过媒体处理服务单元进行内部接口调用，最后将输入流的目的地IP以及音视频的端口返回至控制器321；进一步的信令解析单元对接收到的控制器321发送的“creatconnect”指令，并对该指令进行解析，通过媒体处理服务单元进行内部接口调用，最后将音视频数据输入通道ID返回至控制器321；信令协商完成之后，需要添加视频输入和音频输入，根据返回的错误码(code)判断是否成功添加视频输入和音频输入，若成功则创建视频通道和音频通道，创建并开启音视频数据通道。

[0097] 具体的，当某一音视频数据输入通道断开后，需要顺序停止调用音视频数据输入通道、并删除音视频数据输入通道，由于一个会话中会有多个混频器和混音器，因此会存在一路输入流在多个混频器和混音器中，此时的连接ID是被复用的，如果连接ID没有复用则需要删除连接；如果连接ID被复用，则只需要调用停止音视频输入通道、删除音视频输入数据即可。具体的，图10是本发明实施例二中适用的音视频数据输入断开流程的示意图，当客户端软件向第三视频会议系统的控制器发送输入流断开操作指令时，控制器依次向合成转码媒体服务器发送停止使用音视频输入通道、删除音视频数据输入通道以及删除连接指令，最后实现音视频数据输入断开操作。

[0098] 具体的，当有输出点播合成流时，需要获取合成音视频数据输出的IP和音视频端口，并且需要创建连接，添加输出，创建并打开音视频输出通道。具体的，图11是本发明实施例二中适用的音视频数据的输出流程的示意图。具体的，在控制器回复客户端软件点播的会话前，需要获取合成音视频数据发出的IP和音视频端口；信令协商完成之后，创建连接，返回的连接ID代表这一路连接的唯一标识；连接创建成功之后添加输出流，根据返回的代码判断是否成功添加输出，若成功则创建音视频数据输出通道，音视频数据输出通道创建成功后再开启该通道；设置完成后，合成的音视频数据通过上述获取的IP和音视频端口输出。

[0099] 进一步的，当输出断开时，需要停止音视频数据输出通道、删除音视频数据输入，由于每个输出的目的视频会议终端不一样，因此不存在连接复用的情况，因此当接收到客户端软件发送的断开输出操作指令时，需要断开音视频输出通道，并删除连接。

[0100] 示例性的：如果需要删除整个会议，则在断开输入、输出操作完成之后需要删除与该会议对应的会话。当拉取输入流或者输出流的过程中返回的代码是失败的，则整个会话失效，此时需要重新开启会议。

[0101] 图12是本发明实施例二中适用的音视频数据输出断开流程的示意图，当客户端软件向第三视频会议系统的控制器发送输出流断开操作指令时，控制器依次向合成转码媒体服务器发送停止使用音视频输出通道、删除音视频数据输出通道以及删除连接指令，最后实现音视频数据输出断开操作。

[0102] 上述例子中，多媒体指挥调度系统中的合成转码媒体服务器根据控制器的会议建立请求，建立并开启至少一个音视频数据输入通道；通过音视频数据输入通道，接收至少一个视频会议终端经由控制器发送的音视频数据；对音视频采集数据进行数据解析，得到与音视频数据对应的至少一个业务逻辑；根据业务逻辑调用与业务逻辑对应的媒体处理服务单元对匹配的业务逻辑进行处理，得到音视频数据处理结果；将音视频数据处理结果发送至各视频会议终端。实现了多媒体指挥调度系统与第三方视频会议系统之间的音视频数据的互通，不需要断开多个视频会议终端与控制器的连接，并且也不会占用大量的带宽资源。

[0103] 实施例三

[0104] 图13是本发明实施例三中的一种音视频数据处理装置的结构示意图，该装置应用于多媒体指挥调度系统中，该装置可以执行本发明实施例中任意实施例中涉及到的音视频数据处理方法，其可以通过软件和/或硬件的方式实现，具体的，参考图13，该装置主要包括：音视频数据输入通道建立模块131、音视频数据接收模块132、数据解析模块133、处理结果获取模块134以及处理结果发送模块135。

[0105] 其中，音视频数据输入通道建立模块131，用于根据控制器的会议建立请求，建立并开启至少一个音视频数据输入通道；

[0106] 音视频数据接收模块132，用于通过音视频数据输入通道，接收至少一个视频会议终端经由控制器发送的音视频数据；

[0107] 数据解析模块133，用于对音视频采集数据进行数据解析，得到与音视频数据对应的至少一个业务逻辑；

[0108] 处理结果获取模块134，用于根据业务逻辑调用与业务逻辑对应的媒体处理服务单元对匹配的业务逻辑进行处理，得到音视频数据处理结果；

[0109] 处理结果发送模块135，用于通过音视频数据输出通道，将音视频数据处理结果经由控制器发送至各视频会议终端。

[0110] 本实施例的方案通过音视频数据输入通道建立模块根据控制器的会议建立请求，建立并开启至少一个音视频数据输入通道；音视频数据接收模块通过音视频数据输入通道，接收至少一个视频会议终端经由控制器发送的音视频数据；通过数据解析模块对音视频采集数据进行数据解析，得到与音视频数据对应的至少一个业务逻辑；通过处理结果获取模块根据业务逻辑调用与业务逻辑对应的媒体处理服务单元对匹配的业务逻辑进行处理，得到音视频数据处理结果；处理结果发送模块通过音视频数据输出通道，将音视频数据处理结果经由控制器发送至各视频会议终端。实现了多媒体指挥调度系统与第三方视频会议系统之间的音视频数据的互通，不需要断开多个视频会议终端与控制器的连接，并且也不会占用大量的带宽资源。

[0111] 可选的，音视频数据输入通道建立模块131还包括：会话创建单元，用于根据控制器的会议建立请求，创建会话；根据会议建立请求包括的至少一个视频会议终端的终端信息，在会话中建立并配置至少一个混频器，和/或至少一个混音器；根据会话，建立并开启至少一个音视频数据输入通道。

[0112] 可选的，会话创建单元，还具体用于根据视频分辨率、码率、帧率以及分屏数创建混频器；和/或，根据参加会话的至少一个视频会议终端的终端信息创建混音器。

[0113] 可选的，音视频数据处理装置还包括：音视频数据输入通道开启模块，用于检测音视频数据输入通道是否创建成功，若创建成功，则开启音视频数据输入通道。

[0114] 可选的，音视频数据处理装置还包括：端口获取模块，用于获取控制器IP以及发送音视频数据处理结果的端口。

[0115] 可选的，端口获取模块还包括：音视频数据输出通道开启单元，用于根据控制器IP以及发送音视频数据处理结果的端口创建音视频数据输出通道，并检测视频输出通道是否创建成功，若创建成功，则开启音视频数据输出通道。

[0116] 可选的，音视频数据接收模块132，还具体用于当音视频数据输入通道断开时，则停止使用音视频数据输入通道，并删除音视频数据输入通道。

[0117] 可选的，处理结果发送模块135，还具体用于当检测到音视频数据输出通道断开时，则停止使用音视频数据输出通道，并删除音视频数据输出通道。

[0118] 本发明实施例所提供的音视频数据处理装置可执行本发明任意实施例所提供的音视频数据处理方法，具备执行方法相应的功能模块和有益效果。

[0119] 实施例四

[0120] 图14为本发明实施例四提供的一种计算机设备的结构示意图，如图14所示，该计算机设备包括处理器140、存储器141、输入装置142和输出装置143；计算机设备中处理器140的数量可以是一个或多个，图14中以一个处理器140为例；计算机设备中的处理器140、存储器141、输入装置142和输出装置143可以通过总线或其他方式连接，图14中以通过总线连接为例。

[0121] 存储器141作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的音视频数据处理方法对应的程序指令/模块(例如，音视频数据处理装置中的音视频数据输入通道建立模块131、音视频数据接收模块132、数据解析模块133、处理结果获取模块134以及处理结果发送模块135)。处理器140通过运行存储在存储器141中的软件程序、指令以及模块，从而执行计算机设备的各种功能应用以及数据处理，即实现上述的音视频数据处理方法。

[0122] 存储器141可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器141可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器141可进一步包括相对于处理器140远程设置的存储器，这些远程存储器可以通过网络连接至计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

[0123] 输入装置142可用于接收输入的数字或字符信息，以及产生与计算机设备的用户设置以及功能控制有关的键信号输入。输出装置143可包括显示屏等显示设备。

[0124] 实施例五

[0125] 本发明实施例五还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种音视频数据处理方法，该方法包括：

[0126] 根据控制器的会议建立请求，建立并开启至少一个音视频数据输入通道；

[0127] 通过音视频数据输入通道，接收至少一个视频会议终端经由控制器发送的音视频数据；

[0128] 对音视频数据进行数据解析，得到与音视频数据对应的至少一个业务逻辑；

[0129] 根据业务逻辑调用与业务逻辑对应的媒体处理服务单元对匹配的业务逻辑进行处理，得到音视频数据处理结果；

[0130] 通过音视频数据输出通道，将音视频数据处理结果发送至各视频会议终端。

[0131] 当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的音视频数据处理方法中的相关操作。

[0132] 通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

[0133] 值得注意的是，上述音视频数据处理装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

[0134] 注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

标题	发布/更新时间	阅读量
一种频率同步被动锁模光纤激光器及实现频率同步的方法	2020-05-08	301
一种3～18GHz微波接收前端	2020-05-08	846
增强多声道音频信号内语音分量的信号处理装置	2020-05-11	823
具有干扰信号抑制的FMCW雷达	2020-05-08	54
一种能识别镜频信号的外差扫描式频谱分析系统	2020-05-08	86
一种杆塔形变遥测方法	2020-05-11	144
一种射频移相器	2020-05-11	341
用于接收前端的变频组件	2020-05-08	816
一种应用于毫米波信号的下变频模块	2020-05-08	832
U/V波段接收通道组件	2020-05-11	226

音视频数据处理方法、装置、计算机设备及存储介质

音视频数据处理方法、装置、计算机设备及存储介质

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：