一种钢琴视频教学中的同步方法及系统专利检索-视频编码层视听技术与设备专利检索查询-专利查询网

一种 钢琴视频教学中的同步方法及系统

阅读：55发布：2020-06-03

专利汇可以提供一种钢琴视频教学中的同步方法及系统专利检索，专利查询，专利分析的服务。并且本发明公开了教育教学技术领域的一种钢琴视频教学中的同步方法及系统，包括音频采样模块、视频采样模块、音频编码打包模块、视频编码打包模块、数据发送模块、音频拆包解码模块、视频拆包解码模块以及同步播放模块，本发明不仅有效的实现了音频和视频的同步输出，而且不需要缓冲大量的视频编码数据和音频图像数据，很大程度上降低了对系统资源的使用，适合于嵌入式的系统平台，其运行效率高、功能实现的复杂程度较低。，下面是一种钢琴视频教学中的同步方法及系统专利的具体信息内容。

权利要求

1.一种钢琴视频教学中的同步方法，其特征在于：该同步方法的具体步骤如下：
S1：发送端分别独立的对钢琴教学中音频和视频信息进行采样、组帧和打包，然后放到各自的缓冲队列中等待发送；
S2：创建解复用线程、音频解码线程、视频解码线程、音频同步输出线程以及视频同步输出线程；
S3：启动解复用线程完成对系统层的传输流或节目流的解复用处理，将传输流或节目流拆分成音频基本流、视频基本流以及时间信息，然后将音频基本流插入音频基本流队列尾部，将视频基本流插入视频基本流队列尾部，并激活解码线程；
S4：启动音频解码线程和视频解码线程分别解码音频基本流队列和视频基本流队列中的比特流，并将时间信息和解码后的音频数据和视频数据分别插入音频输出队列尾部和视频输出队列尾部，激活音频输出线程和视频输出线程；
S5：数据发送模块读取音频基本流和视频基本流中的数据包队列，并经过同一个通道发送至网络中；
S6：接收端接收数据，根据RTP包头中的PT字段区分音频和视频，并放到各自的接收缓冲队列中进行请求丢包重传、乱序重排等网络异常处理；
S7：音频和视频从各自的解码后的音频视频基本流队列中按顺序取数据解码，并通过组帧过程中根据时间戳PTS值校准后同步播放。
2.根据权利要求1所述的一种钢琴视频教学中的同步方法，其特征在于：所述步骤S3中，若音频基本流队列或视频基本流队列溢出则用解复用线程挂起等待。
3.根据权利要求1所述的一种钢琴视频教学中的同步方法，其特征在于：所述步骤S4中，音频解码的具体过程为：对音频基本流队列头的音频基本流进行解码；将解码后的一帧音频数据插入音频输出队列尾部，并激活音频输出条件变量；将音频基本流队列中的时间戳PTS值保存在音频输出队列对应节点中。
4.根据权利要求1所述的一种钢琴视频教学中的同步方法，其特征在于：所述步骤S4中，视频解码的具体过程为：对视频基本流队列头的视频基本流进行解码；将解码后的一帧图像数据插入视频输出队列尾部，并激活视频输出条件变量；将视频基本流队列中的时间戳PTS值保存在音频输出队列对应节点中。
5.根据权利要求1所述的一种钢琴视频教学中的同步方法，其特征在于：所述步骤S5中，在数据发送模块读取音频和视频数据过程中，从音频基本流队列中读取一个数据包，从视频基本流队列中读取数据包，每取一个数据包，都判断RTP包头的Mark字段是否为1，如果为1，说明当前视频帧已经读取完毕，若Mark字段为0，说明当前视频帧未读取完，则继续读取，直至Mark字段为1。
6.根据权利要求5所述的一种钢琴视频教学中的同步方法，其特征在于：每个所述RTP包头中所承载的有效载荷类型PT是唯一的，若将视频和音频通过同一个通道传输，并且保证同一时刻采集到的音频和视频帧顺次交错发送，则既能保证音频和视频传输中的同步，又遵守了RTP协议，其中音频数据量较小，一个RTP包即能承载一帧，一个视频帧则需要多个RTP包承载，帧结束的标志采用RTP包头中的Mark字段，该字段为1，则说明当前包是一个帧的结束包。
7.一种钢琴视频教学中的同步系统，其特征在于：包括音频采样模块、视频采样模块、音频编码打包模块、视频编码打包模块、数据发送模块、音频拆包解码模块、视频拆包解码模块以及同步播放模块；
所述音频采样模块和视频采样模块用于对钢琴教学中音频和视频信息进行采样，并通过所述频编码打包模块、视频编码打包模块对音频和视频的采样数据进行组帧和数据打包，所述数据发送模块读取音频基本流和视频基本流中的数据包队列，并经过同一个通道发送至网络中，所述音频拆包解码模块和视频拆包解码模块用于对音频数据和视频数据进行解码，并建立音频和视频数据的基本流队列，所述同步播放模块用于播放钢琴教学中的音频和视频图像。

说明书全文

一种钢琴视频教学中的同步方法及系统

技术领域

[0001] 本发明公开了一种钢琴视频教学中的同步方法及系统，具体为教育教学技术领域。

背景技术

[0002] 钢琴是目前的娱乐手段之一，随着社会的发展，儿童中，上钢琴课程的比例是越来越高，以及随着互联网的普及推广，远程教学在信息发达的今天已经成为一种常见的教学方式。网络教学课堂注重的是能够实现教学现场的视音频信号的同步录制，并能够在网上进行实时直播，满足钢琴课程的需要。但是现有的网络钢琴教学存在着客户端接收到的视音频信号不同步，学生无法清楚的学习钢琴教学的内容，从而影响视频教学质量的问题。为此，我们提出了一种钢琴视频教学中的同步方法及系统投入使用，以解决上述问题。

发明内容

[0003] 本发明的目的在于提供一种钢琴视频教学中的同步方法及系统，以解决上述背景技术中提出的问题。

[0004] 为实现上述目的，本发明提供如下技术方案：一种钢琴视频教学中的同步方法，该同步方法的具体步骤如下：

[0005] S1：发送端分别独立的对钢琴教学中音频和视频信息进行采样、组帧和打包，然后放到各自的缓冲队列中等待发送；

[0006] S2：创建解复用线程、音频解码线程、视频解码线程、音频同步输出线程以及视频同步输出线程；

[0007] S3：启动解复用线程完成对系统层的传输流或节目流的解复用处理，将传输流或节目流拆分成音频基本流、视频基本流以及时间信息，然后将音频基本流插入音频基本流队列尾部，将视频基本流插入视频基本流队列尾部，并激活解码线程；

[0008] S4：启动音频解码线程和视频解码线程分别解码音频基本流队列和视频基本流队列中的比特流，并将时间信息和解码后的音频数据和视频数据分别插入音频输出队列尾部和视频输出队列尾部，激活音频输出线程和视频输出线程；

[0009] S5：数据发送模块读取音频基本流和视频基本流中的数据包队列，并经过同一个通道发送至网络中；

[0010] S6：接收端接收数据，根据RTP包头中的PT字段区分音频和视频，并放到各自的接收缓冲队列中进行请求丢包重传、乱序重排等网络异常处理；

[0011] S7：音频和视频从各自的解码后的音频视频基本流队列中按顺序取数据解码，并通过组帧过程中根据时间戳PTS值校准后同步播放。

[0012] 优选的，所述步骤S3中，若音频基本流队列或视频基本流队列溢出则用解复用线程挂起等待。

[0013] 优选的，所述步骤S4中，音频解码的具体过程为：对音频基本流队列头的音频基本流进行解码；将解码后的一帧音频数据插入音频输出队列尾部，并激活音频输出条件变量；将音频基本流队列中的时间戳PTS值保存在音频输出队列对应节点中。

[0014] 优选的，所述步骤S4中，视频解码的具体过程为：对视频基本流队列头的视频基本流进行解码；将解码后的一帧图像数据插入视频输出队列尾部，并激活视频输出条件变量；将视频基本流队列中的时间戳PTS值保存在音频输出队列对应节点中。

[0015] 优选的，所述步骤S5中，在数据发送模块读取音频和视频数据过程中，从音频基本流队列中读取一个数据包，从视频基本流队列中读取数据包，每取一个数据包，都判断RTP包头的Mark字段是否为1，如果为1，说明当前视频帧已经读取完毕，若Mark字段为0，说明当前视频帧未读取完，则继续读取，直至Mark字段为1。

[0016] 优选的，每个所述RTP包头中所承载的有效载荷类型PT是唯一的，若将视频和音频通过同一个通道传输，并且保证同一时刻采集到的音频和视频帧顺次交错发送，则既能保证音频和视频传输中的同步，又遵守了RTP协议，其中音频数据量较小，一个RTP包即能承载一帧，一个视频帧则需要多个RTP包承载，帧结束的标志采用RTP包头中的Mark字段，该字段为1，则说明当前包是一个帧的结束包。

[0017] 优选的，一种钢琴视频教学中的同步系统，包括音频采样模块、视频采样模块、音频编码打包模块、视频编码打包模块、数据发送模块、音频拆包解码模块、视频拆包解码模块以及同步播放模块；

[0018] 所述音频采样模块和视频采样模块用于对钢琴教学中音频和视频信息进行采样，并通过所述频编码打包模块、视频编码打包模块对音频和视频的采样数据进行组帧和数据打包，所述数据发送模块读取音频基本流和视频基本流中的数据包队列，并经过同一个通道发送至网络中，所述音频拆包解码模块和视频拆包解码模块用于对音频数据和视频数据进行解码，并建立音频和视频数据的基本流队列，所述同步播放模块用于播放钢琴教学中的音频和视频图像。

[0019] 与现有技术相比，本发明的有益效果是：本发明不仅有效的实现了音频和视频的同步输出，而且不需要缓冲大量的视频编码数据和音频图像数据，很大程度上降低了对系统资源的使用，适合于嵌入式的系统平台，其运行效率高、功能实现的复杂程度较低。附图说明

[0020] 图1为本发明系统原理框图。

具体实施方式

[0021] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

[0022] 请参阅图1，本发明提供一种技术方案：一种钢琴视频教学中的同步方法，该同步方法的具体步骤如下：

[0023] S1：发送端分别独立的对钢琴教学中音频和视频信息进行采样、组帧和打包，然后放到各自的缓冲队列中等待发送；

[0024] S2：创建解复用线程、音频解码线程、视频解码线程、音频同步输出线程以及视频同步输出线程；

[0025] S3：启动解复用线程完成对系统层的传输流或节目流的解复用处理，将传输流或节目流拆分成音频基本流、视频基本流以及时间信息，然后将音频基本流插入音频基本流队列尾部，将视频基本流插入视频基本流队列尾部，并激活解码线程，若音频基本流队列或视频基本流队列溢出则用解复用线程挂起等待；

[0026] S4：启动音频解码线程和视频解码线程分别解码音频基本流队列和视频基本流队列中的比特流，并将时间信息和解码后的音频数据和视频数据分别插入音频输出队列尾部和视频输出队列尾部，激活音频输出线程和视频输出线程，音频解码的具体过程为：对音频基本流队列头的音频基本流进行解码；将解码后的一帧音频数据插入音频输出队列尾部，并激活音频输出条件变量；将音频基本流队列中的时间戳PTS值保存在音频输出队列对应节点中，视频解码的具体过程为：对视频基本流队列头的视频基本流进行解码；将解码后的一帧图像数据插入视频输出队列尾部，并激活视频输出条件变量；将视频基本流队列中的时间戳PTS值保存在音频输出队列对应节点中；

[0027] S5：数据发送模块读取音频基本流和视频基本流中的数据包队列，并经过同一个通道发送至网络中，在数据发送模块读取音频和视频数据过程中，从音频基本流队列中读取一个数据包，从视频基本流队列中读取数据包，每取一个数据包，都判断RTP包头的Mark字段是否为1，如果为1，说明当前视频帧已经读取完毕，若Mark字段为0，说明当前视频帧未读取完，则继续读取，直至Mark字段为1，每个所述RTP包头中所承载的有效载荷类型PT是唯一的，若将视频和音频通过同一个通道传输，并且保证同一时刻采集到的音频和视频帧顺次交错发送，则既能保证音频和视频传输中的同步，又遵守了RTP协议，其中音频数据量较小，一个RTP包即能承载一帧，一个视频帧则需要多个RTP包承载，帧结束的标志采用RTP包头中的Mark字段，该字段为1，则说明当前包是一个帧的结束包；

[0028] S6：接收端接收数据，根据RTP包头中的PT字段区分音频和视频，并放到各自的接收缓冲队列中进行请求丢包重传、乱序重排等网络异常处理；

[0029] S7：音频和视频从各自的解码后的音频视频基本流队列中按顺序取数据解码，并通过组帧过程中根据时间戳PTS值校准后同步播放。

[0030] 本发明还提供了一种钢琴视频教学中的同步系统，包括音频采样模块、视频采样模块、音频编码打包模块、视频编码打包模块、数据发送模块、音频拆包解码模块、视频拆包解码模块以及同步播放模块；

[0031] 所述音频采样模块和视频采样模块用于对钢琴教学中音频和视频信息进行采样，并通过所述频编码打包模块、视频编码打包模块对音频和视频的采样数据进行组帧和数据打包，所述数据发送模块读取音频基本流和视频基本流中的数据包队列，并经过同一个通道发送至网络中，所述音频拆包解码模块和视频拆包解码模块用于对音频数据和视频数据进行解码，并建立音频和视频数据的基本流队列，所述同步播放模块用于播放钢琴教学中的音频和视频图像。

[0032] 尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

标题	发布/更新时间	阅读量
帧内预测编码方法及其装置	2020-05-11	765
向后兼容的HDR视频多层压缩技术	2020-05-12	152
一种基于压缩感知的质量可分级快速编码方法	2020-05-12	779
用于混合的交错和递进内容的可伸缩视频编码的方法	2020-05-11	643
用于视频编码的自适应环内滤波	2020-05-12	197
压缩/解压缩的装置和系统、芯片、电子装置、方法	2020-05-08	169
仿射模型的多个假设	2020-05-08	85
针对多层视频编码的层间参考图片增强的设备	2020-05-11	799
时序动作提名的生成方法、装置、设备及存储介质	2020-05-11	284
解码器、解码方法、编码器和编码方法	2020-05-08	403

一种钢琴视频教学中的同步方法及系统

一种钢琴视频教学中的同步方法及系统

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：