技术领域
[0001] 本
发明涉及音视频流的处理技术，特别是涉及一种音视频流的无缝切换方法。
背景技术
[0002] 随着技术的发展，出现了很多音视频平台，这些平台可以提供各种各样的音视频来丰富人们的娱乐生活，同时人们也对媒体的视觉体验要求越来越高，日常生活中的各种媒体播设备或App
软件，都会在画面
质量、UI设计、流畅性、节目切换速度等投入相应的研发
力量去进行改善。
[0003] 以目前市场现有的处理实时MPEG2的TS流的播放器为例，现在技术中当节目切换时，会存在一个重新输入TS流的操作，重新进行TS流解复用，重新选择
解码器，然后音频、视频解码，最后将解码后的音频
帧及
视频帧数据输出显示。那么这个过程就会浪费一个等待时间，这个等待时间就是用户体验到的换台等待时间，从而让用户感觉到切换音视频节目时的不流畅。
发明内容
[0004] 本发明为了解决上述
现有技术中音视频界面切换有较长延时的技术问题，提出一种多节目音视频流的无缝切换播放方法、媒体播放器。
[0005] 本发明提出的多节目音视频流的无缝切换播放方法，包括步骤：对多节目音视频流进行解复用；
将多节目音视频流中被用户选中的节目通过前台任务进行播放处理并播放的同时，将视频流中未被用户选中的各节目分别通过对应的
后台任务进行所述播放预处理；
当用户切换节目时，将当前的前台任务切换为后台任务，并将用户当前选中的节目对应的正在进行所述播放预处理的后台任务切换为前台任务并进行播放。
[0006] 具体的，所述播放处理包括步骤：读取对应节目的音视频流进行缓存处理；读取缓存中音视频流的数据进行音视频帧解码；将解码后的音视频帧的数据进行处理输出。
[0007] 优选的，所述节目对应的后台任务进行的所述播放预处理为根据第一
频率对当前实时的节目流进行跳帧播放预处理。
[0008] 具体的，所述播放预处理包括步骤：根据所述第一频率读取对应的节目当前的音视频流进行预缓存处理；读取缓存中音视频流的数据进行音视频帧解码；将解码后的音视频帧的数据进行存储。
[0009] 具体的，存储所述解码后的音视频帧的数据的容量大小为既定值，最新的解码后的音视频帧的数据
覆盖最旧的解码后的音视频帧的数据。
[0010] 优选的，本发明的方法还包括步骤：监控用户的输入行为；在一定时间内，若没有检测到用户的输入行为时，所述后台任务根据第二频率进行所述播放预处理，所述第二频率小于所述第一频率。
[0011] 在一个应用
实施例中，所述多节目音视频流为MPEG-2TS流。
[0012] 本发明提出的媒体播放器，包括控
制模块和多个处理单元，所述
控制模块控制并行的一个前台任务和至少一个后台任务调用多个处理单元执行上述技术方案所述的无缝切换播放方法。
[0013] 具体的，所述播放器可以为基于macOS
操作系统的媒体播放器。
[0014] 本发明采用前台任务和后台任务并行的双工模式，即前台任务处理播放当前用户选择节目，后台任务预处理用户没有选择的其它节目；并且后台任务根据用户输入行为自适应降频处理技术，即后台任务预判检测用户行为处理，若用户长时间没有移动
鼠标，
键盘等，则后台任务降低处理其它节目的频率，减少系统开销。当侦测到用户行为后立即切换到全频工作模式进行后台的解码等预缓存处理；基于本发明的技术方案可以实现音视频输出切换的无缝对接，即当用户切换到一个新的节目，后台任务立即切换为前台任务，同时将相应缓存的音视频帧输出到声卡及显卡，当切换到新选节目后，后台任务变为前台任务，同时清除及停止除当前播放的节目外的其它所有节目。切换到后台的任务开始新一轮的预解码等处理准备。
附图说明
[0015] 为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0016] 图1为前台任务调度各处理单元的
框架图。
[0017] 图2为后台任务调度各处理单元的框架图。
具体实施方式
[0019] 为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0020] 下面结合附图以及实施例对本发明的原理及结构进行详细说明。
[0021] 本发明具体以基于macOS操作系统的MPEG-2 TS流实时媒体播放器的无缝切换播放节目来进行说明。如图1、图2所示，媒体播放器包括了控制模块（图中未示出）和多个处理单元，具体的处理单元包含有：实时流控制单元、解复用单元、音频PES流缓存处理单元、视频PES流缓存处理单元、音频播放控制模块、AQ（Audio Queue）、音、视频帧解码单元等。本发明的AQ指的是MacOS X系统与iPhone系统中提供录音、播放等功能的高级音频处理框架套件。
[0022] 媒体播放器的实时流控制单元接收实时传输的节目流，即MPEG-2 TS流，具体的可以是从网络端口也可以是从USB Dongle的USB端口获取实时传输的节目流，将接收到节目流后进行解密处理后，将节目流推向播放器的解复用单元。
[0023] 由于实施传输的节目流是多节目复用流，因此媒体播放器的解复用单元将实施传输的节目流进行分离处理，得到当前各个节目的音视频流，即PES流。解复用的意义在于由于TS流是一种复用的码流，里面混杂了多种类型的包，对TS流进行解复用可以将类型相同的数据包（Packet）进行存储、分别处理。从而将音频数据（Audio）、视频数据（Video）或者其他业务信息的数据区分开来。其目的就是将TS流中数据包分离，相同节目的TS数据包进行提取组合成音频或者视频帧的数据块。
[0024] 解复用后，媒体播放器的音频PES流缓存处理单元对
音频流（音频单元流）进行缓冲及平滑处理，视频PES流缓存处理单元对视频流（视频单元流）进行缓冲及平滑处理。以音频PES流缓存处理单元为例，该音频PES流缓存处理单元会开辟一块存储内存，存储解复用后输出的音频PES流数据（音频流），由于实时传输的音视频流可能存在延时或者抖动，同时操作系统也存在调度上的分配，解复用单元对TS流的处理输出就会有瞬时峰值及低谷，如果没有音频PES流缓存处理单元缓冲平滑，那么在下一级的消费则会对节目流的抖动不能适应，导致播放异常。这个平滑也就是基于缓存的说法，即流在内存中缓存下来，然后以一定的消费速度输入至下一级处理单元，起到了平滑作用。视频PES流缓存处理单元也是相同的处理原理。
[0025] 媒体播放器的音频播放控制模块向AQ（Audio Queue）输入缓冲的音频数据流，同时控制AQ进行播放操作，如播放、暂停、速度控制等，对AQ的异常情况诊断及修复控制。
[0026] 媒体播放器的音视频帧解码单元对视频流数据，即压缩的视频图像数据进行解码处理，得到原始图像数据。具体如何解码现有技术中有多重方案，如
硬件解码、软件解码、系统自带解码器等，本实施例中，主要是利用第三方提供的解码器，进行音视频数据帧的解码，解码后的视频帧数据可以通过视频帧图像缓存及输出控制模块输出，解码后的音频帧数据通过AQ输出，音视频帧数据输出到硬件设备上进行音视频的显示。
[0027] 媒体播放器的控制模块控制并行的一个前台任务和至少一个后台任务调用播放器对应的处理单元来进行无缝切换播放节目。
[0028] 当媒体播放器对多节目音视频流进行解复用后，前台任务将多节目音视频流中被用户选中的节目进行播放处理，与此同时，后台任务将视频流中未被用户选中的各节目分别通过对应的后台任务进行播放预处理。
[0029] 具体的播放处理是由媒体播放器对应的处理单元读取对应节目的音、视频流进行缓存处理，读取缓存中音视频流的数据进行音视频帧解码，然后将解码后的音视频帧的数据进行处理输出。
[0030] 同时进行的播放预处理由于处理的是未被用户选中的节目，为了节约系统资源，根据第一频率对当前实时的节目流进行跳帧播放预处理。例如每5秒获取实时的节目流对应的音视频帧进行播放预处理，具体为读取对应的节目当前的音视频流进行预缓存，读取缓存中音视频流的数据进行音视频帧解码，将解码后的音视频帧的数据进行存储，在一个较优实施例中，存储解码后的音视频帧的数据的容量大小为既定值，例如存储的是小于或等于5秒的音视频帧的数据，当超过5秒的音视频帧的数据时，最新的解码后的音视频帧的数据覆盖最旧的解码后的音视频帧的数据，例如可以设定为存储2秒的音视频帧数据，这样可以减少系统开支，同时也可以为无缝切换节目做准备。
[0031] 为了更进一步优化系统资源，媒体播放器还可以监控用户的输入行为，例如监控用户的鼠标、键盘等事件，或者是用户换台或者操作播放器等，如果有检测到用户的输入行为，则按照既定的第一频率全速进行播放预处理，若是在一定时间内没有检测到用户的输入行为，例如1分钟或以上都没有检测到用户的输入行为，说明用户可能长时间在观看前台节目，或者不在操作播放器，则按照第二频率进行播放预处理，第二频率小于第一频率，使后台任务可以降速进行播放预处理，提高CPU及内存的利用率，达到节能的策略。
[0032] 当用户切换节目时，媒体播放器的控制模块将当前的前台任务切换为后台任务，暂停播放，并跳帧进行播放预处理。同时将用户当前选中的节目对应的正在进行所述播放预处理的后台任务切换为前台任务，由于播放预处理中已经存储了几秒的当前实时音视频数据，可以立即将相应的缓存数据输出到声卡及显卡，实现无缝切换播放。
[0033] 本发明可以解决使用USB Dongle实时传输的MPEG2 TS流的节目切换卡顿的问题，实现音视频无缝切换的设计方案，本发明将切换时间缩短至用户感觉不到的时间，例如100ms以内，给了用户一个很好的视觉，听觉体验。
[0034] 本发明在上述实施例中介绍的产品和方法虽然主要是基于macOS系统下开发的Player，对MPEG2 TS实现节目切换时的无缝衔接切换，其采用前台播放当前用户选择的节目，后台解码缓冲但不输出用户没有选择观看的节目，同
时针对系统的内存及CPU开销进行动态侦测优化，来实现无缝切换节目，但是本发明的方法及产品并不仅限于macOS操作系统，也可以适用于其他的操作系统，除了MPEG-2 TS流可以适用以外，其他多节目流也可以适用。
[0035] 以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何
修改、等同替换和改进等，均应包含在本发明的保护范围之内。
