技术领域
[0001] 本
发明的
实施例一般涉及
电子网络领域，尤其涉及在画中画视频生成中执行存储器缩减。
背景技术
[0002] 在利用多个数据流，例如用于显示的多个媒体数据流，的系统的操作中，数据可包含由高带宽数字内容保护(
HDCP)数据所保护的数据，其在此称为HDCP数据。传递多个媒体数据流可包含在传送机构(例如
有线电视或卫星公司)与接收装置(例如电视（TV）)之间藉由传送装置(例如
电缆/卫星
信号传送装置)通过高清晰度多媒体
接口(HDMI)所传送的内容流。
[0003] 画中画(Picture-in-Picture，PiP)是某些视频传送器及接收器的特征，其中一个播送频道显示于接收装置(例如电视)的整个屏幕上，而同时一个或多个其他频道显示于整个显示屏幕中的嵌入视窗中。此技术藉由混合多个
视频流而使接收装置的观看者能够以单一屏幕观赏多个频道。然而，由于画中画需要大量的存储器，因此它主要用于且实施于利用相对较大量的存储器的通用处理器型平台上，而不适于较小平台例如专用集成
电路(ASIC)型平台。
专用集成电路指非用于一般用途的集成电路；更确切言之，它被定制用于特定用途(例如被定制且特别用于手持式装置、智能电话等)。如果专用集成电路型平台被定制用于特定用途，则它不包含大到足以容纳常规画中画实现的存储器。
[0004] 第一图显示从多个视频流产生画中画视频的常规机制。如图所示，两个输入视频或视频流102及104进入画中画处理区域106，一个视频流102被观看者选择为主要视频108，而另一视频流2104被选择为显示成子视频110。视频流102通过主要通道选择112，并出现无任何改变例如其尺寸等无改变的主要视频108。然而，视频流104通过子通道选择
114，且接着到达减少取样(down sampling)116，于其中视频流104被减少取样且作为子视频110出现。减少取样116指将视频流104的图像尺寸以某个量或比率进行缩减或取样减少，而造成子视频110的产生，上述子视频110如图所示比原始的视频流104小得多。视频
108及110两者接着经过常规视频混合处理118，该处理118将两个图像108及110合并，以在单一显示屏幕上如图所示显示成主要视频108及子视频110。
[0005] 第二图显示常规画中画实现200，其被设计成在处理器型平台上操作。视频或视频流202及204进入芯片214并分别通过视频接口206及208(例如HDMI)到达处理器210。处理器210从其通道接收并读取原始视频202及204，且将其储存于存储器216中。处理器210接着实施减少取样演
算法，并将包含主要视频218及经减少取样的子视频220的结果存回存储器216中。主要视频218及子视频220接着由处理器210合并成一体，以产生内含主要视频218及子视频220两者的单一最终图像222。如图所示，该常规实现200需要相当大的存储器216以储存至少一个视频图像，即主要视频218，以及在许多实例中的多个视频图像218及220。此画中画实现200仅能与大容量外部存储器装置216共同作用，而造成具有画中画特征的电视系统的制造成本高且使得其不适于较小装置例如蜂窝电话。
发明内容
[0006] 公开一种用于在画中画视频产生中的存储器缩减的机制。
[0007] 本发明的实施例的方法包含在接收装置处从传送装置接收多个视频流，所述接收装置耦合于传送装置，其中多个视频流中的第一视频流被
指定使其显示成主要视频，而多个视频流中的一个或多个其他视频流被指定使其显示成对于主要视频而言的一个或多个子视频。该方法还包含将上述一个或多个其他视频流转换成一个或多个子视频、暂时使上述一个或多个子视频保留在压缩
帧缓冲器内，以及藉由
像素替换将主要视频及上述一个或多个子视频合并成能够利用显示装置显示于单一屏幕上的最终视频图像，其中像素替换被实施使得上述一个或多个子视频占据主要视频所占据的屏幕空间像素中的一个或多个区域的像素。
[0008] 本发明的实施例的系统包含
数据处理装置，其包含储存介质及与上述储存介质耦合的处理器，上述数据处理装置还包含画中画视频产生机制。画中画视频产生机制于接收装置处从传送装置接收多个视频流，上述接收装置耦合于上述传送装置，其中上述多个视频流中的第一视频流被指定使其显示成主要视频，上述多个视频流中的一个或多个其他视频流被指定使其显示成对于上述主要视频而言的一个或多个子视频。画中画视频产生机制进一步将上述一个或多个其他视频流转换成上述一个或多个子视频，暂时使上述一个或多个子视频保留在压缩帧缓冲器内，以及藉由像素替换将上述主要视频及上述一个或多个子视频合并成能够利用显示装置显示于单一屏幕上的最终视频图像，其中像素替换被实施使得上述一个或多个子视频占据上述主要视频所占据的屏幕空间像素中的一个或多个区域的像素。
[0009] 本发明的实施例的设备包含数据处理装置，上述数据处理装置包含储存介质以及与上述储存介质耦合的处理器，上述处理器于接收装置处从传送装置接收多个视频流，上述接收装置耦合于上述传送装置，其中上述多个视频流中的第一视频流被指定使其显示成主要视频，上述多个视频流中的一个或多个其他视频流被指定使其显示成对于上述主要视频而言的一个或多个子视频。上述处理器进一步将上述一个或多个其他视频流转换成上述一个或多个子视频，暂时使上述一个或多个子视频保留在压缩帧缓冲器内，以及藉由像素替换将上述主要视频及上述一个或多个子视频合并成能够利用显示装置显示于单一屏幕上的最终视频图像，其中像素替换被实施使得上述一个或多个子视频占据上述主要视频所占据的屏幕空间像素中的一个或多个区域的像素。
附图说明
[0010] 本发明的实施例藉由实例加以说明，而非用以限制本发明。附图中相似的元件符号指代类似的元件。
[0011] 第一图显示从多个视频流产生画中画视频的常规机制。
[0012] 第二图显示被设计成在处理器型平台上操作的常规画中画实现。
[0013] 第三图根据本发明的一实施例显示画中画视频产生系统。
[0014] 第四图根据本发明的一实施例显示画中画视频产生系统的像素替换。
[0015] 第五图根据本发明的一实施例显示用于画中画视频产生的方法。
[0016] 第六图根据本发明的一实施例显示利用画中画视频产生系统的网络计算机装置。
具体实施方式
[0017] 公开一种用于画中画视频产生中的存储器缩减的机制。本发明的实施例的方法包含于接收装置处从传送装置接收多个视频流，上述接收装置耦合于传送装置，其中多个视频流中的第一视频流被指定使其显示成主要视频，而多个视频流中的一个或多个其他视频流被指定使其显示成对于主要视频而言的一个或多个子视频。该方法还包含将上述一个或多个其他视频流转换成一个或多个子视频、暂时使上述一个或多个子视频保留在压缩帧缓冲器内，以及藉由像素替换将主要视频及上述一个或多个子视频合并成能够利用显示装置显示于单一屏幕上的最终视频图像，其中像素替换被实施使得上述一个或多个子视频占据主要视频所占据的屏幕空间像素中的一个或多个区域的像素。进一步的细节将在后面通篇讨论。
[0018] 如此处所使用，“网络”或“通信网络”指利用任何数量的技术例如串行高级技术附连(Serial Advanced Technology Attachment，SATA)、帧信息结构(FIS)等在装置之间传递数字媒体内容(包含音乐、音频/视频、游戏、图片及其他)的互连网络。娱乐网络可包含个人娱乐网络，例如家庭中的网络、商业环境中的网络或任何其他装置及/或组件的网络。网络包含局域网(LAN)、广域网(WAN)、城域网(MAN)、内联网(intranet)、因特网等。在网络中，某些网络装置可为媒体内容的来源，例如
数字电视选台器、有线机顶盒、手持式装置(例如个人装置助理(PDA))、视频储存
服务器以及其他来源装置。其他装置可显示或利用媒体内容，例如数字电视、家庭影院系统、音频系统、游戏系统及其他装置。再者，某些装置可旨在储存或传送媒体内容，例如视频及音频储存服务器。某些装置可实施多个媒体功能，例如有线机顶盒可作为接收装置(从有线电视头端(cable headend)接收信息)以及作为传送装置(传送信息至电视)，反之亦然。网络装置可共置(co-located)于单一局域网或可横跨多个网络段(network segment)，例如通过局域网之间的通道建立技术(tunneling)。
网络亦可包含多个数据编码及加密过程以及身份验证过程，例如唯一签名验证(unique signature verification)及唯一标识比较(unique identification comparison)。此外，互连网络可包含
高清晰度多媒体接口(HDMI)。高清晰度多媒体接口指用以传送未经压缩的数字数据的音频-视频接口，且其代表相对于常规模拟标准例如同轴电缆、射频(RF)、组成视频(component video)等的数字替选方案。高清晰度多媒体接口一般用以连接不同的装置，例如将机顶盒、数字视频盘（DVD）播放器、游戏控制台、
计算机系统等连接至电视、计算机监视器及其他显示装置。例如，高清晰度多媒体接口可用以将传送装置连接至接收装置，且更进一步至其他中间及/或外围装置，例如单独的显示装置等。
[0019] 第三图根据本发明的一实施例显示画中画视频产生系统300。在一个实施例中，画中画视频产生系统300于
微处理器或芯片306处利用画中画视频产生机制，以提供由压缩单元312所进行的实时帧压缩与由解压缩单元314所进行的解压缩的新颖结合，这是利用压缩帧缓冲器318以及由像素替换单元或机制322所进行的动态连续(on-the-fly)像素替换过程来降低存储器需求并消除常规需有大量存储器例如
帧存储器的需求，以实施画中画视频产生。视频流302及视频流304由用户所选择，以合并成单一视频图像328并于画中画视频产生过程300结束时在显示装置上显示。在所示实施例中，视频流302被选择并指定作为主要视频326(亦称为首要视频)，而视频流304被选择并指定作为子视频320(亦称为从属视频)。两个视频流302及304及其对应的主要视频326及子视频320仅用作为示例以利于简明扼要地且清楚地说明本发明，应理解输入的数量并不限于只有两个视频流。例如，若有一个视频流被指定且显示为主要视频，则任何数量的其他视频流可被指定且显示为子视频。在本文通篇中示出和讨论了被指定为主要视频及子视频的两个视频流，如上所述其仅作为示例以简明扼要地且清楚地说明本发明。另外，于本发明中，术语“主要”及“子”分别与“首要”及“从属”同义。例如，“主要视频”亦称为“首要视频”，而“子视频”亦称为“从属视频”。同样地，应理解若干比率、组件等仅用作为示例，以利于简明扼要地且简单明了地说明本发明(例如，比率可为5：1或10：1等；端口可包含高清晰度多媒体接口或非高清晰度多媒体接口端口等)。
[0020] 假定视频流302已被指定显示为主要视频326，因此不需要任何扩变(例如减少取样、压缩、解压缩等)，其直接通过端口1324藉由像素替换机制322进行像素替换。另一方面，视频流304开始经历减少取样308的过程。在减少取样308中，视频流304基于经定义的比率(例如5：1的比率，即五条线被减少至一条线)予以减少取样至缩小的尺寸。应理解，如需要或有所要求时任何减少取样比率均可予以定义，以用于减少取样。视频流304的减少取样版本接着通过线缓冲器(line buffer)310(例如如需要或有所要求时逐线通过或一次通过若干条线)，且进一步通过压缩单元312，以利
用例如图像压缩算法进行压缩。
[0021] 视频流304的减少取样且压缩的版本，即子视频320，被传送至压缩帧缓冲器318且暂时保留于其中。子视频320的任何数量的线(包含最小及/或最小数量的线、行、子帧等)及可变尺寸或长度的比特流(例如25K字节、50K字节、100K字节等)可传送至压缩帧缓冲器318并储存于其中。在一个实施例中，压缩帧缓冲器318根据任何数量的视频压缩及解压缩技术接收和暂时储存子视频320的任何数量的线或子帧。在另一实施例中，压缩及解压缩过程是基于行的(相对于例如基于帧的)。行包含一组线，这组线与用于压缩单元312所进行的压缩过程及解压缩单元314所进行的解压缩过程的转换算法相容且适合。子视频320接着从压缩帧缓冲器318传送(例如逐线、逐行、逐帧等)至解压缩单元314以用于解压缩。
[0022] 在一个实施例中，另一线缓冲器，即线缓冲器316，被指定作为中转(transit)或休息站(pit stop)，以暂时储存子视频320中的线、行或帧并将其传输至像素替换机制322，以用于像素替换。在一个实施例中，像素替换被实施以使子视频320与主要视频326合并且同步，而线缓冲器316作用为缓冲器以提供子视频320的像素数据，使其逐渐
覆盖或强加于主要视频326的
选定部份上，藉此子视频320与主要视频326的合并得以准确地以同步的方式实施。像素替换过程被实施以使主要视频326与子视频320合并，藉此主要视频326占据整个屏幕328，而子视频320在被强加于主要视频326上时占据屏幕328的一部分。完整且最终的图像328利用接收装置的显示装置或耦合至接收装置的显示装置例如电视显示给用户。
[0023] 上述技术的优点之一为仅利用压缩帧缓冲器318及数个线缓冲器310及316实施和进行画中画视频产生，而所有必需的逻辑及存储器均在单一微处理器芯片306上。如此藉由显著地减少所需要的片上存储器面积以及用以接合片外存储器的接脚数的数量，可显著地减少画中画视频
控制器芯片的制造成本。
[0024] 第四图根据本发明的一实施例显示画中画视频产生系统300的像素替换单元或机制322。在一个实施例中，像素替换被实施以使主要视频326及子视频320合并成单一视频图像。假定P 402为进入像素替换322的端口1(例如第三图的端口324)的像素。变量(x,y)404指示距离主要视频326的左上
角的距离，而变量(x0,y0)406指示子视频320的左上角座标且变量(x1,y1)408指示子视频320的右下角座标。当像素P 402满足下列标准：x大于x0且小于x1，而y大于y0且小于y1时，像素替换过程藉由像素替换机制322以通过端口2(例如第三图的端口326)所得的子视频320的像素替换掉通过端口1所得的主要视频326的像素。为准备线缓冲器2(例如第三图的线缓冲器316)上的子视频相关数据(例如视频图像线或行)以使其准备就绪得以进行动态连续像素替换，解压缩藉由预测上述条件匹配而事先实施。此动态连续替换技术可消除常规用以储存主要视频326的庞大存储器的要求。
[0025] 在一个实施例中，像素替换提取每一色彩深度的主要视频326的像素，且如需要或有所要求时实施子视频320或主要视频326的色彩转换，并进一步实施每一解析度的子视频320的减少取样。例如，属于主要视频326的某些量的主要视频像素(形成变量(x0,y0)406与(x1,y1)408之间所代表的区域)用变量(x0,y0)406及(x1,y1)408之间所显示的子视频320的子视频像素替换。像素替换可进一步包含色彩转换或调整，例如子视频像素的色彩深度根据主要视频326的其余的主要视频像素的色彩深度予以调整或格式化。
[0026] 第五图根据本发明的一实施例显示用于画中画视频产生的方法500。方法500可藉由处理逻辑实施，上述处理逻辑可包含
硬件(例如电路、
专用逻辑、可编程逻辑、微代码等)、
软件(例如在处理装置上运行的指令)或其结合，例如硬件装置内的
固件或功能电路。在一个实施例中，方法500由第三图的画中画视频产生系统300所实施。
[0027] 方法500以多个视频流例如两个视频A及B从方
块505开始，上述多个视频流在用于画中画视频产生的处理器处接收。应理解，用户可选择任何数量的视频流以用于合并及显示，且两个视频流A及B仅用作为示例，以利于简明扼要地且简单明了地说明本发明。在选择时，用户委派或选择视频流A为主要视频，且委派或选择视频流B为子视频。在方块
510，一旦被接收，视频流A(主要视频)被传递至像素替换处理单元或机制，以进行像素替换。在方块515，视频流B(子视频)由减少取样单元予以减少取样，且经减少取样的视频流B被传送至压缩单元，以用于压缩。在方块520，经减少取样的视频流B被压缩且接着传送(例如逐线或逐行等)至压缩帧缓冲器。
[0028] 在一个实施例中，在方块525，压缩帧缓冲器用以暂时保留经压缩且经减少取样的视频流B，且接着传送经压缩且经减少取样的视频流B至解压缩单元，以用于解压缩。经压缩且经减少取样的视频流可加以设定成以任何顺序、尺寸及数量予以接收及传送。在方块530，经压缩且经减少取样的视频流从压缩帧缓冲器接收(例如逐线、逐行或逐帧等)，且加以解压缩及作为子视频B传送至像素替换机制以用于像素替换。此传送至像素替换机制/单元(例如逐线、逐帧等)的步骤逐渐地且同步地实施，藉此主要视频A的一部分像素由子视频B所
叠加。在方块535，在像素替换过程期间视频A及子视频合并成单一视频图像。视频A及B的合并被实施成使得子视频B强加于主要视频A的一部分像素空间上并占据该部分像素空间。在方块540，经合并的视频(具有视频A作为主要视频及视频B作为子视频)在接收装置上的或与接收装置耦合的显示装置(例如电视)上显示成单一视频图像。
[0029] 第六图根据本发明的一实施例显示利用画中画视频产生系统的网络计算机装置605的组件。在此实施例中，网络装置605可为网络中的任何装置，包含但不限于电视、有线电视机顶盒、收音机、DVD（数字视频盘）播放器、CD（致密盘）播放器、智能电话、储存单元、游戏控制台或其他媒体装置。在某些实施例中，网络装置605包含网络单元610，以提供网络功能。上述网络功能包含但不限于媒体内容流的产生、传送、储存及接收。网络单元610可被实现为单个片上系统(SoC)或多个组件。
[0030] 在某些实施例中，网络单元610包含处理器615，以用于数据处理。数据处理可包含媒体数据流的产生、媒体数据流在传送或储存时的操作以及媒体数据流的解密及解码以利于使用。在一个实施例中，处理数据还包含画中画处理器690，以实施本发明的实施例，包含参照第三图至第五图及本
说明书全文所叙述的画中画视频产生。在一个实施例中，画中画视频产生处理在单独的芯片上进行或通过将该芯片集成到SoC中来进行。再者，如处理器615与画中画处理器690之间及至视频输出665的实线箭头及虚线箭头所表示，画中画处理器690可设置于处理器615之前或之后。画中画处理器690被进一步配置成从任何数量的来源接收任何数量的视频输入660。网络装置亦可包含主存储器620，以支持网络操作，例如包含DRAM（动态
随机存取存储器）、SRAM（静态随机存取存储器）)等的RAM（随机存取存储器）或其他类似存储器，以及闪存625或其他
非易失性存储器，以用于储存某些元件及信息以及将由处理器615及690所执行的指令。
[0031] 存储器620亦可用以储存用于数据流的数据。
动态随机存取存储器需要存储器内容的刷新，而静态随机存取存储器SRAM不需要刷新内容，但其成本会增加。动态随机存取存储器可包含
同步动态随机存取存储器(SDRAM)，其包含
时钟信号以
控制信号，以及扩展数据输出动态随机存取存储器(EDO DRAM)。在某些实施例中，系统的存储器可包含某些寄存器或其他专用存储器。网络装置605亦可包含
只读存储器(ROM)或其他静态储存装置，用以储存静态信息及用于处理器615及690的指令。
[0032] 网络装置605亦可包含传送器630及/或接收器640，以用于通过一个或多个网络接口655分别传送数据至网络上或从网络接收数据。传送器630或接收器640可连接至有线传输电缆，包含例如以太网电缆650、同轴电缆，或连接至无线单元。传送器630或接收器640可以一个或多个线路，例如用于数据传送的线路635及用于数据接收的线路645，耦合至网络单元610，以用于数据传送及控制信号。亦可存在额外的连接。网络装置605亦可包含数个用于装置的媒体操作的组件，其在此并未示出。
[0033] 装置605亦可通过互连结构耦合至显示装置或呈现装置。在某些实施例中，显示器可包含
液晶显示器(LCD)、
等离子体显示器、
阴极射线管显示器或任何其他显示技术，用以向终端用户显示信息或内容。在某些实施例中，显示器可用于显示电视节目或其它视频内容等。在某些环境中，显示器可包含
触摸屏，其亦可用作为输入装置的至少一部分。在某些环境中，显示器可为或可包含音频装置，例如扬声器，以用于提供音频信息，包含电视节目的音频部分。输入装置可耦合至互连结构，用以传达信息及/或命令选择至处理器615及690。在若干实现中，输入装置可为
键盘、键区、触摸屏及指示笔、语音激活系统或其他输入装置或这些装置的组合。另一类型的用户输入装置可包含游标控制装置，例如
鼠标、
轨迹球或游标方向键，以用于传达方向信息及命令选择至一个或多个处理器615及690，并用以控制显示装置上的游标移动。
[0034] 在某些实施例中，装置605包含一个或多个端口，用以接收或传送数据。可被接收或传送的数据可包含视频数据或音频-视频数据，例如高清晰度多媒体接口及迷你高清晰度多媒体接口数据，且可加以加密以用于传送，例如高带宽数字内容保护(HDCP)加密数据。在某些实施例中，装置605包含一个或多个端口，用以传送及/或接收用于内容数据的传输的数据，以及一个或多个端口，用以传送及/或接收控制数据，例如命令数据。命令数据可包含一个或多个关于数据传送模式的改变的消息，且可包含关于数据传送模式改变的应答。此外，装置605可包含USB（通用
串行总线）。
[0035] 装置605可进一步包含一个或多个天线，用以通过无线
电信号接收数据。装置605亦可包含电源装置或系统，其可包含电源供应器、
电池、
太阳能电池、
燃料电池或其他用以提供或产生电
力的系统或装置。电源装置或系统所提供的电力可依需求分配至装置605的元件。
[0036] 为说明本发明上述叙述提出了若干特定细节，以利于彻底了解本发明。然而，应理解，对本领域普通技术人员而言，本发明可在不需要其中的某些特定细节的情况下实施。在其他实例中，已知的结构及装置以方块图的形式显示。图中所示组件之间可能有中间结构。此处所述或所显示的组件可能具有额外的输入或输出并未加以显示或叙述。
[0037] 本发明可包含若干过程。本发明的过程可藉由硬件组件加以实施或可具体实施于计算机可读指令中，上述计算机可读指令可用以使通用或专用处理器或编程有指令的
逻辑电路实施该过程。另则，过程可藉由硬件与软件的结合加以实施。
[0038] 许多方法以其最
基础的形式加以叙述，但仍可加入若干过程至任一方法或从任一方法删除若干过程，在不脱离本发明的基础范围下可增加若干信息至此处所述的任一消息中或从其删减若干信息。本领域普通技术人员应理解，可对本发明进一步做若干
修改及改变。此处所提供的特定实施例并非用以限制本发明，而是用以说明本发明。本发明的实施例的范围并非由以上所提供的特定实例所决定，而是仅由所附
权利要求书所决定。
[0039] 若叙述了“A”元件耦合至“B”元件或与“B”元件耦合，则A元件可直接耦合至B元件或通过例如C元件非直接耦合。当说明书或权利要求书叙述了A组件、特征、结构、过程或特性“造成”B组件、特征、结构、过程或特性，则是指“A”为“B”的至少一部分原因，但亦可能有至少一个其他组件、特征、结构、过程或特性协助造成“B”。若说明书指出一组件、特征、结构、过程或特性“可”、“可能”或“能”被包含，则该特定组件、特征、结构、过程或特性并不要求要被包含。若说明书或权利要求书指“一”元件，则其并不意指仅有一个所述元件。
[0040] 本发明的实施例为本发明的实现或示例。说明书中所提到的“一实施例”、“一个实施例”、“某些实施例”或“其他实施例”指与实施例有关而叙述的特定特征、结构或特性被包含于至少某些实施例中，但不一定是所有实施例。“一实施例”、“一个实施例”或“某些实施例”的若干次出现并不一定全部指向同一实施例。应理解，在上述本发明的示例性实施例的叙述中，为简化揭露内容并有助于了解若干创新观点中的一个或多个，若干特征有时会聚集于单一实施例、附图或其叙述中。然而，此揭露方法并不欲被解释成反映有以下意图：所要求保护的发明需要相较于每一权利要求所明确列举的特征更多的特征。更确切地说，如所附权利要求所反映，创新的方面存在于与前述所揭露的单一实施例的所有特征相比为少的特征中。因此，权利要求藉此明确地并入此叙述中，每一权利要求独自代表本发明的独立实施例。
