用于紧密耦合的低功率图像处理的方法和装置 |
|||||||
| 申请号 | CN201280055445.9 | 申请日 | 2012-11-12 | 公开(公告)号 | CN104520895A | 公开(公告)日 | 2015-04-15 |
| 申请人 | 高通股份有限公司; | 发明人 | J·沈; L·G·舒亚-伊恩; Y-P·萧; | ||||
| 摘要 | 图像被划分为N个 像素 块 ，逐块地存储到相机核中并且逐块地从相机核传递到相对于本地 存储器 而言是本地的下游处理引擎。在逐块传递中在相机核和下游处理引擎之间传达直接握手。可任选地，光 传感器 扫描仪 以N倍 帧 速率的扫描速率划分图像，每次扫描提供帧的一块。可任选地，逐块传递包括由直接握手来控制的通过相对于相机核而言是本地的本地存储器的传递。 | ||||||
| 权利要求 | 1.一种处理图像的方法，包括： |
||||||
| 说明书全文 | 用于紧密耦合的低功率图像处理的方法和装置[0001] 公开领域 [0002] 本公开的技术领域涉及视频数据通信和处理。 [0003] 背景 [0004] 某些视频系统具有光传感器，光传感器将视频帧传递到具有视频编码器/解码器(VCODEC)和本地存储器的视频电路内的相机核。视频帧必须经过相机核并最终到达VCODEC以供编码和后续处理。然而，相机核不能直接将视频帧交递给VCODEC，因为相机核和本地存储器缺乏足以充当视频帧缓冲器的存储容量。相机核通常还缺乏用于将视频帧传递到VCODEC所需的握手功能。因此，视频电路将整个视频帧从相机核卸载至外部存储器，随后从该外部存储器检索这些卸载的视频帧并将这些帧输入至VCODEC。视频帧的卸载和检索一般由应用处理器来控制。然而，外部存储器和应用处理器各自消耗相当多的功率。 [0005] 用于减少或弥补这一功率的现有手段和努力包括将外部存储器以及相机核与外部存储器之间的接口电路系统放置得更为接近，以及针对视频帧传递使用更高的突发长度以提高总线效率。现有手段和努力还包括总线和内核时钟的缩放。现有手段和努力尽管减少了功耗，但不能免除外部存储器或应用处理器的功耗。 [0006] 概述 [0007] 本概述并非所有构想方面的综览，或者为了描绘任何实施例或其任何方面的范围。其唯一目的是为了呈现一些示例概念，其中所有这些概念将从本公开的稍后章节阐述的各个示例性实施例的更为详细的描述中被进一步理解。 [0008] 根据一个示例性实施例，一种图像处理方法可包括在相机核处接收图像并随后以块为基础将该图像从该相机核传递到下游处理引擎，并且在一个方面，以块为基础的传递可包括在该相机核和该下游处理引擎之间传达直接握手信号。 [0009] 在一个方面，在相机核与下游处理引擎之间传达直接握手信号可经由耦合至该相机核且耦合至该下游处理引擎的直接握手路径。 [0010] 在一个方面，在相机核处接收图像可包括在光传感器处将图像划分为多个(N个)块，以及并发地将N块的量存储到相机核和本地存储器中的至少一者中。 [0011] 在一个方面，在相机核处接收图像可包括在光传感器处执行N次图像扫描，对于N次扫描中的每一次扫描将至少一块图像传递到相机核和与该相机核相关联的本地存储器中的至少一者，以及并发地将N块的量存储到该相机核和该本地存储器中的至少一者中。 [0012] 根据一个示例性实施例，一种图像处理方法可包括扫描光传感器以获得一次图像扫描，提取该一次图像扫描的给定N块划分的块，将所提取的块存储到相机核或与该相机核相关联的本地存储器中的至少一者中，将所提取的那一块从相机核或本地存储器中的至少一者传递到下游处理引擎，以及将扫描、提取、存储和传递重复N次以向处理引擎提供该图像。 [0013] 在一个方面，将所提取的那一块从相机核或本地存储器中的至少一者传递到下游处理引擎包括在相机核和下游处理引擎之间传达握手信号。 [0014] 根据一个示例性实施例，一种图像处理器可包括用于扫描光传感器以获得一次图像扫描的装置，用于提取该一次图像扫描的给定N块划分的块的装置，用于将所提取的块存储到相机核或与该相机核相关联的本地存储器中的至少一者中的装置，用于将所提取的那一块从相机核或本地存储器中的至少一者传递到下游处理引擎的装置，其中将所提取的那一块从相机核或本地存储器中的至少一者传递到下游处理引擎包括在相机核和下游处理引擎之间传达握手信号。 [0015] 根据一个示例性实施例，图像处理器可包括相机核、通过数据互连耦合至该相机核的下游处理器；以及耦合至该相机核且耦合至该下游处理器的直接握手路径，并且在一个方面，该相机核可被配置成接收给定的视频帧并将该视频帧作为N个像素块传递到下游处理器，以及通过直接握手路径控制每个像素块的传递。 [0016] 根据一个示例性实施例，一种计算机程序产品可包括包含以下代码的计算机可读介质：用于使至少一个计算机扫描光传感器以获得一次图像扫描的代码，用于使至少一个计算机提取该一次图像扫描的给定N块划分的块的代码，用于使至少一个计算机将所提取的块存储到相机核或与该相机核相关联的本地存储器中的至少一者中的代码，用于使至少一个计算机将所提取的那一块从相机核或本地存储器中的至少一者传递到下游处理引擎的代码，以及用于使至少一个计算机将该扫描、提取、存储和传递重复N次以向处理引擎提供该图像的代码。 [0017] 根据一个示例性实施例，一种图像处理器可包括：相机核，该相机核具有用于接收图像的装置以及用于存储收到图像的至少一部分的装置；以及用于以块为基础将该图像从相机核传递到下游处理引擎的装置，其中该传递包括在该相机核和该下游处理引擎之间传达握手信号。 [0019] 给出附件中找到的附图以帮助对本发明实施例进行描述，且提供附图仅用于解说实施例而非对其进行限定。 [0020] 图1示出了一个示例相关技术视频流和视频系统。 [0021] 图2是根据一个示例性实施例的一个视频直接相机至下游处理器传递系统以及一个示例直接视频相机至下游处理器块传递的功能框图。 [0022] 图3是根据各个示例性实施例的将视频帧划分为N个像素块以及相应的像素块直接相机至下游处理器传递的一个示例的流程图。 [0023] 图4示出了根据一个示例性实施例的一个示例个人计算设备的功能框图。 具体实施方式[0024] 本发明的各方面在以下根据本发明的具体解说性实施例的描述和有关附图中被公开。将理解，这些具体解说性实施例仅是出于辅助本领域普通技术人员进一步理解各个概念的目的，以及用于以从本公开中对这些人员可变得明显的各个或替换性实施例的任一种来实践本发明。 [0025] 本文中所使用的术语仅用于描述特定实施例的目的，而并不旨在限定本发明的各实施例或其任何方面的范围。进一步关于术语，措辞“示例性”在本文中用于表示“用作示例、实例或解说”。本文中描述为“示例性”的任何实施例不必被解释为优于或胜过其他实施例。同样，术语“本发明的实施例”并不要求本发明的所有实施例都包括所讨论的特征、优点、或工作模式。 [0026] 另外，单数形式的“一”、“某”和“该”旨在也包括复数形式，除非上下文另有明确指示。将进一步理解，术语“包括”、“具有”、“包含”和/或“含有”在本文中使用时指定所陈述的特征、整数、步骤、操作、要素、和/或组件的存在，但并不排除一个或多个其他特征、整数、步骤、操作、要素、组件、和/或其群组的存在或添加。 [0027] 此外，许多实施例是根据可由例如计算设备的元件执行的动作序列来描述的。将认识到，本文中所描述的各种动作能由专用电路(例如，专用集成电路(ASIC))、由正被一个或多个处理器执行的程序指令、或由这两者的组合来执行。另外，本文中所描述的这些动作序列可被认为是完全体现在任何形式的计算机可读存储介质内，其内存储有一经执行就将使计算机或相关联的处理器执行本文所描述的功能性的相应计算机指令集。因此，本发明的各个方面可以用数种不同形式来体现，所有这些形式都已被构想落在所附权利要求的范围内。另外，对于本文中所描述的每个实施例，任何此类实施例的对应形式可在本文被描述为例如“配置成执行所描述的动作的逻辑”。 [0028] 本领域技术人员将领会，信息和信号可使用各种不同技术和技艺中的任何一种来表示。例如，贯穿上面描述始终可能被述及的数据、指令、命令、信息、信号、位(比特)、码元、和码片可由电压、电流、电磁波、磁场或磁粒子、光场、电子自旋粒子、电子自旋、或其任何组合来表示。 [0029] 此外，本领域技术人员将领会，结合本文中公开的实施例描述的各种解说性逻辑块、模块、电路、和算法步骤可被实现为电子硬件、计算机软件、或两者的组合。为了清楚地说明硬件与软件的这一可互换性，各种解说性组件、框、模块、电路、和步骤在上面是以其功能性的形式作一般化描述的。如本领域普通技术人员将领会的，此类功能性是被实现为硬件、还是软件还是其组合取决于具体应用和加诸于整体系统的设计约束。此类人员对于每种特定应用可用不同的方式来实现所描述的功能性，但这样的实现决策不应被解读成导致脱离了本发明的范围。 [0030] 结合本文中公开的实施例描述的方法、序列和/或算法可直接在硬件中、在由处理器执行的软件模块中、或在这两者的组合中体现。软件模块可驻留在RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动盘、CD-ROM、或本领域中所知的任何其他形式的存储介质中。示例性存储介质耦合到处理器以使得该处理器能从/向该存储介质读写信息。替换地，存储介质可以被整合到处理器。 [0031] 相应地，本发明的各个实施例可包括计算机可读介质或者可使用计算机可读介质来实践，该计算机可读介质体现使该计算机执行或控制其它结构以执行根据该实施例的过程的指令。因此，本发明并不限于所解说的示例且任何用于执行本文所描述的功能的手段均被包括在本发明的实施例中。 [0032] 相关技术图1示出了具有常规视频电路102的常规视频系统100，常规视频电路102与光传感器103接口并具有由多媒体结构112互连的相机核104、本地存储器106、视频编码器/解码器(VCODEC)108和3D处理器110。常规视频电路102还具有应用(或“apps”)结构114，其连接至多媒体结构112并将应用处理器116与外部存储器控制器118互连。外部存储器控制器118与外部存储器120(例如，外部DDR)接口，并控制将数据卸载到外部存储器120以及从外部存储器120检索数据，如以下更为详细地描述的。 [0033] 继续参考图1，在常规视频系统100中，外部光传感器103可以是光像素传感器的M行×N列的像素阵列(未单独示出)。在常规视频系统100的操作中，光传感器103执行一连串光栅扫描，每个光栅扫描生成M×N的像素帧(下文替换地称为“原始视频帧”)。光栅扫描速率可以是每分钟FS个光栅扫描，其以每分钟FS帧的帧速率生成原始视频帧。常规视频电路102将以帧速率FS从光传感器103接收的原始视频帧输入至相机核104。相机核104随后对每一帧执行简单的格式化功能，诸如裁剪和分块以及亮度以生成本说明书中将称为“经格式化的原始帧”的帧。更为实质的、较高计算负担的操作(例如视频压缩或3D处理)由下游处理器(诸如解码器VCODEC108和/或3D处理器110)来执行。 [0034] 继续参考图1，由于其有限的存储器空间，相机核104不能保存比一个帧多太多的帧。同样，如长久以来已知的，相机核104、多媒体结构112以及下游处理器(例如VCODEC108或3D处理器110)的架构使得相机核104以足以跟上许多应用中使用的帧速率FS的速率直接向这些下游处理器传递经格式化的原始帧是不切实际的。 [0035] 对于常规视频系统的上述限制(诸如图1中所示)的已知解决方案是使处理器资源(诸如示例应用处理器116和存储器控制器118)执行将经格式化的原始帧卸载到外部存储器(诸如示例外部存储器120)(如由以下数据流“卸载”所描绘的)、(如由数据流RTRV(检索)描绘的)伴随从该外部存储器进行对经格式化的原始帧的受控检索、以及将这些帧有序地输入至选定的下游处理器(例如，常规视频电路102内部的VCODEC108)。如图1中示出的卸载可以是从数据相机核104通过多媒体结构112、通过应用结构114以及存储器控制器118到外部存储器120。RTRV可以基本上是反向的，即从外部存储器120通过外部存储器控制器118、通过应用结构114和多媒体结构112到VCODEC108。如上所述，应用处理器116控制检索和数据流RTRV以提供经格式化的原始帧数据作为至VCODEC108(或另一选定下游处理器，例如3D处理器110)的有序输入，该顺序是该VCODEC108或其它下游处理器所特有的并且是其正执行的具体操作所特有的。由应用服务器116执行的控制可包括传达VCODEC108或其它下游处理器所需的握手信号。然而，以上所述的对于相机核104的有限存储以及对于相机核104与下游处理器(例如VCODEC108)之间的有限传递能力的这一已知卸载和检索解决方案消耗相当多的功率。对这一相当多的功耗的贡献者包括例如应用处理器116以及外部存储器控制器118以及进一步还有外部存储器120。另外，功率被外部存储器120消耗。 [0036] 如将从本公开理解的，示例性实施例在各种特征和益处中尤其提供了对以上所述的这些卸载和检索操作的消除，并且因此消除了以上所述的由例如应用处理器116在执行这些操作中的功耗。此外，如本领域普通技术人员将从本公开领会的，示例性实施例提供了这些和其它特征和益处，而不要求视频电路102内的存储器的任何实质增加。 [0037] 关于本说明书中使用的术语，术语“下游处理器”和“下游处理引擎”被可互换地使用，这意味着任一个可替代另一个而不改变预期含义。 [0038] 进一步关于本说明书中使用的术语将理解，在下文中，除了在被显式声明为具有不同含义、或从上下文中清楚看出具有不同含义的实例中，术语“VCODEC”意指：“VCODEC或其它下游处理器，例如但不限于3D处理器”。将类似地理解，在下文中，除了在被显式声明为具有不同含义、或从上下文中清楚看出具有不同含义的实例中，单独地而没有引述“VCODEC”、“3D”或其它具体图像处理功能的上下文的术语“下游处理器”和“下游处理引擎”意指：“下游处理器，诸如但不限于VCODEC、3D处理器、或专用或可配置成执行图像处理器的任何其它图像处理器”。 [0039] 另外将理解，在下文中，除了在被显式另行声明或从上下文中清楚看出具有不同含义的实例中，术语“视频”和“图像”将是可互换的，这意味着任一个可替代另一个而不改变预期含义。 [0040] 还将理解，在下文中，除了在被显式另行声明或从上下文中清楚看出具有不同的含义的实例中，术语“帧”、“像素帧”和“视频帧”将是可互换的，这意味着任一个可替代另一个而不改变预期含义。 [0041] 在根据一个示例性实施例的视频电路或方法中，可提供相机核、本地存储器和下游处理器(诸如VCODEC)，它们由多媒体路径(例如多媒体总线、结构或其它数据互连)互连，并在相机核与VCODEC之间设有直接握手路径。在一个方面，相机核可被配置成在直接握手路径上传达(例如，生成、传送和接收)握手信号以实施和控制从相机核到VCODEC的以块为基础的图像传递(本文中替换地称为“逐块”图像传递)。进一步关于这一方面，相机核可被配置成执行在多媒体路径上至VCODEC的逐块图像传递，同时在直接握手路径上向VCODEC传达必要的握手信号以供VCODEC接收并处理图像数据。在一个方面，根据示例性实施例，具有X行×Y列的光检测器像素阵列的光传感器与视频电路接口。在一个方面，光传感器可被配置成以标称帧速率FS的多倍(例如整数N倍)的速率来执行其X行×Y列的光检测器像素阵列的光栅扫描。在另一方面，这些光栅扫描中的每一个可发送仅像素块，而非具有所有X×Y像素的整个帧。在根据这一方面的一个示例中，裁剪和分块特征可设在光传感器中或与之相关联，从而每一个光栅扫描可向视频电路输出具有帧的1/N像素的裁剪和分块结果的图像块。如将参考图3更为详细地描述的，每个图像块可对应于X×Y像素的帧内的“瓦片”(tile)。在另一示例中，裁剪和分块可从光传感器中省略，并且取而代之，被包括在相机核内执行的低复杂性处理中。 [0042] 作为以上介绍的各方面的一个解说，在根据一个或多个示例性实施例的一种实践中，N可被设为整数(诸如16)，并且光传感器被配置成以标称帧速率FS的16倍的速率来执行其X×Y光检测器像素的光栅扫描。假定示例N为16，裁剪和分块可被包括在光传感器中，从而这些光栅扫描中的每一个光栅扫描输出图像的N个块中不同的一个块(每个块替换地称为“图像块”或“瓦片”)，其中每个图像块或瓦片为X·Y/16个像素。因此，如果N＝16并假定图像块之间没有交叠(这在实践示例性实施例中可被采用或可被省略)，则光传感器对其X×Y的光检测器像素阵列的16个光栅扫描将X×Y像素的一个帧作为图像数据的一连串的16个图像块发送给相机核。将理解，N为16仅是一个示例，并且如本领域普通技术人员将从本公开中领会的，N的实际值可以因应用而异，但可由这些人员基于例如特定相机核的特性(例如，数据缓冲器容量)和视频电路内将该相机核与VCODEC互连的特定数据路径(例如多媒体结构)的特性来容易地确定，如稍后章节更为详细地描述的。 [0043] 根据如上所介绍的并且在稍后章节更为详细描述的示例性实施例，视频电路可设有通过例如多媒体结构或等效装置互连的相机核和VCODEC，以及在一个方面，该视频电路可进一步包括相机核和VCODEC之间的直接握手路径。进一步关于这一方面，相机核可被配置成在直接握手路径上传达用于向VCODEC传递图像所需的握手信号，以及通过例如多媒体路径向VCODEC传递图像数据同时通过直接握手路径传达供VCODEC接收并处理图像数据所需的握手信号。 [0044] 在一个方面，根据示例性实施例的视频电路的相机核可使用视频电路内的小型本地存储器来向下游处理器传递X×Y像素帧的图像块，并且可利用相机核和VCODEC之间的握手路径来控制图像块从本地存储器到VCODEC的传递。 [0045] 在一个方面，X×Y像素帧的逐块传递可包括在光传感器处将X×Y像素帧初始分段或划分为N个像素块，这可包括光传感器以N×FS执行光栅扫描，其中FS是帧每秒计的帧速率，且在每个光栅扫描处，发送每个X×Y像素帧被分段或划分成的N个图像块或瓦片中不同的一个图像块或瓦片(每个具有X·Y/N个像素)。如将从阅读本公开而理解的，这一N×FS(或“N·FS”)速率的光栅扫描特征可与各实施例的图像块从相机核到下游图像处理器的逐块传递相结合以提供以可使用帧速率FS从光传感器到相机核的视频帧流，而无需相关技术图1的将视频帧卸载到外部存储器并从该外部存储器检索，并且因此无需用于此类操作的功耗。在一个方面，相机核可包括延迟缓冲器或等效的数据存储，并且可包括用于检测或监视该延迟缓冲器或其它数据存储的填充状态的装置。在又一方面，相机核可被配置成基于检测到的延迟缓冲器的填充状态来生成其直接握手信号并与下游图像处理器传达其直接握手信号以指示数据可用性(即，延迟缓冲器具有来自光传感器的足够图像数据以启动逐块传递)并防止相机核的延迟缓冲器中的溢出。在相关方面，作为相机核中的延迟缓冲器的附加或替换，根据示例性实施例的视频电路可具有内部本地存储器，诸如先前描述的由内部多媒体结构或等效物耦合至相机核和下游视频处理器的本地存储器，其设有延迟缓冲器或等效的数据存储。进一步关于这一相关方面，相机核可被配置成检测或监视本地存储器的延迟缓冲器的填充状态，并至少部分地基于检测到或所监视的填充状态来生成并传达直接握手信号。 [0046] 图2示出了示例环境中根据一个示例性实施例的具有视频电路202的系统的一个示例功能框图200，其中视频电路202与光传感器250接口。光传感器250可以是，但不必然是具有Q行×R列的光检测器像素阵列(未个别示出，并且下文称为“检测器像素”)的常规像素阵列光传感器，其具有以可编程的扫描速率来扫描光检测器像素并输出具有“扫描启动”和“扫描结束”格式的相应数据流的电路系统(未具体示出)。将理解，标记“Q”和“R”是不具有固有含义的简单任意参考标记，并且可替代地使用任何其它参考标记，例如“X”和“Y”。示例性实施例所属领域的普通技术人员具有常规像素阵列光传感器技术的知识，和/或具有常规像素阵列光传感器和提供该光传感器的各个商业供应商的知识，以鉴于本公开来设计和构造或是选择和配置市售或其它常规技术像素阵列光传感器以根据示例性实施例来实践。因此，除了关于根据示例性实施例的实践的示例扫描操作外，省略了光传感器250的详细描述。视频电路202可包括由例如内部多媒体结构或总线210互连的相机核204和下游处理器，诸如视频编码器/解码器(VCODEC)206和3D处理器208。根据一个方面，视频电路202可包括或可被配置成形成在相机核204与一个或多个下游处理器(例如，VCODEC206和3D处理器208中的一者或两者)之间的直接握手路径(诸如示例直接握手路径212A和212B)，可希望根据示例性实施例从相机核204到这一个或多个下游处理器的直接逐块图像数据传递。如将理解的，进一步关于直接握手路径(例如，212A和212B)的这一方面，提供由相机核204对至视频电路202内的下游处理器的逐块传递的控制，该直接握手路径(诸如212A和212B)可以是专用的。 [0047] 继续参考图2，将理解，除了在被显式另行声明或从上下文中清楚看出具有不同含义，如本文所使用的术语来自相机核204的“图像数据的直接传递”涵盖了由或通过相机核204或等效物控制的通过内部路径(诸如内部多媒体结构210或等效物)的图像数据传递，无需卸载至外部存储器，诸如外部存储器252(或图1的外部存储器120)，以下进一步描述。 还将理解，根据一个方面，“内部路径(诸如内部多媒体结构210或等效物)”可涵盖从相机核204或等效物到下游处理器(例如，VCODEC206和/或3D处理器208)的可经过本地存储器(诸如示例视频电路202中示出的“IMEM”214)的传递。根据从相机核到下游处理器的图像数据直接传递的这一方面的一个示例在图2上被示为包括从相机核204到IMEM214的传递DT1以及从IMEM214到VCODEC206的传递DT2，并在稍后章节进一步详细描述。进一步关于这一方面，在从相机核到下游处理器的图像数据直接传递(诸如图2中从IMEM214到VCODEC206或3D处理器208的传递DT2)中，图像数据可经过多媒体结构210或等效物，伴随直接握手信号路径212A或212B上在相机核204与VCODEC206或3D处理器208之间的 握手信号的并发通信。 [0048] 仍然参考图2，关于内部多媒体结构210的结构和协议，将理解，这些并非必然是各实施例所特有的。相反，相关领域的普通技术人员在将其所拥有的专业技术应用于本公开的情况下可容易地从互连的常规协议和规范中进行选择以配置当前标准的内部多媒体结构210或等效物来根据示例性实施例进行实践。内部多媒体结构210的细节的进一步详细描述因此被省略。另外，鉴于本公开，此类人员可容易地适配结构、总线和以后可开发的其它互连用于功能块(诸如，相机核204和VCODEC206)的互连以根据示例性实施例来实践。同样，将理解，各实施例并不限于在“总线”或“结构”含义内的功能块(诸如相机核204和VCODEC206)的互连。 [0049] 继续参照图2，视频电路202可包括(但如从本公开中将理解的，对于根据示例性实施例的实践可省略)应用处理器254，其可例如由应用结构256连接至内部多媒体结构210。示例功能框图200中的视频电路202还被示为具有存储器控制器258以及被示为与外部存储器252接口。可是，存储器控制器258和外部存储器252或此类似设备的使用对于根据示例性实施例的实践可被省略。应用处理器254、应用结构256、存储器控制器258和外部存储器252的进一步详细描述因此被省略。 [0050] 根据一个示例性实施例，根据图2的功能框图200的系统或方法可采用具有在一个方面并如先前所述的Q×R的检测器像素阵列的光传感器250。在一个方面，光传感器250可被配置成以给定帧速率FS的整数N倍来执行Q×R检测器像素的光栅扫描。在一个方面，光传感器250可包括能够在每个光栅扫描处扫描仅一块(例如，其Q×R的检测器像素阵列的1/N)的“裁剪和分块”或等效特征。如将在稍后参照图3更为详细地描述的，使用此种裁剪和分块或等效操作，光传感器250可将其Q×R的检测器像素阵列作为N个瓦片的棋盘模式来扫描，每个瓦片具有QR/N个像素。作为一种解说，为了专注于本说明书而没有不必要的算术复杂性，示例光传感器250可具有Q×R的检测器像素阵列，其中Q和R具有示例值1024(或1k)，且N设为示例值16。假定在光传感器250内执行裁剪和分块或等效功能，每个光栅扫描将因此生成并向相机核204发送256×256或64k像素的块。将理解，除了这些值的整除性(仅为了描述示例中的最小算术复杂性)，Q和R的这些值是任意的。示例值N部分是任意的，并且如本领域普通技术人员从本说明书中将理解的，被选定为将64K像素示为一个示例块大小。 [0051] 用于配置常规的Q×R光传感器以执行以上描述的裁剪和分块或等效功能的一般方法和装置一般是已知的，并且因此省略进一步的详细描述。将理解，本发明的各实施例并不限于在光传感器250内执行裁剪和分块或等效功能。在稍后章节更为详细描述的另一方面，根据示例性实施例，相机核204可被配置成从光传感器250接收整个帧并随后以块方式将每一帧作为N个块向下游处理器传递。还根据该另一方面，并且如将在稍后章节更为详细描述的，相机核204可被配置有延迟缓冲器(未显式示出)。另外，相机核204可被配置成管理延迟缓冲器以将来自光传感器250的新帧数据存储到因至下游处理器的块传递而清空的空间中。此外，基于本公开，用于在每个光栅扫描处扫描或另行选择或提取Q×R光传感器的仅1/N的块的替换装置和方法对于本领域人员或普通技术人员可变得明显。作为一种解说，块选择缓冲器(未在附图中显式示出)可包括在视频电路202内，例如在相机核204和视频电路202与光传感器250之间的接口(示出但未单独标号)之间。此种块选择缓冲器可在由光传感器250执行的每次光栅扫描时接收整个Q×R像素帧(其使用以上所述的Q和R的示例值则将为1M像素帧)，向相机核204传递这些像素的仅一个QR/N＝1M/16＝64K的块并丢弃其余部分。本领域普通技术人员在阅读本公开之际可容易地选择、设计和/或配置实现此类用于从光传感器250中的Q×R光传感器或等效物中选择或提取块的装置或方法的电路系统。 [0052] 参照图2并继续根据示例性实施例的方法的示例过程和系统中的描述，使用所标识的示例值Q＝R＝1024且N＝16用于解说，在根据图2的功能框图200的一个示例中，解说性的光栅扫描序列可始于在1K×1K光传感器的示例阵列的左上方扫描光传感器的256×256(64K)子块或子阵列(未单独示出)，并生成相应的64K像素块。该64K的像素块可随后被传递到相机核204。图2作为NBLK示出了像素块传递(诸如该64K像素块传递)的示例。关于光传感器250和视频电路202之间的接口的细节，以及至相机核204的NBLK像素块传递的相关细节，如先前所描述的，针对每次像素扫描从光传感器250输出的数据可以是根据一般常规光栅扫描输出格式。还将由处理领域的普通技术人员容易地领会的，接口电路系统将是选定的光传感器250的电路系统所特有的以及是相机核204的选定电路系统所特有的。从本公开中，此类人员能容易地选择、配置和/或设计电路系统以执行此类接口和块传递操作以根据示例性实施例来实践，并且因此省略了这些功能的进一步详细描述。 [0053] 进一步继续描述对根据示例性实施例的系统以及过程中的一个示例操作，使用以上所述的示例值Q＝R＝1024且N＝16，在一个方面，相机核204可被配置有延迟缓冲器(未显式示出)。出于解说目的，将假定其中相机核204具有延迟缓冲器的示例，该延迟缓冲器能保存光传感器250的每次光栅扫描时生成的M个像素块。关于M的值，如将由本领域普通技术人员从本公开中容易地理解的，该值可取决于像素块的大小，像素块的大小又取决于N的值协同Q和R的值。受限于这些条件，将显而易见的是，在一些示例中M可等于N，而在其它示例中M可小于N并且进一步地，M可能甚至大于N。换而言之，构想了其中相机核204可以能够保存帧的仅一部分或者可以能够保存来自光传感器250的图像数据的整个帧的实施例。在一个方面，相机核204可被配置成检测延迟缓冲器的填充水平并至少部分地基于这一检测，在例如直接握手路径(诸如212A或212B)上传达握手信号以实施将所存储的像素块按避免延迟缓冲器溢出的速率传递至下游处理器(例如，VCODEC206或3D处理器208)。关于相机核204中的此种延迟缓冲器以及用于检测其填充状态的装置的具体结构，用于一般延迟缓冲器和检测此类缓冲器的填充状态的各种结构和方法对于这些实施例所属的处理领域中的普通技术人员是已知的。一旦阅读了本公开，此类人员因此能容易地应用该一般专业技术来选择、配置和/或设计电路系统以执行此类缓冲和检测功能以根据示例性实施例来实践，并且因此省略了此种结构的进一步详细描述。 [0054] 作为相机核204中的延迟缓冲器的上述方面的补充或者作为一种替换，在另一方面，本地存储器(诸如IMEM214)可被配置成具有延迟缓冲器(未显式示出)，该延迟缓冲器能保存光传感器250的每次光栅扫描时生成的例如S个像素块。将理解，S(类似于M)可取决于像素块的大小，即取决于N、Q和R。在又一方面，相机核204可被配置成检测或另行监视IMEM214中的此种延迟缓冲器的填充水平并至少部分地基于此种检测或监视，在例如直接握手路径(诸如212A或212B)上传达握手信号并由此实施将所存储的像素块按避免IMEM214延迟缓冲器溢出的速率从IMEM214传递至下游处理器(例如，VCODEC206或3D处理器208)。关于IMEM214中的此种延迟缓冲器以及供相机核204检测或监视其填充状态的装置的具体结构，如上所述关于延迟缓冲器和此类缓冲器的填充状态检测的各种结构和方法，出于参考相机核204的延迟缓冲器方面在先前描述的原因，此种结构的详细描述对于已经阅读了本公开的本领域普通技术人员根据示例性实施例来实践并非必要的，并且因此被省略。 [0055] 参考图2，如先前所述，在根据功能框图200的示例系统中，使用Q＝R＝1024且N＝16，一种解说性的N个光栅扫描的序列中的第一光栅扫描可扫描1K×1K光传感器的左上方的256×256块，从而生成可作为NBLK被传递到相机核204的64K像素块。在一个示例中，立即地或在可取决于相机核204中的延迟缓冲器(未在附图中显式示出)的选定配置和特定状态的延迟之后，相机核204可在一传递(诸如由DT1代表的传递)中向IMEM214传递该首个64K像素块。此外，在DT1传递之前的时间或者甚至与DT1传递交叠地，光传感器250可执行第二光栅扫描，从而作为另一NBLK传递向相机核204发送另一64K块。一种解说性的N个光栅扫描的序列内的第二光栅扫描可例如紧邻首个256×256块右方扫描1K×1K光传感器阵列的上方256×256块，以生成另一或即第二个64K像素块。再次，立即地或在可取决于相机核204中的延迟缓冲器的选定配置和特定状态的延迟之后，相机核204可在诸如由DT1代表的另一传递中向IMEM214传递该第二个64K像素块。 [0056] 如将从图3处的图形描绘以及稍后章节的相关描述中进一步理解的，在使用Q＝R＝1024且N＝16的即时示例中，这16个光栅扫描可概念化为较高级的光栅扫描，但并非扫描个体像素，而是扫描4行的4个瓦片，每个瓦片是64K的像素块。如此经概念化并以从左到右从上到下的取向来查看光传感器250的Q×R光传感器像素阵列，这16个光栅扫描中的首个光栅扫描可以是左上角的瓦片(先前描述为左上角的64K块)，并且这16个扫描中的最后一个扫描可以是右下角的瓦片(即，64K像素块)。还将理解，由光传感器250执行的这一扫描顺序(即在左上方开始并在右下方结束)仅是一个示例，并且并不旨在作为对任何实施例或任何实施例的任何方面的范围的任何限定。例如，首个光栅扫描可以是形成光传感器250的Q×R检测器像素帧的右下方处的QR/N像素块。如将由本领域普通技术人员理解的，先前描述的较高级或瓦片扫描还可被视为将图形划分为N个块。 [0057] 仍然参考图2的功能框图200并继续使用Q＝R＝1024且N＝16的示例配置，在以上描述的16个光栅扫描的序列和相应的16NBLK传递以及相应的传递DT1期间的某处，IMEM214可开始向期望下游处理器(例如，VCODEC206)传递它通过传递DT1接收到的64K块。出于示出示例的目的，将任意假定期望下游处理器是VCODEC206。这些传递的示例在图2上被示为DT2并且根据一个方面，这些传递可由相机核204与VCODEC206之间的直接握手信号通信(即，直接握手路径212A)来控制。如先前所述，根据一个方面，IMEM214可具有延迟缓冲器(未在附图中显式示出)，并且可具有用于检测其延迟缓冲器的填充状态的装置，以及在相关方面，相机核204可被配置成检测或另行监视该状态。进一步关于这一方面，使用为16的示例N，可执行16个传递DT2的序列以实施整个帧至VCODEC206的逐块传递。将理解，16个传递DT2的序列所需的时间跨度可部分地与16个传递DT1的序列所需的时间跨度交叠并且可滞后某个量。还将理解，取决于为内部多媒体结构210选定的特定配置，传递DT1和DT2可在内部多媒体结构210上(例如以时分复用)交织。 [0058] 参考图2，将理解，传递NBLK、传递DT1和传递DT2可被视为或被概念化为具有N×FR的平均传递速率的流水线，因为必须针对由光传感器250生成的每一Q×R像素帧执行N次传递。本领域普通技术人员还将容易地理解，相机核204和IMEM214以及这些电路的延迟缓冲器(若被包括)可被配置成在生成作为NBLK传递的16个像素块的16(或其它N)个光栅扫描、从相机核204到IMEM214的16(或其它N)个DT1传递以及从IMEM214到下游处理器(例如，VCODEC206)的16(或其它N)个DT2传递之间的滞后或延迟中具有弹性。具有由本领域普通技术人员拥有的分组缓冲器管理的基本专业知识的此类人员能基于本公开容易地将此类一般专业知识用于选择、配置和/或设计相机核204和IMEM214中的电路系统以提供此种弹性并且，因此这些功能的进一步详细描述被省略。 [0059] 再次参考图2，在另一方面，相机核204可被配置成从光传感器250接收原始帧数据作为完整光栅扫描，每次为整个Q×R像素帧。根据这一方面，传递NBLK是以帧速率FS，而非N×FS。进一步关于这一方面，相机核204可被配置成将原始帧数据存储在一个帧或较大容量的延迟缓冲器(未在附图中显式示出)中，并随后以N×FS的速率执行N个传递DT1，其具有一延迟从而延迟缓冲器中由每个传递DT1腾出的空间变为可用于从下一帧接收该量的像素数据，作为从光传感器250的传递NBLK。关于相机核204中用于存储来自光传感器250的新帧数据(包括存储在因传递DT1而变为可用的空间中)的延迟缓冲器的具体结构，用于一般延迟缓冲的各种结构和方法对于这些实施例所属的领域中的普通技术人员是已知的，并且已经阅览了本公开的这类人员能容易地选择和配置此类结构和方法以实现延迟缓冲，从而实践根据示例性实施例的此类方面。 [0060] 图3是根据示例性实施例的方法和系统中的一个示例过程的流程图300。为了解说流程图300的特定方面，将参考图2的功能框图200来描述某些示例。然而，将理解，这仅是为了示出贯穿特定示例的概念，且并不旨在限制任何实施例或任何实施例的任何方面的范围。 [0061] 参考图3，帧302代表一个完整的Q×R帧，例如来自光传感器250的所有Q×R像素检测器。扫描线304-1、304-2…304-j…304-N(统称为“扫描304”)各自代表在一个方面为每个帧302执行的光传感器250的N个扫描中的一个。每个扫描304输出将被称为“扫描帧”306的输出，并且因此一个Q×R帧或图像可被认为是一连串或序列的N个扫描帧。参照图2和图3，来自每个扫描帧306的数据可被图2中示出的相应一个传递NBLK携带。图3将此示为每个扫描帧306包括像素块(诸如扫描帧306-1内的像素块308-1)，表示在该扫描时获得的N个像素块中的特定一个。如将由阅读了本公开的本领域普通技术人员领会的，像素块(诸如像素块308-1)可替换地被标记为“图像块”。 [0062] 在其中光传感器250执行像素块的裁剪和分块选择或提取的各方面中，扫描帧306可包括仅像素块308。例如，在这些方面中，对应于扫描帧306-1的NBLK包含仅像素块 308-1。类似地，对应于扫描帧306-2的NBLK将包含仅像素块308-2，对应于扫描帧306-j的NBLK将包含仅像素块308-j，以及对应于扫描帧306-N的第N个NBLK将包含仅像素块 308-N。在以上所述的使用Q＝R＝1024且N＝16的示例中，每个扫描帧306-1…306-N 将因此具有仅64K像素块308-1…308-N(统称为“像素块308”)。 [0063] 仍然参考图3，相反，在其中相机核204或等效物对扫描帧306上的像素块执行裁剪和分块选择或提取的各方面中，每个扫描帧306可以是Q×R像素。参照这些方面，像素块308代表在相机核204或等效物中执行的裁剪和切块选择或提取。在图3的示例流300中，对应于第一光栅扫描304-1的扫描帧306-1具有其左上方的像素块308-1。如先前所述，这可被概念化为光传感器250内的Q×R光传感器阵列的左上方的瓦片。如图3中所述，其中相继扫描帧306可获得像素块308的一种示例顺序产生从左到右的瓦片“扫描”，以瓦片的“顶”行的“左方”开始，在“顶”行的“右方”结束，下移一行，重复从“左”到“右”顺序，直至在“右下方”瓦片处结束。图3的流300将这一示例顺序的附加快照示出为扫描帧306-j的像素块308-j在帧302的中间或中心区域处，以及扫描帧306-N的像素块308-N在帧302的右下方。将理解，“左”、“右”、“上”、“下”、“顶”和“底”的这些示例方向和取向是相对的，并且并不必然对应于帧302内的像素的任何实际位置或取向。 [0064] 将理解，扫描帧306提取像素块308的以上示例顺序(其中“顺序”意指帧302内的像素块位置的推进)仅是一个示例，并且并不旨在作为对任何实施例的范围或任何实施例的任何方面的范围的限制。例如，在一个所构想的替换方案中，第二扫描帧306-2可提取可与像素块308-1垂直移位或对角移位(而非水平毗邻像素块308-1)的像素块308-2。如将由本领域普通技术人员从本公开中理解的，N个像素块308的顺序可部分取决于由例如VCODEC206使用的特定编码方案。还将由此类人员理解的，可优选将扫描帧306提取像素块308的顺序选取为对应于下游处理器(例如，图2的VCODEC206或3D处理器208)需要N个像素块的顺序。例如，如将由此类人员从本公开中容易地理解的，不对应于由下游处理器所需顺序的对像素块308的选择或提取顺序可能使得必需在例如相机核204或IMEM214中存储比该选择或提取顺序的确对应于下游处理器顺序情况下将需要的更大数量的N个像素块308。 [0065] 仍然参考图3，块传递310(例如，310-1到310-N，如所解说的)各自代表像素块308从图2的相机核204或等效物到下游处理器(诸如，图2的VCODEC206或3D处理器 208)的输入312的块传递(例如关于308-j的310-j)。在一个方面，每个块传递310可包括像素块308从相机核204到本地存储器(诸如IMEM214)的DT1传递，之后是同一像素块从IMEM214或等效物到下游处理器的对应的DT2传递。进一步关于这一方面，每个块传递 310可包括相机核204或等效物，其与VCODEC206或其它下游处理器传达直接握手信号以执行DT2或等效传递。仍然进一步关于这一方面，每个块传递310可包括相机核204或等效物检测或另行监视相机核204或IEEM214内的延迟缓冲器(未在附图中显式示出)的填充状态，并使用这一检测和/或监视来控制DT1和/或DT2传递。 [0066] 图4解说了其中可有利地采用本公开的一个或多个实施例的示例性无线通信系统400。出于解说目的，图4示出了三个远程单元420、430和450以及两个基站440。将认识到，常规无线通信系统可具有多得多的远程单元和基站。远程单元420、430和450包括如下将进一步讨论的作为本公开的实施例的半导体设备425、435和455。图4示出了从基站440到远程单元420、430、和450的前向链路信号480，以及从远程单元420、430、和450到基站440的反向链路信号490。 [0067] 在图4中，远程单元420被示为移动电话，远程单元430被示为便携式计算机，且远程单元450被示为无线本地环路系统中的位置固定的远程单元。这些远程单元可以是例如移动电话、手持式个人通信系统(PCS)单元、便携式数据单元(诸如个人数据助理)、导航设备(诸如启用GPS的设备)、机顶盒、音乐播放器、视频播放器、娱乐单元、位置固定的数据单元(诸如仪表读数装置)、或者存储或检索数据或计算机指令的任何其他设备，或者其任何组合。尽管图4解说根据本公开的教义的远程单元，但本公开并不限于这些所解说的示例性单元。所公开的设备可适于用在包括具有片上电压调节器的半导体器件的任何设备中。 [0068] 如将由本领域普通技术人员领会的，各实施例的特征和优势中包括通过减少通过互连的话务来降低功率、以及减少对外部I/O的访问并且进一步降低外部存储器的功耗。附加特征和优势包括但不限于通过减少总线话务以及通过移除至外部存储器的卸载来改进系统并发性、用于(诸如由图2的VCODEC206或3D处理器208执行的)下游处理的延迟的减少。另一示例特征是仅使用视频电路内的小型本地存储器(例如IMEM214)来获得以上所述的较低功率和较低延迟的益处，与可能是至少若干兆字节的常规帧缓冲器(例如相关技术图1中示出的外部存储器120)相比，该小型本地存储器可以是例如在数百千字节的范围内。另一示例特征和益处是贯穿示例性实施例在各种组合和安排中在相机核和下游处理器之间具有直接握手路径，可防止本地存储器中以及相机的延迟缓冲器的溢出，即便它们具有小容量。 [0069] 尽管上述公开示出了本发明的解说性实施例，但是应当注意到，在其中可作出各种更换和改动而不会脱离如所附权利要求定义的本发明的范围。根据本文中所描述的本发明实施例的方法权利要求的功能、步骤和/或动作不必按任何特定次序来执行。此外，尽管本发明的要素可能是以单数来描述或主张权利的，但是复数也是已料想了的，除非显式地声明了限定于单数。 |
||||||
