用于存储和取回图像数据的技术 |
|||||||
| 申请号 | CN201010258172.0 | 申请日 | 2010-08-18 | 公开(公告)号 | CN101996391B | 公开(公告)日 | 2014-04-16 |
| 申请人 | 英特尔公司; | 发明人 | N·加洛坡冯伯里斯; W·A·胡克斯; D·布考特; | ||||
| 摘要 | 本 申请 提供了用于存储和取回图像数据的技术。在图形流 水 线中，在光栅化级期间或结束时， 修剪 后输出级存储图元，并且 像素 存储在 存储器 的一部分中。在光栅化级期间或结束时图元和像素的可用性允许实现处理图元和像素的各种方式。 | ||||||
| 权利要求 | 1.一种计算机实现的方法，包括： |
||||||
| 说明书全文 | 用于存储和取回图像数据的技术技术领域[0001] 本文公开的主题总体上涉及用于存储和取回图像数据的技术。 背景技术[0002] 在诸如计算机游戏、计算机动画和医学成像之类的领域中对于图形处理的需求是显然的。图形流水线负责渲染图形。已知了多种图形流水线配置。例如，在Segal,M.和Akeley,K.的“The OpenGL Graphics System:A Specification(Version2.0)”(2004)和The Microsoft DirectX9Programmable Graphics Pipe-line,Microsoft Press(2003)中说明了流行的渲染流水线架构。当代的流水线具有三个可编程级，一个用于处理顶点数据（例如，顶点着色器），第二个用于处理几何图元（例如，几何着色器），第三个用于处理像素片段（fragment）（例如，片段或像素着色器）。 DirectX10引入了几何着色器和几何流输出级。在D.Blythe的“The Direct3D10System”，Microsoft Corporation(2006)中提供了Direct3D10系统的概述。DirectX是涉及输入设备、音频和视频/图形的一组应用程序接口（API）。发明内容 [0003] 根据本发明的一个方面，提供了一种计算机实现的方法，包括：在存储器中分配第一缓存器的一部分，以存储图元属性；请求将所述图元属性从光栅化器存储至所述第一缓存器的一部分中；允许由独立于图形流水线的应用访问所述图元属性；请求从所述光栅化器接收与所述图元属性相关的像素覆盖遮罩；在存储器中分配第二缓存器的一部分，以存储与所述图元属性相关的像素覆盖遮罩；请求将像素覆盖遮罩存储至所述第二缓存器的所述部分中；并且允许访问像素覆盖遮罩的图块，以便由多个核心并行地处理。 [0004] 根据本发明的另一个方面，提供了一种用于存储图元属性的装置，包括：存储器；图形流水线，其至少包括光栅化器和修剪后流输出级；及用于以下的逻辑：在所述存储器中分配第一缓存器的一部分，以存储来自所述光栅化器的图元属性；请求所述修剪后流输出级将所述图元属性存储至所述第一缓存器的一部分中；允许由处理器执行的应用访问所述图元属性；在存储器中分配第二缓存器的一部分，以存储与所述图元属性相关的像素覆盖遮罩；请求所述修剪后输出级将像素覆盖遮罩存储至所述第二缓存器的所述部分中；并且分配像素覆盖遮罩，以便由多个核心并行地处理。 [0005] 根据本发明的另一个方面，提供了一种用于存储图元属性的系统，包括：显示器；及计算机系统，包括：图形流水线，其能够处理图像或视频以便由所述显示器渲染，其中，所述图形流水线至少包括光栅化器和修剪后流输出级；及用于以下的逻辑：在存储器中分配第一缓存器的一部分，以存储来自所述光栅化器的图元属性；请求所述修剪后流输出级将所述图元属性存储至所述第一缓存器中的一部分中；在存储器中分配第二缓存器的一部分，以存储与所述图元属性相关的像素覆盖遮罩；请求所述修剪后流输出级将所述像素覆盖遮罩存储至所述第二缓存器的所述部分中；并且分配像素覆盖遮罩，以便由多个核心并行地处理。 附图说明 [0006] 在附图中示例性而非限制性地示出了本发明的多个实施例，附图中相似的参考标号指代相似的单元。 [0007] 图1以方框图形式描绘了根据实施例的图形处理流水线的实例。 [0008] 图2描绘了根据多个实施例的像素覆盖遮罩（pixel coverage mask）的常规像素着色器处理以及图块（tile）中的像素覆盖遮罩的处理的实例。 [0009] 图3描绘了在由单个核心处理图块时的核心利用情况以及在将单个图块的处理分配给多个核心之前及之后的核心利用情况的实例。 [0010] 图4描绘了图元和像素覆盖遮罩的定制光栅化处理的实例。 [0011] 图5描绘了根据实施例的以缓存模式存储图元和像素覆盖遮罩的方式的流程图。 [0012] 图6描绘了根据实施例的以缓存模式取回图元和像素覆盖遮罩的方式的流程图。 具体实施方式[0013] 本说明书通篇中对“一个实施例”或“实施例”的提及意思是结合该实施例说明的具体特征、结构或特性包括在本发明的至少一个实施例中。因此，本说明书通篇中多个位置出现的短语“在一个实施例中”或“实施例”并不一定全都指代相同的实施例。而且，所述的具体特征、结构或特性可以被合并在一个或多个实施例中。 [0014] 各个实施例提供了一种用以在图形流水线中的光栅化级期间或光栅化级之后存储图元属性和像素覆盖信息的方式。修剪后（post-clip）流输出级使用存储器中的缓存器的多个部分来存储图元及与图元相关的像素覆盖遮罩。被称为图块的屏幕的子区域是屏幕空间中像素数据的空间相干的集合。按照每图块来排序图元并将其修剪至图块边界，可选地采用像素覆盖遮罩来进行这些操作。像素覆盖遮罩确定了像素与图元的关系。例如，像素覆盖遮罩可以标识像素是在图元中、图元外还是在图元的边缘上。可以以多种方式读出并处理所存储的图元和像素覆盖信息。例如，可以并行地或顺序地读出与同一图块相关的像素覆盖遮罩，并且可以将与同一图块相关的多个像素覆盖遮罩一起进行处理。可以对与同一图块相关联的像素覆盖遮罩执行像素处理，以使得处理后的数据在可能的情况下可以重复用于像素覆盖遮罩。 [0015] DirectX10规定了在几何着色器中产生修剪后的三角形数据。DirectX10仅揭示了在像素着色器中的标量模式的被覆盖的像素覆盖遮罩。相对照地，各个实施例借助于单指令多数据（SIMD）向量化编码或者通过在多个核心或线程上并行地运行任务，使得对于并行地处理整个图块而言有多个每图元像素覆盖遮罩可用。 [0016] 图1以方框图形式描绘了根据实施例的图形处理流水线100的实例。在各个实施例中，流水线100是可编程的，至少是基于微软的DirectX10或OpenGL2.1而可编程的。在各个实施例中，可以使用一个或多个应用程序接口（API）配置全部级。绘制图元（例如，三角形、矩形、正方形、直线、点或具有至少一个顶点的形状）在这个流水线的顶端流入，并被变换和光栅化为屏幕空间像素，以便在计算机屏幕上绘制。 [0017] 输入汇集器（assembler）级102用于从多达8个顶点缓存器输入流收集顶点数据。可以对其它数量的顶点缓存器输入流进行收集。在多个实施例中，输入汇集器级102还可以支持称为“实例化（instancing）”的处理，其中，输入汇集器级102仅用一个绘图调用对对象进行几次复制。 [0018] 顶点着色器（VS）级104用于将顶点从对象空间变换到修剪空间。VS级104用于读取单个顶点，并产生单个变换后的顶点作为输出。 [0019] 几何着色器级106用于取回单个图元的顶点，并产生0个或多个图元的顶点。几何着色器级106用于输出图元和直线作为顶点的已连接带。在一些情况下，几何着色器级106用于在称为数据放大的处理中，从来自顶点着色器级的每个顶点发出多达1024个顶点。此外，在一些情况下，几何着色器级106用于从顶点着色器级104取得一组顶点，并对其进行组合以发出较少的顶点。 [0020] 流输出级108用于将来自几何着色器级106的几何数据直接传递到存储器150中的帧缓存器的一部分中。在数据从流输出级108移动到帧缓存器后，数据能够返回到流水线中的任何点来进行额外的处理。例如，流输出级108可以以顺序的方式将由几何着色器级106输出的顶点信息的子集复制到存储器150中的输出缓存器。 [0021] 光栅化级110用于执行诸如修剪、剔除（culling）、片段产生、裁剪（scissoring）、角度划分（perspective dividing）、视区变换（viewport transformation）、图元设置和深度偏移之类的操作。另外，光栅化级110可以执行以下的任意一个或全部：将屏幕空间图元与图块（例如，屏幕的子区域）相关联以便进行并行化处理；将图元修剪至图块的范围（或者在单个图块情况下的整个屏幕视区）；产生像素覆盖遮罩，其是由每个图块中的图元所接触的像素的列表；和/或为每个被接触像素产生表面和材料属性的内插值。 [0022] 光栅化级110用于提供至少一个输出流。输出流包括两个子流：一个子流用于图元，一个子流用于像素覆盖遮罩。可以以不同速率输出子流。可以针对每个光栅化的图块（一旦其变为可用）独立地使用流数据。这在多线程环境中是有利的，多线程环境中，将工作分配给不同的线程并且对其进行并行处理，同时在图形流水线中仍然正在产生其它图块的流数据。 [0023] 相关于像素的流水线排序处理，在流水线中将修剪后流输出级112设置在光栅化级110之后及像素着色级114之前。修剪后流输出级112用于将图元流存储至图元存储器区152的一部分中，并将像素覆盖遮罩存储至图块存储器区154的一部分中。在一些情况下，由光栅化级110产生的像素覆盖遮罩不存储在存储器区154中。在此情况下，不分配存储器区154。 [0024] 在多个实施例中，图元流包括经修剪的屏幕空间图元，并且是按照绘制顺序的，但不必按照每图块进行编组。图元流包括图元的屏幕空间顶点位置以及用于定制内插的每顶点深度信息。基于对于存储器占用区域、特征和性能的应用需求，图元的其它每顶点属性包括：纹理坐标、颜色、存在时间、发光度（radiance）、辐照度（irradiance）和深度及可被包含在流中的那些属性。 [0025] 在多个实施例中，像素覆盖流参考图元，并且按照每修剪后图元而被编组。像素覆盖遮罩定义了哪些屏幕像素被相应的图元所接触。在一些实施例中，不存储这个像素覆盖遮罩流。作为替代，由定制的应用侧的覆盖遮罩产生代码来产生像素覆盖遮罩。产生像素覆盖遮罩的应用知道图元的顶点位置，并基于顶点位置来判断像素是否与图元相关联。这个应用可以在存储器150中分配缓存器，以将像素覆盖遮罩存储至存储器中所分配的区域中。 [0026] 在多个实施例中，修剪后流输出级112用于以流模式或以缓存模式将图元数据及可任选的像素覆盖数据存储至大小可变的存储器缓存器中，并且其具有链接列表式的表示，该表示使得能够按照图元和像素覆盖流的绘制顺序进行顺序地使用。如果产生了像素覆盖遮罩，则覆盖流数据结构包含指向图元流中其相关图元的数据结构的指针。 [0027] 在流模式中，由应用在每图块回调函数（per-tile call-back function）中处理图元数据。在流模式中，仅有该流的若干部分（例如，为一个图块的大小）可立即用于该应用。在流模式中，可以在处理之后重写图元和像素覆盖数据。在应用完成了对该流的该图块大小的部分的处理之后，则该流的该部分可被重写。这个模式使用了较少的存储器，使得在多线程环境中只要数据准备好就能够处理数据，但不能实现图块间的工作共享。 [0028] 在缓存模式中，将用于整个屏幕的数据存储在缓存器中，并在产生了整个流（例如，全部图块或特定数量或区域的图块）之后可由应用对其进行访问。因此，在缓存模式中，将一个帧的全部图块的像素覆盖遮罩存储在图块存储器区154中。图块存储器区154由修剪后输出级112填充，并且如果已存储了一帧的全部图块的像素覆盖遮罩或者已填满了图块存储器区154，则一帧的图块的像素覆盖遮罩就可用于处理。一个或多个应用随后可以立即处理全部数据。 [0029] 在流模式和缓存模式两者中，将数据以流形式输出至在图形流水线上管理的存储器资源，并且数据不是直接可编程的且应用不可直接访问数据。可以在应用侧在每图块回调函数中处理数据。可以在不干扰应用侧的情况下在后续的渲染回次（pass）中将数据以流形式传送回流水线，或者将该数据复制到分级资源，从而使其可由应用异步地读取。图形流水线不需要以任何方式对数据流的产生进行调度，因为图形流水线知道被管理的流存储器资源的依存性。如果在后续的渲染回次中使用流输出数据，或者如果在应用处理完该数据之后可将该数据丢弃，则会发生存储器资源的依存性。在缓存模式中，应用可以通过请求在资源上锁定或者通过异步复制来访问数据。 [0030] 像素着色器级114用于读取每个单一像素片段的属性，并产生具有颜色值和深度值的输出片段。 [0031] 输出合并器级116用于对来自像素着色器级114的片段执行模板和深度测试。在一些情况下，输出合并器级116用于执行渲染目标混合。 [0032] 存储器150可以被实现为以下任何一种或其组合：易失性存储器设备，例如但不限于随机存取存储器（RAM）、动态随机存取存储器（DRAM）、静态RAM（SRAM），或者任何其他类型的基于半导体的存储器或磁存储器。 [0033] 图2描绘了根据多个实施例的对像素的常规像素着色器处理以及图块中像素的处理的实例。对于在已知的图形流水线中的常规像素着色器处理，可以将来自图元的像素分布在多个像素着色器上进行处理。然而，在多个实施例中，与同一图块相关的像素可用于进行处理。对与同一图块相关的像素的处理可以提供优于常规像素着色器的像素处理的一些优点，但这些优点不是任何实施例的必需特征。首先，可以针对图块中的全部像素预先计算并重复使用对于单个图元而言是共用的许多计算。这种计算的实例是用于三角形内测试（inside-triangle test）和早出策略（early-out strategy）的内插度量。其次，按每图元的处理提供了传送相邻像素数据的灵活性，并从而在应用侧实现了诸如光晕（bloom）和景深之类的屏幕空间效果。 [0034] 在已知图形流水线中，图块处理局限于几何或像素着色器中的单个核心。然而，多个实施例允许使用多个核心来并行地处理图块的图元和像素。在多个实施例中，在光栅化后图元和像素的可用性允许对图元进行图块化处理，例如，对图像子区域的处理。另外，在光栅化后图元和像素的可用性允许用以在应用侧将工作并行化并重新分配的能力。例如，多个核心可以并行处理图元和像素。结果，在光栅化后图元和像素的可用性与常规图形流水线相比实现了相当大的性能提高。 [0035] 对于很多趋于在屏幕空间中具有空间一致性的图形处理技术，按图块顺序的访问方式实现了相当大的性能优势。这种排序实现了图形高速缓存的最佳使用，并避免了高速缓存误取数据的性能损失。 [0036] 图3描绘了在单核心处理图块时的核心利用情况以及在将单个图块的处理分配到多个核心之后的核心利用情况的实例。该曲线图表示随时间的向量利用情况。曲线图302显示了每个图块的工作局限于单个核心。一些核心迅速进入空闲状态，而其他核心仍处理工作量大的图块。曲线图304显示了在多个核心之间重新分配那些图块的工作，以实现好得多的随时间的核心利用情况。 [0037] 在多个实施例中，光栅化后图元和像素的可用性使得能够进行对图元和像素覆盖遮罩的定制处理。在每次要对屏幕的一部分进行渲染时，可以调用回调例程。示例性的回调例程是图块渲染操作。在流模式中，可以通过在实现图元和像素的定制光栅化处理的回调例程中增加代码来增加新的图形特征和效果。 [0038] 图4描绘了图元和像素的定制光栅化处理的实例。例如，定制的光栅化处理可以包括不规则的光栅化。不规则的光栅化包括在渲染图像时利用非2D网格数据结构的光栅化。例如，对于不规则的光栅化和加阴影应用，应用可以实现定制内插技术，这是由于按照每屏幕顶点来提供图元专用的表面和材料属性，并且由于图元顶点值是可用的。定制内插可以包括：基于图元顶点值，来确定在偏心像素位置处的表面属性值。此图元顶点数据在常规像素着色器中是不可用的，因为仅为常规像素着色器提供了在像素中心处的内插值。由使用流输出的应用进行该定制内插，并且因此那些结果可以由该应用而不是由图形流水线使用。 [0039] 作为第二个实例，应用可以选择放弃光栅化器中的规则的覆盖遮罩计算，而改为计算定制的覆盖遮罩。覆盖遮罩是用于定义哪些像素被图元接触的遮罩。例如，设计者可以确定将何种规则用于确定像素是否接触图元。例如，如果像素仅仅接触图元但不在图元内部，则定制的覆盖遮罩可以允许图元接触该像素。应用可以使用那些定制的覆盖遮罩。 [0040] 在 Gregory S.Johnson、William R.Mark 和 Christopher A.Burns 的“The Irregular Z-Buffer and its Application to Shadow Mapping”（奥斯丁的得克萨斯大学计算机科学系的技术报告TR-04-09）中说明了不规则的Z缓存。在该文献的图3中，黄色圆点表示像素内的位置，在这些位置处计算诸如颜色和深度之类的图元属性。这个计算称为“内插”。参考该文献的图3，在传统图形流水线中，在像素中心处计算深度。相对照地，对于不规则的Z缓存，在任意位置处确定深度（也称为“Z”）。在多个实施例中，对图元和像素覆盖遮罩的存储允许应用在任意位置处进行内插，此举用于不规则的Z缓存的实现中。 [0041] 图5描绘了根据实施例的过程500的流程图，其示出了用以以缓存模式存储图元和像素的方式。图5的过程可以由处理器执行的应用来执行。块502包括：在存储器中分配图块缓存器以存储与图块相关的像素覆盖遮罩，并且在存储器中分配图元缓存器以存储图元。在应用要产生定制的像素覆盖遮罩的情况下不必执行块502。例如，在应用要产生定制的像素覆盖遮罩的情况下，可以不执行在存储器中分配图块缓存器以存储与图块相关的像素覆盖遮罩的操作。在应用要产生定制的像素覆盖遮罩的情况下，应用可以分配缓存器以存储该定制的像素覆盖遮罩。例如，图块可以是4×4像素区域。例如，在以下的伪代码中，指令SetFrontEndSOTargets分配这些缓存器。 [0042] 块504包括：发出调用以将图元属性从光栅化器存储至图元缓存器中，并将与图元相关的像素覆盖遮罩从光栅化器存储至图块缓存器中。在应用要产生定制的像素覆盖遮罩的情况下，可以不执行发出调用以将与图元相关的像素覆盖遮罩从光栅化器存储至图块缓存器中的操作。 [0043] 块506包括：禁止将像素覆盖遮罩和图元属性存储至所分配的缓存器中。例如在以下的伪代码中，指令FrontEndSOSetTargets禁止在所分配的缓存器中进行存储。在应用要产生定制的像素覆盖遮罩的情况下，可以不执行禁止将像素覆盖遮罩存储至所分配的缓存器中的操作。 [0044] 图6描绘了根据实施例的过程600的流程图，其示出了用以访问图元属性和像素覆盖遮罩的方式。过程600可以由主机侧的应用执行。块602包括：确定图元属性缓存器和图块缓存器的特性。例如，块602可以包括：取回与每个缓存器相关的溢出标志，并确定存储在图块缓存器中的图块数量。在以下的伪代码中，指令Query_GetData取回溢出标志。 [0045] 块604包括：确定是否发生图块缓存器和图元缓存器的溢出。例如，块604可以包括：基于溢出标志来确定这些缓存器的溢出。如果检测到溢出，则该过程可以退出。在多个实施例中，该过程可以请求图块缓存器和图元缓存器的额外的存储器，以使得这些缓存器的溢出不会发生。所述额外的存储器可以大于为溢出的缓存器所分配的存储空间。例如，额外的存储空间可以允许存储比在图块缓存器中所存储的图块更多的图块，以及存储比在图元缓存器中所存储的图元更多的图元。例如，在以下的伪代码中，指令SetFrontEndSOTargets分配缓存器的大小。因此，在指令SetFrontEndSOTargets的下一次执行中，可以改变缓存器的大小。 [0046] 块606包括：请求对存储了图元属性及相关像素覆盖遮罩的缓存器或缓存器的多个部分进行存储器锁定。存储器锁定可以包括拒绝其他过程重写感兴趣的缓存器中的数据。在以下的伪代码中，指令ViewLock导致锁定图块缓存器的一部分。 [0047] 块608包括：取回所存储的图元属性及相关像素覆盖遮罩。可以释放所取回的图元数据以便以任何方式进行处理。例如，参考图4所述的过程可以处理所述图元和像素数据。 [0048] 块610包括：释放缓存器的被锁定部分的存储器锁定。在以下的伪代码中，指令ViewUnlock释放缓存器的被锁定部分，以使得缓存器可以由其他过程读取或写入。 [0049] 以下提供关于存储图元和像素（图5）及访问所存储的图元和像素（图6）的方式的伪代码。 [0050] [0051] [0052] [0053] 本发明的实施例可以实现为以下任何一个或其组合：使用主板互连的一个或多个微芯片或集成电路、硬连线逻辑、由存储器设备存储并由微处理器执行的软件、固件、专用集成电路（ASIC）和/或现场可编程门阵列（FPGA）。示例性地，术语“逻辑”可以包括软件或硬件和/或软件和硬件的组合。 [0054] 可以在多种硬件架构中实现本文所述的图形和/或视频处理技术。例如，图形和/或视频功能可以集成在芯片组中。或者，可以使用分立的图形和/或视频处理器。作为再另一个实施例，可以由包括多核处理器在内的通用处理器来实现图形和/或视频功能。在另一个实施例中，可以在消费电子设备中实现这些功能，例如，便携式移动计算机或具有用以显示由图形流水线处理的图像或视频的显示设备的移动电话。 [0055] 例如，可以作为可包括一个或多个机器可读介质的计算机程序产品来提供本发明的实施例，所述机器可读介质包括存储于其上的机器可执行指令，所述机器可执行指令在由诸如计算机、计算机网络或其他电子设备之类的一个或多个机器执行时，可以使得所述一个或多个机器执行根据本发明的实施例的操作。机器可读介质可以包括但不限于：软盘、光盘、CD-ROM（压缩光盘只读存储器）和磁光盘、ROM（只读存储器）、RAM（随机存取存储器）、EPROM（可擦可编程只读存储器）、EEPROM（电可擦可编程只读存储器）、磁卡或光卡、闪存或适合于存储机器可执行指令的其他类型的介质/机器可读介质。 [0056] 附图和前述说明给出了本发明的实例。尽管被描绘为多个不同的功能项，但本领域技术人员会意识到，这些单元中的一个或多个也可以组合为单个功能单元。或者，特定单元可以分裂为多个功能单元。来自一个实施例的单元可以添加到另一个实施例中。例如，可以改变本文所述的过程的顺序，而不局限于本文所述的方式。此外，任何流程图中的操作都不必以所示的顺序来实现；也并非必然要执行全部的操作。此外，不依赖于其他操作的那些操作可以与所述其他操作并行地执行。然而，本发明的范围决不局限于这些具体实例。许多变更，不论是否在说明书中明确给出，都是可能的，诸如结构、尺寸和材料的使用中的差别。本发明的范围至少与所附权利要求书所给出的一致。 |
||||||
QQ群二维码
意见反馈
意见反馈