一种基于多相机的快速反射绘制方法专利检索-渲染电脑图像专利检索查询-专利查询网

一种基于多相机的快速反射绘制方法

阅读：683发布：2024-01-23

专利汇可以提供一种基于多相机的快速反射绘制方法专利检索，专利查询，专利分析的服务。并且本发明涉及一种基于多相机的快速反射绘制方法，该方法包括以下步骤：在当前视点下，对场景进行直接绘制，获取多个渲染结果，对渲染结果像素按法线聚类，分别为每个聚类生成传统相机模型，并依据生成的相机模型绘制整个场景，最后依据绘制的图像代理贴图进行深度求交运算，混合生成反射效果。本方法借助GPU强大的计算能力，极大提高了渲染速度和效率。，下面是一种基于多相机的快速反射绘制方法专利的具体信息内容。

权利要求

1.一种基于多相机的快速反射绘制方法，总体包括如下步骤：
(1)从当前视点绘制场景，得到多个渲染结果，生成几何缓存中的颜色图像；
(2)利用屏幕空间聚类算法对屏幕空间反射像素聚类；
(3)计算聚类拟合平面，设定聚类相机初始视点；
(4)由反射光线投影包围盒的长度比例计算聚类相机视点的偏移比例；
(5)对每个聚类，基于偏移视点相机对反射光线进行投影，计算投影包围盒参数和分辨率参数；
(6)为每个相机聚类绘制场景，得到深度图像代理；具体为：绘制时候按照聚类的拟合平面作为相机的近裁剪面，投影的图像包围盒的尺寸作为视窗体大小，包围盒的大小作为绘制分辨率绘制整个场景；将绘制后的图像纹理作为整个场景的图像代理模拟模型；
(7)在深度图像代理上进行反射光线求交，按求交结果点的坐标值索引对应的颜色作为反射颜色，与步骤(1)生成的几何缓存中的颜色图像混合完成整个场景的反射效果绘制。
2.根据权利要求1所述的基于多相机的快速反射绘制方法，其特征在于步骤(2)包括：
屏幕空间像素的聚类方法；用几何缓存中屏幕空间反射像素的法线和物体的标志号聚类；
聚类标识依据三个参数确定，前两个参数为法线向量转换的球坐标系参数：天顶角φ，方位角θ，第三个为反射物体的标志号。
3.根据权利要求1所述的基于多相机的快速反射绘制方法，其特征在于步骤(3)包括：
聚类拟合平面的确定，由聚类中所有像素的几何重心和平均法线确定聚类的拟合平面，并将其作为模拟相机的近裁剪平面。
4.根据权利要求1所述的多相机的快速反射绘制方法，其特征在于步骤(4)，包括：用相机初始视点投影反射光线起始点和终止点，按照包围盒对角线的比例计算聚类相机的偏移视点。
5.根据权利要求1所述的多相机的快速反射绘制方法，其特征在于步骤(5)，包括：对每个聚类，基于偏移视点相机投影反射光线，计算投影包围盒尺寸参数和分辨率信息。
6.根据权利要求1所述的多相机的快速反射绘制方法，其特征在于步骤(7)，包括：对屏幕空间的每个反射像素，在对应的聚类相机深度图像代理中搜索相交点，得到反射颜色；与步骤(1)生成的几何缓存中的颜色图像混合渲染得到反射渲染效果。

说明书全文

一种基于多相机的快速反射绘制方法

技术领域

[0001] 本发明属于实时渲染技术领域，具体涉及一种基于图像空间的多相机计算和光线与图像代理求交方法。

背景技术

[0002] 反射在计算机图形学有重要的作用，它不但能体现物体的美学特性，而且还能逼真地反映出物体的几何关系，使场景渲染效果更加逼真令人信服。这些年，实时反射效果绘制有多个研究方向，但是还没有一个完备的解决方法。这些方向包括：

[0003] 1）基于图像的绘制方法

[0004] 这一部分方法使用场景预计算或者预先采获的颜色数据来计算光照效果。这种经典的图像绘制方法包括Hanrahan的light field方法，S.J.Gortler等的lumigraph方法和P.E.Debevec的view dependent light field方法.Lumigraph方法采用纹理来储存光线映射，而不是颜色采样的方法，可以支持动态场景反射物体和被反射物体的实时更新。Y.Taguchi提出了一种由外到内的光场参数化方法，可以围绕被反射物体构建相机。
L.McMillan的环境光场贴图方法从另一个方向从内而外地参数化光场。总的来说，由于反射的特性，即使是很小的变动都会导致很大的数据量变化，基于图像的绘制方法不太适合反射的绘制。而且，动态场景中物体的变化会使光场的计算太过耗时。

[0005] 2）光线跟踪绘制方法

[0006] 光线跟踪天生支持反射的绘制，但是存在很大的效率问题。暴力地进行每根反射光线与场景中三角形求交是相当费事的操作。为了加快求交的进程，研究人员提出大量的加速结构，包括SE.Yoon提出的LOD结构，T.Foley提出的Kd-trees，N.A.Carr提出的BVH树形结构。这些加速结构都可以加速GPU的求交运算。但是，光线跟踪很少进行光线复用，而且它动态场景中加速结构需要重新计算的特点使得它在反射绘制中存在限制。

[0007] 现代GPU保持了强大的正反馈绘制特性，基于这种特性，研究人员尝试延伸这种特性来绘制反射效果。其中有两种不同的发展方向：正反馈处理被反射三角形绘制方法和正反馈处理反射三角形绘制方法。

[0008] 3）正反馈方式处理被反射三角形绘制方法

[0009] 处理被反射三角形绘制方法要处理两个问题：1对被反射三角形的正确投影。2对被反射三角形的非线性光栅化。第二个问题可以由三角形的不断线性细分来解决。但是第一个问题，对于一个有三角形组成的反射体，它的投影方程没有数学封闭解。

[0010] 研究人员采用多种方法用来解决顶点的正确投影问题：考虑到反射物体的空间划分，反射顶点可以按照E.Ofek等人的空间网格索引查找表思想的方法投影。另外，V.Popescu用反射光线在空间上的聚集性模拟了一组传统相机，这种叫做“基于采样的相机”时一种存储在BSP数的树叶上的特殊数据结构。第三种方法P.Estalella使用GPU的本地搜索来找寻反射顶点的投影。但是，由于多重投影的特性，这些方法对反射物体数量和复杂度扩张性不高。

[0011] 4）正反馈方式处理反射三角形绘制方法

[0012] 另一种正反馈处理的方式是将反射三角形投影光栅化。但是，在光栅化的图像上找交点也是件困难度事情。如今，科研人员提出几种模拟被反射场景的方法来避免实际的复杂光线求交过程。J.Kautz和P.Green等人的环境光贴图方法假设被反射物体和反射物之间的距离无限长。在这种假设下，反射光线直接去索引环境光贴图颜色而不考虑实际的几何位置。环境光贴图可以通过Mip映射的形式进行反走样，对场景复杂度有良好的扩展性。正是得益于这些便捷性和鲁棒性，环境光贴图很适合于以效率为重的渲染手段。但是，当反射物体和被反射物体很近的时候，环境光贴图不足以产生令人信服的渲染效果。

[0013] 环境光贴图已经扩展到模拟单叶片和J.Kautz和P.Green的多叶片的BRDF平滑反射模型。同时，L.Szirmay-kalos的配有深度信息的环境贴图方法也用来提高反射的质量。但是，这种环境贴图因为只能获取到可见位置的信息，在反射渲染的时候，没在环境贴图上的场景就不会被正确渲染。

[0014] 为了减少这种因为采样不足造成的缺陷，反射场景可以分割成物体，然后对用广告版，或者V.Popescu提出的的传统的深度图像以及后来的P.Rosen的非传统相机模型方式对每个物体进行模拟。这样可以获得好的反射渲染效果，但是对场景进行分割会使算法对场景复杂度扩展性降低。

[0015] 对被反射物体的模拟还包括加速光线跟踪的方法。模拟还包括生成可以索引反射光线颜色的几何场以及X.Yu等人的mip映射的几何图像方法。这些模拟方法都不能实时计算因此不能处理有变形物体的动态场景。

发明内容

[0016] 本发明要解决的技术问题是：提供了一种用多相机方法绘制精确反射效果的方法，并利用GPU 硬件的计算能力，提高了绘制效率。该方法主要利用屏幕几何缓冲生成多相机模型，并根据深度求交算法，计算对应反射光线和深度贴图的焦点，用深度贴图的索引颜色，绘制反射效果，充分利用GPU的特性，达到实时动态场景的精确反射绘制。

[0017] 本发明解决上述技术问题的技术方案为：一种基于多相机的反射绘制方法，包括如下步骤：

[0018] 1）记录屏幕空间像素信息

[0019] 步骤（1）、从当前视点出发进行渲染，在几何缓存（Geometry Buffers）上记录屏幕空间上像素点的颜色值、法线值、深度值、物体标识和反射级别。此过程充分利用现代GPU上的多渲染目标对象结构，在一次渲染的情况下记录视空间信息，实现场景几何信息与屏幕空间的分离。

[0020] 步骤（2）、根据步骤（1）中几何缓存记录的屏幕空间反射像素的法线信息，利用屏幕空间像素上反射光线的聚集性，对屏幕空间的反射像素进行聚类。聚类采用分筒的方式进行，聚类标识依据三个参数确定，前两个参数分别为法线转换的球坐标系参数，第三个为反射物体的标志号。

[0021] 2）对反射像素聚类生成相机模型

[0022] 步骤（3）、一旦聚类的划分确定，就需要着手在聚类划分基础上建立传统相机模型来模拟这个聚类反射的几何场景。首先根据此聚类像素的平均位置信息和平均法线，计算聚类的拟合平面。

[0023] 步骤（4）、以聚类拟合平面为对称轴，做当前视点的镜像对称点作为聚类相机初始位置。按照此初始位置对聚类像素中反射光线起始点和终止点进行透视投影，投影面为聚类拟合平面。在投影平面上分别做投影点初始点和终止点AABB包围盒，并根据两包围盒的对角线大小比例重新设定相机的位置相对初始位置的偏移比例。

[0024] 步骤（5）、按照步骤（4）中得到的相机偏移比例重新设置相机，重新计算聚类像素中反射光线起始点和反射光线终止点在拟合平面上的投影包围盒。并根据相邻两像素点的投影点差值设定此相机的绘制分辨率。

[0025] 3）绘制反射效果

[0026] 步骤（6）、分别为每个相机绘制场景。绘制时候按照聚类的拟合平面作为相机的近裁剪面，投影的图像包围盒的尺寸作为视窗体大小，包围盒的大小作为绘制分辨率绘制整个场景。将绘制后的图像纹理作为整个场景的图像代理模拟模型。

[0027] 步骤（7）、将聚类中的像素几何点在图像代理上的投影作为搜索起点，像素点以反射光线方向延伸场景长度距离后的几何点在图像代理上的投影作为搜索终点，在图像纹理上搜索深度相交的位置点，用此点纹理值索引颜色信息作为当前像素的反射颜色，用来做反射混合渲染。

[0028] 总之，与之前的方法相比，本发明能够快速地准确绘制反射效果，并支持全变形物体和动态场景。本发明主要有两点贡献：第一，给出了一种用图像代理来绘制反射效果的方法，该方法完全在GPU上实现，无需预处理，具有快速并较准确的优点。第二，给出了一种新的多相机绘制模型，能很好的反应聚类上光线聚集的效果，使得相机绘制几何代理深度贴图准确和有效。附图说明

[0029] 图1为算法整体流程图；

[0030] 图2不同场景的聚类示意图（，a）卧室聚类图（b）花瓶聚类图（，c）盥洗室聚类图；

[0031] 图3为聚类拟合平面示意图；

[0032] 图4为偏移相机视点位置示意图；

[0033] 图5为误差示意图，5（a）1倍误差图；5（b）15倍误差图；

[0034] 图6为起居室反射效果图；

[0035] 图7为盥洗室反射效果图；

[0036] 图8为花瓶反射效果图；

具体实施方式

[0037] 下面结合附图以及本发明的具体实施方式进一步说明本发明。

[0038] 本方法针对多相机的反射渲染效果绘制包括以下步骤：

[0039] 步骤（1）给定场景S，从当前视点V渲染场景S，对屏幕空间每个像素p记录[0040] a.漫反射颜色值p.rgbd；

[0041] b.镜面反射p.s和平滑反射混合参数p.g；

[0042] c.法线向量p.n和位置向量p.p；

[0043] d.反射物标识p.rid；

[0044] 到屏幕空间几何缓存(Geometry Buffers)上,应用现代GPU显卡的多渲染目标对象技术，此步骤的众多记录信息只需要一次渲染就能获取。其中镜面反射值p.s为0时表示理想漫发射物体，为1时表示理想镜面反射。同样p.g为0表示理想镜面反射，为1表示有最大BRDF叶片张角的平滑反射模型。

[0045] 步骤(2)、根据步骤（1）中的几何缓存按照物体的法线向量p.n进行屏幕空间反射像素聚类。屏幕空间上反射光线的光线簇方向主要由屏幕空间的法线向量p.n确定，所以聚类标识依据三个参数确定，前两个参数分别为法线转换的球坐标系参数，第三个为反射物体的标志号。具体求解步骤如下：

[0046] a.对每个反射物体R，统计屏幕空间像素数目aR；

[0047] b.统计屏幕空间所有可见反射物体数目nv；

[0048] c.将屏幕空间反射像素p的法线p.n转换为球坐标系坐标(p.n.θ， )，并赋值聚类号(i，j，k)给p；

[0049] i.i=MAXTHETABINS*p.n.θ/360°*aR/nv

[0050] ii.j=MAXPHIBINS* /180°*aR/nv

[0051] iii.k=p.rid

[0052] 其中MAXTHETABINS和MAXPHIBINS分别为定义的聚类标识前两个参数的最大值。

[0053] 聚类效果图如图2，图2中同一色度颜色的区域代表为同一聚类。

[0054] 步骤（3）同一聚类上的反射光线为相差不大的一组光线簇，我们用传统相机模型可以对这一组光线簇进行建模。相机的近裁剪面由拟合平面确定。聚类的拟合平面由聚类的几何重心Pc和平均法线nc决定。聚类的几何重心是聚类所有像素的中心位置，平均法线是聚类像素法线的平均值。图3展示了在二维平面上拟合平面的建立过程。视点e，反射物体在P1和PN的聚类在边界点的法线分别为n1和nN，反射光线r1和rN。远裁剪面为距离近裁剪面一定距离D的平行平面。拟合平面（Pc，nc）可由公式（1）（2）表示，N为聚类像素数目。相机的初始视点位置为当前视点按照拟合平面的镜像投影位置。

[0055]

[0056]

[0057] 步骤（4）、设置聚类相机的偏移视点ec。我们分两步设置ec。首先将当前视点按照拟合平面进行镜像投影（图3）到e0。将聚类像素反射光线的近端点投影到拟合平面上得到轴向包围盒aabbn，同样将聚类像素反射光线的远端点投影得到包围盒aabbf，然后由e0向Pc进行偏移得到ec。ec的偏移量由根据aabbf和aabbn的对角线长度比例关系决定的偏移因子f。公式（3）描述比例因子f的定义：

[0058]

[0059] 这里dn是aabbn对角线的长度，df是aabbf对角线的长度，dF是像素反射光线远端点在远裁剪平面上的投影长度。

[0060] 图4展示了偏移的过程，点Q1’，P1’，Pc’，PN’，QN’表示对应点在聚类的拟合平面投影。Q1’QN的长度对应df’，P1’PN’表示dn，Q1Q2代表dF，显然df>dn，dF>df，dF>dn，根据公式（3）0

[0061] 步骤（5）设定相机的模型参数。视景体由重新将聚类像素反射光线的初始点和终止点向聚类拟合平面投影的包围盒大小决定，投影中心为偏移后视点ec。聚类相机的视点亦设在ec处，ec与投影平面上轴对称包围盒的顶点连线构成相机视景体，ec与聚类中心Pc连线为相机视线方向。这样摄像机的视景体能包括聚类中的所有反射光线范围。

[0062] 图像的分辨率是按照聚类中在纵向或者横向上相邻的两个像素点确定。具体为：两相邻的像素点按照聚类相机偏移后视点ec进行投影，投影后的平均距离用来确定像素的尺寸p.size。图像的分辨率可以由w*h表示w=aabb.w/p.size，h=aabb.h/p.size。

[0063] 步骤（6）采用步骤（5）得到的聚类相机模型，以拟合平面作为相机裁剪面建立相机，绘制几何场景S，得到深度图像。深度图像是场景几何的有力代理：一旦相交被决定，现代GPU可以快速地绘制场景，并能定制帧缓存信息记录每个像素的颜色和深度信息。深度图像在足够的细节尺度上有效地捕获场景信息。而且深度图像作为纹理资源天然存在GPU中，方便并行处理光线和深度图像做求交操作。

[0064] 步骤（7）采用步骤（6）得到的深度图像，本发明按照世界空间下的反射光线进行求交。给定光线r和深度图形DI，将光线r按照聚类相机投影到DI上得到投影光线r’。然后r’从投影反射光线起点逐像素搜索到反射光线终点。分别定义a和b为前一个和当前搜索点。如果线段[(0，zra)，(1，zrb)]和线段[(0，DI[a])，(1，DI[b])]相交，搜索停止。zra表示光线在a点的深度，DI[a]表示a点在深度图像上的深度值。如果搜索到反射光线终点的没有发现相交，那么表示没有相交点。利用相交点的纹理值索引深度贴图，得到反射光线的反射颜色。最后混合到屏幕空间漫反射颜色值p.rgbd上，得到渲染结果帧。

[0065] 其中，步骤（3）（4）（5）计算均是用计算统一计算架构CUDA（Compute Unified Device Architecture）实现的，另外步骤（1）（2）（6）（7）也是利用现代GPU的可编程渲染器shader实现，本发明充分应用用GPU强大的计算能力，大大提高了效率。

[0066] 本文算法的实现使用的软件平台为Microsoft visual studio2008与OpenGL，使用了CUDA来加速并行算法的计算效率。硬件平台为3.4GHz Inter(R)Core(TM)i7-2600CPU、4GB内存以及NVIDIA GeForce GTX580GPU。与物理光线跟踪的效率对比图如图5所示。方法效果图如图6，图7，图8所示。输出屏幕分辨率为512*512，所用场景起居室和花瓶为27856面片，盥洗室18246面片。表1反映了本发明和光线跟踪方法的时间对比效率表示。表2反映了本发明在反射绘制中各个步骤所用时间。

[0067] 表1.本发明和光线跟踪的时间效率对比

[0068]

[0069] 表2.本发明各个步骤的时间效率对比

[0070]

标题	发布/更新时间	阅读量
基于图像处理的环境光补偿方法、装置及电子设备	2020-06-10	2
一种图形界面的处理方法、装置和系统	2023-08-01	0
一种网页端实时数据的动态展示方法	2021-06-03	1
用于识别场景中的反射表面的方法和系统	2020-08-16	0
一种改进型基于战术信息终端的环境光线自适应方法	2021-12-10	2
一种基于教育操作系统的WebGL独立进程渲染方法及电子设备	2020-11-16	1
对页面内容进行控制的方法及装置	2020-07-04	0
Object removal using lidar-based classification	2023-01-19	2
컴퓨팅 시스템 및 컴퓨팅 시스템에서 타일-기반 렌더링의 그래픽스 파이프라인을 수행하는 방법	2022-04-03	0
画像処理システム、画像処理方法およびコンピュータプログラム	2021-08-23	1

一种基于多相机的快速反射绘制方法

一种基于多相机的快速反射绘制方法

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：