技术领域
[0001] 本
发明涉及一种利用红外线和可见光相结合的水流建模数据捕获装置，属于
虚拟现实技术领域。
背景技术
[0002] 虚拟现实技术是一种通过认识自然、模拟自然进而更好地适应和利用自然的技术，通常在虚拟的场景环境中为现实世界的真实物体进行仿真，追求人在
虚拟环境中的真实感和
沉浸感，使用虚拟来扩展、指导、改善现实。在虚拟场景中模拟真实物体作为虚拟现实技术最常用的一种表达方式而存在，其中使用同一个物体的多
角度
视频流方式进行建模工作是一个典型的代表。有很多经典
算法实现多角度视频建模，其在实时性和精确性上的优势使之在虚拟现实技术中处于一个很重要的
位置。
[0003] 对于自然现象的最直接的获取即为使用摄像机进行视频图像的记录，图像中包含了大量的视觉线索信息，如轮廓、
亮度、明暗度、纹理、特征点、清晰度等，而基于图像的几何建模研究如何通过运用上述视觉线索信息，并结合估计得到的相机镜头与光照环境参数，进行光学投射变换的逆变换运算，恢复出物体或场景的三维几何信息，并得到其三维
几何模型表示的过程。对待建模的物体进行多角度视频拍摄，高效的算法可以实时的提取出每个角度的视频流中前景和背景部分，再利用每个角度的计算结果组合就能得到目标物体的立体三维模型。在虚拟现实中应用广泛。
[0004] 多角度视频流的建模方法目前主要有2种，分别为轮廓法、基于亮度的方法。
[0005] 轮廓法：Martin等人首先提出使用轮廓进行
三维建模的方法：将物体所在的三维空间离散
化成体素，并使用正向试探，剔除投影在轮廓区域外的体素，从而得到物体的三维模型。Laurentini进一步研究了该方法的理论依据，并提出了可视壳(visual hull)的概念.可视壳是所有轮廓图像反投影到三维空间中形成的三维锥壳的交集。对于一个物体来说，其三维模型必定落在其可视壳中。并且，当使用的轮廓图像足够多时，可视壳被认为物体三维模型的一个合理逼近。
[0006] 基于亮度的方法：基于亮度的建模(shape from illumination)通过分析物体多个视角下图像中亮度特征的一致性关系，恢复出其表面的深度信息，并得到其三维几何模型。对于满足朗伯表面假设的物体，不论
光源方向如何，相同的表面点从任何方向观察都具有同样的亮度，这被称为亮度一致性。因此，通过比较物体不同视角下图像亮度值的一致性，可以得到物体表面三维点的位置，从而恢复出三维几何模型。基于亮度的建模中最为常用的即是通过在图像中搜索满足亮度一致性的匹配点，使用
立体视觉的三角测量原理，由这些特征点反算其对应的三维点位置，从而得到三维几何模型，这种方法也被称为基于立体视觉的建模(shape from stereo)。
[0007] 总的来说可视
外壳的方法精确度受到图像
边缘检测误差的限制，建模结果的精确度会随着每个相机捕获的图像前景背景提取准确性的提高而改善。立体视觉的建模方式精确度相对比较高，然而对于水流这样一个非郎伯物体使用该方法则不能得到正确的建模结果。目前常用将水流
染色并打上光栅的方式来配合立体视觉建模，这样会导致水流本身
粘度等物理属性的改变，有违数据驱动自然现象建模中对真实数据倚重的初衷。
发明内容
[0008] 本发明解决的技术问题是：克服了传统方法中由边缘不准确引起的建模失真。适用于对室内各种动态水流的实时精确建模。传统的多角度视频建模方法由于面对水流这样一个特殊的非朗勃表面，在进行视屏的水流边缘提取时会出现一些误差。本发明利用水流在
指定红外波段的高吸收特性和可见光下的高反射特性，设计了一个特定的红外线和可见光同时采集的设备，通过该设备可以精确快速的提取出水流的信息，同时进行真实感强的
渲染。
[0009] 本发明设计利用红外线和可见光相结合的水流建模数据捕获装置，包括：水流发生装置，红外相机，可见光相机，镜头滤片，特定波段红外光发射器，冷光灯，半透半反镜。可同时采集到水流各个角度的不同波段相应图像。具体设计细节和建模方法如下：
[0010] 1)一个经过标定的空间，周围各个角度放置确定坐标和视角范围的红外线可见光采集装置。用以捕获目标的各个角度的相应波段图像信息。
[0011] 2)红外线可见光采集装置内置一个红外相机和一个可见光相机，分别安装有相应的滤光片保证只允许指定
波长范围的光线进入镜头。两个镜头呈90度垂直放置，在光线进入口出设有一个倾斜45度的半透半反镜片，用以将入射光线分成相同的两束光同时分别进入两个相机镜头中。
[0012] 3)光源分有两个，其一是可见光的冷光灯，按照渲染场景要求的方式安放在标定空间内，用以提供目标物体的可见光照明条件，同时不影响其
温度，而改变目标在红外波段的物理特性。
[0013] 4)另一个光源是波长在2.4至3.5μm的红外线
辐射光源。该光源的安装需要尽量
覆盖目标物体的各个角度的所有表面。
[0014] 5)安装水流产生装置于标定空间的中央位置，用于产生被建模目标，需要保证其所产生的水流不会飞溅到标定空间之外。
[0015] 6)使用
图像采集设备中的红外影响来精确提取边界信息进而还原成准确的三维水流，同时利用可见光影响来指导形成真实感强的表面渲染。最终得到真实精确实时的三维水流方针模型。
附图说明：
[0016] 图1是本发明
中红外线和可见光相结合的水流建模数据捕获装置的整体设备示意图。
[0017] 图2是本发明中红外线可见光同时采集装置的说明图。
[0018] 图3是本发明中红外线和可见光相结合的水流建模的方法
流程图。具体实施方式：
[0019] 以下，参照附图，对本发明的具体过程作说明，但本发明不限于图事例。
[0020] 步骤1一个经过标定的空间，该空间具有绝对的坐标原点和空间范围，内部任意一点都对应一个确定的三维坐标值。对目标的建模就限定在该的直角
坐标系中。
[0021] 步骤2如图1中所示的方式，在空间中捕获不同波段的图像信息。
[0022] 步骤2.1标定空间的边缘部分用塑
钢支架搭建一个立体支架，该支架的合适位置上围绕空间中心各个角度放置确定坐标和视角范围的红外线可见光采集装置。
[0023] 步骤2.2这若干个红外线可见光采集装置用以同时捕获目标的各个角度的相应波段图像信息。
[0024] 步骤2.3每个采集装置都有确定的视角范围，需要保证所有采集装置视角范围的并集等于整个标定空间。以此来保证该空间内的任意一个坐标点都可以被捕获到，不会产生遗漏和建模错误的出现。
[0025] 步骤3如图2中所示的结构，红外线可见光采集装置可以同时获得同一位置对目标不同波段的影像数据。
[0026] 步骤3.1一个封闭不透光的方形黑盒边长d，前壁开圆孔作为光线进入的入射点。开孔直径与相机镜头直径相等，设为r。
[0027] 步骤3.2在前壁圆孔的后方安置一个向开孔处倾斜45度半透半反镜，是入射的光线可以透过该镜片同时已90度垂直向下反射一部分同样的光信息。
[0028] 步骤3.3在半透半反镜的正后方的距离s处(s＜d)，放置红外摄像机，在镜片的正下方等距离s处放置可见光摄像机。
[0029] 步骤3.4该采集设备在红外相机镜头上增加红外滤光片只允许指定波段的红外线进入镜头，同理在可见光相机上只允
许可见光波段光线进入镜头。以保证每个相机能采集到相应波段的正确信息，尽量少受其他波段辐射的噪声影响。
[0030] 步骤4按照建模需求架设光源。
[0031] 步骤4.1可见光的冷光灯，按照渲染场景要求的方式安放在标定空间内，数量为n，每个冷光灯的朝向为Ai(i从1到n)，用以提供目标物体的可见光照明条件，同时不影响其温度，而改变目标在红外波段的物理特性。
[0032] 步骤4.2波长在2.4至3.5μm的红外线辐射光源。该光源的照射角度为a。安装时每隔a/2角度，同时在被建模物体的中部和上部分别架设一个上述红外线辐射光源，以覆盖目标物体的各个角度的所有表面。
[0033] 步骤5安装水流产生装置于标定空间的中央位置，用于产生被建模目标，需要保证其所产生的水流不会飞溅到标定空间之外。
[0034] 步骤6对所有相机进行同步，每个时刻使用可视外壳的多目建模方式获得相应状态的水流三维模型。
[0035] 步骤6.1每个角度的红外相机将相应角度采集到的图像信息中红外波段数据，由于水流对该波段的强吸收性，则
水体部分亮度很低，背景部分亮度高且着色较均匀，以此图像来做为传统边界提取算法的输入可以较大的改善其精确性。使用canny算子来进行边缘检测，计算方式为：
[0036] 先使用准高斯函数做平滑运算：
[0037] fs＝f(x，y)×G(x，y)
[0038] 其中fs为平滑后的结果图像，f(x，y)是红外相机获得的原始图像，G(x，y)为高斯算子。
[0039] 平滑后的梯度可以用2*2的一节有限差分近似式：
[0040] P[i，j]≈(fs[i，j+1]-fs[i，j]+fs[i+1，j+1]-fs[i+1，j])/2
[0041] Q[i，j]≈(fs[i，j]-fs[i+1，j]+fs[i，j+1]-fs[i+1，j+1])/2
[0042] F[i，j]和Q[i，j]的均值即为改点位置的x和y方向的梯度偏导数。幅值和方向角可以用直角坐标到极坐标的转化来计算：
[0043]
[0044] S[i，j]＝arctan(Q[i，j]/P[i，j])
[0045] M[i，j]反映了图像的边缘强度，θ(i，j)反映了边缘方向。使得M[i，j]去的局部最大值的方向角θ(i，j)就反映了边缘方向。
[0046] 步骤6.2使用加权线段求交算法来计算一个红外相机的射线和其余红外相机视锥交集。其计算方法如下。
[0047] 对于一条从相机视点向侧影轮廓边缘射出的射线会穿过其他所有锥体，并且与每个锥体都会有相交的情况。其相交结果可能是一条交线段或也可能切于一点，那么这条射线会被其他锥体分割为多条相互之间重叠或存在部分重叠的线段集合。将这些线段集合进行求交运算得到的结果就是物体可视外壳信息。算法如下：
[0048] 利用扫视法快速求交的基本思想是以任意一点为坐标原点，建立平面直角体系。从Y轴开始，在局部区域内，自左向右扫描第一象限内的所有线段，当Y处于某一位置(如z＝m)时，所有与Y
接触的线段可按此坐标系中z值的大小建立一个全序关系，若当移动的Y轴接近相交线段的交点x坐标时，这两条相交线段在求得的全序关系中一定相邻。因此，在与Y轴相交的线段中，只需检查全序关系中没有比较过的相邻线段是否相交。
[0049] 先使用传统的扫描法，当扫视线移动过程中遇到线段的左端点时，则按此线段的左端点y值的大小将此线段加入到全序集中，并比较新插入的线段与其相邻线段是否相交，
修改其权重.当遇到线段的右端点时，此线段已超出局部求交的范围，则将此线段从全序集中删除，修改其权重。
[0050] 求得的线段集Si＝Uk∈{1，2，...，m}[aik，bik]，aik≤bik≤aik+1其中 是一组在实数域R中的线段集，aik，bik分别表示线段的两个
顶点，m为自然数集N中的元素，则S＝[ai，bi]([ai，bi]∈1)就是加权线段求交运算的结果。
[0051] 使用基于局部线段集合平滑的方法，使得求交后的结果自动调整，表达信息更加准确：假设 是一组在R中的线段集合，并且Si＝[ai，bi](ai＜bi)。这组线段集合的局部线性平滑器 线段， (hj为相应权重值)。其中， n＝{3，5，7}。则 再使用基
于局部线段集合平滑的方法进行二次处理得到较规整的结果。
[0052] 步骤6.3使采用多边形检测的方法来调整步骤6.2中获得的可视外壳信息，得到更加准确的结果。
[0053] 采用多边形检测的方法，根据多边形距离的不同来重建物体的表面：首先需要对待检测线段集合中的线段进行分类，根据线段方向区分各个线段集合。在进行分类时，对于不同方向上的线段集合自动求取
阈值，通过所得阈值和每条线段的向量进行对比来区分线段所属集合。根据已分类的线段集合，可以得到共面的线段集合。然后通过每个平面到原点的不同距离来区分不同平面，并记录所有不同平面到原点的距离构造距离矩阵。最后根据所构造的距离矩阵，按某一方向遍历所有相邻平面，同时计算相邻平面的交线，并保存交线信息，通过所得到的交线信息和其他相邻面进行线面相交计算得到多边形的顶点.具体步骤如下：
[0054] 1)根据获取的阈值把线段划分到多个不同的类型的线段集合中，根据以已分类的线段集合，得到每类线段集合所在的平面；
[0055] 2)设定原点，然后根据平面到原点的距离区分每一个平面，依次计算每两个平面之间的距离得到距离矩阵；
[0056] 3)通过距离矩阵在每一个面中查找相邻的平面，并计算面和它相邻面之间的交线，得到每个平面的边当按上述步骤对所有平面处理后，就得到了物体可视外壳的多边形表面信息。
[0057] 步骤7在每个时间间隔上使用该红外线和可见光相结合的数据捕获装置，生成相应状态的三维水
体模型并进行渲染。半透半反镜的存在使得可见光相机获得的图像和红外相机是同源同视角的，由于可见光是按照需要渲染的场景进行光照给予的，所以几乎不需要进行光照变换就可以直接将可见光输入图像进行光照渲染。如果模拟的是动态光源虚拟场景中的目标物体，可以将可见光光源架设在可移动设备上进行统一的控制协调，但是其可控性和成本都需要重新评估。本发明可以再光源已场景的初始情况下固定不动，使用相应的
计算机图形学算法可以根据光源的运动情况准确的计算出来相应状态下的渲染情况。最终得到真实精确实时的三维水流方针模型。
[0058] 最后应说明的是，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的人员来说，在不脱离结合红外线和可见光相结合的数据捕获建模的前提下，还可以做出若干改进或等同替换，这些改进和替换也应视为本发明的保护范围。
