高光谱光场成像方法和系统
阅读：848发布：2023-12-24
专利汇可以提供高光谱光场成像方法和系统专利检索，专利查询，专利分析的服务。并且公开了一种根据多幅高 光谱 光场图像生成高光谱数据立方体的方法。每幅高光谱光场图像均可含不同视 角 和不同谱带。该方法可包括：计算多个 像素 的幅度直方图、方向直方图和重叠方向梯度直方图；通过将所述幅度直方图、方向直方图和重叠方向梯度直方图相结合而获得不随光谱变化型特征描述符；根据所述不随光谱变化型特征描述符，获得所述高光谱光场图像的对应关系代价；对所述高光谱光场图像实施高光谱光场立体匹配，以获得参考视角 视差 图；以及利用该参考视角视差图，生成高光谱数据立方体。所述重叠方向梯度直方图中的直方条可含重叠的方向范围。，下面是高光谱光场成像方法和系统专利的具体信息内容。
1.一种根据多幅高光谱光场图像生成高光谱数据立方体的方法，其中，每幅所述高光谱光场图像均具有不同视角和不同谱带，其特征在于，所述方法包括：
计算多个像素的幅度直方图、方向直方图和重叠方向梯度直方图，其中，所述重叠方向梯度直方图中的直方条包括重叠的方向范围；
通过将所述幅度直方图、所述方向直方图和所述重叠方向梯度直方图相结合而获得不随光谱变化型特征描述符；
根据所述不随光谱变化型特征描述符，获得所述高光谱光场图像的对应关系代价；
对所述高光谱光场图像实施高光谱光场立体匹配，以获得参考视角的视差图；以及利用所述参考视角的所述视差图，生成高光谱数据立方体。
2.如权利要求1所述的方法，其特征在于，所述不随光谱变化型特征描述符用于同时衡量边缘特征和非边缘特征。
3.如权利要求2所述的方法，其特征在于，所述非边缘特征通过结合所述幅度直方图和所述方向直方图的方式进行表征，所述边缘特征由所述重叠方向梯度直方图表征。
4.如权利要求3所述的方法，其特征在于，还包括：
利用权重矩阵和金字塔结构将所述幅度直方图、所述方向直方图和所述重叠方向梯度直方图相结合，以形成所述不随光谱变化型特征描述符。
5.如权利要求1所述的方法，其特征在于，还包括：
以双向加权归一化交叉相关法对所述不随光谱变化型特征描述符进行比较，以获得相似度衡量参数。
6.如权利要求1所述的方法，其特征在于，还包括：
根据所述高光谱光场图像合成RGB颜色值，并将所述RGB颜色值映射至一谱带以获得估算光谱；以及
比较所述高光谱光场图像的估算光谱和拍摄光谱，以获得所述高光谱光场图像的散焦代价。
7.如权利要求6所述的方法，其特征在于，使用K-L(Kullback-Leibler)散度来比较所述高光谱光场图像的估算光谱和拍摄光谱。
8.如权利要求6所述的方法，其特征在于，还包括：
对所述高光谱光场图像实施高光谱光场立体匹配，以获得基于所述对应关系代价和所述散焦代价的所述参考视角的所述视差图。
9.如权利要求1所述的方法，其特征在于，还包括：通过对遮挡像素和非遮挡像素进行单独处理，基于所述对应关系代价估算所述参考视角的初始视差图。
10.如权利要求1所述的方法，其特征在于，还包括：
由排列成多行多列矩形阵列的多个多视角高光谱数据终端设备拍摄所述多幅高光谱光场图像，其中，每一终端设备由单色相机和窄带通滤光片构成。
11.一种根据多幅高光谱光场图像生成高光谱数据立方体的方法，其中，每幅所述高光谱光场图像均具有不同视角和不同谱带，其特征在于，所述方法包括：
根据所述高光谱光场图像合成RGB颜色值，并将所述RGB颜色值映射至谱带，以获得估算光谱；
比较所述高光谱光场图像的估算光谱和拍摄光谱，以获得所述高光谱光场图像的散焦代价；
对所述高光谱光场图像实施高光谱光场立体匹配，以获得参考视角的视差图；以及利用所述参考视角的视差图，生成高光谱数据立方体。
12.如权利要求11所述的方法，其特征在于，使用K-L(Kullback-Leibler)散度来比较所述高光谱光场图像的估算光谱和拍摄光谱。
13.如权利要求12所述的方法，其特征在于，还包括：
对所述高光谱光场图像实施高光谱光场立体匹配，以获得基于所述散焦代价的所述参考视角的所述视差图。
14.如权利要求13所述的方法，其特征在于，还包括：
计算多个像素的幅度直方图、方向直方图和重叠方向梯度直方图，其中，所述重叠方向梯度直方图中的直方条包括重叠的方向范围；
通过将所述幅度直方图、所述方向直方图和所述重叠方向梯度直方图相结合而获得不随光谱变化型特征描述符；以及
根据所述不随光谱变化型特征描述符，获得所述高光谱光场图像的对应关系代价。
15.如权利要求14所述的方法，其特征在于，所述不随光谱变化型特征描述符用于同时衡量边缘特征和非边缘特征。
16.如权利要求15所述的方法，其特征在于，所述非边缘特征通过结合所述幅度直方图和所述方向直方图的方式进行表征，所述边缘特征由所述重叠方向梯度直方图表征。
17.如权利要求16所述的方法，其特征在于，还包括：
利用权重矩阵和金字塔结构将所述幅度直方图、所述方向直方图和所述重叠方向梯度直方图相结合，以形成所述不随光谱变化型特征描述符。
18.如权利要求13所述的方法，其特征在于，还包括：
以双向加权归一化交叉相关法对所述不随光谱变化型特征描述符进行比较，以获得相似度衡量参数。
19.如权利要求11所述的方法，其特征在于，还包括：通过对遮挡像素和非遮挡像素进行单独处理，基于所述对应关系代价估算所述参考视角的初始视差图。
20.如权利要求11所述的方法，其特征在于，还包括：
由排列成多行多列矩形阵列的多个多视角高光谱数据终端设备拍摄所述多幅高光谱光场图像，其中，每一终端设备由单色相机和窄带通滤光片构成。
21.一种用于通过拍摄高光谱光场图像而生成高光谱数据立方体的高光谱光场成像系统，其特征在于，所述系统包括：
用于拍摄多幅高光谱光场图像的多个多视角高光谱数据终端设备，其中，每幅所述高光谱光场图像均具有不同视角和不同谱带；以及
一数据处理单元，用于：
计算多个像素的幅度直方图、方向直方图和重叠方向梯度直方图，其中，所述重叠方向梯度直方图中的直方条包括重叠的方向范围；
通过将所述幅度直方图、所述方向直方图和所述重叠方向梯度直方图相结合而获得不随光谱变化型特征描述符；
根据所述不随光谱变化型特征描述符，获得所述高光谱光场图像的对应关系代价；
对所述高光谱光场图像实施高光谱光场立体匹配，以获得参考视角的视差图；以及利用所述参考视角的所述视差图，生成高光谱数据立方体。
22.如权利要求21所述的系统，其特征在于，所述数据处理单元用于以双向加权归一化交叉相关法对所述不随光谱变化型特征描述符进行比较，以获得相似度衡量参数。
23.如权利要求21所述的系统，其特征在于，所述数据处理单元用于：
根据所述高光谱光场图像合成RGB颜色值，并将所述RGB颜色值映射至谱带，以获得估算光谱；以及
比较所述高光谱光场图像的估算光谱和拍摄光谱，以获得所述高光谱光场图像的散焦代价。
高光谱光场成像方法和系统
技术领域
[0001] 本发明总体涉及用于生成高光谱光场图像的高光谱光场成像系统，尤其涉及一种根据所拍摄的高光谱光场图像生成全高光谱数据立方体的方法和系统。
背景技术
[0002] 高光谱光场(H-LF)成像为通称光谱成像或光谱分析的一类技术当中的一部分。高光谱光场成像用于对整个电磁光谱内的信息进行收集和处理。高光谱相机/传感器所收集的信息的形式为一组高光谱光场图像。其中，每幅图像均代表电磁光谱内的一段窄的波长段，也称谱带。这些图像可相互组合成为高光谱数据立方体，以供后续处理和分析。高光谱光场成像的目的在于获取具有连续光谱段内各窄谱带的场景图象中每一像素的光谱，从而使得图像中的每一像素均可用于以极高的精度和详实度表征场景中的对象。
[0003] 与普通彩色相机相比，高光谱光场图像能够提供更为详细的场景信息。高光谱光场成像可根据场景内对象的光谱特性，极大地提升人们对场景内对象进行分类的能力。此外，高光谱光场成像还对不同相邻光谱之间的空间关系加以利用，以允许人们拓展出更为精细详实的光谱空间模型，从而实现更加精确的图像分割和分类。
[0004] 本发明提出一种根据所拍摄的高光谱光场图像生成全高光谱数据立方体的新方法。
发明内容
[0005] 本发明的一个方面涉及一种根据多幅高光谱光场图像生成高光谱数据立方体的方法。每幅高光谱光场图像均可含不同视角和不同谱带。该方法可包括：计算多个像素的幅度直方图、方向直方图和重叠方向梯度直方图；通过将所述幅度直方图、方向直方图和重叠方向梯度直方图相结合而获得不随光谱变化型特征描述符；根据所述不随光谱变化型特征描述符，获得所述高光谱光场图像的对应关系代价；对所述高光谱光场图像实施高光谱光场立体匹配，以获得参考视角视差图；以及利用该参考视角视差图，生成高光谱数据立方体。所述重叠方向梯度直方图中的直方条可含重叠的方向范围。
[0006] 本发明的另一方面涉及一种根据多幅高光谱光场图像生成高光谱数据立方体的方法。每幅高光谱光场图像均可含不同视角和不同谱带。该方法可包括：根据所述高光谱光场图像合成RGB颜色值，并将该RGB颜色值映射至谱带，以获得估算光谱；比较所述高光谱光场图像的估算光谱和拍摄光谱，以获得高光谱光场图像的散焦代价；对所述高光谱光场图像实施高光谱光场立体匹配，以获得参考视角视差图；以及利用该参考视角视差图，生成高光谱数据立方体。
[0007] 本发明的另一方面涉及一种用于通过拍摄高光谱光场图像而生成高光谱数据立方体的高光谱光场成像系统。该系统可包括多个多视角高光谱数据终端设备和数据处理单元。所述终端设备可用于拍摄多幅高光谱光场图像，每幅高光谱光场图像均可含不同视角和不同谱带。所述数据处理单元可用于：计算多个像素的幅度直方图、方向直方图和重叠方向梯度直方图；通过将所述幅度直方图、方向直方图和重叠方向梯度直方图相结合而获得不随光谱变化型特征描述符；根据所述不随光谱变化型特征描述符，获得所述高光谱光场图像的对应关系代价；对所述高光谱光场图像实施高光谱光场立体匹配，以获得参考视角视差图；以及利用该参考视角视差图，生成高光谱数据立方体。
[0010] 图1为根据本发明例示实施方式的高光谱光场成像(HLFI)系统示意图。
[0011] 图2A和图2B为根据本发明例示实施方式的高光谱光场成像系统数据捕获单元示意图。
[0012] 图3为根据本发明例示实施方式的高光谱光场成像系统数据处理单元示意图。
[0013] 图4A为根据本发明例示实施方式的高光谱光场立体匹配方法示意图。
[0014] 图4B为根据本发明例示实施方式基于对应关系代价估算视差图的方法流程图。
[0015] 图5为根据本发明例示实施方式的特征描述符结构示意图。
[0016] 图6A至图6D所示为根据本发明例示实施方式获得散焦代价的方法。
[0017] 图7为根据本发明例示实施方式的高光谱光场数据立方体重建方法流程图。
具体实施方式
[0018] 以下将对例示实施方式进行详细描述，各实施方式的实施例示于附图中。以下描述通过参考附图做出，其中，除非另有说明，否则不同附图中的相同附图标记表示相同或类似的元件。在以下对本发明例示实施方式的描述中，所给出的具体实施方式并非本发明的所有实施方式。相反，这些具体实施方式仅为本发明所涉及的各个方面当中的系统和方法的具体示例。
[0019] 根据本发明实施方式，提供一种高光谱光场成像(HLFI)系统，该系统包括数据捕获单元、数据处理单元和数据显示单元。其中，所述数据捕获单元拍摄多幅多视角高光谱光场图像，作为高光谱光场图像样本，并将这些高光谱光场图像样本发送给所述数据处理单元。该数据处理单元通过对所述高光谱光场图像样本进行预处理而获得已校正无失真高光谱光场图像，并通过实施高光谱光场立体匹配而获得参考视角视差图。随后，所述数据处理单元根据所述视差图生成全高光谱数据立方体，并将这些全高光谱数据立方体发送给所述数据显示单元，以供其显示。
[0020] 在一些实施方式中，所述高光谱光场图像样本为5×6幅高光谱光场图像。其中，每幅图像均摄于不同视角，并对不同的10nm带宽光谱段进行采样。如此，该30幅高光谱光场图像的总光谱便可覆盖整个410nm～700nm可见光谱。在一些实施方式中，所述全高光谱光场数据立方体包含所有的5×6个视角及5×6×30幅图像，其中，30为被采样的谱带数。如此，所述全高光谱光场数据立方体即覆盖划分为30个10nm谱带的整个410～700nm光谱段。
[0021] 1、系统概述
[0022] 图1所示为根据本发明实施方式的例示高光谱光场成像系统100。系统100可包括若干部件，其中的某些部件可以为可选部件。在一些实施方式中，系统100可包括图1所示之外的部件。然而，由于所公开的实施方式出于说明目的，因此并无必要将这些组件全部示出。
[0023] 如图1所示，系统100可包括数据捕获单元200、数据处理单元300以及数据显示单元400。数据捕获单元200可包括多个多视角高光谱数据终端设备210和相机校准单元220。数据处理单元300可包括数据预处理单元310、高光谱光场立体匹配单元320以及高光谱光场数据立方体重建单元330。数据显示单元400可包括高光谱光场动态重聚焦单元401和全高光谱光场数据立方体单元402。
[0024] 2、数据捕获单元
[0025] 如图1所示，数据捕获单元200可包括多个多视角高光谱数据终端设备210和相机校准单元220。
[0026] 2.1高光谱数据终端设备
[0027] 图2A和图2B为根据本发明实施方式的多个多视角高光谱数据终端设备210的示意图。在一些实施方式中，终端设备210可排列为5行6列的矩形阵列。每一终端设备210的位置均可表示为{i,j}，其中，i代表行号，j代表列号。如图2A所示，每一行的终端设备210均等间隔设于同一平板上。各行可均匀地固定于同一限位支架上，该支架确保每一终端设备与相邻终端设备之间的基线不但相同，而且处于安装精度和技术的限值范围内。基线是指相邻终端设备/相机间的像素距离，单位为毫米。
[0028] 每一终端设备210可由单色相机和窄带通滤光片构成。每一滤光片的工作波长均可以为最小波长为410nm且最大波长为700nm的波长段内特定10nm谱带的中心波长。如此，所有的5×6个滤光片便可以10nm的间隔，对整个410nm～700nm可见光谱进行采样。也就是说，终端设备210可拍摄5×6的高光谱光场图像。其中，每幅图像均对不同的10nm带宽光谱段进行采样，从而使得30幅高光谱光场图像的总光谱覆盖整个410nm～700nm可见光谱段。这30幅高光谱光场图像为用于生成本发明全高光谱数据立方体的高光谱光场图像样本。表
1列出了高光谱数据终端设备阵列的参数。
1列出了高光谱数据终端设备阵列的参数。
[0029]
[0030]
[0031] 表12.2多相机校准
[0032] 多视角高光谱数据终端设备210的相机可包括内部参数、外部参数和失真参数。其中，内部参数是指将图像点的像素坐标与相机参考系中的相应坐标相关联的参数，而外部参数可以为限定相机参考系相对于已知世界参考系的位置和朝向的参数。失真参数可以为镜头生产技术和成像模型的限制所导致的参数。所述内部参数、外部参数和失真参数用于对所拍摄的高光谱图像进行校正。
[0033] 所述内部参数、外部参数和失真参数由相机校准单元220获得。在一些实施方式中，可通过Zhengyou Zhang的相机校准方法(Z.Zhang《, 一种灵活的摄像机校准新技术》(“A flexible new technique for camera calibration”),IEEE Trans.Pattern Anal.Mach.Intell.,22(11):1330–1334,2000.)获得上述参数。其中，为了获得所述内部参数和失真参数，可先将所有相机重新聚焦于具有类似孔径条件的同一平面上，然后通过Matlab平台实施Zhengyou Zhang的方法。此外，还可运用Zhengyou Zhang的方法获得每对相邻相机之间的旋转和平移参数，从而获得所述外部参数。
[0034] 根据上述内部参数、外部参数和失真参数，可以开发出用于所述高光谱光场图像样本的多视角校正方法。由于所有相机的视角在很大程度上覆盖相同的区域，因此无需对相机进行逐一校准。相反，可在对图像进行同步拍摄时，通过保证所有相机的视野中同时具有格状棋盘的方式实现校准。“格状棋盘”为相机校准领域中常用的一种几何图案。此外，由于各相机中的滤光片具有不同的光谱响应特性，还需要确定合适的曝光设置，以确保所有相机能够同时捕获所述格状棋盘图案的对比度。
[0035] 2.3高光谱光场图像拍摄方法
[0036] 所述多个多视角高光谱数据终端设备210拍摄高光谱光场图像后，通过IP网络将其发送给数据处理单元300。处于高光谱数据的大小及传输带宽限制的原因，数据处理单元300可能无法同时获得所有数据。在一些实施方式中，可以开发相关软件，以确保所有相机(5×6)所拍摄的高光谱光场图像的数据能够同步传输给数据处理单元300。其中，可以在每一相机中建立数据缓冲队列，并以分时模式发送数据，从而使得终端设备210能够在外部触发器的作用下同步拍摄高光谱光场图像。此外，由于各相机的滤光片具有不同光谱响应特性，因此对于每一个场景，终端设备210均设置为以采用不同相机曝光设置的多次曝光，拍摄高光谱光场图像，从而使得终端设备210能够在过度曝光之前捕获更多详细信息。
[0037] 3.数据处理单元
[0038] 如图1所示，数据处理单元300包括数据预处理单元310、高光谱光场立体匹配单元320以及高光谱光场数据立方体重建单元330。
[0039] 图3为根据本发明例示实施方式的高光谱光场成像系统数据处理单元300的示意图。如图3所示，数据预处理单元310可包括：曝光效果归一化单元311，用于消除曝光设置导致的影响；光谱响应消除单元312，用于消除各相机光谱响应导致的影响；用于消除视角失真的失真消除单元313；以及用于校正各高光谱图像的图像校正单元314。数据预处理单元310向高光谱光场立体匹配单元320输出已校正无失真高光谱图像。
[0040] 高光谱光场立体匹配单元320可包括：用于衡量对应像素间相似度的对应关系代价单元321；用于衡量非可靠颜色/强度差异的散焦代价单元322；以及用于生成参考视角视差图的能量最小化单元323。高光谱光场立体匹配单元320向高光谱光场数据立方体重建单元330输出参考视角视差图。
[0041] 高光谱光场数据立方体重建单元330可包括：用于估算初始视差的初始视差估算单元331；用于获得相邻视角之间视差图的成对立体匹配单元332；以及用于生成全高光谱数据立方体的图像配准单元333。数据处理单元300输出全高光谱数据立方体，并将其发送给数据显示单元400，以供其显示。
[0042] 3.1图像预处理
[0043] 在数据捕获过程中，每一多视角高光谱数据终端设备的相机均以不同曝光设置拍摄多幅图像。随后，由曝光效果归一化单元311消除每一相机的曝光设置所导致的影响。其中，先测量由每一相机以不同曝光设置拍摄的多幅图像的图像质量，然后将未过度曝光的图像当中灵敏度最高的图像选作该相机的确定数据。该相机的确定数据用于剩余的数据处理。举例而言，每一相机可以5种不同曝光设置，拍摄5幅图像。对于相机{i,j}，假设其第3幅图像为所述5幅图像当中灵敏度最高的未过度曝光图像，则将该第3幅图像选为相机{i,j}的用于剩余数据处理的确定数据。
[0044] 随后，将上述归一化的图像数据输入光谱响应消除单元312，以供其在消除相机光谱响应所致影响的同时，使得图像仍然保持其与光谱的关系。
[0046] 最后，图像校正单元314利用得自相机校准单元220的所述内部和外部参数并依照以下两规则，对所有图像进行校正：(一)对同一行图像进行水平对齐；(二)对同一列图像进行垂直对齐。根据计算机视觉理论，多视角校正问题为一种不适定问题，在概念上与适定问题相对。适定问题被视为一种数学模型，用于描述具有如下特性的物理现象：(一)存在解；(二)该解为唯一解；(三)该解随初始条件的变化而连续变化。为了求解所述多视角校正问题，先选择能最大程度覆盖视场内空间位置的采样模式，然后对该采样模式实施非线性优化方法。如此，可以获得针对所有相机的一组对齐参数，该组对齐参数可用于对上述图像进行校正。
[0047] 数据预处理单元310的输出结果为经预处理的5×6个已校正无失真高光谱光场图像。这些经预处理的高光谱光场图像覆盖划分为30个10nm宽的谱带的410～700nm光谱段，而且该30幅图像当中的每一幅均对应不同视角。
[0048] 3.2高光谱光场立体匹配
[0049] 上述已校正无失真高光谱图像输入高光谱光场立体匹配单元320。该高光谱光场立体匹配单元的输出为最优参考视角视差图。在本发明中，假设将所述终端设备阵列中位置为{3,4}的相机所拍摄的图像选为所述参考视角。如图3所示，高光谱光场立体匹配单元320可包括：用于衡量对应像素间相似度的对应关系代价单元321；用于衡量非可靠颜色/强度差异的散焦代价单元322；以及用于生成最优视差图的能量最小化单元323。
[0050] 立体匹配的原理在于找出校正后图像中的对应点。对应关系问题的求解可大致归为以下两类：基于强度的匹配技术和基于特征的匹配技术。在第一类方法中，直接对两幅图像的强度分布加以匹配处理。在第二类方法中，先从图像中提取特征，然后对所提取的特征施加匹配处理。由于颜色/强度的不一致，高光谱光场立体匹配与传统立体匹配具有很大不同。由于不同光谱下的图像外观之间存在非常大的差异，因此传统立体匹配方法无法实现对应点的匹配。因此，为了实现精确的高光谱光场立体匹配，需要一种能够适用于不同光谱的新的特征描述符。特征描述符为图像处理当中被选择用于代表特征的一种特征表示形式。在本发明中，提出一种以不随光谱变化型新特征描述符进行高光谱光场立体匹配的新方法，图4A和图4B所示为根据本发明例示实施方式的该方法。
[0051] 如图4A所示，在步骤410中，将上述经预处理的图像输入高光谱光场立体匹配单元320。所输入的图像为30幅高光谱光场图像，这些图像以10nm的步长覆盖410nm～700nm可见光谱段。在步骤420中，获得每幅图像的梯度幅度和梯度方向。在步骤430中，获得用于衡量外观连贯性的对应关系代价。在步骤440中，获得用于衡量非可靠颜色/强度差异的新的光谱感知散焦代价。在步骤450中，通过将所述对应关系代价与所述散焦代价相结合而构建能量函数，并将该能量函数与额外的遮挡性项和平滑性项相结合。最后，在步骤460中，获得最优参考视角(位置为{3,4})视差图。以下，对该高光谱光场立体匹配方法进行详细描述。
[0052] 3.2.1高光谱光场图像公式
[0053] 光线空间内的光线可以数学公式表达，并且可通过平面参数化法(2PP)简化。在平面参数化法中，每条光线以其与Πuv和Πst两平行平面的交点参数化。由于光场还包括光谱这一额外维度，因此针对高光谱光场，上述平面参数化表达方式可修饰为L(u，v，s，t，λ)，其中，(u，v)和(s，t)分别用于表示波长λ下光线与孔径平面和传感器平面的交点。在交点(s，t)处沿以波长λi为中心的窄带通光谱分布 作出响应的图像I(s，t，λi)可以如下公式表示：
[0054]
[0055] 其中，Λ(u，v)为孔径函数，ζ为所述光线的入射角，C′(λ)为相机的光谱响应函数。4
其中，可通过狄拉克δ函数 对光谱分布 进行近似，而且cosθ可通过
近轴近似忽略。如此，上述公式可简化为：
其中，可通过狄拉克δ函数 对光谱分布 进行近似，而且cosθ可通过
近轴近似忽略。如此，上述公式可简化为：
[0056] I(s，t，λi)＝C(λi)∫∫L(u，υ，s，t，λi)A(u，υ)dudu＝C(λi)S(s，t，λi)[0057] 其中，S(λi)为波长λi下的潜辐射亮度图像，C(λi)为光谱响应函数。
[0058] 3.2.2预处理
[0059] 如上所示，光谱响应消除单元312用于消除各相机光谱响应导致的影响，该步骤同样可以数学公式表达。对于像素p∈N2，以上式表示的该像素图像I(p)＝C(λ)SP(λ)可归一化为：
[0060]
[0061] 其中，为平均强度， 为该图像的平均辐射亮度。通过将 用作数据处理步骤的输入数据，即可消除各相机光谱响应导致的影响，并同时使得各图像仍然保持其与光谱的关系。
[0062] 此外，每一高光谱光场图像的梯度幅度可表示为而且其梯度方向可表示为 该梯度幅度和梯度方向均用于
获得上述对应关系代价。
获得上述对应关系代价。
[0063] 3.2.3对应关系代价
[0064] 对应关系代价旨在衡量对应像素之间的相似度。如上所示，对于高光谱光场立体匹配，需要先获得不随光谱变化型特征描述符。
[0065] 对于像素p、q及其对应相邻像素p′，q′，如果p、q和p′，q′处于同一对象内，则其关系符合：
[0066]
[0067] 其中，相邻像素是指相邻高光谱光场视角内的像素。从该关系中可看出，该情形下像素的幅度M(p)和方向θ(p)应该大致相同，即 和 与此相反，如果所述各像素位于边缘附近，则像素p可处于前景中，而像素q可处于背景中。此外，前景像素p和背景像素q可对应于具有不同光谱响应的对象。在该情形中，虽然像素的梯度方向仍然相似，但幅度不再存在一致性。也就是说，当像素p和q位于边缘附近，则
且θL(p)≠θR(q)。
且θL(p)≠θR(q)。
[0068] 如此，即可获得可同时衡量边缘特征和非边缘特征的不随光谱变化型新特征描述符。具体而言，非边缘特征可以幅度直方图和方向直方图的耦合形式描述，而边缘特征可以方向梯度直方图(HoG)的扩展形式描述，该扩展形式称为重叠HoG(O-HoG)。“重叠”是指O-HoG中的每一直方条均含有重叠的方向范围。直方图为数值数据分布的一种图形表现形式，用于估计连续变量(定量变量)的概率分布。直方图为一种条形图，其生成方式如下：首先，进行值域划分，即将整个值域划分成一系列区间；然后，对落入各个区间内的值进行计数。对于上述高光谱光场成像系统而言，任何视角或光谱的任何微小变化都可能导致HoG无法对齐，但是O-HoG在对待视角和光谱变化时的稳健性要高得多。这便是上述不随光谱变化型特征描述符的设计当中纳入O-HoG的原因。以下，对获得所述不随光谱变化型特征描述符的方法进行详细描述，图4B所示为根据本发明例示实施方式的该方法。
[0069] 在步骤431中，进行幅度直方图和方向直方图的计算。对于以p为中心且大小为m×w的给定像素块 可以计算出幅度直方图h1(p，w，K1)和方向直方图h2(p，w，K2)各直方条中的加权值数，其中，K1，K2分别为幅度直方条和方向直方条的总水平数。hi(i＝1，2；k∈[0，Ki-1))的第k个直方条 可表示为：
[0070]
[0071] 类似地，对于O-HoG项h3(p，w，K3)，第k个直方条 可表示为：
[0072]
[0073] 其中， 为空间权重核，f(ul)为截取函数：
[0074]
[0075] 其中，o为相邻直方条之间的重叠部分，s为直方条宽度。在h1中，Q(ut)＝M(ut)，或者Q(ut)＝Θ(ut)。式(1)～式(3)为每一像素构建出完整的特征描述符。式(1)和式(2)为源自以下两种属性的两个独立部分：边缘特征和非边缘特征。式(3)同时用作式(1)和式(2)中的函数项。
[0076] 在步骤432中，可利用权重矩阵α＝[α1，α2，α3]T，将所有的上述三种直方图相结合。如上所述，h1和hr表示非边缘特征，而ha表示边缘特征。由于M(p)本质上表示P的边缘强度，因此M(p)可重复用于计算：α1＝α2＝βexp(-M2(p)/σw)和α3＝1-α1-α2，其中 如此，所述描述符即可表示为 为了进一步提高稳健性，可通过另一像
素块w＝[ω1，ω2，ω3]T构建金字塔结构，以获得如下具有K个水平的所需不随光谱变化型特征描述符：
素块w＝[ω1，ω2，ω3]T构建金字塔结构，以获得如下具有K个水平的所需不随光谱变化型特征描述符：
[0077]
[0078] 图5为根据本发明实施方式的例示不随光谱变化型特征描述符结构示意图。
[0079] 获得所述不随光谱变化型特征描述符的下一步骤为，在不同视角之间比较该不随光谱变化型特征描述符，即对不同高光谱光场图像之间的相似度进行衡量。在立体匹配领域，一种常用的相似度衡量算法为归一化交叉相关(NCC)，相应的相关系数如下：
[0080]
[0081] 其中， 和 分别为I域(如强度)中UL(p，w)和UR(q，w)的平均值。然而，NCC并不能直接用于匹配多维特征。虽然所述不随光谱变化型特征描述符H为多维描述符，但是H中的每一h(i)均独立于任何其他元素h(j)(j≠i)，并表示H的唯一属性(如图5所示)。
[0082] 在步骤433中，可获得用于多维特征匹配的相似度衡量参数。通过为式(4)中的每一h(i)赋予合适的权重，可以获得如下相似度衡量参数 其中，wi为h(i)的相似度权重。由于h(i)值能够反映第i个直方图的权重，而且h(i)值已归一化至[0,1]范围，因此h(i)可用于替代mj。另外，为了实现噪声抑制，进一步以平均值h(i)代替h(i)作为所述权重。
[0083] 此外，由于 和 在ξ(H)的计算中具有同等重要的作用，因此所述相似度衡量参数可采用双向加权归一化交叉相关法(BWNCC)，以获得下示最终相似度衡量参数：
[0084]
[0085] 由 加权的前向分量表示 和 之间的相似度，而由 加权的后向分量表示和 之间的相似度。
[0086] 在步骤434中，可将所述对应关系代价公式化。对于给定的假设视差f(p)，可利用所述不随光谱变化型特征描述符和相似度衡量参数，将所述对应关系代价表示为如下公式：
[0087]
[0088] 在步骤435中，选择一个视角分组进行视差估算。在不同位置上拍摄的每一高光谱光场图像均含有不同的光场视角。其中，可将整组视角记为Ω，参考视角(位置为{3,4})记为(so，to)，被选择用于视差估算的视角Ω分组记为Ω*。
[0089] 在该步骤中，并非根据设视差图f(p)将(so，to)中的像素p与所有光场视角中的像素q相匹配，而是仅与外观连贯的视角分组Ω*相比较。其中，为了选择合适的视角分组，首先计算所有视角中q的平均梯度幅度 然后判断p的梯度幅度M(p)是大于还是小于q的平均梯度幅度。如果 则表示p为边缘像素。在该情况下，选择像素q的梯度幅度大于 的视角组成所述用于视差估算的视角分组。如果 则表示p
为非边缘点。在该该情况下，仅选择像素q的梯度幅度小于 的视角组成所述视角分组。
为非边缘点。在该该情况下，仅选择像素q的梯度幅度小于 的视角组成所述视角分组。
[0090] 在步骤436中，可根据所选视角分组的对应关系代价，通过以Ting-Chun Wang等人的遮挡感知深度估算法(T.Wang,et al.,《使用光场相机的遮挡感知深度估算法》(“Occlusion-aware Depth Estimation Using Light-field Cameras”),IEEE国际计算机视觉大会,2015)分别处理遮挡像素和非遮挡像素，估算参考视角的初始视差图 非受遮像素是指在任何视角下，当场景光线重新聚焦于正确的深度上时可被该光线触及的像素。与之相反，受遮像素是指在某些视角下，因阻挡物的阻挡而无法被光线触及的像素。
[0091] 如果P为非遮挡像素，则 如果P为遮挡像素，则可将Ω*分成遮挡区域和受遮区域，分别记为 和 随后，可利用Ting-Chun Wang的方法分别计算 和的相应关系代价C1和C2，并获得遮挡像素的初始视差图： 在步骤430
结束后，对应关系代价单元321输出根据所述对应关系代价估算出的视差图。
结束后，对应关系代价单元321输出根据所述对应关系代价估算出的视差图。
[0092] 3.2.4散焦代价
[0093] 上述对应关系代价用于衡量外观连贯性，而散焦代价用于衡量非可靠颜色/强度差异。高光谱光场图像中的所有像素均为光谱感知样本，其反映了任何单个三维点在不同光谱下的值。如图6A～图6D所示，为了消除光谱所致影响，根据本发明例示实施方式，散焦代价单元322在步骤440中推导出新的光谱感知散焦代价。
[0094] 对于给定的假设视差f(p)，可以估算出像素p在典型相机中的RGB颜色。如图6A所示，通过以Ip(s，t)将λ(s，t)指向相应视角，可以形成p的光谱分布Py(λ)。随后，如图6B所示，所述光谱分布用于合成上述RGB值。对于给定的三维点，所有反映该点在不同光谱下的值的像素可构成一条曲线，此即该三维点的光谱响应。在一些实施方式中，PTGrey FL3-U3-20E4C-C相机的光谱响应函数Pc(λ)＝[Pr(λ)，Pg(λ)，Pb(λ)]T可用于通过在相应带宽上以Pc(λ(s,t))对Pp(λ(s,t))进行积分的方式获得上述RGB值。在一些实施方式中，所述30条谱带以
10nm为间隔覆盖410nm～700nm可见光谱段。
10nm为间隔覆盖410nm～700nm可见光谱段。
[0095] 随后，如图6C所示，可通过带CIE 1931色彩空间RGB色相的可见色域技术(T.Smith and J.Guild,“The C.I.E.比色标准及其用途(colorimetric standards and their use)”,光学学会汇刊,vol.33,73.)，将所述RGB颜色值映射回光谱λr。CIE 1931色彩空间首次在电磁可见光谱中的物理纯色(即波长)与人类色觉的生理感知色彩之间建立了确定的定量关系。这些色彩空间的相应数学关系式是色彩管理中的基本工具，并且在彩色墨水、发光显示以及数码相机等记录设备领域具有非常重要的作用。
[0096] 图6C为上述高光谱光场图像样本的拍摄光谱高斯分布图。由于只有正确的视差假设才能得出准确的RGB值估算结果，因此上述高光谱光场图像样本的拍摄光谱应近似形成以λr为中心的高斯分布，其概率密度函数如下：
[0097]
[0098] 该概率密度函数可归一化为：
[0099]
[0100] 此外，如图6D所示，还可求得 至PH(λ)的K-L(Kullback-Leibler)散度。K-L散度用于衡量一个概率分布相对于另一个概率分布的发散程度。各高光谱光场图像样本的估算光谱λr与拍摄光谱之间的比较结果表示聚焦水平。散焦代价可表示为：
[0101]
[0102] 在一些实施方式中，σd选择为可确保PH(λ)在可见光谱边界处(即410nm或700nm)至少具有30％响应的值。例如，如果λr＝550nm，则σd可选择为96.5。步骤440结束后，散焦代价单元322输出根据所述散焦代价估算出的另一视差图：
[0103] 3.2.5能量最小化
[0104] 根据上述对应关系代价和散焦代价获得的两估算视差图均发送给能量最小化单元323，以供其获得参考视角的最优视差图。在步骤450中，可针对假设视差∫，构建出具有马尔可夫随机场(MRF)的能量函数：
[0105] E(f)＝Eunary(f)+Ebinary(f) (7)
[0106] 其中，马尔可夫随机场也称马尔可夫网络或无向概率图模型，是一组具有由无向概率图表示的马尔可夫特性的随机变量。上式中：二元项Ebinary(f)根据Ting-Chun Wang等人的方法(T.Wang,et al.,《使用光场相机的遮挡感知深度估算法》(“Occlusion-aware Depth Estimation Using Light-field Cameras”),IEEE国际计算机视觉大会,2015)推导得出，为针对平滑性和遮挡性的能量项；一元项同时含有上述对应关系代价和散焦代价的贡献，并表示为：
[0107]
[0108] 其中， 用于调节对应关系代价和散焦代价之间的相对权重。
[0109] 在步骤460中，可将能量函数(7)最小化，以获得参考视角的最优视差图 其中，能量函数(7)的最小化可通过图割算法实现。“图割”为一类用于求解各种采用最大流最小割优化方式的能量最小化问题的算法。
[0110] 本发明的高光谱光场立体匹配方法具有如下优点：一、该方法可准确地衡量具有不同光谱的图像中对应点之间的相似度；二、其所含的新的散焦代价能够根据高光谱光场图像样本合成RGB颜色，并利用CIE色域将色彩的估算色相映射至其谱带，从而可将其与高光谱光场图像样本的色谱之间的连贯性作为聚焦度衡量值，稳健地对其进行衡量。
[0111] 3.3高光谱数据立方体重建
[0112] 图7为根据本发明例示实施方式的高光谱光场数据立方体重建方法流程图。在步骤701中，将所述参考视角的最优视差图输入高光谱光场数据立方体重建单元330，以生成全高光谱光场数据立方体。在步骤702中，作为一种初始视差估算，初始视差估算单元331将所述参考视角视差图分别变形至各高光谱光场图像，从而为每对相邻图像生成“初始视差图”。在步骤703中，利用成对立体匹配单元332生成的“初始视差图”，对每对相邻图像进行成对立体匹配，以生成成对视差图 在步骤704中，图像配准单元333可根据 将的所有像素p映射至 的像素q，并将 的所有当前图像配准至 (反向操作应根据 实施，以消除伪像)。在对所有相邻像对实施上述处理后，可获得所述全高光谱光场数据立方体。
这些全高光谱光场数据立方体含所有的5×6个视角和5×6×30幅图像，其中，30为采样谱带数。此外，所述全高光谱光场数据立方体以30个10nm宽的谱带覆盖410～700nm光谱段。
这些全高光谱光场数据立方体含所有的5×6个视角和5×6×30幅图像，其中，30为采样谱带数。此外，所述全高光谱光场数据立方体以30个10nm宽的谱带覆盖410～700nm光谱段。
[0113] 所述高光谱数据立方体重建方法具有如下优点：一、其克服了利用参考视角视差图直接将图像变形至所有剩余视角，从而可能因数据捕获单元被遮挡或基线较大而导致大量空洞的这一简单粗暴的方法的缺点；二、与在所有视角之间进行成对立体匹配这一做法相比，该方法还充分利用了光场的属性。
[0114] 上述各种模块、单元及部件可实施为：专用集成电路(ASIC)；电子电路；组合逻辑电路；现场可编程门阵列(FPGA)；可执行代码的处理器(共享、专用或成组)；或者能够提供上述功能的其他合适的硬件部件。所述处理器可以为Intel微处理器，或IBM大型计算机。
[0115] 需要注意的是，上述功能当中的一者或多者可由存储于存储器内的软件或固件实施并由处理器执行，或者可存储于程序存储器中并由处理器执行。所述软件或固件还可置于任何计算机可读介质内，以实现存储和/或移动。该计算机可读介质由指令执行系统、装置或器件使用或与其结合使用，该指令执行系统、装置或器件例如为基于计算机的系统、含处理器系统或其他能够从该指令执行系统、装置或器件获取指令并执行这些指令的系统。在本文语境中，“计算机可读介质”可以为任何可包含或存储用于由所述指令执行系统、装置或器件使用或用于与其结合使用的介质。该计算机可读介质可包括，但不限于：电、磁、光、电磁、红外或半导体系统、装置或器件；便携式计算机盘片(磁性)；随机存取存储器(RAM)(磁性)；只读存储器(ROM)(磁性)；可擦除可编程只读存储器(EPROM)(磁性)；便携式光盘，如CD、CD-R、CD-RW、DVD、DVD-R或DVD-RW；或闪存，如紧凑型闪存卡、安全数字卡、USB存储装置、记忆棒等。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 用于超声感测的系统和方法 | 2020-05-08 | 818 |
| 视频编码中自适应纹理预测方法 | 2020-05-08 | 958 |
| 一种视频监控测试仪 | 2020-05-08 | 468 |
| 有机发光显示装置及其制造方法 | 2020-05-11 | 238 |
| 一种视频压缩的预测方法 | 2020-05-08 | 507 |
| 光电设备 | 2020-05-08 | 29 |
| 用于对运动信息进行编码和解码的方法以及用于对运动信息进行编码和解码的设备 | 2020-05-08 | 558 |
| 具有可移动的光阑的视网膜相机 | 2020-05-08 | 835 |
| 光电设备 | 2020-05-08 | 793 |
| 视频处理方法、装置和电子设备 | 2020-05-08 | 704 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈