被照明的对象的借助于光度学立体分析的表面重建
阅读：417发布：2020-05-11
专利汇可以提供被照明的对象的借助于光度学立体分析的表面重建专利检索，专利查询，专利分析的服务。并且一种方法用于表面重建，其中由多个彼此间隔开的发光体(a-d)同时照明至少一个对象(O)，拍摄所述至少一个对象(O)的具有多个单幅图像(EB_r-EB_r+n)的照相序列，以及借助于 光度学 立体分析重建所述对象(O)的至少一个可见的对象表面(OS1，OS2)，其中借助于不同的调制 频率 (fa-fc；fa-fd)调制由所述发光体(a-c；a-d)放射的光(La-Ld)，各自的发光体(a-d)的被所述对象(O)反射的光份额根据所述发光体的调制频率(fa-fc；fa-fd)来识别并且与各自的子图像(TBa-TBc；TBa-TBc)相关联，并且所述子图像(TBa-TBc)用作为用于光度学立体分析的输入图像。设备(S1，S2)设立用于执行根据上述 权利要求 中任一项所述的方法。本 发明 尤其可应用于内部空间和/或外部空间的空间监控和/或用于对象是被，尤其用于与一般照明相结合。，下面是被照明的对象的借助于光度学立体分析的表面重建专利的具体信息内容。
1.一种用于表面重建的方法，其中
-由多个彼此间隔开的发光体(a-c；a-d)同时照明至少一个对象(O)，-拍摄所述至少一个对象(O)的具有多个单幅图像(EB_r-EB_r+n)的照相序列，以及-借助于光度学立体分析重建所述对象(O)的至少一个可见的对象表面(OS1，OS2)，其中
-借助于不同的调制频率(fa-fc；fa-fd)调制由所述发光体(a-c；a-d)放射的光(La-Lc；La-Ld)，
-根据各自的发光体的调制频率(fa-fc；fa-fd)识别所述发光体(a-c；a-d)的被所述对象(O)反射的光份额并且将其与各自的子图像(TBa-TBc；TBa-TBc)相关联，并且-所述子图像(TBa-TBc；TBa-TBc)用作为用于光度学立体分析的输入图像。
2.根据权利要求1中所述的方法，其中
-所述序列的单幅图像(EB_r-EB_r+n)的每个图像点(BP(x,y))经受各自的傅里叶分析，并且
-从所述傅里叶分析中所获得的傅里叶分量(FT_a-FT_c；FT_a-FT_d)作为对应的所述图像点的值与各自的子图像(TBa_TBc；TBa-TBc)相关联。
3.根据上述权利要求中任一项所述的方法，其中使用具有各自的调制频率(fa-fd)的多于三个的发光体(a-d)。
4.根据权利要求3所述的方法，其中
-由多于三个的不同地调制的发光体(a-d)同时照明所述对象(O)，
-产生属于多于三个的所述发光体(a-d)的各自的子图像(TBa-TBd)，-针对不同的发光体组合分别借助三个子图像执行光度学立体分析，以及-将分别产生的对象表面(OS1，OS2)中的至少两个组合为唯一的最终的对象表面。
5.根据权利要求2至4中任一项所述的方法，其中
-所述发光体(a-c；a-d)的调制频率(fa-fc；fa-fd)在时间上保持恒定，-以所述相机(K)的扫描率(f_s)拍摄多个单幅图像(EBr-EBr+n)，所述扫描率高于所述调制频率(fa-fc；fa-fd)，并且
-针对如下频率范围执行所述傅里叶分析，所述频率范围最大直至一半的所述扫描率(f_s)。
6.根据权利要求2至4中任一项所述的方法，其中
-所述发光体(a-c；a-d)的调制频率(fa-fc；fa-fd)在时间上保持恒定，-以如下扫描率(f_s)拍摄多个单幅图像(EBr-EBr+n)，所述扫描率低于所述调制频率(fa-fc；fa-fd)，并且
-针对如下频率范围执行所述傅里叶分析，所述频率范围最大直至一半的所述扫描率(f_s)。
7.根据权利要求2至4中任一项所述的方法，其中
-所述发光体(a-c；a-d)的调制频率(fa-fc；fa-fd)在时间上保持恒定，-以如下扫描率(f_s)拍摄多个单幅图像(EBr-EBr+n)，所述扫描率低于所述调制频率(fa-fc；fa-fd)，并且
-在所述傅里叶分析之前将具有对应于所述相机(K)的扫描率(f_s)的极限频率的数字低通滤波器应用于各自的图像点(BP(x,y))的时间序列。
8.根据权利要求2至4中任一项所述的方法，其中，
-所述发光体(a-c；a-d)的调制频率(fa-fc；fa-fd)在时间上保持恒定，-以如下扫描率(f_s)拍摄多个单幅图像(EBr-EBr+n)，所述扫描率低于所述调制频率(fa-fc；fa-fd)，
-针对如下频率范围执行所述傅里叶分析，所述频率范围直至所述各自的调制频率(fa-fc；fa-fd)，并且
-将不同的序列的所述频率范围的傅里叶分量取平均，
其中
-所述扫描率(f_s)和所述调制频率(fa-fc；fa-fd)不同步。
9.根据上述权利要求中任一项所述的方法，其中至少一个调制幅值保持恒定。
10.一种设备(S1，S2)，其中所述设备(S1，S2)设立用于执行根据上述权利要求中任一项所述的方法。
11.根据权利要求10所述的设备(S1，S2)，其中所述发光体(a-c；a-d)分别具有至少一个发光二极管。
12.根据权利要求10或11所述的设备(S1，S2)，其中所述设备(S1，S2)是监控系统。
被照明的对象的借助于光度学立体分析的表面重建
技术领域
[0001] 本发明涉及一种用于表面重建的方法，其中对象由多个彼此间隔开的发光体照明，拍摄对象的多个单幅图像并且借助于光度学立体分析来重建对象的可见的对象表面。本发明还涉及一种构成用于执行所述方法的设备。本发明尤其可应用于内部空间和/或外部空间的空间监控和/或用于对象识别，尤其与一般照明相结合。
背景技术
[0002] 基于图像的光度学的立体分析是用于通过如下方式重建场景或对象(在下文中仅称为对象)的三维表面或表面结构的方法：在照明条件受控地改变的条件下借助于唯一的数码相机例如RGB相机拍摄对象的一序列单幅图像。在此，对象依次由不同的发光体照明。具有已知的相对强度的发光体位于已知的位置处并且从不同的方向照明对象。
[0003] 图像序列中的单幅图像与各自的发光体相关联并且用作为光度学立体分析的输入图像。因为无法重建通过相机不可见的表面，所以该方法也称为“2 1/2 D”重建。
[0004] 在此，在假定对象的反射特性为朗伯型的情况下，对象的表面区域或表面点的由相机检测到的亮度仅与照明角或者光的入射角相关而与相机的视向无关。这意味着：表面区域或表面点与相机的视向无关地保持其外观。
[0005] 在考虑到表面区域的被观察的或者被测量的亮度与相机的对应的图像点的值(也可称为图像点亮度或辉度值)相对应的情况下，若在不同的照明条件下拍摄对象的多个单幅图像，那么能够确定在对应的表面区域或表面点上的表面向量以及在该处漫射的回射能力(反射率)。
[0006] 关于经典的光度学2 1/2 D重建例如能够执行下述步骤：
[0007] 1.确定或者固定发光体的强度或亮度以及定向。发光体的位置有利地覆盖高的角度变化，更确切地说，在对象表面上不进行阴影投射并且没有自遮暗。
[0008] 于是发光体关于其强度和照明方向执行相互校准。这例如能够通过如下方式来实现：光强度借助于照度计来测量或者通过评估具有已知的几何形状和已知的反射率值的经校准的对象(例如蓝宝石球体)的图像来确定。校准的结果能够以一组照明向量Li的形式来表达，其中照明向量Li的量值与所属的发光体i的相关的强度相对应并且照明向量Li的方向确定入射角。
[0009] 2.在发光体中的每个发光体的预设的照明下借助于传统的2D相机拍摄对象。相机的视向基本上是任意的，但是有利的是，到对象表面上的好的视角借助于尽可能小的遮暗来实现。
[0010] 3.所拍摄的单幅图像的图像点BP(x，y)的图像点值(像素测量值)PMw(x，y)(也称为“Caputure Pixel Values”)与对象表面的表面区域或表面点中的每一个表面区域或表面点的被观察的亮度或辉度相关。
[0011] 这针对与在部位(x，y)处表面区域或表面点对应的每个图像点BP(x，y)也能够被表达为，适用：
[0012] PMw(x，y)；i＝ρd(x，y)*(Li·n(x，y))，
[0013] 其中PMw(x，y)；i是在仅发光体i照明的条件下该图像点BP(x，y)的图像点值，ρd(x，y)是所属的表面区域或所属的部位(x，y)的反射率，Li是(归一化的)照明向量Li，而n(x，y)是所属的表面区域/表面点或部位(x，y)的法向量。也就是说，每个表面元素或每个部位(x，y)通过其反射率ρd(x，y)和其法线n(x，y)恰好为像素测量值PMw(x，y)，更确切地说，与照明强度Li相关。
[0014] (Li·n)因此是向量积，所述向量积包括照明向量Li的量值和入射角Θi的余弦值，即根据(Li·n)＝|Li|·cos(Θi)。
[0015] 4.也就是说，对于三个发光体i＝1，2，3而言对于一个图像点和从而也对于一个所属的表面区域存在如下方程组：
[0016] PMw(x，y)；1＝ρd*(L1·n(x，y))
[0017] PMw(x，y)；2＝ρd*(L2·n(x，y))
[0018] PMw(x，y)；3＝ρd*(L3·n(x，y))
[0019] 在考虑归一化条件|n|＝1的情况下可以从该方程组中确定反射率ρd(x，y)和法向量n(x，y)。
[0020] 这能够针对图像点BP(x，y)中的每一个单独执行。
[0021] 也就是说，具有未知的(表面)反射率ρd的对象能够借助于三个不同的照明场景来重建。对于对象表面的反射率已知的情况(例如对象借助于限定的颜色预处理和/或粉刷)，经典的光度学立体分析也能够借助于仅两个发光体来执行。
[0022] 5.表面重建能够借助于图像点或表面区域的法向量n执行，以便获得关于对象表面的形状或者三维结构的完整信息，例如关于梯度考虑和紧接着的积分的完整信息。
[0023] 借助于将所求取的法向量
[0024] n(x，y)＝(nx(x，y)，ny(x，y)，nz(x，y))改比例为
[0025] Nx(x，y)＝-nx(x，y)/nz(x，y)和
[0026] Ny(x，y)＝-ny(x，y)/nz(x，y)，
[0027] 可通过如下积分来重建表面
[0028]
[0029] 常规的光度学立体分析的缺点是，对对象的照明连带图像拍摄需要很多时间，使得其对于在一般照明的领域中的实时应用而言几乎不予考虑。此外，在常规的光度学立体分析中，必须消除背景照明(所述背景照明并不来自于发光体)。这种背景照明必须每次都从单幅图像中减去。
发明内容
[0030] 本发明的目的是，至少部分地克服现有技术的缺点并且尤其基于光度学立体分析提供表面重建的改进的可行性。
[0032] 所述目的通过一种用于表面重建的方法来实现，其中(i)由多个彼此间隔开的发光体同时照明至少一个对象，(ii)拍摄至少一个对象的具有多个单幅图像的光度学序列，并且(iii)借助于光度学立体分析重建至少一个可见的对象表面。
[0033] 在此，通过不同的调制频率来调制由发光体放射的光。于是，各自的发光体的被对象反射的光份额根据其调制来识别并且将其与各自的子图像相关联。紧接着，子图像用作为用于光度学立体分析的输入图像。
[0034] 所述方法的优点是，光份额根据调制能够同时或同步地从所拍摄的照相序列中提取。三个或者更多仅属于各自的发光体的(子)图像不再需要按顺序或依次被拍摄，因为所有三个或更多发光体被编码并从而并行运行并且尤其能够持久保持接通。此外，背景照明此时不再需要耗费地从单幅图像中减去，而是——因为其未被调制——简单地不被考虑。
[0035] 重建可通过如下方式有利地实时执行，更确切地说，也可在一般照明的领域上执行，例如用于空间监控和对象识别，尤其用于识别人员的存在和其活动。可见的对象表面的重建能够在创建子图像之后借助于传统的方法来执行。借助于重建的表面又能够执行对象识别等。表面重建也常常称为“Surface Reconstruction”。
[0036] 用于表面重建的方法也能够视为或称为用于确定或计算被拍摄照片的表面在空间中的形状或定向的方法。
[0037] 彼此间隔开的发光体的射到对象表面的点上的光束在该处尤其具有不同的射入角(也称为照明入射角)并且可能的话具有不同的照明强度。发光体尤其能够具有不同的定向或照明方向。
[0038] 借助于所述方法能够重建一个表面对象或者也可以重建多个对象表面。为此，尤其有利的是，(例如事前或者在所述方法期间)求取多个对象或对象表面在空间中的位置或坐标，例如通过图像数据处理的方法。这由于如下原因是有利的：于是已知或能够求取三个发光体的各自的照明入射角，以便紧接着执行光度学立体分析。
[0039] 尤其能够将照相序列理解为图像序列或者视频。照相序列尤其包括单幅图像的时间序列。单幅图像能够借助于相机来拍摄。相机能够是固定式的。单幅图像尤其具有相同的分辨率，例如具有(m×n)个图像点或像素例如640×480、1024×640、1920×1080等图像点的矩阵状的分辨率。
[0040] 如果相机的采样率或者扫描率f_s足够高，当存在于一序列的单幅图像中的对象不过快地运动时，其也能够被认定为实际上是固定式的。针对一个序列所使用的单幅图像的数量是不受限的。
[0041] 一个改进方案是，一序列的单幅图像在时间上等距地彼此间隔开。
[0042] 所述序列原则上能够是任意的。因此，所述序列能够是对单幅图像的完整的拍摄系列的选择。然而，预设的序列尤其对应于单幅图像或者预设时间段的所有单幅图像的完整的拍摄系列。所述序列能够是一组1至m个单幅图像EB的“运行的”序列：{EB1，EB2，...，EBn}，{EB2，EB3，...，EBn+1}，以此类推，其中n＜m。
[0044] 光度学立体分析基本上是已知的并且用于借助于评估对象的二维(输入)图像来重建空间的对象表面，所述(输入)图像分别从三个不同的已知的照明方向中来拍摄。各自的并非彼此平行地伸展的照明向量L1、L2或L3与不同的已知的照明方向相关联。
[0045] 为了使用光度学立体分析迄今为止将三个(或者在知道反射率时为两个)彼此间隔开的发光体依次接通并且在接通发光体时拍摄各自的图像。所产生的图像用作为用于光度学立体分析的输入图像。
[0046] 一个改进方案是，独立的间隔开的发光体的所放射的光特征性地(个体地)被调制。尤其是，不同的调制频率彼此间并非是数倍。三个发光体例如能够以210Hz、330Hz和440Hz的调制频率调制其光。这种设计能够扩展到多于三个的发光体。
[0047] 为了特别有效地防止出现相互调制，调制频率优选并非或者并非恰好由整数的数倍组成。因此，能够避免相互调制结果，所述相互调制结果与调制频率之一相同，例如若在相机中或者在相机系统中出现小的非线性。调制频率尤其能够成对地互素。调制频率原则上能够改变。
[0048] 一般能够将调制理解为由发光体放射的光的编码，所述调制实现：所述发光体的光份额在数字图像中被辨识或提取，虽然对象同时由多个或其他发光体同时辐照。
[0049] 一个改进方案是，调制频率位于50Hz和1000Hz之间的范围中，尤其在100Hz和1000Hz之间，尤其在100Hz和500Hz之间。50Hz或者甚至100Hz的下限是有利的，以便发光体不会对于人眼而言可见地闪烁。上限是有利的，以便即使在扫描率f_s受限或低的情况下也可以以小的误差执行评估，这又实现使用廉价的视频技术或相机技术(例如关于对帧率的要求)。
[0050] 各自的发光体的被对象反射的光份额根据其调制来识别并且与各自的(“被提取的”)子图像相关联，这尤其实现：被提取的子图像对应于(尤其恰好对应于)如下图像，所述图像仅还具有特定的发光体的光份额。子图像尤其具有与以照片方式被拍摄的单幅图像相同的帧。
[0051] 一个设计方案是，(时间上的)序列的每个图像点经受各自的傅里叶分析并且从傅里叶分析中获得的傅里叶分量作为对应的图像点的值与各自的子图像相关联。这实现：根据各自的发光体的调制特别有效且快速地识别(尤其“实时地”)识别所述发光体的被对象反射的光份额。此外，使用傅里叶分量实现如下简单的可行性：不考虑背景照明。
[0052] 如在傅里叶分析中常见的那样，扫描率限定可检测的频率范围，而所拍摄的单幅图像的数量或观察时间确定可测量的频率分辨率。这两个参数能够被调整，以便针对特定的调制方式获得最快的结果。
[0053] 尤其能够将傅里叶分析理解为执行傅里叶变换，例如快速傅里叶变换(FFT)。
[0054] 换言之，对于出自预设的组的在时间上错开地拍摄的单幅图像的每个图像点确定图像点值或像素测量值的所属的时间序列。该(与图像点相关的)时间序列经受各自的傅里叶分析。通过傅里叶变换产生具有傅里叶分量的傅里叶频谱作为频域中的值。时域中的图像点值也能够视为像素值、测量值、幅值、强度值、辉度值或者亮度值，例如在[0；255]或[0；1024]的值域内。
[0055] 也可行的浮点编码相对于整数编码具有如下优点：值的相对精度不与其值本身相关。更低的像素照度值以同较高的强度值一样的相对精度(例如5％)来转换或表示。
[0056] 还有一个设计方案是，使用具有各自的调制频率的多于三个或至少四个彼此间隔开的发光体。这产生如下优点：能够通过超定来减少或者甚至完全避免待重建的表面的空间重叠或遮暗。
[0057] 对于更精确的重建而言特别有利的设计方案是，至少一个对象由多于三个的不同编码的、尤其调制的发光体同时照明，相应地产生多于三个的属于各自的发光体的子图像，于是针对不同的发光体组合借助于各三个子图像执行光度学立体分析。此外，于是尤其能够将分别产生的重建的对象表面中的至少两个组合或者叠加为唯一的最终对象表面，例如叠置和/或取平均。若存在光亮图像(也称为“镜面反射”)，例如当对象至少部分地具有光亮的或者镜面的表面时，该设计方案是特别有利的。如果存在镜面反射，该镜面反射在子图像中仅在对象表面处的特定部位处出现，其中这些部位的出现和/或强度对于不同的子图像而言会是不同的。这意味着：在子图像中的每个中可能存在对象表面的光亮的部位，对于所述部位而言不会贡献可用的信息。通过叠加重建的对象表面可找到和消除有缺陷的部位。
[0058] 例如，当同时使用四个发光体a、b、c和d时，能够针对发光体组合(abc)、(abd)、(acd)和(bcd)执行各自的光度学立体分析。在此，相应产生的重建的对象表面中的至少一个在特定的部位处不能恢复有意义的重建。通过叠加四个重建的对象表面中的至少两个可找到和去除有缺陷的(光亮的)部位。
[0059] 如何执行重建的对象表面的组合或叠加原则上是不受限的。因此，在一个改进方案中，所有重建的对象表面叠置和/或取平均。然而，尤其为了抑制光亮效应而有利的是，组合重建的对象表面的仅一个子集，尤其如下子集，所述子集未显现或者不那么强地显现光亮效应。
[0060] 一个改进方案是，为了选择这种子集执行多数判决。为此使用如下表面重建值(可能的话也以取平均或加权的方式使用)，所述表面重建值在多个(例如两个或三个)重建的对象表面中至少在预设的带宽内一致。替选地或者附加地，能够执行异常值检验，例如根据Grubbs或者Nalimov的异常值检验。
[0061] 特别有利的是，之前重建的对象表面的组合或叠加针对对象表面的每个表面点或表面区域单独地执行。这也能够称为逐点的组合。
[0062] 在相机图帧率或扫描率足够高的情况下，满足奈奎斯特-香农采样原理，并且在执行傅里叶分析之后出现与所存在的调制频率/经调制的发光体恰好一样多的傅里叶分量。这种情况也能够称为“标准傅里叶分析”。帧率在这种情况中至少是发光体的调制频率的两倍高。因为在视频序列足够长时(即在所拍摄的单幅图像的数量足够大时)频率分辨率足以能够区分不同的调制频率。通常，需要1Hz至10Hz的分辨率，这对应于一秒的视频序列长度。
然而，本发明不限于该频率范围。
然而，本发明不限于该频率范围。
[0063] 尤其对于具有标准傅里叶分析的应用有利的设计方案是，调制频率在时间上保持恒定，多个单幅图像以如下帧率来拍摄，所述帧率高于发光体的调制频率，并且针对如下频率范围执行傅里叶分析，所述频率范围最大直至一半的采样率(奈奎斯特-频率极限)。换言之，采样率f_s至少两倍地高于待测量的调制频率(所述调制频率也能够称为光信号频率或者奈奎斯特频率)。
[0064] 傅里叶分析在此在每个图像点或像素处直接检测属于调制频率的傅里叶量值(也就是说，所测量的线的幅值或高度)，所述傅里叶量值由于借助于对应的发光体的辐照描述图像点测量值(像素值)。
[0065] 该设计方案具有如下优点：傅里叶分析(针对每个像素)是可特别简单实行的并且产生特别精确的子图像。
[0066] 尤其能够将恒定的调制频率理解为调制序列，所述调制序列具有小于10Hz的，尤其小于5Hz的，尤其小于2Hz的，尤其小于1Hz的频率波动Δf_signal。
[0067] 还有一个设计方案是，光信号频率或调制频率在时间上保持恒定，多个单幅图像以如下帧率来拍摄，所述帧率低于发光体的至少一个调制频率(尤其低于发光体的所有调制频率)，并且傅里叶分析针对如下频率范围执行，所述频率范围最大直至一半的采样率。
[0068] 该设计方案产生如下优点：对象表面的重建也能够借助于相机或者其他图像拍摄装置来执行，所述相机或其他图像拍摄装置具有相对小的采样率，例如大约每秒30张图像(“frames per second”，fps)。这种相机诸如此类是相对低成本的。
[0069] 多个单幅图像以如下帧率来拍摄，所述帧率低于发光体的至少一个调制频率，这也能够称为“欠采样”或者“undersampling”。在欠采样时产生每调制频率有多个傅里叶分量作为傅里叶分析的结果。这些傅里叶分量在所属的假频f_alias中，所述假频根据[0070] f_alias＝f_signal-n*f_s＞0，其中n＝0、1、2、3等产生，
[0071] 其中f_signal是所属的调制频率并且f_s是采样率或扫描率。在将傅里叶分析应用于被扫描的信号序列时，参数被有利地选择为，使得傅里叶分析的奈奎斯特频率仅包括最低预期的假频，而保持不考虑更高阶的假频。类似地，采样率能够被选择为，使得用于检测预期的最低的假频的频率分辨率足以能够将其与其他发光体的相邻的最低的混叠分量分开。通常，为了将傅里叶分析参数化，奈奎斯特频率被设定为f_s/2(例如30Hz/2＝15Hz)并且观察时间被设定为例如1秒，以便实现1Hz的频率分辨率。也就是说，傅里叶分析针对欠采样的情况仅检测实际上的调制频率或光信号频率的最低的假频的大小(例如强度)。
[0072] 一个改进方案是，分别将如下傅里叶分量用作为“正确的”傅里叶分量(其值继续用于创建子图像)，所述傅里叶分量具有每调制频率最小的假频f_alias。在频率方面最小的假频也称为基带信号。
[0073] 最小的假频的傅里叶分量包含所属的信号幅值的信息(在此作为关于针对特定的调制频率的图像点的测量值的信息)，其中仅损失相位信息。所有其他傅里叶分量在更高的假频处被抑制并且不考虑。
[0075] 每调制频率最小的傅里叶分量于是能够继续使用，以便提供用于子图像的图像点的如已经在上文中所描述的值。
[0076] 欠采样设计方案的可能的情况能够如下来实行：
[0077] 调制频率f_signal＝发光体i＝a，b或c的fa，fb和fc例如内容是：
[0078] fa＝150Hz+3Hz＝153Hz
[0079] fb＝(2·150Hz)+6Hz＝306Hz
[0080] fc＝(3·150Hz)+12Hz＝462Hz
[0081] 或者
[0082] fa＝150Hz+3Hz＝153Hz
[0083] fb＝150Hz+6Hz＝156Hz
[0084] fc＝150Hz+12Hz＝162Hz。
[0085] 例如30Hz的采样率f_s比调制频率fa，fb或fc小得多。大约一秒的拍摄时间T实现：读入30个单幅图像的采样序列。
[0086] 由于欠采样，在傅里叶分析之后在各自的图像点的傅里叶频谱中在假频fn_sub处产生一组的傅里叶分量。假频fn_alias为fn_alias_n＝f_signal-n·f_s，其中n＝1、2、3…。
[0087] 距零最近的假频(基带频率)是
[0088] fa_alias_5＝3Hz，(其中n＝5)
[0089] fb_alias_10＝6Hz，(其中n＝10)
[0090] fc_alias_15＝12Hz，(其中n＝15)。
[0091] 通过应用具有在15Hz处的截止频率的数字低通滤波器或者抗混叠滤波器，抑制所有其他更高频的假频。在此——例如数字的——滤波器的截止频率被设置为，使得仅看到最低的混叠分量。在数字滤波之后仅还保留基带信号。
[0092] 如果应用数字滤波器，在执行傅里叶分析之前，不再需要注意或者不再耗费地需要注意：奈奎斯特频率的参数不过高。尤其是，借助于傅里叶分析于是不再需要滤波。
[0093] 基带信号能够借助于常用的傅里叶分析来分析，以便找到傅里叶分量的位置和大小。
[0094] 也就是说，可行的是，要么“主动地”应用数字抗混叠滤波器，和/或将傅里叶分析参数化，以便更高的混叠位于所选择的奈奎斯特频率之上和从而也不再被分析。附加地应用数字抗混叠滤波器有利地是更安全的，因为在此不像在傅里叶分析中那样需要考虑镜面效应，所述镜面效应可能会由位于奈奎斯特频率之上的频率压制。
[0095] 此外，一个设计方案是，调制频率在时间上保持恒定，单幅图像以如下帧率来拍摄，所述帧率低于发光体的调制频率，傅里叶分析针对如下频率范围来执行，所述频率范围至少直至各自的调制频率并且对出自多个重复的测量的所测量的傅里叶分量取平均，其中采样率和调制频率不同步。
[0096] 缺乏同步也能够称为随机采样(“random sampling”)或者或然的采样(“stochastic sampling”)。
[0097] 在随机采样时利用：当被对象反射的光(即所测量的“光信号”)以低的采样率(欠采样)检测时，其仍部分地包含在频率方面更高的调制频率(信号频率)的份额或信息。保留在被采样的信号序列中的其余信息在此与采样频率和待测量的调制频率之间的随机的相位相关。如果采样频率例如为30Hz，那么被采样信号序列以30Hz光栅来光栅扫描。
[0098] 这种被光栅扫描的信号序列是可傅里叶分析的，尤其借助于标准傅里叶分析(不考虑欠采样)直至位于采样率之上的极限频率，尤其直至最高的调制频率的一半(例如500Hz)或者直至最高的调制频率(例如1000Hz)。
[0099] 从傅里叶分析中产生在极限频率处实傅里叶分量的基本的或被弱化的值。因为低的或者慢的采样率与调制频率不同步，所以可通过重复测量(对应于提供不同的序列)来改进信号/噪音比。也就是说，对于随机采样的情况而言利用：每个图像拍摄序列是可傅里叶分析的，但是由于单幅图像的欠采样仅特定的一小部分对傅里叶分量的“真实的”值或高度水平有贡献。通过拍摄足够高数量n的序列，能够通过简单的求和来获得真实的值。
[0100] 在基于随机采样的如下假设下，傅里叶分量的值随着所拍摄的序列的数量n线性提高，所述假设是：所述序列的拍摄是不相关的并且在随机的时间点进行(这例如能够通过如下方式实现：采样率与调制频率无关)。然而，噪音仅随着n的方根提高。这引起具有如下的信噪比SNR，
[0101] SNR(n)＝(f_s/f_nyquist)·n/sqrt(n)
[0102] 其中f_s是采样率，例如30Hz，f_nyquist是两倍的调制频率，例如1000Hz，并且n是所拍摄的序列的数量。因为有用信号随着因数n提高，而噪音仅随着因数sqrt(n)提高，所以SNR随着n/sqrt(n)＝sqrt(n)提高。通过将数量n规定为足够高的值，例如n＝100，对于所有测量而言，所测量的傅里叶分量可以被认为是代表性的值并且用于产生子图像等。
[0103] 此外，一个设计方案是，发光体的各自的调制幅值保持恒定。这简化了所述方法的执行并且提高了其精度，因为调制深度对应于各个发光体的强度。
[0104] 出于同样的目的有利的一个改进方案是，发光体的调制幅值同样高。这尤其简化了校准。
[0105] 一个改进方案是，幅值深度(也就是说，幅值变动与最大幅值Amax的比，即[Amax-Amin]/Amax)至少为5％，尤其至少10％。这实现通过相机的特别好的可检测性。
[0106] 所述目的也通过如下设备来实现，所述设备设立用于执行所述方法。
[0107] 所述设备尤其能够具有多个彼此间隔开的发光体，至少一个相机和评估装置，所述相机的视场朝向可通过发光体照明的空间区域。
[0109] 借助于相机可拍摄具有多个单幅图像的照相序列。
[0110] 借助于评估装置可以评估照相序列，以便借助于光度学立体分析重建位于相机的视场中的对象的可见的对象表面。评估装置也能够设立用于，基于重建的对象表面执行对象识别。
[0113] 本发明的在上文中所描述的特性、特征和优点以及实现这些特性、特征和优点的方式和方法在结合接下来对实施例的示意性的描述中变得清楚并且更易于理解，所述实施例结合附图来详细阐述。在此，为了概览，相同的或者起相同作用的元件设有相同的附图标记。
[0114] 图1示出根据第一实施例的监控系统；
[0115] 图2示出一个序列的单幅图像，所述单幅图像由根据第一实施例的监控系统的相机拍摄；
[0116] 图3示出所述序列的图像点的测量值的时间序列；
[0117] 图4示出测量值的时间序列的标准傅里叶分析的结果；
[0118] 图5示出从傅里叶分析中所获得的子图像；
[0119] 图6示出根据第二实施例的监控系统；
[0120] 图7示出一个序列的单幅图像的图像点的测量值的时间序列；
[0121] 图8示出测量值的时间序列的标准傅里叶分析的结果，所述测量值由根据第二实施例的监控系统的相机拍摄；以及
[0122] 图9示出从多个表面点的集合中确定重建的表面的表面点。
具体实施方式
[0123] 图1示出根据第一实施例的监控系统S1。监控系统S1具有三个彼此间隔开的发光体a、b或c。发光体a至c彼此间隔开，使得由其放射的光以不同的入射角射到对象O上。监控系统S1还具有数码相机K，所述数码相机的视场朝向可通过发光体a至c照明的空间区域。
[0124] 相机K能够以特定的扫描率f_s拍摄单幅图像EB的时间序列(参见图2)。在单幅图像EB中存在或描绘对象O。单幅图像EB的每个图像点BP(x，y)关联有对应的表面区域或表面点OP(x，y)。
[0125] 监控系统S1还具有评估装置A，借助于所述评估装置可评估照相序列，以便借助于光度学立体分析重建对象O的对于相机K而言可见的对象表面OS1、OS2。评估装置A也能够设立用于，基于重建的对象表面OS1、OS2执行对象识别和/或活动识别。
[0126] 监控系统S1尤其设立用于，以不同的调制频率fa、fb或fc调制由发光体a至c放射的光La、Lb或Lc(例如经由适合的驱动器)。调制频率fa、fb或fc尤其是互素的，使得能够特别有效地防止相互调制的出现。发光体a、b和c能够分别具有至少一个发光二极管(上图)，尤其具有至少一个放射白光La至Lc的发光二极管。发光体a、b和c能够具有相同的构造。
[0127] 图2示出n个单幅图像EB_r，EB_r+1，EB_r+2，...，EB_r+n的系列或序列，所述单幅图像由监控系统S的相机K拍摄。单幅图像EB中的每个具有多个图像点BP(x，y)，例如具有出自集合(1024×640)的x和/或y。
[0128] 根据对发光体a至c的调制，图像点BP(x，y)的照明情况在拍摄单幅图像EB_r至EB_r+n的时间而不同。
[0129] 图3示出出自单幅图像EB_r至EB_r+n的序列的特定的图像点BP(x，y)的测量值的时间序列。图像点BP(x，y)在各自的时间点的大小或值是(“像素”)测量值PMw(x，y)并且例如能够对应于亮度值。
[0130] 图4示出傅里叶分量FT_a、FT_b、FT_c作为图3中在时间点tr，…，tr+n的测量值PMw(tr)，…，PMw(tr+n)的时间序列的标准傅里叶分析的结果。标准傅里叶分析例如能够是快速傅里叶变换(FFT)。
[0131] 傅里叶分量FT_a、FT_b和FT_c的幅值或值对应于代表性的强度值Iw，所述强度值仅包括发光体a、b或c的光份额La、Lb或Lc的份额。
[0132] 图5示出从傅里叶分析中所获得的三个子图像TBa、TBb和TBc。子图像TBa、TBb和Tc分别包括或包含所属的傅里叶分量FT_a、FT_b和FT_c在各自的图像点BP(x，y)处的强度测量值Iw。
[0133] 三个子图像TBa、TBb和TBc对应于如下单幅图像，所述单幅图像仅在分别通过发光体a、b或c中的一个发光体照明时被拍摄。如通过箭头所表明的那样，这三个子图像TBa、TBb和TBc能够用作为光度学立体分析的输入图像，以便重建对象表面OS1、OS2。
[0134] 图6示出根据第二实施例的监控系统S2。监控系统S2类似于监控系统S1构造，但是此时具有另一发光体d，所述发光体放射调制频率fd的经调制的光Ld。
[0135] 图7类似于图4示出一序列单幅图像EB_r，…，EB_r+n的图像点BP(x，y)的测量值的时间序列的标准傅里叶分析的结果，所述单幅图像由监控系统S2的相机K拍摄。此时产生四个傅里叶分量FT_a至FT_d，所述傅里叶分量对应于调制频率fa至fd。
[0136] 从所有图像点的四个傅里叶分量FT_a至FT_d中可产生对应的四个子图像TBa至TBd(参见图8)。
[0137] 图8示出从发光体组合的四个可用的不同的三元组的组中借助于傅里叶变换所产生的对应的子图像TBa至TBd。这是出自子图像的各自的三元组的发光体组合(a，b，c)的子图像TBa、TBb和Tc，发光体组合(a，b，c)的子图像TBa、TBb和TBd，发光体组合(a，b，c)的子图像TBa、TBc和TBd以及发光体组合(a，b，c)的子图像TBb、TBc和TBd。
[0138] 但是因为对于光度学立体分析而言仅需要三个子图像，所以可从子图像TBa至TBd的三元组中分别执行对象O的对象表面OS1、OS2的不相关的光度学的表面重建。
[0139] 四个不相关的表面重建可通过叠加用于针对表面重建的恒定的结果。在此考虑：实际中可能会产生通过不同的三元组重建的表面OS1、OS2的偏差，例如由于遮暗或光亮效应(镜面反射)。
[0140] 图9示出从对于相同的表面点OP(x，y)的一个集合的多个(在此：四个)图像点值PMw_1至PMw_4中确定针对确定的表面点OP(x，y)的最终图像点值PMw_final。四个图像点值PMw_1至PMw_4由此分别对应于名义上相同的表面点OP(x，y)，所述表面点从借助于四个不同的发光体组合重建的表面中产生。
[0141] 如果图像点PMw_1相对于其他图像点值PMw_2至PMw_4位于在此通过圆来表明的预设的带宽B之外，那么所述图像点值能够视为异常值并且从用于确定最终的图像点值PMw_final的考虑中排除，如在图9的左侧部分中所示出的那样。
[0142] 排除方法基本上也能够应用于表面点OP(x，y)中的多于一个的表面点。
[0143] 如果除了一个图像点值之外排除所有图像点值，那么所剩的图像点值被设置为最终的图像点值PMw_final。
[0144] 如果剩余多个图像点值PMw_2至PMw_4，那么这些图像点值例如能够被取平均，以便计算取平均的图像点值PMw_avg，所述取平均的图像点值用作为最终的表面点PMw_final。这在图9的右侧部分中示出。
[0145] 上述一致性设计方案能够应用于所有表面点OP(x，y)或重建的表面OS1、OS2。
[0146] 虽然本发明在细节上通过所示出的实施例来详细说明和描述，但是本发明不限于此，并且本领域技术人员能够从中导出其他变型形式，而不脱离本发明的保护范围。
[0147] 因此，相机K的帧率也能够低至使得存在欠采样。
[0148] 一般来说，能够将“一”、“一个”等理解为单一或多个，尤其就“至少一个”或者“一个或多个”等而言，除非明确排除，例如通过表达“恰好一个”来明确排除。
[0149] 数量说明也能够恰好包括所给出的数量以及常见的公差范围，除非明确排除。
[0150] 附图标记列表
[0151] 评估装置 A
[0152] 发光体 a
[0153] 带宽 B
[0154] 在位置(x，y)处的图像点 BP(x，y)
[0155] 发光体 b
[0156] 发光体 c
[0157] 发光体 d
[0158] 单幅图像r，...，r+n EB_r至EB_r+n
[0159] 傅里叶分量 FT_a至FT_d
[0160] 发光体a至d的调制频率 fa至Fd
[0161] 强度测量值 Iw
[0162] 数码相机 K
[0163] 发光体a至d的经调制的光 La至Ld
[0164] 对象 O
[0165] 图像点BP(x，y)的表面点 OP(x，y)
[0166] 图像点BP(x，y)的测量值 PMw(x，y)
[0167] 取平均的图像点 PMw_avg
[0168] 最终的图像点 PMw_final
[0169] 不同的三元组的图像点值 PMw_1至PMw_4
[0170] 对象表面 OS1
[0171] 对象表面 OS2
[0172] 扫描率 f_s
[0173] 监控系统 S1至S2
[0174] 子图像 TBa至TBd
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种基于虚拟同步发电机的控制方法及系统 | 2020-05-08 | 658 |
| 基于虚拟同步发电机的串补电网谐振抑制方法 | 2020-05-08 | 660 |
| 一种基于DC-DC隔离的统一电能质量调节器 | 2020-05-08 | 512 |
| 一种高、低电压兼容内置式无刷直流起发电系统 | 2020-05-11 | 985 |
| 多模块矩阵变换器线电压合成闭环控制方法、装置及系统 | 2020-05-12 | 654 |
| 基于反斯托克斯光自解调的高精度光纤拉曼温度检测方法 | 2020-05-11 | 553 |
| 一种基于自抗扰技术的光伏逆变器电压控制电路 | 2020-05-12 | 563 |
| 低等待时间自适应计时 | 2020-05-08 | 881 |
| 多层陶瓷电容器无损检测装置 | 2020-05-11 | 185 |
| 一种抑制5G信号干扰的滤波器及电视天线 | 2020-05-12 | 628 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈