首页 / 专利库 / 空中管制 / 可控飞行撞地 / 具有位置传感器系统的飞行时间相机

具有位置传感器系统的飞行时间相机

阅读:168发布:2020-05-31

专利汇可以提供具有位置传感器系统的飞行时间相机专利检索,专利查询,专利分析的服务。并且本 发明 涉及具有 位置 传感器 系统的飞行时间相机。一种飞行时间(TOF)相机系统包括 辐射 源、辐射检测器、 位置传感器 系统和处理器。辐射源被配置成生成和发射撞击目标对象的辐射。辐射检测器被配置成检测从目标对象反射的辐射并且基于经反射的辐射生成包括在不同时间处相继被检测的至少两个原始样本的样本集。位置 传感器系统 被配置成检测在检测期间TOF相机的移动并且基于TOF相机的移动生成具有唯一地对应于样本集的每一个原始样本的其部分的移动 信号 ,其中移动信号的部分与生成对应原始样本同时被检测。处理器被配置成接收原始样本和对应移动信号部分并且基于原始样本和对应移动信号部分生成对象信息。,下面是具有位置传感器系统的飞行时间相机专利的具体信息内容。

1.一种飞行时间(TOF)相机系统,包括:
被配置成生成和发射撞击目标对象的辐射的辐射源;
被配置成检测从目标对象反射的辐射并且基于经反射的辐射生成包括在不同时间处相继被检测的至少两个原始样本的样本集的辐射检测器;
被配置成检测在检测期间TOF相机的移动并且基于TOF相机的移动生成具有唯一地对应于样本集的每一个原始样本的其部分的移动信号位置传感器系统,其中移动信号的部分与生成对应原始样本同时被检测;以及
被配置成接收原始样本和对应移动信号部分并且基于原始样本和对应移动信号部分生成对象信息的处理器。
2.权利要求1的TOF相机系统,其中处理器被配置成:如果移动信号的对应部分超过预确定的阈值,则舍弃样本集的原始样本。
3.权利要求1的TOF相机系统,其中对象信息包括TOF相机与目标对象之间的距离信息或目标对象的反射强度信息。
4.权利要求1的TOF相机系统,其中位置传感器系统包括加速度计、陀螺仪、倾斜计、磁计、电子罗盘、全球定位系统(GPS)或其组合。
5.权利要求1的TOF相机系统,其中辐射检测器还包括被配置成检测从目标对象的不同部分反射的辐射的像素阵列,像素阵列的像素生成包括在不同时间处相继被检测的原始样本的对应样本集,其中对应样本集与对应于样本集的每一个原始样本的移动信号的部分一起被处理以生成目标对象的对应部分的对象信息。
6.权利要求1的TOF相机系统,其中处理器包括与从辐射源发射的辐射同步的参考信号。
7.权利要求6的TOF相机系统,其中对象信息通过处理相对于由参考信号表示的经发射的辐射的经反射的辐射的相移来生成。
8.权利要求2的TOF相机系统,其中对象信息通过处理经反射的辐射和经发射的辐射的相关函数来生成,其中相关函数从经反射的辐射的至少四个原始样本和具有关于经发射的辐射的可控延迟的集合的对应参考信号生成。
9.权利要求5的TOF相机系统,其中处理器还处理目标对象的不同部分的对象信息并且生成目标对象的三维(3D)图像。
10.权利要求1的TOF相机系统,其中辐射是可见光谱、紫外、红外、x射线、太赫兹、微波或无线电辐射。
11.权利要求1的TOF相机系统,其中辐射检测器包括光子混合设备(PMD)。
12.一种飞行时间(TOF)相机系统,包括:
被配置成生成和发射撞击目标对象的辐射的辐射源;
被配置成检测从目标对象的对应部分反射的辐射的包括像素阵列的辐射检测器,像素阵列检测具有在不同时间处相继被检测的多个原始的帧集合,其中目标对象的一部分对应于具有多个原始样本的一个样本集;
被配置成检测在辐射检测期间TOF相机的移动并且生成包括唯一地对应于样本集的每一个原始样本的其部分的对应移动信号的位置传感器系统,在与检测对应原始样本的同时检测移动信号的每一个部分;以及
被配置成接收样本集并且基于移动信号的对应部分从样本集选择至少两个原始样本、并且还被配置成基于所选原始样本生成用于目标对象的对应部分的对象信息的处理器,处理器还被配置成处理用于目标对象的各个部分的对象信息并且基于此生成目标对象的三维图像。
13.权利要求12的TOF相机系统,其中处理器还被配置成:如果移动信号的对应部分超过预确定的阈值,则舍弃对应于目标对象的一些部分的原始帧的一些原始样本,而同时保留对应于目标对象的一些其它部分的原始帧的一些其它原始样本;其中所保留的原始样本与对应于目标对象的相同部分的之前检测的另一原始帧的一些原始样本重叠。
14.权利要求12的TOF相机系统,其中基于经反射的辐射到经发射的辐射的相移生成距离信息,从比较在不同时间处被检测并且选自样本集的至少四个原始样本与具有关于经发射的辐射的至少四个不同预设延迟的参考信号来获取相移。
15.权利要求12的TOF相机系统,其中从样本集选择原始样本使得移动信号的对应部分在预确定的阈值内。
16.权利要求12的TOF相机系统,其中移动信息包括相机的位置或旋转信息。
17.一种使用飞行时间(TOF)相机的三维成像方法,包括:
生成和发射撞击目标对象的辐射;
检测从目标对象反射的辐射,并且生成具有在不同时间处被检测的用于目标对象的对应部分的多个原始样本的样本集;
测量具有对应于在与检测原始样本的同时测量的每一个原始样本的移动信息的部分的相机的移动信息;
从样本集选择用于目标对象的对应部分的至少两个原始样本,其中用于所选至少两个原始样本的移动信息的对应部分在预确定的阈值内;
处理所选原始样本以生成对应于目标对象部分的对象信息;以及
处理用于目标对象的多个部分的对象信息并且生成目标对象的3D图像。
18.权利要求17的方法,其中相机在所选原始样本的检测期间基本上不移动。
19.权利要求17的方法,其中对象信息从经反射的和经发射的辐射之间的相移生成。
20.权利要求19的方法,其中经反射的和经发射的辐射之间的相移通过检测接收器接收到的电压电平来获取,其中参考信号干扰所选原始样本。

说明书全文

具有位置传感器系统的飞行时间相机

技术领域

[0001] 本公开在三维相机的领域中,具体地,在飞行时间相机和与其相关联的位置传感器系统的领域中。

背景技术

[0002] 飞行时间(TOF)相机是以相对高的率提供深度和反射比测量的紧凑传感器。通过处理针对目标对象的充足像素的所测量的深度和反射比信息,获取目标对象的三维(3D)图像。
[0003] 相机与目标对象之间的相对移动影响所获取的目标对象的3D图像的质量。像素由于相对移动而混合。另外,相对移动影响所测量的目标对象的单个像素的深度和反射比信息并且有时使其无效。这是因为对于TOF相机,单个像素的深度和反射比信息通常通过处理在不同时间处相继取得的几个原始样本来获取。附图说明
[0004] 图1是图示了具有飞行时间(TOF)相机和目标对象的3D成像系统的框图
[0005] 图2是图示了具有像素阵列的TOF相机的辐射检测器的图。
[0006] 图3A是图示了根据一些实施例的在测量目标对象时TOF相机的移动的图。
[0007] 图3B是图示了根据一些实施例的一些原始样本和通过单个像素获取的移动信号的框图。
[0008] 图4是图示了根据一些实施例的操作TOF相机的方法的流程图
[0009] 图5是图示了根据一些其它实施例的操作TOF相机的方法的流程图。
[0010] 图6A和6B示出根据一些实施例的用于TOF相机的信号处理机制。

具体实施方式

[0011] 现在将参考绘制的附图描述本公开,其中相同的参考标号自始至终用于指相同的元件,并且其中所图示的结构和设备不一定按比例绘制。
[0012] 公开了将位置传感器系统合并到飞行时间(TOF)相机中的系统和方法。TOF相机检测来自辐射源的经发射的辐射(所述辐射源在一个实施例中为TOF相机的一部分)撞击目标对象并且从目标对象反射回到辐射源所需要的时间。然后通过所检测到的时间和已知的辐射速度来计算源与目标对象之间的距离。在一些实施例中,经发射的辐射可以是经调制的连续周期性电磁波。时间通过比较可能的经调制的经发射的辐射和在不同时间处相继检测到的经反射的辐射的多于一个样本之间的相移来获取。如果TOF相机在经反射的辐射的检测期间移动,所检测到的相移并未针对相同的对应距离并且不能被正确地处理。对于经反射的辐射的每一个所检测到的样本,位置传感器系统检测具有对应于TOF相机的相对移动的部分的移动信号。如果移动信号的部分超过预确定的阈值,可以舍弃对应相移数据。
[0013] 在一些实施例中,对应相移数据是包括对应于目标对象的不同部分的像素阵列的原始帧。在这种情况中,可以应用另外的处理布置以将原始帧与在不同时间处取得的一个或多个原始帧比较以保留一些重叠的原始样本而同时舍弃一些其它的原始样本。
[0014] 图1是图示了具有飞行时间(TOF)相机系统10和目标对象12的三维(3D)成像系统的框图。TOF相机包括辐射源102、辐射检测器104、位置传感器系统106和处理器108。辐射源102被配置成生成和发射撞击目标对象12的辐射103。辐射103到达目标对象12并且然后被反射回辐射检测器104。辐射检测器104被配置成检测经反射的辐射105并且基于经反射的辐射105生成具有在不同时间处相继生成的一些原始样本的样本集。位置传感器系统106被配置成检测TOF相机10的移动并且生成对应于所检测到的移动的移动信号。可以在检测样本集的对应原始样本的同时检测移动信号的每一个部分。处理器108被配置成接收样本集和对应移动信号。处理器108还被配置成基于移动信号的对应部分从样本集选择至少两个原始样本。然后基于所选原始样本生成对象信息。
[0015] 在一些实施例中,如图2中所示,TOF相机的辐射检测器104包括具有检测目标对象12的不同部分的多个像素的像素阵列。例如,在图2中,像素阵列包括数个i×j像素。出于说明目的,在原始帧A中,来自第一像素1i的第一原始样本“i1-A”对应于目标对象12的部分4并且来自第二像素i(j-1)的第二原始样本“i(j-1)-A”对应于目标对象12的另一部分6。每次辐射检测器104针对每一个像素检测具有原始样本(例如11-A到ij-A或
11-B到ij-B)的原始帧(例如原始帧A或原始帧B)。帧集包括对应于目标对象12的不同部分的多个样本集并且每一个样本集包括在不同时间处取得的多个原始样本。
[0016] 位置传感器系统106在辐射检测器104检测相继的原始样本的样本集的同时检测移动信号部分。每一个移动信号部分表示当检测原始样本时TOF相机的相对移动。图3a和图3b示出检测一些原始样本和对应移动信号部分的示例过程。基本上同时检测到第一原始样本i(j-1)-A和第一移动信号部分△-A。在具有时间间隔的情况下,然后在另一基本上相同的时间处检测到第二原始样本11-B和第二移动信号部分△-B。如果在检测原始样本时TOF相机10被移动得过于远离参考位置,对应移动信号部分将超过预确定的阈值。然后可以舍弃原始样本。
[0017] 值得注意的是,在一些实施例中,由于TOF相机与目标对象之间的相对移动,来自像素阵列的不同像素的原始样本可能对应于针对不同原始帧的目标对象的相同部分。例如,在图2中,来自原始帧A的像素i(j-1)的原始样本“i(j-1)-A”和来自原始帧B的像素11的另一原始样本“11-B”对应于目标对象12的相同部分6。在一些实施例中,即使一些原始帧的对应移动信号部分超过预确定的阈值,处理器108也可以进一步评估不同原始帧的一些原始样本对应于目标对象的相同部分。例如,在图2中,原始帧A的原始样本“i(j-1)-A”和原始帧B的原始样本“11-B”对应于目标对象12的相同部分6。尽管TOF相机10被移除使得原始帧B的对应移动信号部分可以超过预确定的阈值,但是原始样本“11-B”基本上与原始样本“i(j-1)-A”在相同位置处被捕获并且可以被保留以处理目标对象12的部分6。处理器108可以保留重叠的来自不同原始帧的诸如“i(j-1)-A”和“11-B”之类的一些原始样本,而同时舍弃不重叠的其余原始样本。该方案保存更多原始样本,但同时作为折衷,使TOF相机系统处理复杂化。
[0018] 在一些其它实施例中,辐射检测器104可以包括仅一个单个像素。例如,TOF相机10可以被用于测量到目标对象与单个像素的距离。基于经反射的辐射生成包括在不同时间处相继的多个原始样本的样本集。基于移动信号的对应部分选择原始样本。仅保留具有预确定的阈值内的对应移动信号部分的原始样本。需要两个或更多原始样本来处理所测量的距离信息。如果不能够获取所要求数目的有效原始样本,则不能够生成有效的距离测量。
[0019] 对象信息可以包括但不限于距离和反射强度信息。在一些实施例中,对象信息可以通过处理相对于来自辐射源的经发射的辐射的经反射的辐射的相移来生成。经发射的辐射由参考信号表示。参考信号具有关于经发射的辐射的各种可控延迟的集合。图6a和6b示出为何需要具有至少两个不同延迟的参考信号以用于有效处理的信号处理机制。
[0020] 图6a示出与经发射的辐射同步(没有延迟)的参考信号(实线)。左边和右边示出两个经反射的辐射,其中到经发射的辐射的不同相移表示要测量的不同距离。出于说明目的,经反射的辐射还通过虚线示出被转换到对应参考信号上。经反射的辐射与经发射的辐射之间的相移可以通过结果得到的电压差来测量。电压差由阴影区域表示并且与相移成比例。如图6a中所示,所测量的左边和右边情况的电压差相同而同时两个经反射的辐射具有不同的相移,即不同的距离。为了解决该问题,另一样本需要利用具有关于经发射的辐射的预设延迟的参考信号来处理。例如,在图6b中,将具有关于经发射的辐射的90度延迟的参考信号应用于测量左边和右边情况的电压差。通过应用比如利用两个所选原始样本的图6a和图6b的测量,生成距离信息。
[0021] 在一些实施例中,通过处理来自至少四个原始样本的经反射的辐射和经发射的辐射的相关函数来获取对象信息。经发射的辐射由具有关于经发射的辐射的可控延迟集的参考信号来表示。
[0022] 例如,相关函数/用于参考信号和正弦曲线调制辐射源可以得出为:;
其中M是通常为恒定非调制辐射的背景辐射的强度;A是经反射的辐射的强度;θ是参考信号的延迟并且 是经测量的相移。M、A和 在相关函数中是未知的。为了计算便利性和噪声性能,通常从样本集选择具有在预确定的阈值内的对应移动信号部分的四个原始样本以计算未知量。通过应用延迟θ={0°, 90°, 180°, 270°},可以确定相关函数的四个样本I1, I2, I3, I4。未知量可以被处理为:
;
;以及
距离z可以得出为:

其中t为辐射行进的时间;c为辐射的速度并且μ是经发射的辐射的调制频率。在如上所示的那样单独处理对象目标的不同部分的对象信息之后,可以生成目标对象的3D图像。
[0023] 除其它电磁波之外,辐射源可以是可见光谱、紫外、红外、x射线、太赫兹、微波或无线电辐射。在一些实施例中,可以调制经发射的辐射。这样的辐射可以是连续波,例如正弦曲线调制波,或者辐射可以在检测的间隔期间被关断。
[0024] 图1的位置传感器系统106可以包括加速度计、陀螺仪、倾斜计、磁计、电子罗盘、全球定位系统(GPS)或其组合。TOF相机的移动可以包括位置改变或相机的旋转。
[0025] 辐射检测器104可以包括具有两个互补接收器的光子混合设备(PMD)。一个接收器在辐射活动时收集电荷并且另一个接收器在去激活辐射时收集电荷。
[0026] 图4是图示了根据一些实施例的操作TOF相机的方法400的流程图。可以参考以上系统和组件以促进方法400的理解。另外,方法400可以至少部分地通过以上系统和/或组件来合并。
[0027] 方法400通过处理撞击目标对象并且反射回到TOF相机的辐射的至少两个所选原始样本来生成相对于TOF相机的目标对象的距离信息。在分析中使用的经处理的原始样本被相继检测并且具有在预确定的阈值内的对应移动信号部分,因此指示其中TOF相机基本上在相同位置的数据样本。
[0028] 方法400在402处开始,其中辐射从辐射源生成和发射并且撞击目标对象。
[0029] 在404处,辐射从目标对象反射并且被检测。具有多个原始样本的样本集在不同时间处被相继检测。在406处示出,检测移动信号,同时指示当检测到样本集时相机的移动。每一个原始样本具有对应移动信号部分。
[0030] 在408处,评估对应于第一原始样本的第一移动信号部分。如果第一移动信号部分超过预确定的移动范围,在410处舍弃对应第一原始样本并且在408处再次评估对应于第二原始样本的第二移动信号部分。如果第一移动信号部分在移动的预确定的范围内,在412处存储第一原始样本以供稍后处理。
[0031] 在414处,做出所存储的原始样本的量是否足够用于处理的确定。如在以上的示例中那样,需要四个原始样本以用于处理。如果否,在408处再次评估下一原始样本。在获取到足够的原始样本之后(在414处为是),在416处处理所选原始样本以生成距离信息。
[0032] 图5是图示了根据一些其它的实施例的操作TOF相机的方法500的流程图。可以参考以上系统和组件以促进方法500的理解。另外,方法500可以至少部分地通过以上系统和/或组件来合并。
[0033] 方法500生成目标对象的3D图像。首先单独地生成用于目标对象的各个部分的对象信息并且然后将其组合为目标对象的3D图像。
[0034] 方法500在块502处开始,其中辐射从辐射源生成和发射并且撞击目标对象。
[0035] 在504处,辐射从目标对象反射并且被检测。在不同时间处相继检测具有多个原始样本的多个原始帧。原始帧包括对应于目标对象的不同部分的样本集。在506处示出,还检测指示对应于原始帧的相机的移动的移动信号。因此每一个原始帧具有对应移动信号部分。
[0036] 在508处,评估对应于第一原始帧的第一移动信号部分。如果第一移动信号部分超过预确定的移动范围(例如关于参考位置或之前的位置),在一些实施例中,在510处可以舍弃对应的第一原始帧并且在508处再次评估对应于第二原始帧的第二移动信号部分。可替换地,在一些实施例中,可以进一步处理第一原始帧。例如,可以舍弃第一原始帧的一部分而同时在511处可以保留第一原始帧的其余部分。所保留的第一原始帧的部分包括与另一原始帧的一些其它原始样本重叠的原始样本。所重叠的原始样本可以来自检测器的不同像素,但是当检测原始样本时像素相对于目标对象的对应部分的位置应当基本上不移动。然后在512处存储仅具有其余所保留的部分的新的第一原始帧以供进一步处理。如果第一移动信号部分在预确定的范围内(在508处为是),同样在512处存储第一原始样本以供稍后处理。
[0037] 在514处,做出所存储的原始帧的量是否足够用于处理的确定。如果否,在508处再次评估下一原始帧。在获取到足够的原始帧之后,在516处处理所选原始帧以生成分别用于目标对象的每一个部分的对象信息。然后在518处,处理用于目标对象的所有部分的对象信息以生成用于目标对象的3D图像。
[0038] 要领会的是,以上方法及其变型可以组合并且可互换地利用。所要求保护的主题可以实现为使用标准编程和/或工程技术以产生软件固件硬件或其任何组合来控制计算机实现所公开的主题(例如以上所示的系统,是可以用于实现方法的系统的非限制性示例)的方法、装置或制造品。如本文所使用的术语“制造品”意图涵盖从任何计算机可读设备、载体或媒体可访问计算机程序。当然,本领域技术人员将认识到,可以对该配置做出许多修改而不脱离于所要求保护的主题的范围或精神。
[0039] 一种飞行时间(TOF)相机系统包括辐射源、辐射检测器、位置传感器系统和处理器。辐射源被配置成生成和发射撞击目标对象的辐射。辐射检测器被配置成检测从目标对象反射的辐射并且基于经反射的辐射生成包括在不同时间处相继被检测的至少两个原始样本的样本集。位置传感器系统被配置成检测在检测期间TOF相机的移动并且基于TOF相机的移动生成具有唯一地对应于样本集的每一个原始样本的其部分的移动信号,其中移动信号的部分与生成对应原始样本同时被检测。处理器被配置成接收原始样本和对应移动信号部分并且基于原始样本和对应移动信号部分生成对象信息。
[0040] 一种飞行时间(TOF)相机系统包括辐射源、辐射检测器、位置传感器系统和处理器。辐射源被配置成生成和发射撞击目标对象的辐射。包括像素阵列的辐射检测器被配置成检测从目标对象的对应部分反射的辐射,像素阵列检测具有在不同时间处相继被检测的多个原始帧的帧集合,其中目标对象的一部分对应于具有多个原始样本的一个样本集。位置传感器系统被配置成检测在辐射检测期间TOF相机的移动并且生成包括唯一地对应于样本集的每一个原始样本的其部分的对应移动信号,在与检测对应原始样本的同时检测移动信号的每一个部分。处理器被配置成接收样本集并且基于移动信号的对应部分从样本集选择至少两个原始样本,并且还被配置成基于所选原始样本生成用于目标对象的对应部分的对象信息。处理器还被配置成处理用于目标对象的各个部分的对象信息并且基于此生成目标对象的三维图像。
[0041] 一种三维成像方法利用飞行时间(TOF)相机。在该方法中,生成和发射撞击目标对象的辐射。辐射从目标对象被反射并且被检测,从而生成具有在不同时间处被检测的用于目标对象的对应部分的多个原始样本的样本集。然后测量具有对应于在与检测原始样本的同时测量的每一个原始样本的移动信息的部分的相机的移动信息。从样本集选择用于目标对象的对应部分的至少两个原始样本,其中用于所选至少两个原始样本的移动信息的对应部分在预确定的阈值内。处理所选原始样本以生成对应于目标对象部分的对象信息。最后,处理用于目标对象的多个部分的对象信息并且生成目标对象的3D图像。
[0042] 特别地关于由以上所描述的组件或结构(部件、设备、电路、系统等)执行的各种功能,除非另行指示,用于描述这样的组件的术语(包括对“构件”的引用)意图对应于执行所描述的组件的指定功能的任何组件或结构(例如其在功能上等同),即使在结构上不等同于在本文中所说明的本发明的例示性实现中执行该功能的所公开的结构。此外,虽然可能已经关于若干实现中的仅一个公开了本发明的特定特征,但是这样的特征可以如可能期望的并且对于任何给定或特定应用而言有益的那样与其它实现的一个或更多其它特征组合。另外,在术语“含有”、“包含”、“具有”、“拥有”、“带有”或其变型使用在任一详细描述和权利要求中的意义上,这样的术语意图以类似于术语“包括”的方式是包含性的。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈