对失常成像器的非均匀性补偿方法 |
|||||||
| 申请号 | CN200580036562.0 | 申请日 | 2005-09-09 | 公开(公告)号 | CN101065953B | 公开(公告)日 | 2012-04-18 |
| 申请人 | 雷斯昂公司; | 发明人 | 达林·S.·威廉姆斯; 爱德华·N.·基钦; | ||||
| 摘要 | 本 发明 提供简单和改进的FLIR到导弹的瞄准线相关。使用未被NUC的导弹视频(40)执行瞄准线相关(42)，这允许同时执行瞄准线相关和NUC(46)，从而减少捕获目标和发射导弹需要的时间。当前方法使用用于NUC的导弹制导头的运动，以在制导头运动时通过差分图像产生导弹图像中的空间梯度滤波。这补偿图像中的DC非均匀性。用基于追踪的场景运动构建的匹配移位和减法空间 滤波器 来处理FLIR图像(44)。重 采样 FLIR图像以匹配导弹图像 分辨率 ，使用常规方法预处理和相关这两个图像。通过交叉参考成像器中不同 像素 观察的场景每个区的多个测量来提供改善的NUC(46)。这个方法基于如下简单但新颖的前提，即查看相同事物的每个阵列像素应当看到相同的事物。结果，NUC项适于成像器中(而非场景)的非均匀性。 | ||||||
| 权利要求 | 1.一种对失常成像器的非均匀性补偿(NUC)方法，包括： |
||||||
| 说明书全文 | 对失常成像器的非均匀性补偿方法技术领域[0001] 本发明涉及目标从FLIR移交到导弹制导头(missile seeker)之前必须发生的瞄准线相关和非均匀补偿，尤其涉及未被NUC(非均匀补偿)的导弹视频与FLIR相关的方法和非均匀性补偿的基于改善场景的方法。 背景技术[0002] 在导弹系统中，在从目标指定设备(如前视红外，ForwardLooking IR)到导弹制导头的目标移交前必须执行某些校准。这些校准包括执行瞄准线相关，来校正FLIR与导弹制导头之间的任何不精确的机械对准，并执行非均匀性补偿来降低制导头的IR成像器中的像素到像素响应非均匀性。这些调整提高了导弹捕获及追踪打击目标的机会。 [0003] 如图1和2所示，士兵10使用肩射导弹系统12瞄准并发射导弹14以击毁坦克16。导弹系统具有包括高分辨率成像器的前视红外(FLIR)系统18，该成像器捕获它的FOV22内场景的高分辨率图像20。该导弹14配备有具有低分辨率成像器的导弹制导头24，该成像器捕获它的FOV28内场景的低分辨率图像26。FLIR和导弹制导头通过如数据总线30的通道来传送信息。如所示出的，FLIR和制导头的FOV不在一条直线上，且IR成像器的非均匀性使得几乎完全遮盖了低分辨率图像26内的坦克16。 [0004] 几十年来，执行瞄准线相关的自动系统已应用在如LANTIRN的领域。已经获取了关于鲁棒性的方法的基本知识，例如用于纹理场景的边缘预滤波和掩码双级相关，用于柔和场景的基于点特征的相关。但是，这些方法需要在导弹制导头图像上的相对均匀的响应。在地对 地导弹中，通过在瞄准线相关开始之前完全冷却和非均匀补偿制导头的IR成像器来实现图像均匀性。因此，包括三个连续操作：首先，冷却制导头的IR成像器，然后再冷却的IR成像器上执行非均匀补偿，最后执行瞄准线相关。一旦完成所有三个连续操作且数据移交到导弹制导头，士兵将看到具有最小噪声并且位于他的FLIR视频中心的制导头视频。 这需要时间，使得士兵暴露在敌人的射击中且危及击毁目标的任务。 [0005] 虽然需要非均匀补偿(“NUC”)来提供足够质量的图像执行瞄准线相关，但是它的主要功能是降低导弹IR视频的固定图形噪声等级以用于士兵捕获以及可能的追踪后发射期间。因为基于逐像素的IR成像器的响应可随着时间和基于环境和操作条件显著地改变，所以需要NUC。在除去或至少充分减少成像器响应中的像素到像素变化方面，NUC过程应该是有效的，NUC过程应该进行得很快且应该需要最小的操作者参与(“拧旋钮”)。 [0006] NUC的主要方法是使用通过IR制导头的运动、或通过时间平均而光学产生的场景的模糊版本。前提是平均来说，所有像素应该看到相同的值。基于这种假定，在每个像素的模糊图像中检测到的任何高频成分被认为是非均匀像素响应的结果。校正该模糊图像以除去高频成分。接着相同的校正应用到后面的非模糊图像。该方法适用于相对“平”的图像，但对于包含相当多的高空间频率内容的场景是有问题的。这些可被感知为非均匀性及“被补偿”产生场景和依赖身体移动的图像失真。 [0007] 一旦NUC完成且具有足够低噪声等级的导弹视频可用，可执行瞄准线相关来校正导弹和FLIR间的任何失调。一般使用第一重采样FLIR图像到较粗分辨率来匹配制导头的分辨率，以实现瞄准线相关。接着，非均匀补偿后的导弹图像经数据总线传送且与重采样的FLIR图像相关。该相关过程对本领域技术人员是公知常识。相关峰值的位置表示导弹图像中心相对于FLIR瞄准线(FLIR视野的中心)的位置。一旦这个相对瞄准偏移已知，那么可将目标距离FLIR的位置和大小 映射到该导弹图像中。 [0008] 为了提高这些武器系统的有效性及保护士兵，需要简化和改进瞄准线相关的技术。而且，提供更高带宽、改进的噪声降低以及可应用到严重非均匀场景的最小用户参与的NUC技术将会进一步提高武器系统和其他IR成像系统的效力。 发明内容[0009] 本发明提供FLIR到导弹视频的简化和改进的瞄准线相关以及IR成像器的更高带宽、更高SNR、用户友好的NUC。NUC过程也提供显示增强图像的能力。 [0010] 这是部分地通过对未被NUC的导弹视频进行瞄准线相关的方法而实现的。这允许同时执行瞄准线相关和NUC，从而减少捕获目标和发射导弹需要的时间。当前的方法使用用于NUC的导弹制导头的运动，来在制导头运动时通过差分图像产生导弹图像中的空间梯度滤波。这补偿图像中的DC非均匀性。虽然存在来自场景内容的残留伪影和增益非均匀性，但是在使用合适的预滤波时，它们不足以严重干扰相关。用基于追踪的场景运动构建的匹配偏移和减法空间滤波器来处理FLIR图像。重采样FLIR图像以匹配导弹图像分辨率，使用常规的方法预处理及相关这两个图像。 [0011] 虽然这个瞄准线相关的方法可与用于NUC的常规技术前后一起使用，可使用改进的基于场景的NUC来实现额外的增加带宽、改善的导弹视频的SNR和较少操作者参与的优势。当前的方法通过交叉参考由成像器中不同像素观察到的场景的每个区的多个测量来工作。这个方法基于如下简单但新颖的前提，即查看相同事物的每个阵列像素应当看到相同的事物。结果，NUC项适于成像器(而不是场景)中的非均匀性。 [0012] 在基于场景的NUC中，来自导弹视频的时间图像序列被捕获且被使用先验的NUC项(假定它们存在)来补偿。追踪场景上的FOV运动，并且补偿图像被登记并被加在一起形成“登记和图像”。“登记的 图像计数”记录对所述登记和图像中的每个像素有贡献的图像数目(或总像素加权)。通过“登记和图像”除以“登记的图像计数”得到“登记的平均图像”。这个图像构成实际场景内容的最适用估计。在某种程度上，未补偿的非均匀性损伤了该图像，但是这些会被消除。通过从拼贴画中剪切相应于每个输入图像的帧来向后映射“登记的平均图像”以产生理想的输入图像估计，例如假定完美的NUC。从各个补偿的图像中减去每个估计来产生“不明差(unexplained difference)”图像序列。这些差与输入图像的第N阶相关产生了NUC项的逐像素的估计，这是校正任何剩余非均匀性所需的。这些NUC项与任何先验NUC项(如工厂校准的或由先前迭代产生的项)组合，并用于补偿导弹视频。在简单DC偏移补偿的情况下，这个组合是个简单的相加。典型地，该过程会迭代许多次以降低噪声等级。根据NUC项的收敛标准或成像系统所允许的时间，迭代的次数能够被固定。 [0013] 可通过追踪前向映射(产生登记的平均图像)和/或后向映射(估计理想输入图像)中的变化、并更多地加权这些具有较少变化的成像器和/或场景像素来增强这个过程。这具有如下效果，即有利于在“前向映射”期间具有估计场景内容的最一致响应的这些成像器像素(照相机像素)，以及有利于在“后向映射”期间在估计像素响应中空间和时间上最一致的场景(场景像素)的那些区。空间一致通过后向映射中的混淆进入这个变化：空间一致区产生很少混淆，因此在后向映射中很少变化。 [0014] 也可通过以大于制导头像素的分辨率存储登记的平均图像来增强这个过程。具体地，同像素的内插相比，使用简单的最邻近映射来扩展FOV中的像素数目被证明是非常有益的。输入图像中的相位变化导致消除来自复制的混淆频率成分，而与输入图像中的实际超-奈奎斯特(Nyquist)频率一致的混淆失真建设性地相加且被保存。用于产生扩大场景的反混淆内插方法将消除这个所期望的效果。 [0015] 如果没有追踪到变化并且假定成像器的非均匀性为零阶(如，恰 恰是所述偏移)，可在计算上简化这个过程。在这种情况下，不需要保留各个帧来支持计算迭代，只需要叠加平均、登记和、以及登记的图像计数(后者在整个迭代中是固定的)。通过卷积FOV运动轨迹(f)与登记的平均图像来计算理想的叠加平均，通过差分它和输入叠加平均来识别出剩余的非均匀性，以及通过将剩余差(DC非均匀估计)与FOV运动轨迹(f)相关并将递增结果添加到登记和，来将所述剩余差(DC非均匀估计)传到登记的平均图像。 [0016] 根据下面结合附图对优选实施例的详细描述，本发明的这些和其它特征和优势对本领域技术人员变得显而易见的，其中： 附图说明[0017] 如上所述，图1是FLIR和导弹系统的框图； [0018] 如上所述，图2示出了在瞄准线相关之前的FLIR视频帧和未被NUC的导弹视频帧； [0019] 图3是根据本发明的用于目标移交的非均匀性补偿和瞄准线相关的并行处理框图； [0020] 图4是使用未被NUC的导弹视频的瞄准线相关和未被NUC的导弹视频的自相关的框图； [0021] 图5是迭代NUC过程的示意图； [0022] 图6是估计NUC误差项的流程图； [0023] 图7a至7f是估计过程的示意图； [0024] 图8是在前向和后向映射过程中追踪变化的替换实施例的流程图； [0025] 图9是替换实例的示意图，其中以大于制导头像素分辨率存储登记的平均图像； [0026] 图10是用于零阶系统的计算高效实施例的流程图； [0027] 图11是使用NUC提供的信息显示增强图像的流程图。 具体实施方式[0028] 本发明提供FLIR到导弹视频的简化和改进的瞄准线相关，以及提供IR成像器的更高带宽、更高SNR、用户友好的NUC。 [0029] 如图3所示，这是部分通过对未被NUC的导弹视频40进行瞄准线相关的方法而实现。这允许同时进行用FLIR视频44和NUC46在导弹视频40上的瞄准线相关42，从而减少执行从FLIR到导弹制导头的目标移交48及发射导弹需要的时间。NUC不需要用于目标移交，但是它对提高导弹视频的SNR是有用的。NUC过程也提供在操作者显示器50上显示增强的(如滤波噪声和超高分辨率)图像的能力。 [0030] 当前瞄准线相关的方法在时域上处理来自IR成像器的导弹视频以定位IR图像中的边缘，在空间上根据场景运动估计来处理FLIR视频以定位FLIR图像中的至少一些相同的边缘，并使导弹和FLIR图像相关。更具体地，制导头运动将图像中的空间边缘转换为图像序列中的时间标记(signature)。该标记用于使用例如帧差来检测边缘。例如使用偏移和减法滤波器，根据场景运动在空间上处理FLIR视频，以定位FLIR图像中的至少一些相同的边缘。将导弹和FLIR图像(边缘图)相关来提供瞄准线相关。 [0031] 如图4所示，在示范实施例中，连续图像(导弹视频40的帧)被延迟52并从下一个图像被减去54而形成边缘图56。这消除了图像中的DC非均匀性。虽然有来自场景内容的残留失真和增益非均匀性，但是在使用合适的预滤波时，它们不足以干扰相关。可进行更高阶差分以额外的计算复杂性的代价来改善该边缘图。使用基于场景运动估计59构建的匹配偏移和减法空间滤波器58来处理FLIR图像(FLIR视频44的帧)，例如估计来自导弹制导头的万向节位置和内部集成的惯性速率传感器和/或导弹视频的自相关。重采样60所述FLIR图像来匹配导弹图像分辨率，使用常规方法对用于FLIR图像的重采样60边缘图和用于导弹图像的边缘图56进行预处理和相关61。导弹图像(边缘图)被延迟62且与下一个导弹图像自相关63，来提供NUC登记。通过从边缘图中提取所述登记而不是等待瞄准线相关来确定登记，NUC可同时与瞄准线相关一起执行，从而降低执行目标移交所需要的 时间。 [0032] 虽然这个瞄准线相关的方法可与用于NUC的常规技术一起使用，可使用改进的基于场景的NUC来实现额外的增加带宽、改善导弹视频的SNR、和较少操作者参与的优势。如图5-8所示的当前方法通过交叉参考由成像器中不同像素观察到的场景每个区的多个测量来工作。这个方法基于简单但新颖的前提，即查看相同事物的每个阵列像素应当看到相同的事物。结果，NUC项适于成像器中(而不是场景中)的非均匀性。 [0033] 如图5所示，NUC的基本流程图是捕获导弹视频的原始输入图像(步骤64)、使用最近NUC项来逐像素地补偿每个帧(步骤65)、并基于补偿的图像估计NUC误差项(步骤66)。NUC误差项与当前NUC项组合(步骤67)来更新用于下一次迭代的NUC项(步骤68)。 可使用先验的NUC项(工厂校准)来初始化NUC项(步骤69)。典型地，该过程可对补偿的图像迭代多次以降低噪声等级。根据NUC项的收敛标准或成像系统允许的时间，迭代的次数可以固定。 [0034] 如图6和7所示，可通过提供来自导弹视频的补偿图像70序列(步骤71)和追踪场景上的相关FOV运动(f)72(步骤73)来估计NUC误差项。所述图像使用FOV运动被登记并加在一起形成“登记和图像”(步骤74)。“登记的图像计数”75记录对登记和图像中的每个像素有贡献的图像数目(或，如下所述，总像素加权)(步骤76)。通过用“登记和图像”除以“登记的图像计数”得到“登记的平均图像”77(步骤78)。这个图像构成实际场景内容的最适用估计。在某种程度上，未补偿的非均匀性损伤了所述图像，但是这些会被消除。步-1骤73、74、76和78一起组成“前向映射”。使用FOV(f )80上的场景运动，通过从拼贴画中剪切相应于每个输入图像的帧83a、83b、83c和83d来“向后映射”登记的平均图像77(步骤82)，以产生理想的输入图像估计84a、84b、84c和84d，例如假定完美的NUC。从各个先前补偿的图像70中减去每个估计来产生“不明差”图像85序列(步骤86)。这些差图像85与各自估计图像的第N阶相关(步骤88)产生了NUC 误差项90的逐像素的估计，这是校正任何剩余非均匀性所需的。在第0阶相关的情况下(假定只有DC偏移，没有增益项)，这些差分图像85简单地逐像素平均而不参照输入图像。在这个特定实施例中，在每个迭代累积NUC中的递增误差。特别对于第0阶(DC补偿)，优选地向后参照所述原始图像而不是迭代补偿的图像，使得在每次迭代计算完整的NUC项而不是NUC误差项。 [0035] 可通过追踪前向映射(产生所述登记的平均图像)和/或后向映射(估计理想的输入图像)中的变化、并更多地加权那些具有较少变化的成像器像素和/或场景像素，来增强这个过程。这具有如下效果，即在“前向映射”期间有利于具有估计场景内容的最一致响应的这些成像器像素，及在“后向像素”期间有利于在估计像素响应中空间和时间上最一致的场景(场景像素)的那些区。空间一致性通过后向映射中的混淆进入这个变化：空间一致的区产生较少混淆，因此在后向映射中较少变化。 [0036] 参照图6和8，通过在产生登记和图像期间使得成像器像素平稳(stationarity)映射103可用(步骤104)，来追踪向后映射变化。映射值是成像器中每个像素的响应变化的测量。一致响应的像素被分配小的变化，且不一致响应的如“闪光”的像素被分配较大的变化。接着从平稳映射102推导出每个成像器像素的权重Wi(步骤106)。例如，如果所述变化的测量是像素响应的方差，权重适合与标准偏差成反比例。接着呈现更高的平稳度(如较低变化)的像素被分配较大的权重，且反之亦然。通过将常数值添加到标准偏差来偏置所述权重。在只有少数采样对所述像素有贡献时，这样操作以保持权重在噪声等级以上。而且，所述常数被设置为足够大的值以保证收敛到一组NUC项。所述映射，由此所述权重典型地(但不必需)初始化为均匀的一组值来启动迭代过程。迭代过程会识别好和坏的像素以及视频的平稳和不平稳位置，并因此会再平衡所述权重。 [0037] 现在“登记加权和图像”被形成为每个像素的登记图像值Ii的加权和，即(∑WiIi)(步骤108)。这样，强调“好”像素的作用且不强 调“坏”像素的作用。权重Wi也用于形成“登记加权图象计数”(步骤110)，其中相应于场景像素的每个条目是有贡献的成像器像素的权重和(∑Wi)。场景像素平稳映射112提供每个场景像素的时间和空间平稳的测量(步骤114)。在较少但仍重要的程度上，这个映射也结合坏图像像素如“闪光”的效果。例如通过计算在登记和图像中每个场景像素的加权方差，即对每个场景像素有贡献的登记成像器像素的加权方差，来产生该映射。假定一个理想的成像器像素响应，该场景映射考虑图像中的时间变化(视频)和空间变化(制导头运动)。可替换地，可以在形成登记和图像之前对输入图像执行空间和/或时间高通滤波，来提供本地“平坦”估计。接着，使用FOV运动的知识来构建空间滤波器。 [0038] 将“登记加权和图像”除以“登记加权图象计数”得到登记的平均图像(步骤116)。通过强调“好”像素及不强调“坏”像素，从剪贴画中剪切的估计输入图像是理想输入图像的较好估计。所述登记的平均图像被后向映射以及如前面那样形成的不明差图像(步骤 118)。这些差图像与被场景像素映射112加权的各个估计图像的第N阶相关(步骤120)产生NUC误差项90的逐像素估计，这是校正任何剩余非均匀性所需要的。在执行相关之后将成像器像素平稳映射102更新为每个像素的剩余方差(步骤121)。对于零阶系统，这缺省为每个像素的不明差的方差。 [0039] 在另一个实施例中，如图9所示，也可通过以大于制导头像素分辨率存储登记的平均图像来增强NUC估计过程。具体地，每个补偿图像70被2，4，8等的因子上采样，且将值分配给像素130。结果，所述登记和图像，及因此的登记平均图像被登记在上采样补偿图像的像素等级，这个等级相应于原始图像的子像素分辨率。使用简单的最邻近映射(vs.内插)将值分配给FOV中的扩展像素证明是非常有益的。补偿图像中的相位变化导致消除来自复制的混淆频率成分，而与输入图像中的实际超Nyquist频率一致的混淆失真建设性地相加且被保存。用于产生扩大场景的反混淆内插方法将会减少这个期望的效果。 以较高分辨率估计所述登记平均场景一般具有通过减少后向映射中的混淆来提高空间高频内容区内的性能的效果。这允许向后映射的图像的子像素登记。相应的区域(以2x分辨率的2x2)被平均，来产生每个向后映射像素。 [0040] 如果在前向或后向映射过程中没有追踪到所述变化且假定成像器的非均匀性为零阶(如就是该DC偏移)，可在计算上简化所述过程。在这种情况下，不需要保留各个帧来支持计算迭代，只需要叠加平均原始的或先验的补偿图像、登记和、以及登记的图像计数-1(后者在整个迭代中是固定的)。通过卷积FOV运动轨迹(f)和登记的平均图像(或对FOV的场景运动的等价相关)来计算理想的叠加平均，通过差分它与输入叠加平均来识别剩余的非均匀性，且通过将剩余差(DC非均匀估计)与FOV运动轨迹(f)相关并将递增结果加入到登记和来将所述剩余差(DC非均匀估计)传到所述登记的平均图像。因为卷积等价于与反转的掩码相关，一个运算收集每个像素看到的场景部分，且一个运算将来自该图像的剩余误差发布给该场景。因为所述参考点在这两种情况(在成像器FOV中固定vs.在场景中固定)相反，所述相关掩码相反。 [0041] 如图10所示，通过捕获输入图像的时间序列(步骤150)、使用先验的NUC项151(如果它们存在，如工厂校准项)补偿每个图像(步骤152)、和追踪场景上的相关FOV运动(f)(步骤154)来完成NUC。所述图像使用FOV运动被登记并被相加来形成“登记和图像”(步骤156)。对登记和图像中的每个像素有贡献的图像数目被记录在“登记图像计数”中(步骤158)。“登记和图像”除以“登记图像计数”来形成“登记平均图像”(步骤160)。 这个图像构成实际场景内容的最适用估计。在某种程度上，未补偿的非均匀性损坏这个图像，但这些会被消除。 [0042] 到这一点为止，NUC过程与原来结合图5和6讨论的相同。通过假定零阶补偿和放弃追踪变化，可简化所述计算过程。取代了必须迭代全部过程，所全部需要的是围绕更新登记和图像的迭代。首先， 卷积所述FOV运动轨迹f162和所述登记平均图像来形成理想的叠加平均(步骤164)。使用叠加平均(补偿图像的平均，步骤166)来差分所述理想的叠加平均，以形成合成的不明差图像(DC非均匀估计)(步骤168)。输出所述合成图像作为NUC误差项170，该项与来自先前迭代的更新NUC项172组合，来形成当前的更新NUC项172(步骤173)。 [0043] 现在，取代了必须使用更新的NUC项来补偿输入图像并重新产生登记和图像，所述NUC误差项仅需要和FOV运动轨迹f相关来形成登记和误差(步骤174)并被添加到登记和图像(步骤176)来更新所述登记和图像，这反过来又更新所述登记平均图像。这个内部循环重复一定次数的迭代、时间，或者一直到更新NUC项172收敛。 [0044] 如图11所示，NUC过程也能够给操作者显示器200或自动图像处理202提供增强的图像。对于每个补偿图像，场景像素平稳映射112用于选择在每个场景像素合并(merge)的图像数目Ni(步骤204)。场景像素越稳定，Ni越大。那么对于每个输入图像帧，FOV运动72用于在每个成像器像素选择最近Ni个贡献因子(步骤206)。这两个步骤基本上确定用于每个像素的时间平均滤波器的宽度和对每个像素的运动补偿。滤波器可能是直接平均、加权平均或某些高阶滤波器。使用这个信息，为来自补偿图像的每一个帧产生合成平均图像(步骤208)。以两种不同的方式来增强所述合成图像。首先，在相对稳定的图像区中，通过合并多个图像来实现有效噪声消减。而且，在变化显著的图像区，通过仅合并少数图像或不合并图像来保护细节。其次，特别在图9中的增强分辨率方法中，合并来自邻近帧的信息可重新构造所述合成图像中的场景内容(其中因为超出单个帧的Nyquist限制，所述合成图像最初不在)。正如扫描线形阵列经常用于提供交叉轴中的图像分辨率，移动二维成像器可提供两个轴上的增强分辨率。 [0045] 虽然已经示出和描述了本发明的几个示例实施例，但是对本领域技术人员来说会有许多变化和替换实施例。如附后的权利要求所定义的，在不偏离本发明精神和范围的情况下可预料和进行这些变化和替换实施例。 |
||||||
QQ群二维码
意见反馈
意见反馈