在导弹系统中，在从目标指定设备(如前视红外，Forward Looking IR)到导弹制导头的目标移交前必须执行某些校准。这些校 准包括执行瞄准线相关，来校正FLIR与导弹制导头之间的任何不精 确的机械对准，并执行非均匀性补偿来降低制导头的IR成像器中的 像素到像素响应非均匀性。这些调整提高了导弹捕获及追踪打击目标 的机会。
如图1和2所示，士兵10使用肩射导弹系统12瞄准并发射导 弹14以击毁坦克16。导弹系统具有包括高分辨率成像器的前视红外 (FLIR)系统18，该成像器捕获它的FOV22内场景的高分辨率图像 20。该导弹14配备有具有低分辨率成像器的导弹制导头24，该成像 器捕获它的FOV28内场景的低分辨率图像26。FLIR和导弹制导头通 过如数据总线30的通道来传送信息。如所示出的，FLR和制导头的 FOV不在一条直线上，且IR成像器的非均匀性使得几乎完全遮盖了 低分辨率图像26内的坦克16。
几十年来，执行瞄准线相关的自动系统已应用在如LANTIRN的 领域。已经获取了关于鲁棒性的方法的基本知识，例如用于纹理场景 的边缘预滤波和掩码双级相关，用于柔和场景的基于点特征的相关。 但是，这些方法需要在导弹制导头图像上的相对均匀的响应。在地对 地导弹中，通过在瞄准线相关开始之前完全冷却和非均匀补偿制导头 的IR成像器来实现图像均匀性。一旦完成所有三个连续操作且数据 移交到导弹制导头，士兵将看到具有最小噪声并且位于他的FLIR视 频中心的制导头视频。这需要时间，使得士兵暴露在敌人的射击中且 危及击毁目标的任务。
虽然需要非均匀补偿(“NUC”)来提供足够质量的图像执行瞄准 线相关，但是它的主要功能是降低导弹IR视频的固定图形噪声等级 以用于士兵捕获以及可能的追踪后发射期间。因为基于逐像素的IR 成像器的响应可随着时间和基于环境和操作条件显著地改变，所以需 要NUC。在除去或至少充分减少成像器响应中的像素到像素变化方 面，NUC过程应该是有效的，NUC过程应该进行得很快且应该需要 最小的操作者参与(“拧旋钮”)。
NUC的主要方法是使用通过IR制导头的运动、或通过时间平均 而光学产生的场景的模糊版本。前提是平均所有像素应该所有像素应 看到相同的值。基于这种假定，在每个像素的模糊图像中检测到的任 何高频成分被认为是非均匀像素响应的结果。校正该模糊图像以除去 高频成分。接着相同的校正应用到后面的非模糊图像。该方法适用于 相对“平”的图像，但对于包含相当多的高空间频率内容的场景是有问 题的。这些可被感知为非均匀性及“被补偿”产生场景和依赖身体移动 的图像失真。
一旦NUC完成且具有足够低噪声等级的导弹视频可用，可执行 瞄准线相关来校正导弹和FLIR间的任何失调。一般使用第一重采样 FLIR图像到较粗分辨率来匹配制导头的分辨率，以实现瞄准线相关。 接着，非均匀补偿后的导弹图像经数据总线传送且与重采样的FLIR 图像相关。该相关过程对本领域技术人员是公知常识。相关峰值的位 置表示导弹图像中心相对于FLIR瞄准线(FLIR视野的中心)的位置。 一旦这个相对瞄准偏移已知，那么可将目标距离FLIR的位置和大小 映射到该导弹图像中。
为了提高这些武器系统的有效性及保护士兵，需要简化和改进瞄 准线相关的技术。而且，提供更高带宽、改进的噪声降低以及可应用 到严重非均匀场景的最小用户参与的NUC技术将会进一步提高武器 系统和其他IR成像系统的效力。

本发明提供FLIR到导弹视频的简化和改进的瞄准线相关以及 IR成像器的更高带宽、更高SNR、用户友好的NUC。NUC过程也提 供显示增强图像的能力。
这是部分地通过对未被NUC的导弹视频进行瞄准线相关的方 法而实现的。这允许同时执行瞄准线相关和NUC，从而减少捕获目标 和发射导弹需要的时间。当前的方法使用用于NUC的导弹制导头的 运动，来在制导头运动时通过差分图像产生导弹图像中的空间梯度滤 波。这补偿图像中的DC非均匀性。虽然存在来自场景内容的残留伪 影和增益非均匀性，但是在使用合适的预滤波时，它们不足以严重干 扰相关。用基于追踪的场景运动构建的匹配偏移和减法空间滤波器来 处理FLIR图像。重采样FLIR图像以匹配导弹图像分辨率，使用常 规的方法预处理及相关这两个图像。
虽然这个瞄准线相关的方法可与用于NUC的常规技术前后一起 使用，可使用改进的基于场景的NUC来实现额外的增加带宽、改善 的导弹视频的SNR和较少操作者参与的优势。当前的方法通过交叉参 考由成像器中不同像素观察到的场景的每个区的多个测量来工作。这 个方法基于如下简单但新颖的前提，即查看相同事物的每个阵列像素 应看到相同的事物。结果，NUC项适于成像器(而不是场景)中的非 均匀性。
在基于场景的NUC中，来自导弹视频的时间图像序列被捕获且 被使用先验的NUC项(假定它们存在)来补偿。追踪场景上的FOV 运动，并且补偿图像被登记并被加在一起形成“登记和图像”。“登记的 图像计数”记录对所述登记和图像中的每个像素有贡献的像素数目(或 总像素加权)。通过“登记和图像”除以“登记的图像计数”得到“登记的 平均图像”。这个图像构成实际场景内容的最适用估计。在某种程度上， 未补偿的非均匀性损伤了该图像，但是这些会被消除。通过从拼贴画 中剪切相应于每个输入图像的帧来向后映射“登记的平均图像”以产生 理想的输入图像估计，例如假定完美的NUC。从各个补偿的图像中减 去每个估计来产生“不明差(unexplained difference)”图像序列。这 些差与输入图像的第N阶相关产生了NUC项的逐像素的估计，这是 校正任何剩余非均匀性所需的。这些NUC项与任何先验NUC项(如 工厂校准的或由先前迭代产生的项)组合，并用于补偿导弹视频。在 简单DC偏移补偿的情况下，这个组合是个简单的相加。典型地，该 过程会迭代许多次以降低噪声等级。根据NUC项的收敛标准或成像 系统所允许的时间，迭代的次数能够被固定。
可通过追踪前向映射(产生登记的平均图像)和/或后向映射(估 计理想输入图像)中的变化、并更多地加权这些具有较少变化的成像 器和/或场景像素来增强这个过程。这具有如下效果，即有利于在“前 向映射”期间具有估计场景内容的最一致响应的这些成像器像素(照相 机像素)，以及有利于在“后向映射”期间在估计像素响应中空间和时 间上最一致的场景(场景像素)的那些区。空间一致通过后向映射中 的混淆进入这个变化：空间一致区产生很少混淆，因此在后向映射中 很少变化。
也可通过以大于制导头像素的分辨率存储登记的平均图像来增 强这个过程。具体地，使用简单的最邻近映射(vs.内插)来扩展FOV 中的像素数目被证明是非常有益的。输入图像中的相位变化导致消除 来自复制的混淆频率成分，而与输入图像中的实际超-奈奎斯特 (Nyquist)频率一致的混淆失真建设性地相加且被保存。用于产生扩 大场景的反混淆内插方法将消除这个所期望的效果。
如果没有追踪到变化并且假定成像器的非均匀性为零阶(如，恰 恰是所述偏移)，可在计算上简化这个过程。在这种情况下，不需要 保留各个帧来支持计算迭代，只需要叠加平均、登记和、以及登记的 图像计数(后者在整个迭代中是固定的)。通过卷积FOV运动轨迹 (f)与登记的平均图像来计算理想的叠加平均，通过差分它和输入叠 加平均来识别出剩余的非均匀性，以及通过将剩余差(DC非均匀估 计)与FOV运动轨迹(f)相关并将递增结果添加到登记和，来将所 述剩余差(DC非均匀估计)传到登记的平均图像。
根据下面结合附图对优选实施例的详细描述，本发明的这些和其 它特征和优势对本领域技术人员变得显而易见的，其中：

如上所述，图1是FLIR和导弹系统的框图；
如上所述，图2示出了在瞄准线相关之前的FLIR视频帧和未被 NUC的导弹视频帧；
图3是根据本发明的用于目标移交的非均匀性补偿和瞄准线相关 的并行处理框图；
图4是使用未被NUC的导弹视频的瞄准线相关和未被NUC的 导弹视频的自相关的框图；
图5是迭代NUC过程的示意图；
图6是估计NUC误差项的流程图；
图7a至7f是估计过程的示意图；
图8是在前向和后向映射过程中追踪变化的替换实施例的流程 图；
图9是替换实例的示意图，其中以大于制导头像素分辨率存储登 记的平均图像；
图10是用于零阶系统的计算高效实施例的流程图；
图11是使用NUC提供的信息显示增强图像的流程图。

本发明提供FLIR到导弹视频的简化和改进的瞄准线相关，以及 提供IR成像器的更高带宽、更高SNR、用户友好的NUC。
如图3所示，这是部分通过对未被NUC的导弹视频40进行瞄准 线相关的方法而实现。这允许同时进行用FLIR视频44和NUC46在 导弹视频40上的瞄准线相关42，从而减少执行从FLIR到导弹制导 头的目标移交48及发射导弹需要的时间。NUC不需要用于目标移交， 但是它对提高导弹视频的SNR是有用的。NUC过程也提供在操作者 显示器50上显示增强的(如滤波噪声和超高分辨率)图像的能力。
当前瞄准线相关的方法在时域上处理来自IR成像器的导弹视频 以定位IR图像中的边缘，在空间上根据场景运动估计来处理FLIR视 频以定位FLIR图像中的至少一些相同的边缘，并使导弹和FLIR图 像相关。更具体地，制导头运动将图像中的空间边缘转换为图像序列 中的时间标记(signature)。该标记用于使用例如帧差来检测边缘。 例如使用偏移和减法滤波器，根据场景运动在空间上处理FLIR视频， 以定位FLIR图像中的至少一些相同的边缘。将导弹和FLIR图像(边 缘图)相关来提供瞄准线相关。
如图4所示，在示范实施例中，连续图像(导弹视频40的帧) 被延迟52并从下一个图像被减去54而形成边缘图56。这消除了图像 中的DC非均匀性。虽然有来自场景内容的残留失真和增益非均匀性， 但是在使用合适的预滤波时，它们不足以干扰相关。可进行更高阶差 分以额外的计算复杂性的代价来改善该边缘图。使用基于场景运动估 计59构建的匹配偏移和减法空间滤波器58来处理FLIR图像(FLIR 视频44的帧)，例如估计来自导弹制导头的万向节位置和内部集成的 惯性速率传感器和/或导弹视频的自相关。重采样60所述FLIR图像 来匹配导弹图像分辨率，使用常规方法预处理及相关61两个图像。导 弹图像(边缘图)被延迟62且与下一个导弹图像自相关63，来提供 NUC登记。通过从边缘图中提取所述登记而不是等待瞄准线相关来确 定登记，NUC可同时与瞄准线相关一起执行，从而降低执行目标移交 所需要的时间。
虽然这个瞄准线相关的方法可与用于NUC的常规技术一起使 用，可使用改进的基于场景的NUC来实现额外的增加带宽、改善导 弹视频的SNR、和较少操作者参与的优势。如图5-8所示的当前方法 通过交叉参考由成像器中不同像素观察到的场景每个区的多个测量来 工作。这个方法基于简单但新颖的前提，即查看相同事物的阵列中的 每个像素应看到相同的事物。结果，NUC项适于成像器中(而不是场 景中)的非均匀性。
如图5所示，NUC的基本流程图是捕获导弹视频的原始输入图 像(步骤64)、使用最近NUC项来逐像素地补偿每个帧(步骤65)、 并基于补偿的图像估计NUC误差项(步骤66)。NUC误差项与当前 NUC项组合(步骤67)来更新用于下一次迭代的NUC项(步骤68)。 可使用先验的NUC项(工厂校准)来初始化NUC项(步骤69)。典 型地，该过程可对补偿的图像迭代多次以降低噪声等级。根据NUC 项的收敛标准或成像系统允许的时间，迭代的次数可以固定。
如图6和7所示，可通过提供来自导弹视频的补偿图像70序列 (步骤71)和追踪场景上的相关FOV运动(f)72(步骤73)来估计 NUC误差项。所述图像使用FOV运动被登记并加在一起形成“登记和 图像”(步骤74)。“登记的图像计数”75记录对登记和图像中的每个 像素有贡献的像素数目(或，如下所述，总像素加权)(步骤76)。 通过用“登记和图像”除以“登记的图像计数”得到“登记的平均图像”77 (步骤78)。这个图像构成实际场景内容的最适用估计。在某种程度 上，未补偿的非均匀性损伤了所述图像，但是这些会被消除。步骤73、 74、76和78一起组成“前向映射”。使用FOV(f1)80上的场景运动， 通过从拼贴画中剪切相应于每个输入图像的帧83a、83b、83c和83d 来“向后映射”登记的平均图像77(步骤82)，以产生理想的输入图像 估计84a、84b、84c和84d，例如假定完美的NUC。从各个先前补偿 的图像70中减去每个估计来产生“不明差”图像85序列(步骤86)。 这些差图像85与各自估计图像的第N阶相关(步骤88)产生了NUC 误差项90的逐像素的估计，这是校正任何剩余非均匀性所需的。在第 0阶相关的情况下(假定只有DC偏移，没有增益项)，这些差分图 像85简单地逐像素平均而不参照输入图像。在这个特定实施例中，在 每个迭代累积NUC中的递增误差。特别对于第0阶(DC补偿)，优 选地向后参照所述原始图像而不是迭代补偿的图像，使得在每次迭代 计算完整的NUC项而不是NUC误差项。
可通过追踪前向映射(产生所述登记的平均图像)和/或后向映 射(估计理想的输入图像)中的变化、并更多地加权那些具有较少变 化的成像器像素和/或场景像素，来增强这个过程。这具有如下效果， 即在“前向映射”期间有利于具有估计场景内容的最一致响应的这些成 像器像素，及在“后向像素”期间有利于在估计像素响应中空间和时间 上最一致的场景(场景像素)的那些区。空间一致性通过后向映射中 的混淆进入这个变化：空间一致的区产生较少混淆，因此在后向映射 中较少变化。
参照图6和8，通过在产生登记和图像期间使得成像器像素平稳 (stationarity)映射103可用(步骤104)，来追踪向后映射变化。 映射值是成像器中每个像素的响应变化的测量。一致响应的像素被分 配小的变化，且不一致响应的如“闪光”的像素被分配较大的变化。接 着从平稳映射102推导出每个成像器像素的权重Wi(步骤106)。例 如，如果所述变化的测量是像素响应的方差，权重适合与标准偏差成 反比例。接着呈现更高的平稳度(如较低变化)的像素被分配较大的 权重，且反之亦然。通过将常数值添加到标准偏差来偏置所述权重。 在只有少数采样对所述像素有贡献时，这样操作以保持权重在噪声等 级以上。而且，所述常数被设置为足够大的值以保证收敛到一组NUC 项。所述映射，由此所述权重典型地(但不必需)初始化为均匀的一 组值来启动迭代过程。迭代过程会识别好和坏的像素以及视频的平稳 和不平稳位置，并因此会再平衡所述权重。
现在“登记加权和图像”被形成为每个像素的登记图像值Ii的加 权和，即(∑WiIi)(步骤108)。这样，强调“好”像素的作用且不强 调“坏”像素的作用。权重Wi也用于形成“登记加权图象计数”(步骤 110)，其中相应于场景像素的每个条目是有贡献的成像器像素的权重 和(∑Wi)。场景像素平稳映射112提供每个场景像素的时间和空间 平稳的测量(步骤114)。在较少但仍重要的程度上，这个映射也结 合坏图像像素如“闪光”的效果。例如通过计算在登记和图像中每个场 景像素的加权方差，即对每个场景像素有贡献的登记成像器像素的加 权方差，来产生该映射。假定一个理想的成像器像素响应，该场景映 射考虑图像中的时间变化(视频)和空间变化(导头引运动)。可替 换地，可以在形成登记和图像之前对输入图像执行空间和/或时间高通 滤波，来提供本地“平坦”估计。接着，使用FOV运动的知识来构建 空间滤波器。
将“登记加权和图像”除以“登记加权图象计数”得到登记的平 均图像(步骤116)。通过强调“好”像素及不强调“坏”像素，从剪贴 画中剪切的估计输入图像是理想输入图像的较好估计。所述登记的平 均图像被后向映射以及如前面那样形成的不明差图像(步骤118)。 这些差图像与被场景像素映射112加权的各个估计图像的第N阶相关 (步骤120)产生NUC误差项90的逐像素估计，这是校正任何剩余 非均匀性所需要的。在执行相关之后将成像器像素平稳映射102更新 为每个像素的剩余方差(步骤121)。对于零阶系统，这缺省为每个 像素的不明差的方差。
在另一个实施例中，如图9所示，也可通过以大于制导头像素分 辨率存储登记的平均图像来增强NUC估计过程。具体地，每个补偿 图像70被2，4，8等的因子上采样，且将值分配给像素130。结果， 所述登记和图像，及因此的登记平均图像被登记在上采样补偿图像的 像素等级，这个等级相应于原始图像的子像素分辨率。使用简单的最 邻近映射(vs.内插)将值分配给FOV中的扩展像素证明是非常有益 的。补偿图像中的相位变化导致消除来自复制的混淆频率成分，而与 输入图像中的实际超Nyquist频率一致的混淆失真建设性地相加且被 保存。用于产生扩大场景的反混淆内插方法将会减少这个期望的效果。 以较高分辨率估计所述登记平均场景一般具有通过减少后向映射中的 混淆来提高空间高频内容区内的性能的效果。这允许向后映射的图像 的子像素登记。相应的区域(以2x分辨率的2x2)被平均，来产生每 个向后映射像素。
如果在前向或后向映射过程中没有追踪到所述变化且假定成像 器的非均匀性为零阶(如就是该DC偏移)，可在计算上简化所述过 程。在这种情况下，不需要保留各个帧来支持计算迭代，只需要叠加 平均原始的或先验的补偿图像、登记和、以及登记的图像计数(后者 在整个迭代中是固定的)。通过卷积FOV运动轨迹(f)和登记的平 均图像(或对FOV-1的场景运动的等价相关)来计算理想的叠加平均， 通过差分它与输入叠加平均来识别剩余的非均匀性，且通过将剩余差 (DC非均匀估计)与FOV运动轨迹(f)相关并将递增结果加入到 登记和来将所述剩余差(DC非均匀估计)传到所述登记的平均图像。 因为卷积等价于与反转的掩码相关，一个运算收集每个像素看到的场 景部分，且一个运算将来自该图像的剩余误差发布给该场景。因为所 述参考点在这两种情况(在成像器FOV中固定vs.在场景中固定)相 反，所述相关掩码相反。
如图10所示，通过捕获输入图像的时间序列(步骤150)、使用 先验的NUC项151(如果它们存在，如工厂校准项)补偿每个图像(步 骤152)、和追踪场景上的相关FOV运动(f)(步骤154)来完成 NUC。所述图像使用FOV运动被登记并被相加来形成“登记和图像” (步骤156)。对登记和图像中的每个像素有贡献的像素数目被记录 在“登记图像计数”中(步骤158)。“登记和图像”除以“登记图像计数” 来形成“登记平均图像”(步骤160)。这个图像构成实际场景内容的 最适用估计。在某种程度上，未补偿的非均匀性损坏这个图像，但这 些会被消除。
到这一点为止，NUC过程与原来结合图5和6讨论的相同。通 过假定零阶补偿和放弃追踪变化，可简化所述计算过程。取代了必须 迭代全部过程，所全部需要的是围绕更新登记和图像的迭代。首先， 卷积所述FOV运动轨迹f162和所述登记平均图像来形成理想的叠加 平均(步骤164)。使用叠加平均(补偿图像的平均，步骤166)来差 分所述理想的叠加平均，以形成合成的不明差图像(DC非均匀估计) (步骤168)。输出所述合成图像作为NUC误差项170，该项与来自 先前迭代的更新NUC项172组合，来形成当前的更新NUC项172(步 骤173)。
现在，取代了必须使用更新的NUC项来补偿输入图像并重新产 生登记和图像，所述NUC误差项仅需要和FOV运动轨迹f相关来形 成登记和误差(步骤174)并被添加到登记和图像(步骤176)来更新 所述登记和图像，这反过来又更新所述登记平均图像。这个内部循环 重复一定次数的迭代、时间，或者一直到更新NUC项172收敛。
如图11所示，NUC过程也能够给操作者显示器200或自动图像 处理202提供增强的图像。对于每个补偿图像，场景像素平稳映射112 用于选择在每个场景像素合并(merge)的图像数目Ni(步骤204)。 场景像素越稳定，Ni越大。那么对于每个输入图像帧，FOV运动72 用于在每个成像器像素选择最近Ni个贡献因子(步骤206)。这两个 步骤基本上确定用于每个像素的时间平均滤波器的宽度和对每个像素 的运动补偿。滤波器可能是直接平均、加权平均或某些高阶滤波器。 使用这个信息，为来自补偿图像的每一个帧产生合成平均图像(步骤 208)。以两种不同的方式来增强所述合成图像。首先，在相对稳定的 图像区中，通过合并多个图像来实现有效噪声消减。而且，在变化显 著的图像区，通过仅合并少数图像或不合并图像来保护细节。其次， 特别在图9中的增强分辨率方法中，合并来自邻近帧的信息可重新构 造所述合成图像中的场景内容(其中因为超出单个帧的Nyquist限制， 所述合成图像最初不在)。正如扫描线形阵列经常用于提供交叉轴中 的图像分辨率，移动二维成像器可提供两个轴上的增强分辨率。
虽然已经示出和描述了本发明的几个示例实施例，但是对本领域 技术人员来说会有许多变化和替换实施例。如附后的权利要求所定义 的，在不偏离本发明精神和范围的情况下可预料和进行这些变化和替 换实施例。