用于检测飞机场中的外物、碎片或损坏的监视系统和方法
阅读：478发布：2020-08-26
专利汇可以提供用于检测飞机场中的外物、碎片或损坏的监视系统和方法专利检索，专利查询，专利分析的服务。并且一种用于检测飞机场中的外物、碎片或损坏的监视系统和方法，该监视系统包括：用于捕捉飞机场的图像的一个或多个摄像机；用于根据一个或多个摄像机捕捉到的图像来检测飞机场中的外物、碎片或损坏的处理单元；以及武器冲击监视系统，其用于检测飞机场中的武器冲击，以及引导一个或多个摄像机捕捉检测到的武器冲击的区域中的图像。，下面是用于检测飞机场中的外物、碎片或损坏的监视系统和方法专利的具体信息内容。
1.一种用于检测飞机场中的外物、碎片或损坏的飞机场监视系统，所述飞机场监视系统包括：
用于捕捉所述飞机场的图像的一个或多个摄像机；
用于根据所述一个或多个摄像机捕捉的图像来检测所述飞机场中的所述外物、碎片或损坏的处理单元；以及
武器冲击监视系统，其用于检测所述飞机场中的武器冲击，以及引导所述一个或多个摄像机捕捉检测到的武器冲击的区域中的图像，其中通过所述武器冲击引起的爆炸、烟、灰尘或闪光的图像来检测所述武器冲击，
其中所述飞机场监视系统还包括：
基于区域的检测器，其用于检测捕捉到的图像中能够为由于所述武器冲击导致的外物、碎片或损坏的区域；以及
基于边缘的检测器，其用于检测捕捉到的图像中所有对象的边缘，其中，存储所述基于区域的检测器在所述图像中检测到的与所述基于边缘的检测器在所述图像中检测到的边缘重叠的区域。
2.根据权利要求1所述的飞机场监视系统，其中，所述一个或多个摄像机包括静态摄像机和非静态摄像机的组合。
3.根据权利要求1或2所述的飞机场监视系统，其中，所述一个或多个摄像机放大到或者聚焦在所检测到的武器冲击的区域，以获得具有用于检测损坏类型的细节的图像。
4.根据权利要求1或2所述的飞机场监视系统，其中，所述飞机场监视系统包括用于基于在所述飞机场中检测到的所述外物、碎片或损坏的位置来得出飞机着陆的最小起降带(MOS)的计算模块。
5.根据权利要求1或2所述的飞机场监视系统，其中，所述处理单元检测所述飞机场中的裂缝、弹坑、坑穴、碎石、UXO或动物。
6.根据权利要求5所述的飞机场监视系统，其中，所述处理单元通过分别检测所述弹坑、坑穴或碎石周围的碎片的量来确定弹坑、坑穴或碎石的大小。
7.根据权利要求1或2所述的飞机场监视系统，其中，所述一个或多个摄像机配备有广角镜，以提供所述飞机场的广域图像捕捉。
8.根据权利要求1或2所述的飞机场监视系统，其中，所述一个或多个摄像机安装在布置成飞过所述飞机场的飞机上，以捕捉所述飞机场的图像。
9.根据权利要求1或2所述的飞机场监视系统，其中，所述飞机场监视系统包括用于在可见度低或环境光照低的状况下提供人工光照的一个或多个红外照明器。
10.根据权利要求1或2所述的飞机场监视系统，其中，所述处理单元配置成测量所述外物、碎片或损坏的大小或物理特性。
11.根据权利要求1或2所述的飞机场监视系统，其中，在所述飞机场中检测到的损坏映射到飞机场图上。
12.根据权利要求1或2所述的飞机场监视系统，其中，所述一个或多个摄像机捕捉到的图像拼合在一起，并且早先捕捉到的拼合图像和后面捕捉到的拼合图像之间的差别区域在所述后面捕捉到的拼合图像中突出显示。
13.根据权利要求1或2所述的飞机场监视系统，其中，所述武器冲击监视系统配置成在检测到武器冲击时，触发视觉或音频警告。
14.根据权利要求1或2所述的飞机场监视系统，所述飞机场监视系统包括用于基于所述武器冲击的位置或所述飞机场损坏的信息来估计和计划修理工作的修理估计和计划模块。
15.根据权利要求1或2所述的飞机场监视系统，其中，所述一个或多个摄像机安装在所述飞机场中的跑道的相反侧，并且它们的视界重叠。
16.根据权利要求1或2所述的飞机场监视系统，其中，所述一个或多个摄像机的视界重叠，以提供覆盖冗余。
17.根据权利要求1或2所述的飞机场监视系统，其中，所述飞机场监视系统包括用于接收远程警告和关键的信息以用于修理损坏或移除所述飞机场中的外物的一个或多个移动手持式装置。
18.根据权利要求1或2所述的飞机场监视系统，其中，所述飞机场监视系统包括用于基于位于当前捕捉到的图像和参考图像中的共同对象的位置来修正摄像机取得的参考图像和当前捕捉到的图像之间的偏移的图像偏移补偿器。
19.根据权利要求18所述的飞机场监视系统，其中，所述图像偏移补偿器使用所述当前捕捉到的图像和所述参考图像中的不止一个共同对象来确定所述偏移，以在所述当前捕捉到的图像和所述参考图像之间进行修正。
20.根据权利要求19所述的飞机场监视系统，其中，使用线性回归来确定所述偏移，以在所述当前捕捉到的图像和所述参考图像之间进行修正，并且如果通过匹配所述当前捕捉到的图像和所述参考图像中的共同对象而确定的得分大于预定阈值，则对于线性回归，利用基于所述当前捕捉到的图像和所述参考图像中的共同对象而计算出的偏移值。
21.根据权利要求1或2所述的飞机场监视系统，其中，所述飞机场监视系统进一步包括用于基于在所述飞机场中检测到的所述外物、碎片或损坏的位置来得出飞机的最小飞机场操作表面(MAOS)的计算模块。
22.根据权利要求1或2所述的飞机场监视系统，其中，所述飞机场监视系统包括用于在可见度低或环境光照低的状况下提供人工光照的一个或多个可见光谱照明器。
23.根据权利要求1或2所述的飞机场监视系统，其中，还通过所述武器冲击引起的声音检测所述武器冲击。
24.根据权利要求1或2所述的飞机场监视系统，其中，所述处理单元基于对所述摄像机捕捉到的图像的自适应图像处理，来检测所述飞机场中的所述外物、碎片或损坏，以及所述飞机场监视系统自适应地可运行来在没有包括红外或激光照明器的辅助光照的情况下，在白天和夜晚两者的环境光状况下检测所述外物、碎片或损坏。
25.根据权利要求1或2所述的飞机场监视系统，其中，所述处理单元应用图像增强方法来增强所捕捉到的图像。
26.根据权利要求25所述的飞机场监视系统，其中，用于增强所捕捉到的图像的所述方法包括对所捕捉到的图像进行高通滤波、从左到右Sobel X滤波，以及从右到左Sobel X滤波，或者Scharr X滤波。
27.根据权利要求25所述的飞机场监视系统，其中，所述处理单元确定处理时刻是在白天时间还是在夜晚时间；以及根据在夜晚时间期间捕捉到的图像来检测由于飞机着陆或飞机起飞或地面车辆运动引起的异常光状况。
28.根据权利要求27所述的飞机场监视系统，其中，检测所述异常光状况包括全局直方图和统计分析，以比较各个图像与一个或多个在先图像，并且基于关于阈值的强度变化来识别所述异常光状况。
29.根据权利要求27所述的飞机场监视系统，其中，在进一步的处理中忽略检测到所述异常光状况的图像。
30.根据权利要求25所述的飞机场监视系统，其中，所述处理单元针对不同的环境状况自适应地估计最佳外物、碎片或损坏边缘提取的一个或多个阈值；以及使用统计方法，基于逐渐学习背景图像边缘图来产生像素级边缘图，以确定用来产生像素级阈值图的灰度级查找表(LUT)。
31.根据权利要求30所述的飞机场监视系统，其中，所述处理单元进一步对像素级边缘图的堆应用时间滤波，以仅保留仅由已经累积超过所述阈值的像素组成的鲁棒边缘图。
32.根据权利要求31所述的飞机场监视系统，其中，所述处理单元进一步提交所述鲁棒边缘图用于自适应背景学习，所述自适应背景学习包括：
比较先前时刻获得的背景边缘图像与当前图像；
识别所述飞机场中的缓慢变化的特征；以及
用缓慢变化的特征更新所述背景边缘图像。
33.根据权利要求32所述的飞机场监视系统，其中，所述处理单元进一步产生合成背景边缘图，所述合成背景边缘图包括自适应背景边缘图、之前学习和保存的白天或夜晚背景边缘图，以及针对特定的季节或天气状况产生的季节记号图。
34.根据权利要求33所述的飞机场监视系统，其中，所述处理单元进一步比较所述合成背景边缘图和所述鲁棒边缘图；以及移除背景边缘，以提取所述外物、碎片或损坏的嫌疑边缘图。
35.根据权利要求34所述的飞机场监视系统，其中，所述处理单元进一步执行边缘过滤，以从所述嫌疑边缘图中过滤掉与环境变化有关的不想要的边缘，并且根据所述嫌疑边缘图来计算所述外物、碎片或损坏的边缘参数。
36.根据权利要求35所述的飞机场监视系统，其中，所述环境状况包括白天到夜晚转变，或夜晚到白天转变、天气状况。
37.根据权利要求1或2所述的飞机场监视系统，其中，所述处理单元执行的图像处理包括在视频显示器上使外物、碎片或损坏图形覆盖在所述飞机场的嫌疑区域上，以提醒控制塔或控制室处的操作者检测到外物、碎片或损坏。
38.根据权利要求1或2所述的飞机场监视系统，其中，所述处理单元进一步对所述外物、碎片或损坏分类。
39.根据权利要求1所述的飞机场监视系统，其中，所述一个或多个摄像机置于飞机场跑道的一侧。
40.根据权利要求1或2所述的飞机场监视系统，其中，当一个或多个摄像机未能工作时，相应的相邻摄像机可运行来覆盖失效摄像机覆盖的区域。
41.根据权利要求1或2所述的飞机场监视系统，其中，所述一个或多个摄像机包括一个或多个单色摄像机、一个或多个彩色摄像机或两者。
42.根据权利要求1或2所述的飞机场监视系统，所述飞机场监视系统进一步包括一个或多个夜视摄像机。
43.根据权利要求1或2所述的飞机场监视系统，其中，所述飞机场中的跑道表面分成多个节段，并且一个或多个非静态摄像机一节段一节段地按顺序扫描所述跑道，以检测外物、碎片或损坏。
44.根据权利要求1或2所述的飞机场监视系统，其中，静态摄像机检测飞机在跑道上起飞和着陆的相应的位置，使得非静态摄像机指向飞机起飞或着陆的相应的位置上的首先扫描跑道节段，以减少外物、碎片或损坏检测时间。
45.根据权利要求1或2所述的飞机场监视系统，其中，所述处理单元应用时间滤波，以通过认出雨运动杂波的雨状特征，以及基于整个跑道上出现的雨所引起的运动杂波，来滤掉跑道情景图像中的雨杂波。
46.根据权利要求1或2所述的飞机场监视系统，其中，所述处理单元应用时间滤波，以通过认出雪运动杂波的雪状特征，以及基于整个跑道上出现的雪所引起的运动杂波，来滤掉所述飞机场中的跑道的跑道情景图像中的雪杂波。
47.根据权利要求1或2所述的飞机场监视系统，其中，所述处理单元利用沿着纵向方向位于所述飞机场中的跑道上且与所述跑道侧相距相同的垂直距离的标记或跑道边缘光来用于跑道情景校准，以将所述跑道的图像上的像素映射到真实世界坐标框架上的确切坐标。
48.根据权利要求1或2所述的飞机场监视系统，其中，所述处理单元利用跑道中心线的各侧上的两个平行的水平跑道线和所述跑道中心线，来得出用于跑道情景校准的两个垂直像素映射比，以将所述飞机场中的跑道上的图像上的像素映射到真实世界坐标框架上的确切坐标。
49.根据权利要求1或2所述的飞机场监视系统，其中，所述处理单元利用由单视场摄像机捕捉到的单视场视觉和经校准的跑道情景图像，来确定所述外物、碎片或损坏在所述飞机场中的跑道上的位置和范围。
50.根据权利要求1或2所述的飞机场监视系统，其中，所述飞机场监视系统利用由静态摄像机和经校准的跑道情景图像确定的所述外物、碎片或损坏位置和范围，来自动地控制非静态摄像机摇镜头、倾斜、变焦距或者聚焦到外物、碎片或损坏上，以获得所述外物、碎片或损坏的具有细节的图像，以使得能够验证检测到的外物、碎片或损坏的精度，或者过滤错误警报。
51.根据权利要求1或2所述的飞机场监视系统，其中，所述飞机场监视系统利用立体视觉，所述立体视觉包括一对监视摄像机以覆盖所述飞机场中的跑道的相同节段，使得能够根据通过比较分别由具有重叠视界的所述监视摄像机对捕捉到的图像而获得的图像的差别来计算外物、碎片或损坏范围和位置。
52.根据权利要求35所述的飞机场监视系统，其中，所述环境状况包括雨、烟、云。
53.一种用于检测飞机场中的外物、碎片或损坏的方法，所述方法包括：
捕捉所述飞机场的图像；
根据捕捉到的图像来检测所述飞机场中的所述外物、碎片或损坏；
检测所述飞机场中的武器冲击；以及
引导一个或多个摄像机捕捉检测到的武器冲击的区域中的图像，其中通过所述武器冲击引起的爆炸、烟、灰尘或闪光的图像来检测所述武器冲击，
其中所述方法还包括：
由基于区域的检测器检测捕捉到的图像中的能够为由于所述武器冲击导致的外物、碎片或损坏的区域；以及
由基于边缘的检测器检测捕捉到的图像中的所有对象的边缘，其中，存储所述基于区域的检测器在所述图像中检测到的与所述基于边缘的检测器在所述图像中检测到的边缘重叠的区域。
用于检测飞机场中的外物、碎片或损坏的监视系统和方法
技术领域
[0001] 本发明广泛地涉及用于检测飞机场中的外物、碎片或损坏，特别是用于飞机场监视(包括监视飞机场中的跑道和/或滑行道和/或进场道路和/或内场/草坪和/或停机坪和/或路面)、外物、碎片(FOD)和损坏(裂缝、弹坑、碎石、UXO、坑穴)检测/测量/分类和飞机场损坏评估的监视系统和方法。
背景技术
[0002] 跑道监视对于机场操作是非常重要的。跑道不断经受损坏，诸如由于飞机或使用跑道的其它车辆的磨损引起的坑洼。有时候，在跑道上可出现碎片或外物，这可能是由于喷气、飞机起飞/着陆、自然原因等引起的。在涉及飞机移动的起作用的跑道上，外物、碎片或损坏(FOD)的存在可导致飞机失事及其引起的死亡，从而使航空公司遭受巨大损失。
[0003] 采用不同的方法来进行跑道监视。传统上，检查官员在机场跑道周围活动，以定期进行视觉和人工监视。视觉检查慢且是劳动密集型的。此外，视频检查不可靠，因为它会受跑道周围的状况的影响。
[0004] 一些机场使用采用雷达的自动化系统来检测机场跑道及其附近区域上的损坏、碎片和其它危害。在使用雷达的系统中，通常在跑道上发射微波信号，并且检测和分析来自任何外物的反射信号。由于微波信号是脉动或结构化的，计算信号到达接收器所用的时间，根据该时间得出离外物的距离。通过使用波长较小且脉冲重复频率较高的雷达传感器，实现较高范围的分辨率是可行的，这进而可减少背景杂波。
[0005] 但是，使用任何雷达来监视跑道的系统也有其局限性。虽然雷达是检测金属对象的极好方式，但它对于检测诸如橡胶的非金属对象不那么灵敏。由雷达标记不佳的材料(例如橡胶)制成的对象可对这样的基于雷达的系统引起重大问题。另外，不可依赖雷达检测较小的非金属对象。另外的限制包括由于其它对象或基础设施引起的遮挡而造成的雷达盲点或阴影。另外，雷达可通过对反射自甚至也许不那么有害的小金属对象的信号指示强信号而触发错误警报。因而，基于雷达的监视系统缺乏“智能性”，并且无法提供对象的视觉图像供操作者验证和表征。
[0006] 一些机场利用红外或热成像系统来检测跑道上的对象、裂纹空隙等。但是，采用红外或热成像系统的系统仅可感测超出了环境的热均衡的红外辐射(从对象发出)，即，红外或热成像系统仅可检测具有足够的热对比的对象(例如凉跑道上的一片热金属碎片)。热对比不佳的小对象可对红外/热成像系统提出巨大挑战。另外，这样的系统的性能在不利天气(例如冷天)状况下无法预测。另外，红外/热成像系统还缺乏对对象进行检测、表征和分类所需的分辨率。
[0007] 最近，提出使用置于跑道附近的一个或多个视频摄像机来进行监视。操作者在机场控制室的控制台在视觉上监测从摄像机获得的视频信号。
[0008] 还提出依靠图像处理(例如背景相减)，以通过处理接收自监视摄像机的跑道的视频图像，来检测任何FOD或飞机场跑道损坏。
[0009] 使用背景相减的FOD或飞机场跑道损坏检测具有许多问题。首先，像素属性不总是足以正确地在背景像素和前景像素之间做出辨别。此外，背景会受变化的影响，诸如噪声、杂波、外界事件、光照状况和天气状况变化。
[0010] 此外，目前使用的图像处理系统依赖于环境照明状况，而且不适合低照明状况，低照明状况在像素表征方面引起重大问题。
[0011] 现有监视系统中使用的视频摄像机需要额外的辅助光照，诸如用于夜晚监视激光或红外光。这进而在使用这种系统的机场中需要相当多的基础设施，这会增加成本。而且，诸如激光或红外光的光学光的存在可干扰机场中使用的其它系统，而且可对在机场导航的飞机造成安全问题，并且可对飞行员等造成危害。
[0012] 另外，对于来犯之敌的最有效战略之一是抢先攻击敌军飞机场。一旦跑道被毁且飞机不能起飞，这些飞机场就成为容易被进一步攻击的目标。这个威胁由于针对摧毁跑道而设计的现代武器(例如集束炸弹、多火箭发射器(MRL))的发展而增大。
[0013] 对目标(例如军事飞机场跑道)的战争损坏评估(BDA)在战争期间是非常重要的。传统上，派侦察队搜索跑道的全长，以及参照跑道，在图表上按照弹坑的直径、深度和位置标出损坏。典型的制图需要大约60至120分钟。这种冗长的基于手工的活动在战斗情景中是效率低下的，并且它不可避免地使人有被进一步轰炸的风险。
[0014] 因此，需要提供一种设法解决一个或多个以上问题的跑道监视和飞机场损坏评估。
发明内容
[0015] 根据本发明的一方面，提供一种用于检测飞机场中的外物、碎片或损坏的监视系统，该监视系统包括：用于捕捉飞机场的图像或视频的一个或多个摄像机；用于根据一个或多个摄像机捕捉到的图像来检测飞机场中的外物、碎片或损坏的处理单元；以及武器冲击监视系统，其用于检测飞机场中的武器冲击，以及引导一个或多个摄像机捕捉检测到的武器冲击的区域中的图像。
[0016] 一个或多个摄像机可包括静态摄像机和非静态摄像机的组合。
[0017] 一个或多个摄像机可放大，或者聚焦到检测到的武器冲击的区域上，以获得具有用于检测损坏类型的细节的图像。
[0018] 武器冲击可通过武器冲击引起的爆炸、烟、灰尘或闪光或声音的图像检测。
[0019] 监视系统可包括用于基于在飞机场中检测到的外物、碎片或损坏的位置来得出飞机着陆的最小起降带(MOS)的计算模块。
[0020] 监视系统可检测飞机场中的裂缝、弹坑、坑穴、碎石、UXO或动物。
[0021] 处理单元可通过分别检测在弹坑、坑穴或碎石周围的碎片的量来确定弹坑、坑穴或碎石的大小。
[0022] 一个或多个摄像机可配备有广角镜，以提供飞机场的广域图像捕捉。
[0023] 一个或多个摄像机可安装在布置成飞过飞机场的飞机上，以捕捉飞机场的图像。
[0024] 监视系统可包括用于在可见度低或环境光照低的状况下提供人工光照的一个或多个红外或可见光谱照明器。
[0025] 处理单元可配置成测量外物、碎片或损坏的大小或物理特性。
[0026] 在飞机场中检测到的损坏可映射到飞机场图上。
[0027] 监视系统可包括基于区域的检测器，其用于检测捕捉到的图像中的可为外物、碎片或损坏的区域；以及基于边缘的检测器，其用于检测捕捉到的图像中的所有对象的边缘，其中，存储基于区域的检测器在图像中检测到的、与基于边缘的检测器在图像中检测到的边缘重叠的区域。
[0028] 一个或多个摄像机捕捉到的图像可拼合在一起，并且早先捕捉到的拼合图像和后面捕捉到的拼合图像之间的差别区域在后面捕捉到拼合图像中突出显示。
[0029] 武器冲击监视系统可配置成在检测到武器冲击之后，触发视觉或音频警告。
[0030] 监视系统可包括用于基于武器冲击的位置和损坏的信息来估计和计划修理工作的修理估计和计划模块。
[0031] 一个或多个摄像机可安装在飞机场中的跑道的相对侧，并且它们的视野可重叠。
[0032] 一个或多个摄像机的视野可重叠。
[0033] 监视系统可包括一个或多个移动手持式装置，其用于接收远程警告和关键的信息以用于修理损坏或移除飞机场中的外物。
[0034] 监视系统可包括图像偏移补偿器，其用于基于位于当前捕捉到的图像和参考图像中的共同对象的位置来修正摄像机获得的参考图像和当前捕捉到的图像之间的偏移。
[0035] 图像偏移补偿器可在当前捕捉到的图像和参考图像中使用不止一个公共对象来确定在当前捕捉到的图像和参考图像之间修正的偏移。
[0036] 可使用线性回归来确定在当前捕捉到的图像和参考图像之间修正的偏移，并且如果通过匹配当前捕捉到的图像和参考图像中的共同对象而确定的得分大于预定阈值，则对于线性回归，考虑基于当前捕捉到的图像和参考图像中的共同对象而计算出的偏移值。
[0037] 监视系统可进一步包括用于基于在飞机场中检测到的外物、碎片或损坏的位置来得出飞机的最小飞机场操作表面(MAOS)的计算模块。
[0038] 监视系统可包括用于在可见度低或环境光照低的状况下提供人工光照的一个或多个可见光谱照明器。
[0039] 武器冲击可通过武器冲击引起的声音检测。
[0040] 根据本发明的另一方面，提供一种用于检测飞机场中的外物、碎片或损坏的方法，该方法包括：捕捉飞机场的图像；根据捕捉到的图像来检测飞机场中的外物、碎片或损坏；检测飞机场中的武器冲击；以及引导一个或多个摄像机捕捉检测到的武器冲击的区域中的图像。
附图说明
附图说明
[0041] 参照附图，以非限制性实施例的方式进一步描述本发明，其中：
[0042] 图1A和1B和1C是示出在监视系统中检测跑道和/或滑行道上的外物、碎片或损坏(FOD)和飞机场损坏的监视摄像机的布置的示意图；
[0043] 图2是根据一个实施例的FOD和飞机场损坏检测的基本流程图；
[0044] 图3A和3B是本发明的一个实施例的详细流程图；
[0045] 图4是显示用来提取图3A中的边缘图（edge map）的查找表的图表；
[0046] 图5是示出在监视系统中用来检测跑道和/或滑行道上的FOD或飞机场损坏的监视摄像机的冗余覆盖的示意图；
[0047] 图6是根据备选实施例的示出跑道表面扫描的示意图；以及
[0048] 图7是根据实施例的示出跑道线的示意图，该实施例利用跑道线来进行图像校准(像素-真实世界坐标校准)；
[0049] 图8显示示出用于实现示例实施例的方法和系统的计算机系统的示意图；
[0050] 图9是示出包括用以检测外物、碎片或损坏(FOD)和飞机场跑道损坏的系统以及示例实施例的武器冲击监视系统的综合飞机场损坏评估系统的示意图；
[0051] 图10是示出使用图9的武器冲击监视系统的冲击检测系统的示意图；
[0053] 图12显示布局图，其显示图11的软件模块在战时期间的交互；
[0054] 图13显示布局图，其显示图11的软件模块在和平时间期间的交互；以及
[0056] 图15显示跑道的拼合图像，其中跑道图像中的某些外物、碎片和损坏区域被突出显示。
[0057] 图16是示出使用两种类型的检测器来检测飞机场图像中的外物、碎片(FOD)或损坏的流程图。
[0058] 图17是示出存在于飞机场的不同区域中的用来校准图像的标记的图。
[0059] 图18是用于示出当前图像和基线图像之间的偏移的示意图。
[0060] 图19是用于示出当前图像和基线图像之间的偏移修正的示意图。
[0061] 图20是示出使用线性回归来进行飞机场图像偏移补偿的流程图。
具体实施方式
[0062] 图1A是示出根据示例实施例的在飞机场跑道监视系统100中检测跑道106上的外物、碎片或损坏(FOD)和跑道损坏的监视摄像机的布置的示意图。跑道106居中位于滑行道103、104和草坪102附近。面向跑道的多个监视摄像机108部署成沿着滑行道104的一个边缘，使得各个监视摄像机108的轴线垂直于跑道106的长度。各个监视摄像机108可运行来扫描具有水平视角111的视界110。各个视界110包括滑行道103、104、跑道106和草坪102的一部分。各个视界110还包括与沿着跑道106相邻摄像机108相交的部分112。
[0064] 来自各个摄像机108的视频和/或图像馈送到机场的控制塔或控制室135中的应用计算机系统(未显示)。应用计算机系统的视频处理单元处理接收到的视频和/或图像。应用计算机系统持续地处理来自监视摄像机的视频和/或图像，以检测FOD和跑道损坏，以及在检测到FOD或跑道损坏时警告操作者。控制塔或控制室135中的操作者还将能够在视觉上监测视频显示器(未显示)上的实时跑道视频和/或图像。在应用计算机系统处理视频数据时检测到任何外物、碎片或损坏(FOD)的情况下，对于它警告操作者(视觉和/或听得见的警报，以及/或者通过经由诸如GSM SMS或MMS的移动通信方式的远程无线警告)。在接收到警报和/或远程无线警告时，操作者使监视摄像机108变焦到检测对象上，以在视觉上验证FOD或跑道损坏。如果确认有FOD或飞机场跑道损坏，则在控制塔或控制室135中触发警报(听得见的和/或视觉)。对FOD或飞机场跑道损坏的检测还会触发位于跑道106附近的远程警报(听得见的和/或视觉)。还将触发无线警告(诸如GSM SMS或MMS)，以通知跑道恢复队或飞机场修理队。因而，跑道恢复队立刻派抢险车清理检测到的FOD，即，移除外物、碎片或修理损坏。
[0065] 使用的监视摄像机是无源的，并且未配备照明器(诸如激光或红外照明器)。各个监视摄像机108可为高分辨率日用摄像机/夜视摄像机、低照度高敏感度彩色摄像机、具有光增强器CCD的摄像机(ICCD摄像机)、具有电子倍增器CCD的摄像机(EM-CCD摄像机)、夜视摄像机、静态摄像机、高分辨率百万像素摄像机、非静态摄像机(诸如摇镜头摄像机、摇镜头倾斜变焦距(PTZ)摄像机或变焦距摄像机)、短波红外(SWIR)摄像机、中波红外(MWIR)摄像机或热成像器中的一个。因而监视系统能够使用仅无源摄像机来运行，而且不需要安装额外的辅助光照(诸如红外照明器或激光照明器)。
[0066] 在系统100中使用的监视摄像机108能够产生跑道的视频图像或数字照片，以进行图像处理。但是，静态照片数字摄像机也可用来产生跑道的数字静态图像，以进行图像处理。
[0067] 例如，可使用变焦距摄像机或摇镜头倾斜变焦距(PTZ)摄像机来自动地变焦距到跑道上的任何区域中，以获得FOD或飞机场跑道损坏的详细视图。由于放大视频图像提供跑道上的关注区域的更多细节，所以操作者可更好地评估检测到FOD或跑道损坏引起的潜在危害，以及立刻开始合适的行动。在示例实施例中，应用计算机系统可远程地控制PTZ摄像机或变焦距摄像机，以在应用计算机系统检测到FOD或跑道损坏时，放大到跑道上的关注区域。备选地，操作者也可手动地控制PTZ摄像机或变焦距摄像机，以放大到飞机场中的特定区域，以获得放大视频或图像。
[0068] 图1B是示出在跑道监视系统500中检测跑道106上的FOD或跑道损坏的监视摄像机的备选布置的示意图。面向跑道的多个监视摄像机508沿着滑行道104的边缘部署。面向跑道的另外多个监视摄像机509沿着滑行道103的另一远端边缘部署。各个监视摄像机508、509的轴线垂直于跑道106的长度。各个监视摄像机508可运行来监视具有水平视角511的视界510。各个监视摄像机509可运行来监视具有水平视角521的视界515。各个视界510、515包括来自滑行道103、104、跑道106和草坪102的一部分。摄像机508、509交错布置，使得相邻摄像机的视界510和515彼此交错，并且具有清楚的分界线，或者覆盖有一些重叠。相邻的监视摄像机的重叠覆盖(视界)还提供一些冗余，使得在监视摄像机失效的情况下，相邻监视摄像机也可覆盖失效摄像机的视界。将监视摄像机定位成使得跑道的每个区段都将被至少2个监视摄像机覆盖，以提供视界覆盖冗余也是可行的。因而，至少2个监视摄像机可查看相同的跑道区段和相同的跑道损坏(弹坑、坑穴、碎石、UXO)或FOD。这还将帮助克服可在仅使用单个监视摄像机来覆盖特定的跑道区段或飞机场的区域时出现的飞机场跑道损坏/FOD的遮挡问题。因而，由于此布置，捕捉由2个不同的摄像机看到的相同跑道损坏(弹坑，坑穴，碎石，UXO)或FOD的2个不同视图是可行的。这将帮助改进跑道损坏或FOD检测、测量和分类率。
[0069] 图1C是显示跑道监视系统550中的用以检测跑道105上的跑道损坏或FOD的监视摄像机的又一个备选实施例的示意图。面向跑道的多个监视摄像机551沿着滑行道104的边缘部署。面向跑道的另外的多个监视摄像机552沿着滑行道103的另一远端边缘部署。各个监视摄像机551、552的轴线垂直于跑道105的长度。各个监视摄像机551可运行来监视具有水平视角553的视界555。各个监视摄像机552可运行来监视具有水平视角554的视界556。各个视界555、556包括来自滑行道103、104、跑道105和草坪(包括内场)102的一部分。此布置将使得跑道和/或滑行道的各个区段能够被至少2个监视摄像机覆盖，跑道的各侧有一个。这将提供监视覆盖冗余。此外，它还帮助克服监视摄像机视野被阻塞而引起的飞机场跑道损坏(弹坑、坑穴、碎石、UXO)或FOD遮挡问题。这种遮挡可由位于监视摄像机的摄像机视野中的其它FOD对象或跑道损坏引起，并且可在使用仅单个摄像机来覆盖飞机场的特定区域时发生。
[0070] 在跑道的相对侧上的监视摄像机的视界将具有一些重叠，以对跑道和/或滑行道提供覆盖冗余。因而，监视摄像机安装在跑道的相对侧上还帮助克服遮挡引起的问题，以对跑道和/或滑行道上的弹坑/坑穴/碎石/UXO和FOD进行精确的检测/测量/分类。
[0071] 以下描述的某些部分根据在计算机存储器内的数据的操作的算法和功能或符号表示明确或含蓄地介绍。这些算法描述和功能或符号表示是数据处理领域的技术人员用来对本领域其它技术人员最有效地传达他们的工作的实质的手段。大体上，算法在这里被认为是导致期望结果的独立的步骤系列。步骤是需要对物理量（诸如能够被存储、传输、组合、比较以及以别的方式操纵的电信号、磁信号或光信号）进行物理操纵的那些。
[0072] 除非另有明确陈述，以及如根据以下显而易见的那样，将理解的是，在本说明书中，利用诸如，“计算”、“确定”、“代替”、“产生”、“初始化”、“输出”等用语的论述指的是将表示为计算机系统内的物理量的数据操纵和转换成类似地表示为计算机系统或其它信息存储装置、传输或显示装置内的物理量的其它数据的计算机系统或类似的电子装置的动作和过程。
[0073] 本说明书还公开一种用于执行方法的操作的设备。这种设备可针对所需目的特殊地构建而成，或者可包括通用计算机，或者由存储在计算机中的计算机程序选择性地启动或重新配置的其它装置。本文介绍的算法和显示不固有地与任何特定的计算机或其它设备有关。根据本文的教导，各种通用机器可与程序一起使用。备选地，用以执行所需方法步骤的更专业的设备的构建可为合适的。根据以下描述，传统的通用计算机的结构将是显而易见的。
[0074] 另外，本说明书还含蓄地公开一种计算机程序，因为对本领域技术人员显而易见的将是，本文描述的方法的单独步骤可由计算机代码实现。计算机程序不意于限于任何特定的编程语言及其实现。将理解的是，多种编程语言及其编码可用来实现本文包含的公开的教导。此外，计算机程序不意于限于任何特定的控制流。存在计算机程序的可使用不同的控制流的许多其它变型，而不偏离本发明的精神或范围。
[0075] 此外，计算机程序的一个或多个步骤可并行执行，而非按顺序执行。这种计算机程序可存储在任何计算机可读介质上。计算机可读介质可包括诸如磁盘或光盘、存储芯片的存储装置，或者适于与通用计算机接口连接的其它存储装置。计算机可读介质还可包括诸如互联网系统中例示的硬接线介质，或者诸如GSM移动电话系统中例示的无线介质。当在这种通用计算机上加载和执行时，计算机程序有效地产生实现优选方法的步骤的设备。
[0076] 本发明也可实现为硬件模块。更特别地，在硬件意义上，模块是设计成与其它组件或模块一起使用的功能硬件单元。例如，可使用离散的电子组件来实现模块，或者模块可形成整个电子电路的一部分，诸如特定用途集成电路(ASIC)。存在许多其它可能性。本领域技术人员将理解，系统也可实现为硬件模块和软件模块的组合。
[0077] 控制塔或控制室135中的应用计算机系统(图1A)具有以下功能：
[0078] 1.关于摄像机的数量、各个摄像机的覆盖区域(视界)、摄像机校准、应对其产生警告的事件、警告类型等，配置监视系统。
[0079] 2. 选择各个监视摄像机的视界(通过远程地调节摄像机的视角)，以便使得操作者能够有效地确认FOD或跑道损坏，确定FOD是否是跑道上的外物、碎片或损坏(弹坑、坑穴、碎石、UXO)，对外物或飞机场跑道损坏进行测量和分类。视频显示器可显示来自多个监视摄像机的多路复用的视频。
[0080] 3. 通过自动地调节各个PTZ或变焦距摄像机，使其摇镜头、倾斜和/或变焦距到飞机场跑道上的期望关注区域中，来选择各个摇镜头倾斜变焦距(PTZ)或变焦距摄像机的视界(视角)。应用计算机系统远程地控制相关的PTZ或变焦距摄像机，以使其自动地变焦距到飞机场跑道的怀疑被损坏或包含碎片或外物的一部分中。这个功能也可由操作者手动地执行，以及使用应用计算机系统远程地执行。
[0081] 4. 配置听得见的或视觉警告，由此，在登记了跑道有问题的情况下(即，检测到FOD或跑道损坏)，系统可运行来自动地产生警告优先级列表，其中，给予最大弹坑或危害最大的碎片或外物或跑道损坏(弹坑、坑穴、碎石、UXO)最高优先级，以便使得操作者能够根据优先级列表来采取必要的修正行动。可将警告配置成音频和/或视觉或两者。警告还可包括通过诸如GSM SMS或MMS或3G移动通信的移动通信方式的远程无线警告。
[0082] 5. 在系统检测到跑道或滑行道上的FOD或跑道损坏的情况下，处理和记录各种监视摄像机捕捉到的视频图像和/或静态照片图像，以及回放跑道情景的记录到的视频图像和/或静态照片图像。
[0083] 6. 管理存储的事件、视频数据和其它数据。所有相关数据都记录在数据库中，便于检索和产生各种报告。
[0084] 7. 系统接口，以便允许其它系统访问数据库。
[0085] 8. 系统接口，以共享实时数据，以允许其它系统获得实时数据和系统级状态，包括所有现场装备的细节。使实时数据与飞机着陆/起飞控制系统结合对于为飞机和机组提供即时安全性是有用的。
[0086] 图2是根据一个实施例的FOD或飞机场跑道损坏检测的基本流程图。
[0087] 在步骤201处，监视摄像机捕捉跑道上的一部分的相应的图像。在以下段落中说明处理捕捉到的图像时涉及的步骤。
[0088] 在步骤203处，执行图像增强，以对捕捉到的图像进行预处理。消除X方向(平行于跑道方向)上的逐步灰度变化和高对比的跑道白线，以增强在平行于跑道的方向上具有高梯度变化的特征(几乎全部真实的3D外物、损坏或碎片(FOD)具有那些属性)。
[0089] 输出图像中的所有像素几乎变成零(包括白色跑道线和具有由于云移动或下雨而引起的灰度梯度变化的区域)，除了一些突出的跑道光和FOD。这个步骤可协助进行可靠的FOD或跑道损坏检测，且错误警报率低。
[0090] 为了实现最佳结果、高通滤波，使用诸如从左到右加从右到左的Sobel X或Scharr X。
[0091] 在步骤205处，在夜晚应用异常光检测来进行检测。跑道情景上的突然的亮光或亮点可使监视摄像机108有闪亮。当飞机着陆、起飞时，或者当地面车辆在夜晚移动时，可发生这种情况。检测算法确定这样的情形。如果检测到异常光，则忽略图像。算法进行全局直方图和统计分析(例如平均灰度)，以比较捕捉到的图像与逐渐更新的图像。算法还利用亮点的参数(诸如大小、面积…等)来确定是否存在异常光状况。
[0092] 在步骤207处，估计最佳检测参数，并且提取自适应像素级边缘图。在不同的天气和白天/夜晚状况下，飞机场或跑道106的图像看上去可能非常不一样。图像可为平滑或粗糙的，或者带有许多反射。这个步骤是要自适应地估计最佳FOD或损坏边缘提取阈值，以提取具有最小噪声的真实FOD或损坏边缘。算法使用基于原来的(排除运动区域)或逐渐学习的背景图像的统计方法(例如平均、偏差)，来确定待用于产生像素级阈值图的灰度级查找表(LUT)。
[0093] 在步骤209处，对边缘图的堆应用时间滤波，以保留具有减小的噪声的鲁棒边缘。对像素级应用时间滤波。将仅已经累积超过某个阈值的那些像素认为是鲁棒边缘像素(待在鲁棒边缘图中使用)。那些闪烁的像素无法累积超过阈值，并且因而被删除(在鲁棒边缘图中不使用)。
[0094] 在步骤211处，使用用于背景学习的无限脉冲响应(IIR)的原理来执行自适应背景学习。
[0095] Bt：在时间t处的背景图像，
[0096] Bt-1：在时间t-1处的背景图像，
[0097] ：在时间t处的当前图像，
[0098] 然后用以下更新背景图像：
[0099]
[0100] 系统主要使用边缘图来进行背景学习。学习的特征主要包括中心光，以及由于摄像机角度低而略微落到跑道区域内部的一些边缘光。自适应背景学习的主要目标是捕捉跑道上的缓慢的特征变化过程，以便将其掺合到背景中，而不产生错误警报，以及每天将学习到的背景边缘图保存到文件或数据库中，以将它们用作第二天的背景边缘图。这允许系统尽可能快地适应跑道记号变化。
[0101] 在步骤213处，获得合成背景边缘图。合成背景边缘图表示飞机场跑道/滑行道记号。合成背景边缘图由自适应背景边缘图、前一天的保存的背景边缘图和可选地季节记号(在特定的季节或天气状况(诸如雪)期间产生季节记号)组成。可简单地加总它们，或者对它们进行进一步的处理，以形成最终背景边缘。
[0102] 在步骤215处，通过比较边缘图和合成背景边缘图来提取嫌疑边缘。在这个步骤处，移除来自步骤213处的经处理的图像(合成背景边缘图)的跑道/滑行道记号边缘。剩余边缘是可能的FOD或飞机场损坏。
[0103] 在步骤217处，执行边缘过滤，以滤掉不是FOD或跑道滑行道损坏的一部分但可能是因为诸如下雪、下雨或早晨的眩光的其它天气状况引起的一些边缘。通过传感器和/或图像处理方法来检测天气状况。这个步骤包括使用一个或多个可选择算法来检测那些天气状况，例如，当跑道光由于雨而接通时，在跑道上可引起反射。特定的滤波算法会定位光，并且过滤反射边缘。
[0104] 在步骤219处执行对象分类，以确定来自步骤217的检测到的对象是否真的是FOD或飞机场跑道/滑行道损坏(弹坑、坑穴、碎石、UXO)。对象分类方法的一些示例是模式匹配、贝叶斯分类器、线性判别分类器、神经网络分类器、模糊分类器和神模糊分类器、最近邻分类器。确定飞机场跑道/滑行道损坏是否是弹坑或坑穴或碎石，以及通过检测和测量弹坑或坑穴或碎石周围的碎片的量来测量其大小，也是可行的。
[0105] 通过使用来自步骤217的经滤波的边缘，系统提取相关的对象特性，例如长度、高度、周长、面积、纹理、色彩属性(色调和饱和度)、发光强度(灰度水平)。这些对象特性形成用于对象分类的输入向量，以确定检测到的对象是否真的是FOD或飞机场损坏。
[0106] 在步骤221处，一旦检测到FOD或飞机场跑道损坏，通过视觉和/或听得见的警报和/或无线警告(诸如GSM SMS或MMS)来将其通知控制塔或控制室中的操作者。在接收到警报和/或无线警告时，操作者使监视摄像机变焦距到检测到的FOD或飞机场跑道/滑行道损坏上。如果确认有FOD或飞机场跑道/滑行道损坏，则在控制塔或控制室中触发另一个警报(听得见的和/或视觉)。FOD确认还触发位于跑道或滑行道附近的远程警报(听得见的和/或视觉)。另外或备选地，也可触发无线警告(诸如GSM SMS或MMS)，以通知跑道恢复队。飞机场恢复队立刻派抢险车清除检测到的FOD，即，移除外物或碎片，或者修理飞机场跑道/滑行道损坏。
[0107] 图3A和3B是本发明的一个实施例的详细流程图。在过程在步骤301处开始之后，系统在步骤302处初始化。在步骤303处，监视摄像机捕捉飞机场跑道或滑行道的一部分的初始图像。
[0108] 分析图像，以检测任何运动。仅使用没有任何运动的图像来进行背景学习，并且在这个示例实施例中，最终将没有任何运动的图像作为参考背景图像存储在数据库中。
[0109] 在步骤305处，对捕捉到的图像进行图像增强，以对捕捉到的图像进行预处理。在图像预处理之后，图像中的所有像素都变成零(包括对应于白色跑道线和具有由于云或雨移动而引起的灰度梯度变化的区域的像素)，除了一些突出的跑道光。
[0110] 在步骤307处，进行检查，以查明是否存在白天到夜晚转变，或夜晚到白天转变。例如，可通过监测传感器或摄像机的光强度差别来实现这一点。白天到夜晚转变或夜晚到白天转变的光强度变化通常比天气变化引起的光强度变化大得多。在检测到白天到夜晚转变或夜晚到白天转变或夜晚x（nightx）状况的情况下，在步骤309处，执行异常光检测检查。在步骤311处检测到异常光的情况下，忽略先前捕捉到的图像，并且捕捉来自步骤303的下一个图像。在未检测到异常光的情况下，针对在步骤315处感测到的不同的环境状况(例如白天/夜晚、雨、雪、烟等)，在步骤313处得出估计最佳外物、碎片或损坏(FOD)检测参数。
[0111] 例如，可通过一个或多个传感器检测不同的环境状况(例如白天/夜晚、雨、烟等)。也可使用使内置的一个或多个阈值作出改变的基于摄像机光圈的系统。例如，对于白天，可将阈值设定成50，而对于夜晚，可使阈值升高到70。也可使用时间滤波，由此，在时间段里保持某个值，以确认是白天还是夜晚。应用计算机系统还可使用其它日期和时间输入，包括来自其实时时钟(RTC)和电子日历的用于确认白天或夜晚状况的输入。
[0112] 飞机场跑道或滑行道的记号在白天和夜晚时间期间是不同的。通常，在夜晚期间有更多记号。夜晚记号接替白天记号。
[0113] 步骤317提供自适应像素级边缘图提取(参照图4)，其中，从查找表(LUT)中得出最佳FOD或飞机场跑道/滑行道损坏边缘提取阈值，以提取具有最小噪声的真实FOD或损坏边缘。
[0114] 在步骤319处(图3B)，执行运动边缘过滤，以产生静态边缘图。在步骤321处，执行时间滤波，以提取鲁棒边缘图。仅将累积超过某个阈值的那些像素认为是鲁棒边缘像素(待在鲁棒边缘图中使用)。那些闪烁的像素将无法累积超过阈值，并且因而将被删除(在鲁棒边缘图中不使用)。
[0115] 在步骤323处，进行检查，以确定是否学习到自适应背景。系统使用边缘图来进行背景学习。如果未学习到自适应背景323，则自适应背景边缘图使在步骤325处初始化/更新。在步骤327处，进行检查，以确定自适应背景图是否达到预定义状况。如果已经达到，则在步骤329处，标记指示，以通知学习到自适应背景。如果未达到，则过程回到步骤303(图3A)，以继续捕捉图像。
[0116] 如果学习到自适应背景323，则在步骤331处，产生合成背景边缘图。合成背景图由下者组成：在步骤325处产生/更新的自适应背景图、先前保存的白天/夜晚背景图，以及一旦处理在步骤302处初始化(图3A)就在步骤333处提供的季节记号图。在特定的季节或天气状况下(例如雪或雨)，季节记号与跑道记号相关联。通过处理图像或使用外部传感器，系统可识别那些季节或天气状况，以减少错误警报。合成背景图包括跑道的记号。
[0117] 在步骤335处，通过比较合成背景图和边缘图来提取嫌疑边缘图。在步骤337处，应用边缘过滤，以过滤掉与突然的环境变化(诸如雨引起的反射)有关的任何多余边缘。例如，在雨天状况下，可检测跑道光图像作为亮点，亮点可类似于FOD或飞机场跑道/滑行道损坏。系统能够通过与先前存储的图像作比较来检测这样的潜在错误警报。
[0118] 在步骤337之后，在步骤339处更新自适应背景图，并且进行检查，以在步骤341处查明存在白天至夜晚转变或夜晚至白天转变。如果存在白天至夜晚转变或夜晚至白天转变，则加载最后的白天或夜晚背景图，以便在步骤343处的即时使用，并且在步骤345处，存储自适应背景图作为白天/夜晚背景边缘图供第二天使用。如果在步骤341处没有白天至夜晚转变或夜晚至白天转变，则过程回到步骤303(图3A)，以继续捕捉图像。
[0119] 在步骤347处，计算来自步骤337的经过滤的嫌疑边缘图的边缘参数(诸如大小、面积等)。在步骤349处，作出检查，以确定边缘参数是否超过阈值。如果超过，则在步骤351处，跑道上的嫌疑区域覆盖在视频显示器上，并且通过听得见的信号和/或在视觉上和/或通过无线警告(诸如GSM SMS或MMS或3G)来对其警告控制塔或控制室中的操作者。在步骤353处，在被警告时，操作者使用监视摄像机来执行摇镜头和/或倾斜和/或变焦距操作，以进行视觉验证。在步骤353处，如果确认有FOD或飞机场跑道损坏，则在357处立刻通过无线方式(诸如GSM SMS或MMS或3G)，通知飞机场跑道恢复队。FOD或飞机场跑道/滑行道损坏的图像继续出现在视频显示器上，并且警告信号持续，直到在步骤359处，恢复队恢复飞机场跑道或从飞机场跑道清除FOD(即，移除外物或碎片，或者修理飞机场跑道/滑行道损坏)为止。
[0120] 图4是显示如上面指示的那样用来在步骤207(图2)和步骤317(图3A)处提取自适应像素级边缘图的查找表(LUT)的图表。
[0121] 基于对捕捉到的图像、逐渐学习到的图像和外部传感器输入的统计分析来估计 P1、P2… Pn 和T1、T2…Tn，使得可计算出最佳分段查找表(LUT)，以产生像素级阈值，像素级阈值用来提取具有最小噪声的FOD或损坏边缘图。
[0122] 通过以上LUT将捕捉到的图像或逐渐学习到的背景图像中的像素值映射到阈值图像中的阈值中。在那之后，捕捉到的图像减去这个阈值图像。将高于0的任何像素值设定成255。这个产生的图像对应于自适应像素级边缘图(图2中的步骤207和图3A中的步骤317)。
[0123] 在本发明的实施例中，可执行跑道情景校准和飞机场跑道/滑行道损坏和FOD和损坏定位、测量和/或分类。
[0124] 本发明的实施例还使用颜色监视摄像机，以及提供颜色成像处理。
[0125] 但是上面描述的所有技术和图像处理方法都用于单色图像处理和彩色图像处理。因此，跑道监视系统可使用单色摄像机(包括可见光谱摄像机、红外摄像机和热成像器)或彩色摄像机。
[0126] 预先校准由示例实施例中的监视摄像机获得的飞机场跑道/滑行道情景图像，使得使用数学公式或预先计算出的查找表来计算对应于情景图像上的各个像素的物理位置和范围，预先计算出的查找表将跑道情景图像中的各个像素映射到限定在诸如跑道的监视区域上的参考数据(诸如WGS 84或机场网格)的2D或3D物理真实世界坐标框架(x，y，z)中的特定精确的坐标上。
[0127] 系统利用静态飞机场跑道/滑行道特征跑道来进行跑道情景校准。例如，可根据地面调查、物理测量，或者根据跑道图，来相对于一些固定的真实世界参考位置预先确定这些静态跑道特征的位置和范围。例如，一个这种有用特征是沿着跑道的纵向方向且离跑道的侧边的相同垂直(y轴)距离而将标记置于跑道上，或者在跑道上使用跑道边缘光。由于这些标记沿着跑道的纵向(水平)方向且与跑道的侧边相距相同的垂直距离，所以这些标记的水平(x轴)距离间隔也可映射到跑道情景图像中的像素计数。因而，可通过将2个标记之间的物理地面水平距离除以水平像素宽度(跑道图像上的2个标记之间的像素个数)来得出水平(x轴)像素映射比(米/像素)。可使用具有已知位置的两个静态跑道特征的最小值来校准各个情景图像。
[0128] 例如为了实现更精确的情景校准，以及适合不均匀的跑道表面，优选地沿着跑道的纵向方向(与跑道的侧边相距相同的垂直距离)布置多对跑道标记，以标记跑道上的一系列虚拟水平线。可使用皮尺或测轮或GPS接收器来测量这些水平虚拟线的地面物理距离(在各对标记之间)。根据跑道扇区图像来测量关于特定摄像机设置的这个水平虚拟线上的像素个数。
[0129] 例如，监视摄像机在跑道上的视界具有梯形形状。因此，跑道图像的像素映射比(米/像素)在跑道的垂直方向(Y轴)上是不同的。因而，跑道的远侧较窄且具有较大的像素映射比(米/像素)，而近侧较宽且具有较小的像素映射比(米/像素)。系统利用中心线的各侧上的两个平行的水平跑道线和中心线来确定修正像素映射比(对于垂直y轴)，以基于使用的数据(其可为WGS 84、机场网格或笛卡尔坐标系)，将图像像素映射到真实世界参考坐标框架上的精确坐标。因而，由于可在地面上测量跑道水平线和中心线之间的物理垂直(y轴)距离，可通过将这些线(在地面上测得的)之间的物理垂直距离除以这些线之间的像素的数量(从跑道图像上的垂直像素宽度得出)来得出垂直像素映射比(米/像素)。
[0130] 图7是示出根据示例实施例的示例跑道线的示意图。在跑道的远侧处有一个水平跑道线802，并且在跑道的近侧处有另一个水平跑道线803。802也可为远侧处的跑道边缘线，而803也可为跑道的近侧处的跑道边缘线。这些线802、803都平行于中心线801，而且所有这些线都沿着跑道的水平方向(x轴)。近侧水平线803和中心线801之间的物理垂直距离为805，而跑道图像上的这2条线之间的垂直像素宽度(没有像素)为y1个像素。因而，通过将805除以y1 (米/像素)来获得近侧的垂直像素映射比。类似地，远侧水平线802和中心线801之间的物理垂直距离为804，而跑道图像上的这2条线之间的垂直像素宽度(没有像素)为y2个像素。因而，通过将804除以y2(米/像素)来获得跑道的远侧的垂直像素映射比。因而，取决于在使用中心线作为参考的情况下像素是位于跑道的近侧还是远侧，使用2个不同的垂直(y轴)像素映射比(805/y1和804/y2)来将跑道图像上的像素映射到真实世界参考坐标框架上的精确的坐标。
[0131] 以上技术可改进像素映射精度。校准可基于不同的真实世界坐标数据，例如WGS84、机场网格或笛卡尔坐标系。
[0132] 跑道边缘/中间/水平线可为任何颜色。只要跑道边缘/水平/中心线和跑道表面之间存在对比就可进行校准。此外，跑道边缘和中心线不必是连续的。可通过插入相邻线来得出连续线。
[0133] 本发明的备选实施例可以可选地或另外使用一对监视摄像机覆盖跑道的相同节段来利用立体视觉。当使用立体视觉时，也可根据通过比较覆盖跑道上的监视区域(视界)上的相同区域的两个摄像机捕捉到的两个图像而获得的差别图像，来计算飞机场跑道/滑行道损坏或FOD范围和位置。
[0134] 在立体图像对的各个图像中检测局部特征，然后在图像之间匹配局部特征。这会产生稀少但视差（disparity）向量(其测量在各个图像中看到的图像特征的相对位置)的高质量集合。根据这些视差向量，可计算出特征位置的2D和3D估计，并且可比较2D和3D估计与跑道表面的扁平(或者至少平滑的)模型。备选地，可在像素级下记录图像，从而提供质量更可变的视差向量的密集集合。
[0135] 立体成像的挑战之一在于确定在范围计算中使用的两个图像的像素对应。采用的像素对应技术包括使用交叉相关算子、与相关约束进行符号匹配，以及这些技术的组合。
[0136] 例如，如果需要使一组立体摄像机获得的两个图像(图像1、图像2)之间的像素相关，则交叉关系基于这样的假设：对于图像1中的给定点P1，存在其中必须找到对应于P1的点P2的图像2的固定区域。这个区域的大小由与根据摄像机校准过程而获得的摄像机设置有关的参数确定。用以确定对应的符号匹配法搜索一个图像中的匹配另一个图像中的特征的特征。使用的典型特征为交叉点、线段或面积。交叉点的对应会产生仅在一小组点处具有已知深度的稀疏深度图。线段的对应可导致它们的端点之间的对应。
[0137] 备选实施例利用配备有广角镜的一个或多个静态监视摄像机，以提供飞机场跑道和/或滑行道和/或内场的广域覆盖。静态监视摄像机将能够检测任何飞机场入侵、袭击或轰炸，以及将一个或多个摇镜头倾斜变焦距(PTZ)摄像机引导到飞机场跑道/滑行道上的检测到的损坏或FOD的特定区域(一个或多个)，以使得能够对跑道损坏(弹坑、坑穴、碎石、UXO)和FOD进行快速检测/测量/分类。
[0138] 本发明的备选实施例也可利用诸如无人飞机或无人航空载具(UAV)的将飞过飞机场跑道/滑行道的飞机，来捕捉飞机场跑道/滑行道的航空数字照片或视频。也可使用将飞过跑道和/或滑行道的垂直起飞和着陆飞机(VTOL)来捕捉飞机场跑道/滑行道的航空数字照片或视频。将通过利用安装在UAV或VTOL上的机载光电传感器(EO传感器)来捕捉数字照片或视频。EO传感器可为无源的，而且不需要使用人工光照。将对由EO传感器捕捉到的捕捉的数字照片和视频进行实时分析/处理，以使得能够对跑道损坏(弹坑/坑穴/碎石和UXO)和FOD进行检测/测量/分类。在诸如夜晚时间的光照低的状况下，也可使用红外(IR)人工光照来增强跑道损坏或FOD检测能力。
[0139] 本发明的备选实施例还将利用红外(IR)照明器或可见光谱照明器，来在可见度低和环境光照低的状况下(诸如夜晚时间)提供人工光照。IR或可见光谱照明器将对被监视摄像机(一个或多个)扫描的飞机场跑道/滑行道/内场的区段提供IR或可见光谱光的窄聚焦光束。IR或可见光谱照明器还可具有摇镜头、倾斜、变焦距(PTZ)能力。IR照明器或可见光谱照明器(开/关、光照功率、PTZ)的控制可由视频处理器单元(VPU)或中央计算机系统(CCS)控制，以在可见度低的状况下实现最佳人工光照。
[0140] 本发明的备选实施例提供监视摄像机的冗余覆盖。图5是示出监视系统600中的用以检测跑道上的FOD或损坏的监视摄像机的冗余覆盖的示意图。监视摄像机601、603、605、607、609定位在滑行道104的一个边缘上。在所有监视摄像机601、603、605、607、609都正常工作的情况下，各个监视摄像机601、603、605、607、609的覆盖角度(视角)611通常保持相等。在摄像机603有故障且是冗余的情况下，在冗余的摄像机603附近的各个监视摄像机601和605的正常覆盖角度(视角)611朝冗余的摄像机603的视界延伸到613。照这样，由监视摄像机601、603、605、607、609组成的飞机场跑道/滑行道监视系统可运行来对飞机场跑道提供完整覆盖，即使一个或多个监视摄像机无法工作。例如，通过使用远程地控制摄像机的变焦距或PTZ功能的应用计算机系统，操作者可手动地调节或执行摄像机的覆盖视界(视角)。
应用计算机系统也可自动地执行调节。例如，具有变焦距功能的摄像机或摇镜头倾斜变焦距(PTZ)摄像机可用来更改覆盖视界(视角)。
应用计算机系统也可自动地执行调节。例如，具有变焦距功能的摄像机或摇镜头倾斜变焦距(PTZ)摄像机可用来更改覆盖视界(视角)。
[0141] 图6是示出根据备选实施例的跑道表面扫描的示意图。
[0142] 被监视的跑道表面区域700分成覆盖跑道表面700上的小区域的许多节段702。使用可覆盖具有水平视角711的视界的一个或多个非静态摄像机708，一个节段一个节段地扫描整个跑道表面区域700。非静态摄像机的示例是摇镜头倾斜变焦距(PTZ)摄像机或变焦距摄像机。应用计算机系统或摄像机控制器远程地控制PTZ摄像机的摇镜头倾斜变焦距功能或变焦距摄像机的变焦距功能。通过使用一个或多个非静态摄像机，沿着纵向方向703从一端710到另一端720按顺序扫描跑道表面区域700。
[0143] 应用计算机系统或摄像机控制器控制根据备选实施例的飞机场跑道表面扫描。这种跑道扫描方法的挑战是FOD或跑道损坏检测时间长，尤其是当FOD或跑道损坏恰巧位于扫描循环的末尾附近的节段处时。为了加快跑道扫描循环时间，备选方法是跳过一个或者甚至两个节段，即，每隔两个或者甚至三个节段扫描一个节段。在下一个扫描循环期间，扫描之前未扫描的节段，而在这个循环中不扫描在前面的循环期间扫描过的那些节段。跑道扫描方法的折衷是检测恰巧位于跑道表面上的未经扫描的节段处的FOD的长检测时间。
[0144] 由于跑道上的FOD主要是由飞机起飞和着陆引起的，所以在备选实施例中，另一种减少FOD检测时间方法是利用非静态或静态监视摄像机的组合。静态摄像机优选具有足够宽的视界(宽视角)，以覆盖跑道和/或滑行道的大部分。通过实时地处理静态监视摄像机捕捉到的图像，应用计算机系统可检测飞机在跑道上起飞和着陆的发生和位置。然后应用计算机系统可引导非静态监视摄像机首先扫描覆盖跑道上的、飞机正好已经着陆或起飞的特定位置的那些节段。此方法可帮助减少FOD检测时间。
[0145] 如果静态监视摄像机检测到FOD或飞机场跑道损坏，控制塔或控制室中的应用计算机系统基于静态摄像机捕捉到的情景图像，来确定检测到的FOD或跑道损坏在跑道上的位置和范围。通过使用具有跑道的校准情景图像的单视场视觉来实现对检测到的FOD或飞机场跑道/滑行道损坏在飞机场跑道/滑行道表面上的位置和范围的确定。例如，在校准跑道情景图像中，各个像素都映射到真实世界坐标框架上的精确坐标上(可基于WGS 84或机场网格数据)。备选地，也可使用基于立体视觉的对象定位和测距技术。
[0146] 系统利用关于静态监视摄像机(单视场或立体的)检测到的FOD或飞机场跑道/滑行道损坏的范围和位置的信息，来自动地控制非静态摄像机(例如，摇镜头摄像机或摇镜头倾斜变焦距(PTZ)摄像机或变焦距摄像机)，以摇镜头和/或倾斜和/或变焦距和/或聚焦到FOD或飞机场跑道/滑行道损坏或飞机场跑道/滑行道上的关注区域上，以及在视频显示器上获得FOD或关注区域或飞机场跑道/滑行道损坏的远摄图像，其中细节足以确认检测到的FOD或飞机场跑道/滑行道损坏的存在，或者足以过滤错误警报。这些远摄图像还用于对检测到的FOD或飞机场跑道/滑行道损坏进行精确的测量、表征和分类。可从这些远摄图像中提取精确的对象特征，包括对象长度、高度、面积、曲率、周长、纹理、色彩属性，它们可用作预先训练的对象分类器的输入。
[0147] 本发明的实施例也可扩展为用作综合飞机场和跑道滑行道损坏评估系统，其包括用以对外物、碎片或损坏(FOD)、滑行道或跑道损坏进行检测/测量/分类的系统100(图9)，以及武器冲击监视系统。
[0148] 图9是根据示例实施例的示出综合飞机场损坏评估系统952的示意图，系统952包括用以检测外物、碎片或损坏(FOD)、飞机场跑道/滑行道损坏的系统100，以及武器冲击监视系统950。
[0149] 图10是示出使用图9的武器冲击监视系统的冲击检测系统的示意图。
[0150] 在敌军攻击飞机场之后，首先，检测例如1003的所有损坏，并且使用来自武器冲击监视系统的静态摄像机951的视频或图像数据作为输入来将信息标绘到飞机场平面图1000上。然后取决于飞机的类型、有效载荷和环境状况，以及重新启动飞行操作所需的最少初始修理工作量，得出最小飞机场操作表面(MAOS)和/或最小起降带(MOS)1007。在建立MAOS和MOS 1007时，考虑下者中的一个或多个，优选考虑全部：弹坑1003的大小和位置；接近弹坑1003的位置的简易性；飞机通过受损滑行道或进场道路1009接近MOS 907的简易性；以及例如1011的未爆炸的炸弹(UXO)或弹坑的位置。
[0151] 本发明的实施例利用智能视频/图像处理，其可有利地提供下者：
[0152] •实时、自动化地检测飞机场跑道/滑行道损坏(弹坑、坑穴、UXO、碎石)和FOD；
[0153] •在视觉上验证和精确定位飞机场跑道/滑行道损坏项(弹坑、坑穴、UXO、碎石)和FOD
[0154] •测量飞机场跑道/滑行道损坏(弹坑、坑穴、UXO、碎石)和FOD的大小/物理特性；以及
[0155] •将飞机场损坏程度或飞机场跑道损坏程度映射到飞机场图或飞机场跑道图上。
[0156] 从基于智能视频/图像处理的系统中得出的集合信息优选地提供有效的决策支持系统。
[0157] 基于计算机视觉的武器冲击监视系统950对火箭和炸弹的冲击进行自动检测和打分，以有利于空军、海军、陆军进行真实武器训练和防卫演习。监视系统950能够对白天和夜晚操作两者中的对陆地和水中的单次或多次袭击打分。设计有开放式构架的武器冲击监视系统950可与空战演练仪(ACMI)结合，以成为电子战训练系统(EWTS)的子系统之一。
[0158] 优选地基于下者来实现高级战争损坏评估(BDA)系统950的实施例：
[0159] •智能视频/图像处理中的技术经验；
[0160] •军事和/或飞机场环境中的现场证明的基于计算机视觉的系统的适应；
[0161] •可结合到空军中的系统设计、硬件和软件的可靠性和鲁棒性
[0162] •在优化战时和和平时期的投资返回方面的经济可行性。
[0163] 本发明的实施例通过结合武器冲击监视系统950(图9)和飞机场跑道/滑行道损坏和FOD检测系统100(图9)来提供高级自动化BDA系统950。
[0164] 武器冲击监视系统1000(图10)具有从飞机场区域的广角视觉或常角视觉或狭角视野自动且精确地检测和标绘单个或多个可视武器冲击(一个或多个)的能力。武器冲击讯号的类型包括来自通常产生可视冲击(诸如爆炸、烟、灰尘或一些形式的闪光(在晚上))的空对地和地对地导弹、火箭、炸弹和炮弹的那些。武器冲击监视系统1000还可利用使用武器冲击产生的声音来定位武器冲击的位置是可行的。可通过将传声器置于战略位置处，以及使用音频源跟踪技术，来实现这一点。
[0165] 另一方面，飞机场跑道/滑行道损坏和FOD检测系统100(图9)有利地设计有预编程成扫描、搜索和检测飞机场跑道/滑行道/停机坪环境中的非常小的对象(例如4 cm大的FOD)、UXO、飞机场跑道/滑行道损坏(弹坑、坑穴、碎石)和路面状况(例如裂缝)的放大视图。24小时运行的具有专业光电(EO)传感器的FOD检测系统100(图9)结合了图像处理和增强软件技术，以使得系统即使在夜晚操作期间也能够“看见”和检测非常小的对象。飞机场跑道/滑行道损坏和FOD检测系统100(图9)从安全距离处远程地监测和检查飞机场的规定路面，并且查明检测目标的位置。
[0166] 图11显示布局图，其显示在图9的综合飞机场损坏评估系统952中使用的软件模块。通过使用对变化的环境飞机场状况鲁棒的多种软件技术，BDA软件能够自学习和适应变化的情景，以从可能的错误警告中辨别出轰炸讯号(弹坑、坑穴、碎石)或UXO或FOD。检测算法提取目标的相关特性，诸如长度、高度、深度、周长、面积、纹理、曲率、色彩属性(色调和饱和度)、发光强度(灰度级)等，以确定和测量目标。示例实施例中采用的一些技术包括：
[0167] •基于动态背景建模的智能视频分析和情景变化检测技术。甚至跑道上的均匀轮胎痕迹不断更新成背景情景，以进行确切的检测；
[0168] •用以减少(减弱)天气变化、热波等的影响引起的视频或图像的噪声分量的噪声过滤过程；
[0169] •用以在光/可见度低的状况下产生最佳质量图像供分析/处理的图像聚合技术；
[0170] •用以区分静态目标与飞机场跑道/滑行道上的合理移动对象(诸如飞机、车辆、人、野生动植物等)的静态目标检测；以及
[0171] •人工智能技术，其适用于持续的自学习和适应情景变化，诸如白天到夜晚的环境变化、阴天的阴影和雨、雪。
[0172] 在同一时间，从单独的专用传感器执行并发图像处理：
[0173] •根据用于武器冲击监视的传感器951(图9)的输入进行处理，以及打分–算法首先分析跑道/滑行道的规定广域视界，以从其它背景效果检测到实际的可识别武器冲击讯号，以及区分实际的可识别武器冲击讯号与其它背景效果。在检测之后，软件将触发视觉和音频警告，以及命令FOD传感器108(图9)的摇镜头-倾斜-变焦距功能获得在冲击点处的具体位置处的详细图像或视频。FOD和损坏检测算法将搜索、检测和测量损坏程度；以及
[0174] •根据FOD传感器的输入进行处理–算法预编程成：
[0175] 一个区段一个区段地扫描和分析飞机场跑道或滑行道路面的规定放大视图，以检测弹坑、坑穴、碎石或UXO。在检测之后，软件捕捉图像或视频，计算确切位置，并且在继续检查跑道或滑行道的下一个区段之前，对用户触发视觉和音频警告。
[0176] 通过像素级图像分辨率，BDA软件能够以优选±1 m(3.28 ft)的位置精度定位弹坑、坑穴、碎石或UXO或FOD，以及测量弹坑/坑穴/碎石/UXO/FOD的大小/尺寸。
[0177] 之后，软件能捕捉检测到的弹坑、坑穴、碎石或UXO或FOD 1003(图10)的快照，指示发生日期和时间、弹坑/坑穴/碎石/UXO/FOD目标1003(图10)的坐标和大小，以及在2维(2D)图形信息系统(GIS)图1000(图10)上标绘和显示检测。
[0178] 另外，用户可获得来自所有传感器951和108(图9)的实时视频图像，以评估战争损坏程度、跑道和滑行道状况以及路面状况。
[0179] 参照图11，BDA系统模块1103结合武器冲击监视系统模块和FOD检测模块。因为该示例实施例中的开放式标准模块化设计，这是可行的，开放式标准模块化设计有利地使得易于缩放、维护、定制和故障检修。
[0180] 示例实施例中的主要模块为：
[0181] •武器冲击监视系统的捕捉飞机场的目标区域的视频或图像的EO传感器(EOS)模块1129。
[0182] •飞机场监视系统(用于FOD和损坏检测)的EO传感器(EOS)和摇镜头-倾斜-变焦距(PTZ)模块1131，其用于命令FOD和损坏检测系统的PTZ水平以扫描(摇镜头/倾斜/变焦距)飞机场上的特定目标区域。
[0183] •图像传输模块1133，其用于将图像从EO传感器和PTZ传感器传输到VPU(有线/无线地)。
[0185] •图像稳定模块1137，其用以检测每帧中的参考标记，以及在遇到传感器振动时，使图像稳定/恢复回到其原始位置。
[0186] •参考图像计算模块1139，其用以创建和更新每帧中的参考背景图像，将在前景抽取模块中使用参考背景图像。
[0187] •前景抽取模块1141，其用于从参考背景图像中减去当前帧，以检测图像像素中的显著变化。
[0188] •冲击检测模块1143，其用以基于在检测到武器冲击时在若干连续的帧中发现的模式来识别检测到的显著变化。
[0189] •FOD检测模块1145，其用以基于在检测对象(例如FOD或飞机场损坏)时的各种特性来识别检测到的显著变化。
[0190] •BDA位置提取模块1147，其用以提取检测到的FOD或损坏的位置(包括弹坑、坑穴、碎石、UXO的位置)。
[0191] •BDA大小测量模块1149，其用以测量FOD或损坏(包括弹坑、坑穴、碎石、UXO)的物理尺寸。
[0192] •最佳MAOS和MOS计算模块1151，其用以计算最佳(最优)MAOS和MOS。
[0193] •修理估计和计划模块1153，其用以估计和计划所需修理工作，包括估计和计划用于最佳MOS和/或MAOS的所需修理工作。
[0194] •记录模块1155，其用以允许记录和回放视频连续镜头供调查/分析。
[0195] •显示器模块1157，其用以在图形用户接口上显示视频或图像和计算出的飞机场损坏数据。
[0196] 图12显示布局图，其显示图11的软件模块在战时期间的交互。本发明的BDA系统952(图9)的实施例可在战时期间提供以下优点：
[0197] BDA系统952(图9)对飞机场轰炸提供24小时检测，并且在战时期间定位和测量弹坑、坑穴、碎石、UXO和FOD。及时且准确地评估飞机场/跑道在军事操作期间遭受的损坏在战时期间是至关重要的。通过提供关于飞机场(包括跑道和滑行道)所经受的物理损坏的程度的信息，有利地帮助重新计划飞机起飞和着陆，以及安排飞机场跑道/滑行道修理的优先次序。
[0198] 通过像素级分析，BDA系统952(图9)自动地检测轰炸，定位位置，以及精确地测量弹坑、坑穴、碎石、UXO、FOD大小。基于这个信息，用户(诸如飞机场指挥官)可以以最快的方式评估和决定修理飞机场跑道/滑行道损坏所需的资源、时间和材料的量。
[0199] 此外，BDA系统952(图9)可提供关于飞机场损坏程度的映射。
[0200] 通过自动分析弹坑大小和位置信息，系统952将飞机场损坏程度映射到2D飞机场图上，并且在确定整个飞机场跑道/滑行道的运行状况方面智能地支持用户，包括：
[0201] a. 跑道上的弹坑、坑穴、碎石、UXO、FOD的数量、位置和大小；
[0202] b.可用于飞机起飞/着陆操作的跑道的位置/“带”；
[0203] c. 受损且需要修理工作的跑道的位置/“带”；以及
[0204] d. 基于飞机类型和机组位置的推荐最小飞机场操作表面(MAOS)和最小起降带(MOS)。
[0205] BDA系统952(图9)是在所有飞机场环境中安全地运行，对地面系统和空中系统两者都没有任何危害/干扰的“无源”系统。它完全是非侵入式，有源发射为零，而且无需任何有源光源支持。它对人没有健康危害，或者对地面和飞机上的任何现有装备或未来的系统实现没有操作干扰。不像“有源”系统那样，提出的“无源技术”在战争期间对于军事空军基地是尤其关键的，因为它可避开高速反辐射导弹(HARM)的攻击。
[0206] BDA系统的实施例可设计和建造成在所有天气状况下运行，24小时保护飞机场、跑道和滑行道。BDA系统950(图9)的实施例已经在现场被证明可在白天和夜晚操作期间“看见”和检测非常小的对象(FOD)和跑道滑行道损坏(弹坑、坑穴、碎石、UXO)。BDA系统的实施例有利地在阴霾(空气污染指数120；可见度200米)和暴雨(28 mm/小时)的极端天气状况下执行。
[0207] BDA系统的实施例可设计有具有局部或全面重叠覆盖的冗余，以提高系统在战时期间的存活性。
[0208] 为了提供冗余，将FOD或损坏检测传感器508和509(图1B)安装成相隔几百米，并且安装在跑道的相对侧；而且在任何传感器失效的情况下，相邻和/或相对的传感器继续对本应由失效传感器监测的“丢失”区段提供覆盖。
[0209] 另外，后端系统包括用以使意外停机时间降到最小的冗余的服务器(一个或多个)。提供关键备件，以使得能够及时地更换有故障的组件。
[0210] 图13显示布局图，其显示图11的软件模块在和平时期的交互。本发明的BDA系统的实施例可在和平时期提供以下优点：
[0211] 除了扫描/搜索飞机场跑道上的弹坑/UXO测量之外，FOD EO传感器108(图9)还能够检测其它FOD和跑道/滑行道损坏(诸如坑穴和碎石)。这有助于以实时方式自动地检测FOD和跑道损坏，以加强空军基地的态势感知和操作准备。内置式人工智能技术确保客观确切地识别FOD和跑道/滑行道损坏，使得与人有关的误差或自满得以避免。
[0212] 采用FOD EO传感器允许操作者在光非常弱的飞机场环境中看得清楚。其中FOD EO传感器可帮助飞机场监视的一些情况为：
[0213] 关键的监视情形
[0214] •飞机场跑道/滑行道进入/偏离
[0215] •飞机场、跑道和/或滑行道损坏评估
[0216] •飞机场跑道和/或滑行道损坏(弹坑、坑穴、碎石、UX)和FOD检测/测量/分类[0217] •翼尖碰撞
[0218] •飞机被破坏
[0219] •应急/摔机着陆
[0220] •一般监视情形
[0221] •一般对空面监视
[0222] •监测跑道表面状况
[0223] •实施飞机场中遵守的安全措施(例如飞机拖引、铺路或建筑工作等)
[0224] 跑道/滑行道表面/路面状况监测
[0225] 像所有其它机场系统那样，跑道和滑行道多年来由于环境因素会经受老化。在不经常且耗时的人工检查期间通常会发现缺少石头的区域。跑道或滑行道的某些部分，尤其是飞机起飞和着陆区域，通常受到大块沥青/混凝土严重脱落的损坏。
[0226] 由于FOD EO传感器不断检查跑道和/或滑行道，以及捕捉跑道和/或滑行道表面的分辨率非常高的放大图像，因而，FOD EO传感器有利地提供细察表面状况以检测跑道或滑行道的碎片、巨大裂缝或损坏的能力。
[0227] 例如，在地平面上可能发生被鸟撞击的事件。通常在整年当中发现多种多样的鸟，典型地在迁徙月份期间鸟类活动增加。本发明的实施例可有效地检测在跑道和/或滑行道上存在鸟，从而提供有效的决策支持系统，以帮助飞机场操作者防止在地面上有被鸟撞击的事件。
[0228] 示例实施例中的跑道安全优选地还考虑到诸如在跑道上游荡的动物的问题。通过使用智能视觉技术，示例实施例优选地能够认出蛇、乌龟，监测蜥蜴和跑道和/或滑行道上的其它野生动植物。为了飞机安全，检测跑道和/或滑行道上的野生动植物的能力可提示飞机场操作者关闭跑道和/或滑行道，以及派地勤人员从跑道上捕捉和移除野生动植物危害。
[0229] 图14显示示出根据示例实施例的综合飞机场损坏评估系统的硬件系统1400布局的示意图。
[0230] 综合BDA的硬件系统1400(图14)包括光电(EO)系统1401，以及由1403和1409组成的中央计算机系统(CCS)。
[0231] EO系统1401(图14)由一系列EO传感器单元(摄像机)1405 a-d和它们的相应的专用视频处理单元(VPU)1407组成。EO传感器(摄像机)1405a安装在塔或建筑物结构上，以检查和捕捉飞机场的目标区域的实况视频或图像。在一个实施例中，自动监视系统使用具有广视界的百万像素静态EO传感器来覆盖700 m(2297 ft)长的跑道/滑行道。在一个实施例中，FOD系统(EO传感器单元1405b-d)应用具有高清晰度变焦镜头的摇镜头/倾斜/变焦距(PTZ)超低勒克斯EO传感器来一个子区段一个子区段地勘查/细察跑道/滑行道区段。每个子区段为大约5.5 m(18 ft)，并且各个PTZ EO传感器摇镜头，以覆盖高达350 m(1148 ft)长的跑道/滑行道。各个VPU 1407专门用于处理来自EO传感器单元的视频图像。通过光学收发器，这个视频流到VPU，以进行图像处理。VPU 1407的输出将图像或视频和数据两者传输到中央计算机系统(CCS)管理服务器1409。
[0232] 为了实现鲁棒性，BDA系统1400(图14)提供两级冗余设计机制，即，前端和后端内置冗余，以确保系统操作的可用性高。FOD和损坏检测EO传感器108(图9)和武器冲击监视EO 951(图9)安装在跑道的一侧上，而且它们全部都与跑道中纵线相隔至少300 m(984 ft)。在武器冲击监视传感器951被轰炸袭击的情况下，FOD和损坏检测传感器108可继续用来搜索、检测和测量FOD或损坏(诸如弹坑/UXO)。同样，如果FOD和损坏检测传感器被袭击，武器冲击检测951也能够检测和定位飞机场跑道/滑行道损坏。
[0233] 由于系统1400还考虑到任何EO传感器故障，并且提供冗余，所以存在EO传感器的足够的重叠覆盖，并且使得相邻EO传感器将提供对有缺陷的EO传感器的后备覆盖。后端冗余防止管理服务器失效。也就是就，管理服务器设计和部署成(至少)一对，以实现冗余。为了确保可用性高，冗余服务器将在主服务器失效的情况下自动接管。
[0234] 在一个示例实施例中，中央计算机系统(CCS)由管理服务器(有冗余)1409、数字视频记录仪(DVR)1411、操作者工作站1413、管理者/维护者工作站1415和移动手持式装置1417组成。
[0235] 管理服务器1409是用于系统操作的中央数据库，其包括用户访问控制、系统配置、警告配置、图像和相关联的信息管理、数据查询和报告生成。在管理服务器失效的情况下，冗余的服务器接管这个功能。DVR 1411提供来自所有传感器单元的图像的连续实时数字视频记录。在一个实施例中，DVD 1411在大小上设置成用于30天存储，而且如果需要的话，视频可存档成DVD。此设施使得能够回放视频供分析和调查。
[0236] 操作者工作站1413用作用以登录、监测和操作系统1400的主用户接口。管理者/维护者工作站1415主要用于在对网络和装备进行健康检查和故障排除时在技术上提供支持。它也可在操作者工作站1413出故障的情况下用作操作后备。
[0237] 将移动手持式装置1417发放给地面支持工作人员，使得在调派工作人员修理弹坑或从跑道/滑行道上移除碎片之前和/或在此期间，地勤人员能够接收远程警告和关键的信息(图像、损坏的日期/时间、位置、大小等)。此信息使地勤人员准备好以足够的资源和材料作出响应，以及迅速地定位目标。
[0238] 在前端处的光电系统1401由EO传感器1405a-d和VPU 1407组成。对沿着跑道/滑行道的所有EO传感器1405 a-d提供功率，以进行连续操作，并且它们都通过光纤链路而连接到后端装备室。各个传感器1407通过光纤链路连接到其专门的VPU 1407上，并且视频分离到DVR 1411，以进行记录。
[0239] 后端装备由管理服务器1409、DVR 1411、开关1419和操作者/管理者工作站1413、1415组成。工作站1413、1415优选地位于地面操作控制中心或飞机场指挥部处。系统1400也可利用使用TCP/IP通信协议(如果可用)的现有LAN网络。视频将由VPU 1407处理，而且在例如弹坑检测时，将具有相关联的数据的图像传输到管理(冗余)服务器1409。管理服务器存储警告状态，定位和测量弹坑大小，以及在操作者工作站1413上呈现数据。当用户选择手动(实况)视野时，实时视频将从选定的传感器中流出。为了进行调查，用户可从DVR下载存储记录，以回放视频供分析，例如每个跑道，可对地勤人员供应一个手持式移动装置1417。
[0240] 在用户确认目标且开始飞机场跑道/滑行道修理时，手持式装置1417将接收包括图像的关键信息，以使地勤人员准备好进行飞机场跑道/滑行道恢复或修理。
[0241] BDA系统的实施例优选能够检测以下弹坑大小：
[0242] •小弹坑：10 cm至1.5 m，由小型火箭、炮击、接触起爆式军械造成
[0243] •中等大小弹坑：1.5 m至6 m，由集束军械、大型火箭、小型混凝土穿透弹造成[0244] •大弹坑： >6 m，由延迟起爆军械、大型混凝土穿透弹造成
[0245] 除了弹坑，BDA系统还能够检测和测量跑道和滑行道上的坑穴、碎石、UXO和FOD。
[0246] 在一个实施例中，在下面阐明BDA系统的操作工作流：
[0247] a)自动地实时捕捉和处理来自专门的静态EO传感器单元1405 a的视频或图像，以提供对武器冲击的确切的识别，并且自动地实时捕捉和处理来自专门的摇镜头EO传感器单元1405 b -d的视频，以提供对检测到的损坏/UXO/FOD的确切的识别；
[0248] b)在地面操作控制中心或指挥部以单个视图显示视频和警告，以对跑道/滑行道进行完整的评估；
[0249] c)对于任何轰炸，在操作者工作站处自动地突出显示和警告检测到的弹坑、坑穴、碎石、UXO或FOD。在静态EO传感器1405a检测到武器冲击时，摇镜头EO传感器1405 b - d将被引导到用以对FOD或飞机场损坏执行放大测量的位置。
[0250] d)将在操作者工作站处显示检测目标的计算机辅助式变焦距图像，以及相关联的位置和大小信息，以进行视觉验证。
[0251] e)基于飞机类型和机组位置，系统将推荐最小飞机场操作表面(MAOS)和最小起降带(MOS)进行优先修理。
[0252] f)在用户确认时，将经由无线方式，通过GSM或3G移动通信网络把远程警告发送到地勤支持或修理人员持有的手持式装置。手持式装置提供诸如日期/时间、弹坑/坑穴/碎石/UXO/FOD位置(一个或多个)、弹坑/坑穴/碎石/UXO/FOD大小(一个或多个)、修理类别和优先级的信息；
[0253] g)用户中断飞机起飞和着陆，并且调派地勤人员修理弹坑/坑穴/碎石，或者从跑道/滑行道上移除UXO/FOD；以及
[0254] h)一旦修理/移除完成且跑道恢复运行，则可取回视频、图像和警告记录，以生成报告，以及进行事故后分析/调查。
[0255] 根据国际民航组织(ICAO)和联邦航空管理局(FAA)监管标准，仅允许将关键导航装备安装成距离跑道中纵线150 m(492 ft)，并且超过492 ft标记，所有其它必要的安装必须遵守1:7的高度限制。本发明的BDA系统的实施例优选地遵守ICAO、FAA和其它空军标准。
[0256] 如本文前面描述的那样，本发明的实施例还可允许滤掉雨引起的背景杂波。典型地，雨杂波不仅出现在跑道或滑行道上的局部区域中，而且还出现在整个跑道上。雨还可在跑道情景图像中引起运动杂波，其具有诸如当雨击打跑道表面时的飞溅的具体特征。因而，一种过滤掉雨杂波的方法是检测和认出跑道或滑行道情景中的具有出现在整个跑道上的雨状特征的运动杂波。由于雨杂波不是静态的且随帧的不同而改变，所以也可使用时间滤波来过滤雨杂波。因而，具有出现在整个跑道或滑行道上的雨状特征的运动杂波将作为雨杂波被滤掉。在备选实施例中，以上原理也适用于过滤雪引起的背景杂波。因而，将通过使用时间滤波来把具有出现在整个跑道上的雪状特征的运动杂波作为雪杂波滤掉。
[0257] 在本发明的示例实施例中，使用边缘检测技术来对从监视摄像机中获得的参考背景图像进行预处理，以使系统对光照变化、杂波更有弹性，以及减少错误警报。
[0258] 使用边缘增强和检测技术来识别跑道或滑行道特征的边缘。图像中的边缘是像素属性跨过其而突然改变的轮廓。使用边缘增强和检测来改进对光照变化的弹性，以基于背景相减和/或学习来识别前景像素。
[0259] 上面描述的本发明的实施例可具有以下特征中的一个或多个：
[0260] - 通过这样的方式对跑道图像进行图像增强：使用高通滤波器(诸如从左到右加从右到左的Sobel X或Scharr X)，以增强在平行于跑道的方向上具有高梯度变化的特征。
[0261] - 最佳地估计FOD或损坏边缘提取阈值。估计适合不同的环境状况(例如雨、光反射、夜晚时间等…)，并且利用基于逐渐学习的背景边缘图的统计方法来确定用于产生像素级阈值图的灰度级查找表(LUT)，以用于自适应像素级边缘图提取。
[0262] - 对像素级应用时间滤波，以通过使用边缘图的堆以减少噪声来保留鲁棒边缘。仅超过阈值的像素将被分类成鲁棒边缘像素，并且剩余像素将不用于边缘图。
[0263] - 自适应背景学习，其比较当前边缘图像与先前时刻的背景图像，以捕捉跑道或滑行道上的缓慢特征变化过程，以允许这些特征掺合到背景中而不产生错误警报。
[0264] - 合成背景边缘图，其由自适应背景边缘图和之前学习到的背景图和可选地季节记号(对特定季节或诸如雪的天气状况产生)组成。
[0265] - 通过比较边缘图和合成背景图来产生嫌疑边缘图。
[0266] - 边缘过滤，以过滤可能由于突然的环境变化(例如雨或其它天气状况引起的反射)引起的一些边缘。
[0267] - 通过使用全局直方图和统计分析来比较逐渐更新的图像，以确定异常光状况，从而以夜晚时间期间进行异常光检测(诸如由于飞机着陆、飞机起飞、地勤车辆移动等…)，来在跑道上进行FOD或飞机场跑道/滑行道损坏检测。
[0268] - 白天/夜晚监视，其用于检测跑道或滑行道上的FOD或飞机场跑道/滑行道损坏，而不需要安装辅助光照(诸如激光或红外照明器)。
[0269] - 用于捕捉飞机场跑道或滑行道的图像的成像器件，其具有自动化、计算机辅助和/或手动放大视图的能力，以确保在飞机场跑道或滑行道上精确地检测、识别和定位所有外物和损坏。
[0270] - 无源性质，其消除在黑暗或低光照状况时安装辅助光照(诸如激光或红外照明器)的需要。
[0271] - 在白天和夜晚期间有彩色图像。
[0272] - 使用计算机视觉图像处理技术来处理从监视摄像机的网络中获得的视频和/或静态照片图像，以检测、定位或识别FOD或飞机场跑道/滑行道损坏。监视摄像机可为单个或多个可动的和/或静态的，可灵活地位于规定的监视区域中。
[0273] - 由于与现有系统相比，使用在示例实施例中的自适应图像处理的改进的图像处理，摄像机可部署成距离跑道或滑行道更远，这可减少使用的摄像机的数量，以及/或者减小与现有的基本设施的干扰，以及/或者减小跑道附近的障碍。
[0274] BDA系统可配置成在正常状态期间(和平时期)运行为外物、碎片(FOD)检测系统。
[0275] 当接收到即将发生的空袭警报时，BDA系统可进入警报状态，并且BDA系统切换成在其操作中包括飞机场损坏检测、测量和分类。飞机场损坏检测/测量/分类结果将导致计算安全的飞机起飞和着陆所需的MAOS和MOS，这避免飞机场中的武器冲击引起的任何损坏。
[0276] 关于图14中的视频处理单元1407和图14中的管理服务器1409，各个视频处理单元1407负责对来自一个摄像机视角的飞机场跑道损坏项目进行检测、测量和分类(基于来自单个EOS的视频/图像)，以及将检测、测量和分类结果发送到管理服务器1409进行合并和优化。管理服务器1409可基于多个摄像机视野捕捉到的视频/图像，来对多个视频处理单元
1407输出的视频/图像和/或FOD或损坏检测/测量/分类结果执行优化。这种优化包括融合相同区域的多个输入图像，以提供该区域的比任何输入图像都更具信息量的合成图像。管理服务器1409还可提供突出显示飞机场损坏区域的拼合飞机场图像，这对于在显示器模块
1157(图11)和1413(图14)上显示是有用的。
1407输出的视频/图像和/或FOD或损坏检测/测量/分类结果执行优化。这种优化包括融合相同区域的多个输入图像，以提供该区域的比任何输入图像都更具信息量的合成图像。管理服务器1409还可提供突出显示飞机场损坏区域的拼合飞机场图像，这对于在显示器模块
1157(图11)和1413(图14)上显示是有用的。
[0277] 管理服务器1409还可负责开始BDA系统的整个BDA过程，包括在各种视频处理单元1407和管理服务器1409上运行的各种过程。服务器过程(在管理服务器1409上运行)将接收来自各种视频处理单元1407的FOD和/或损坏检测、测量和分类结果。
[0278] 在那之后，执行的服务器过程将进一步处理和优化与多个相邻EOS(具有不同的摄像机视角)检测到的且由多个视频处理单元1407输出的相同FOD或损坏项目(诸如弹坑或UXO)有关的检测、测量和分类结果。服务器过程可对各个检测飞机场损坏项目执行基于诸如最近距离、类似的大小等的某些标准的处理。随后，服务器过程甚至可对发现的FOD或飞机场损坏项目进行重新测量和/或重新分类，以及使用至少两个摄像机视角来计算损坏项目的尺寸(基于来自2个相邻EOS的视频/图像)，以获得改进的检测、测量和分类精度。使用两个摄像机视角的图像是一种改进，因为服务器过程可最佳地融合来自两个摄像机视野的相同区域的多个输入图像，以提供该区域的合成图像，其比接收自单个EOS的任何输入图像都更具信息量。它还帮助克服当使用单个EOS来覆盖飞机场的特定区域时可发生的FOD或损坏遮挡问题。
[0279] 当处于警报状态时，BDA系统的服务器过程将开始武器冲击监视系统(WISS)过程。视频处理单元1407的各种过程将同时处理来自各种EOS的视频/图像。当服务器过程开始WISS过程时，WISS过程可立刻开始武器冲击检测过程，使得任何检测到的武器冲击将立刻对管理服务器1409触发警告，并且可将冲击位置标绘在操作者工作站1413上的数字飞机场图上。
[0280] 当空袭结束且BDA系统的状态变成“攻击后”时，飞机场指挥官可决定执行BDA损坏检测、测量和分类和MAOS和MOS计算。可对指挥官提供手动触发，以允许指挥官启动各种BDA过程，以开始详细的BDA FOD和/或飞机场损坏检测、测量和分类。
[0281] 当BDA系统中使用的处理器完成单个摄像机视野BDA检测、测量和分类时，服务器过程可合并和进一步优化结果。服务器过程可以较高的精度和确定性对任何复制的BDA FOD和飞机场损坏检测/测量/分类进行重新分类和重新测量。
[0282] 可将最终的BDA FOD和/或损坏检测、测量和分类结果发送到MAOS/MOS计算应用程序，以进行MAOS/MOS计算。
[0283] BDA系统可配置成执行基线学习过程，以获得完整的一组飞机场图像(也被称为“飞机场基线图像”)。基线图像指的是当没有未知外物、碎片或损坏，或者在即将捕捉基线图像时飞机场的摄像机视野没有未知变化时的飞机场的图像。
[0284] BDA系统使用EOS来扫描所有区段/子区段的一个循环，以产生飞机场基线图像，并且然后进入快速扫描拼合和检测回路。区段指的是飞机场中的规定区域。子区段是区段内的进一步划分。快速扫描拼合和检测回路继续扫描飞机场和将各种子区段图像拼合在一起。它还在比较飞机场图像与基线图像之后，检测飞机场图像的主要差别。例如用颜色突出显示飞机场上的差别大的区域，以允许飞机场指挥官在显示器上放大这些区域，以在此期间或之后进行初始快速损坏评估。因此，EOS(即，一个或多个摄像机)捕捉到的图像被拼合在一起，并且在飞机场跑道或滑行道的后面捕捉到的拼合图像中突出显示早先捕捉到的拼合图像和后面捕捉到的拼合图像之间的差别区域。
[0285] 图15示出突出显示受损部分1506的拼合跑道图像1502。通过快速扫描拼合和检测回路来产生拼合图像。在图15中还显示了受损部分的放大视图1504。拼合飞机场跑道图像1502显示了跑道的部分1506在空袭期间受损严重。放大视图1504是跑道上的受损项目的清晰指示，并且可供飞机场指挥官用来进行早期飞机场损坏评估。
[0286] 快速扫描拼合和检测回路可配置成在无限循环中继续运行，以提供更新的拼合飞机场跑道图像，直到例如空袭结束且BDA系统进入“攻击后”。当发生那种情况时，飞机场指挥官将触发BDA系统，以开始BDA飞机场损坏检测测量和分类过程。
[0287] 然后BDA系统可执行全循环检测，以提取飞机场中的所有潜在损坏项目。在那之后，BDA系统开始对单独的损坏项目(诸如弹坑或UXO)进行分类和测量。最终的检测、测量和分类结果(从各种视频处理单元1407输出)将发送给服务器，以进行合并和优化(即，融合多个图像和/或检测/测量/分类结果，以得到信息更丰富的图像)。
[0288] 可在BDA系统中并行使用基于图像处理的两种检测器来检测飞机场中的外物、碎片或损坏。检测器之一可为基于区域的检测器，其包括比较区域的捕捉到的图像的灰度级视图，以识别在该区域中已经改变的、可暗示飞机场中存在外物、碎片或损坏的区域。但是，由于天气状况变化，仅仅基于区域的检测器可能是不可靠的。当光变化使区域的灰度级视图改变时，它们易于产生过多错误检测。另一方面，用来检测图像中的对象的边缘(即，边界或轮廓)的基于边缘的检测器对照明变化不那么敏感，但即使在天气状况改变时也仍然能够检测对象的边缘。
[0289] 使用的主检测器可能是基于边缘的检测器，而辅助检测器可能是基于区域的检测器。在运行期间，捕捉到的图像中的被识别为可能具有外物、碎片或损坏的区域首先由基于区域的检测器确定。然后比较基于区域的检测器的经处理的输出图像与基于边缘的检测器的描画所有检测到的边缘的经处理的输出图像。丢弃基于区域的检测器的经处理的输出图像中的、不显示基于边缘的检测器的输出图像中的强边缘成分(即，良好轮廓)的识别区域，并且认为它们是不可靠的。将把具有强边缘成分的识别区域送给例如图11中的BDA位置提取模块1147进行进一步的处理，以提取具有被检测到的强边缘成分的区域的位置信息，以及图11中的BDA大小测量模块1149以来测量按像素级具有图像中的强边缘成分的区域，以及将度量转换成物理尺寸。然后可对物理尺寸分类，以确定例如图像中的识别区域实际上是哪类损坏(弹坑、坑穴、碎石、UXO)或FOD。
[0290] 图16显示用于使用两种检测器(基于区域的检测器和基于边缘的检测器)的情况的检测算法的流程图。
[0291] 在步骤1602处，从配置成捕捉飞机场的图像的一个或多个摄像机(即EOS)中取出图像。
[0292] 在步骤1604处，执行噪声减少，以减少步骤1602处取得的图像中存在的噪声。
[0293] 在步骤1606处，基于边缘的检测器执行边缘检测，以检测经历步骤1604的图像中的所有对象的边缘的存在。
[0294] 在步骤1608处，提取与步骤1606处检测到的边缘或轮廓有关的信息。在其被提取之前需要认为该边缘成分是强的。可预先确定比较的阈值，以确定什么被认为是强的。
[0295] 同时，基于区域的检测器在经历步骤1604的图像上执行步骤1614，以提取与图像中的可能有外物、碎片或损坏的区域有关的信息。
[0296] 在步骤1610处，比较在步骤1614处提取的区域的信息和在步骤1608处检测的边缘的提取信息。仅保留与提取边缘重叠的区域，作为步骤1610的输出，并且将其存储。
[0297] 在步骤1612处，在步骤1610的输出上执行全对象分割。这包括分析步骤1610的输出的图像，以及对检测区域分类，以确定它们实际上是哪个类型的损坏(弹坑、坑穴、碎石、UXO)或FOD。
[0298] 在空袭期间，EOS节点塔(即，飞机场中的具有一个或多个安装的摄像机的塔)变得扭曲，偏移或受到损坏是可能的。在这种情况下，当BDA系统开始捕捉飞机场的区段/子区段中的飞机场图像，以及比较它们与塔变得扭曲、偏移或受到损坏之前的飞机场的基线(或参考)图像时，可产生许多不合需要的伪像，这是因为扭曲、偏移或受到损坏的塔使受影响的摄像机视野未对准。这将产生错误警告，以及引起检测误差。
[0299] 为了最大程度地减少这样的EOS节点塔偏移引起的错误警告的数量，BDA系统包括用于执行自动校准补偿方法的图像偏移补偿器，自动校准补偿方法用来修正在当前图像和基线图像(即，参考图像)中捕捉到的共同EOS节点塔的位置偏移的影响，使得可产生经修正的图像，以用于对损坏进行精确的检测、测量和分类。
[0300] 用于EOS节点对准修正的技术是利用来自附近地标或来自各个飞机场子区段内的地标(诸如跑道边缘光、标志和EOS塔结构)的高可视标记。捕捉这些标记作为校准过程期间的参考。在检测期间，当EOS开始检测循环时，它首先检查置信得分超过预先设定的阈值水平的各个子区段处的所有标记位置。然后计算合适的偏移。在那之后，它开始检测飞机场损坏，其中对应地对各个子区段图像应用计算偏移。
[0301] 图17示出用于自动校准修正的标记。从飞机场中的具有9个子区段的区域中选出四个子区段1710、1712、1714和1716中的四个标记1702、1704、1706和1708来进行校准修正。
[0302] 图18显示两个图像1802和1804。图像1802(基线图像)显示校准过程期间的子区段3 1712(图17)的基线图像。选择在m2标记1806(在这种情况下，跑道的边缘光)周围的由框
1808标记的区域，作为参考目标区域，以实现匹配目的。图像1804(当前图像)显示由安装成捕捉子区段3 1712(图17)的摄像机捕捉到的当前图像中的m2标记1806的当前位置。框1810指示在当前图像中找到的m2标记1806的位置，并且它明显与基线图像1802中的框1808标出的m2标记1806区域有偏移。
1808标记的区域，作为参考目标区域，以实现匹配目的。图像1804(当前图像)显示由安装成捕捉子区段3 1712(图17)的摄像机捕捉到的当前图像中的m2标记1806的当前位置。框1810指示在当前图像中找到的m2标记1806的位置，并且它明显与基线图像1802中的框1808标出的m2标记1806区域有偏移。
[0303] 参照图18和19，BDA系统将使用目标寻找技术(诸如模式匹配或斑点（blob）检测或两种技术的组合)来寻找m2标记1806在当前图像1804中的确切位置。X坐标和Y坐标的偏移(1904、 1906)(图19)可用来定位基线图像1802和当前图像1804两者中的经修正的区域
1908，以进行外物、碎片或损坏检测和定位。将使由各个图像1802和1804中的框1908标记的区域到达经修正的区域1908。
1908，以进行外物、碎片或损坏检测和定位。将使由各个图像1802和1804中的框1908标记的区域到达经修正的区域1908。
[0304] 要理解的是，可将例如1802的基线图像和例如1804的当前图像之间的匹配的置信得分考虑在内。仅在置信得分高于某个阈值时，才将开始修正。
[0305] 使用多个标记(即，当前图像和基线图像中的共同对象)将提高校准修正的鲁棒性和可靠性，这是因为一个标记位置可能太随机，而且匹配可能不准确，或者可能由于某个时期期间的环境变化或经过的对象而匹配错误模式。匹配多个标记提供更多数据来验证和更好地表示例如1802的基线图像和例如1804的捕捉的当前图像之间的实际偏移。
[0306] 如果假设存在n个标记位置，则匹配置信得分为
[0307] 其中，i=1,n。
[0308] 因而偏移为 。
[0309] 假设最小置信得分为 。则实际偏移可为超过阈值 的有效标记的平均漂移 ，或者可通过使用线性回归来获得实际偏移。
[0310] 图20示出使用线性回归来确定基线(参考)图像和当前图像之间的实际偏移。假设已经识别了多个n个标记位置。标记匹配从第一标记开始到最后标记。标记i指的是从第一个到最后的标记之一。将实现高置信得分的所有标记都添加到具有按像素值来表示的X/Y(即，X坐标和Y坐标)偏移的列表。Tc是预定的最小匹配得分，当计算出的实际匹配得分超过它时，该预定的最小匹配得分明确地确认具有高置信的修正匹配。
[0311] 在最后标记匹配之后，线性拟合列表，因为偏移在图像中本应是线性的。估计拟合误差。如果拟合误差小，则这表示偏移在那些多个标记之中是一致的，并且因而可用来使当前图像和基线图像偏移。如果拟合误差不小，则不可补偿偏移。在此示例中，Tf是以像素测量的最大偏移误差。
[0312] 在步骤2002处，为了确定实际偏移，检查标记i位置，其中，标记i是n数量的标记位置中的标记之一。
[0313] 在步骤2004处，检查标记i位置，以了解它是否是最后标记。
[0314] 如果标记i是最后标记，在步骤2006处，基于包含对应于相应的标记的所有偏移值的偏移列表来执行线性回归。注意，在比较基线图像和当前图像之后，各个标记将能够产生其本身的设置（set）偏移值。
[0315] 在步骤2008处，执行检查，以了解回归误差是否大于Tf值。
[0316] 如果在步骤2008处检查指示回归误差大于Tf值，则执行补偿，以使当前图像偏移，以在步骤2010处获得修正区域。否则，过程结束。
[0317] 如果在步骤2004处标记i不是最后标记，则在步骤2012处，在基线图像和当前图像之间进行对标记i的标记匹配。还确定基于标记i的偏移值。
[0318] 在步骤2014处，执行检查，以了解通过匹配基线图像和当前图像中的标记i而确定的匹配得分是否大于阈值Tc值。
[0319] 如果在步骤2014处超过阈值Tc值，则在步骤2016处，标记i的偏移值将添加到偏移列表中。否则，过程将前进到步骤2002。
[0320] 本文描述的示例实施例的方法和系统可在图8中示意性地显示的计算机系统900上实现。它可实现为软件，诸如在计算机系统900内执行且指导计算机系统900执行示例实施例的方法的计算机程序。
[0323] 示例中的计算机模块902包括处理器918、随机存取存储器(RAM)920和只读存储器(ROM)922。计算机模块902还包括多个输入/输出(I/O)接口，例如通往显示器908的I/O接口924，以及通往键盘904的I/O接口926。
[0324] 典型地通过互连总线928，以及以相关领域的技术人员已知的方式，来传送计算机模块902的组件。
[0325] 应用程序典型地供应给编码在数据存储介质(诸如CD-ROM或闪速存储器载体)上的计算机系统900的用户，并且利用数据存储装置930的对应的数据存储介质驱动器来读取应用程序。应用程序在其执行时由处理器918来读取和控制。可使用RAM 920来对程序数据实现中间存储。
[0326] 要理解的是，本文对飞机场的提及涵盖了飞机场中的所有区域，包括跑道和/或滑行道和/或进场道路和/或内场/草坪和/或停机坪和/或路面。要理解的是，对监视外物、碎片或任何类型的损坏以及监视飞机场跑道或滑行道或飞机场跑道/滑行道中的武器冲击的任何提及也可适用于飞机场的其它区域，诸如进场通道和/或内场/草坪和/或停机坪和/或路面。
[0327] 要理解的是，本文对损坏的提及包括裂缝、弹坑、UXO、碎石、坑穴。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种多区域空气采集一体化无人机及工作方法 | 2020-05-08 | 188 |
| 桨尖射流的自转旋翼机及其实现垂直跳跃起飞的方法 | 2020-05-11 | 837 |
| 一种垂直起降无人运输机及其控制方法 | 2020-05-11 | 718 |
| 用于具有垂直起飞和着陆以及前向飞行能力的航空器的解耦手控 | 2020-05-08 | 984 |
| 基于微型气压传感器的小型无人机增稳控制装置及其方法 | 2020-05-08 | 294 |
| 一种复合型垂直/短距起降飞行器 | 2020-05-12 | 582 |
| 一种激光垂起固定翼无人机起落防护装置 | 2020-05-12 | 366 |
| 一种倾转旋翼动力拖拉大翼鸟升飞机构成方法 | 2020-05-11 | 340 |
| 一种可实现垂直起飞的固定翼无人机 | 2020-05-13 | 571 |
| 一种电动飞艇 | 2020-05-13 | 497 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈