利用视频分析进行空侧活动管理的系统和方法

申请号 CN201510483280.0 申请日 2015-08-10 公开(公告)号 CN105374232A 公开(公告)日 2016-03-02
申请人 空中客车集团印度私人有限公司; 发明人 阿殊托殊·阿加瓦尔;
摘要 一种利用视频分析进行空侧活动管理的系统和方法被公开。在一个 实施例 中,从一个或以上视频摄像机实时取得调查区域的视频数据。此外,对取得的视频数据应用视频分析以决定由着地到 起飞 期间与航空器的一个或以上空侧活动相关的时间标记,以管理一个或以上空侧活动。
权利要求

1.一种利用视频分析进行空侧活动管理的方法,包括:
从至少一个视频摄像机实时取得调查区域的视频数据;及
对取得的视频数据应用视频分析以决定由着地到起飞期间与航空器的一个或以上空侧活动相关的时间标记,以管理一个或以上空侧活动。
2.如权利要求1所述的方法,其中至少一个视频摄像机设于机场的调查区域,而该至少一个视频摄像机取得航空器由着地到起飞期间的视频数据。
3.如权利要求1所述的方法,其中空侧活动包括地勤活动及航空器活动。
4.如权利要求3所述的方法,其中对取得的视频数据应用视频分析以决定与航空器的一个或以上地勤活动相关的时间标记,包括:
对取得的视频数据应用视频分析识别航空器及一个或以上地勤车辆,其中一个或以上地勤车辆的每一个与一地勤活动相关;
追踪航空器及一个或以上地勤车辆的至少一个的活动;及
根据航空器与一个或以上地勤车辆的每一个之间的距离决定与一个或以上地勤活动相关的开始及终止时间标记。
5.如权利要求4所述的方法,其中追踪航空器及一个或以上地勤车辆的至少一个的活动,包括:
围绕识别出的航空器及一个或以上地勤车辆的每一个创建边框;及
利用创建的边框追踪航空器及一个或以上地勤车辆的至少一个的活动。
6.如权利要求5所述的方法,其中根据航空器与一个或以上地勤车辆的每一个之间的距离决定与一个或以上地勤活动相关的开始及终止时间标记,包括:
计算与航空器相关的边框中心以及与一个或以上地勤车辆的每一个相关的边框中心之间的距离;及
根据与航空器及一个或以上地勤车辆的每一个相关的边框中心之间的距离决定与一个或以上地勤活动相关的开始及终止时间标记。
7.如权利要求4所述的方法,其中地勤车辆包括运货车、配餐车、运油车、机场空桥及航空器阶梯。
8.如权利要求4所述的方法,其中地勤活动包括机场空桥活动、航空器阶梯活动、货物活动、重新注油活动及配餐活动。
9.如权利要求3所述的方法,其中对取得的视频数据应用视频分析决定与航空器活动相关的时间标记,包括:
对在着地到起飞期间取得的视频数据应用视频分析以识别航空器及跑道;
围绕识别出的航空器及跑道创建边框;
利用创建的边框追踪识别出的航空器的活动;
计算与航空器相关的边框以及与跑道相关的边框之间的距离;及
根据计算的距离决定与航空器活动相关的时间标记。
10.如权利要求9所述的方法,还包括:
根据取得的视频数据决定与识别出的航空器相关的位置信息;
根据决定的位置信息及时间标记侦测在识别出的跑道中的航空器的碰撞险;及根据侦测的航空器碰撞风险实时发出警报。
11.如权利要求9所述的方法,其中航空器活动包括航空器着地及航空器起飞。
12.一个系统,包括:
至少一个视频摄像机;及
连接至至少一个视频摄像机的计算机系统,其中计算机系统包括视频分析工具以:
从至少一个视频摄像机实时取得调查区域的视频数据;及
对取得的视频数据应用视频分析以决定由着地到起飞期间与航空器的一个或以上空侧活动相关的时间标记,以管理一个或以上空侧活动。
13.如权利要求12的系统,其中至少一个视频摄像机设于机场的调查区域,而该至少一个视频摄像机取得航空器由着地到起飞期间的视频数据。
14.如权利要求12的系统,其中空侧活动包括地勤活动及航空器活动。
15.如权利要求14的系统,其中视频分析工具设置为:
对取得的视频数据应用视频分析识别航空器及一个或以上地勤车辆,其中一个或以上地勤车辆的每一个与一地勤活动相关;
追踪航空器及一个或以上地勤车辆的至少一个的活动;及
根据航空器与一个或以上地勤车辆的每一个之间的距离决定与一个或以上地勤活动相关的开始及终止时间标记。
16.如权利要求15的系统,其中视频分析工具设置为:
围绕识别出的航空器及一个或以上地勤车辆的每一个创建边框;及
利用创建的边框追踪航空器及一个或以上地勤车辆的至少一个的活动。
17.如权利要求16的系统,其中视频分析工具设置为:
计算与航空器相关的边框中心以及与一个或以上地勤车辆的每一个相关的边框中心之间的距离;及
根据与航空器及一个或以上地勤车辆的每一个相关的边框中心之间的距离决定与一个或以上地勤活动相关的开始及终止时间标记。
18.如权利要求15的系统,其中地勤车辆包括运货车、配餐车、运油车、机场空桥及航空器阶梯。
19.如权利要求15的系统,其中地勤活动包括机场空桥活动、航空器阶梯活动、货物活动、重新注油活动及配餐活动。
20.如权利要求14的系统,其中视频分析工具设置为:
对在着地到起飞期间取得的视频数据应用视频分析以识别航空器及跑道;
围绕识别出的航空器及跑道创建边框;
利用创建的边框追踪识别出的航空器的活动;
计算与航空器相关的边框以及与跑道相关的边框之间的距离;及
根据计算的距离决定与航空器活动相关的时间标记。
21.如权利要求20的系统,其中视频分析工具设置为:
根据取得的视频数据决定与识别出的航空器相关的位置信息;
根据决定的位置信息及时间标记侦测在识别出的跑道中的航空器的碰撞风险;及根据侦测的航空器碰撞风险实时发出警报。
22.如权利要求20的系统,其中航空器活动包括航空器着地及航空器起飞。
23.一种非暂时性的计算机可读存储介质,其载有指令,当指令被计算机装置执行,用作利用视频分析进行空侧活动管理,方法包括:
从至少一个视频摄像机实时取得调查区域的视频数据;及
对取得的视频数据应用视频分析以决定由着地到起飞期间与航空器的一个或以上空侧活动相关的时间标记,以管理一个或以上空侧活动。
24.如权利要求23的非暂时性的计算机可读存储介质,其中至少一个视频摄像机设于机场的调查区域,而该至少一个视频摄像机取得航空器由着地到起飞期间的视频数据。
25.如权利要求23的非暂时性的计算机可读存储介质,其中空侧活动包括地勤活动及航空器活动。
26.如权利要求25的非暂时性的计算机可读存储介质,其中对取得的视频数据应用视频分析以决定与航空器的一个或以上地勤活动相关的时间标记,包括:
对取得的视频数据应用视频分析识别航空器及一个或以上地勤车辆,其中一个或以上地勤车辆的每一个与一地勤活动相关;
追踪航空器及一个或以上地勤车辆的至少一个的活动;及
根据航空器与一个或以上地勤车辆的每一个之间的距离决定与一个或以上地勤活动相关的开始及终止时间标记。
27.如权利要求26的非暂时性的计算机可读存储介质,其中追踪航空器及一个或以上地勤车辆的至少一个的活动,包括:
围绕识别出的航空器及一个或以上地勤车辆的每一个创建边框;及
利用创建的边框追踪航空器及一个或以上地勤车辆的至少一个的活动。
28.如权利要求27的非暂时性的计算机可读存储介质,其中根据航空器与一个或以上地勤车辆的每一个之间的距离决定与一个或以上地勤活动相关的开始及终止时间标记,包括:
计算与航空器相关的边框中心以及与一个或以上地勤车辆的每一个相关的边框中心之间的距离;及
根据与航空器及一个或以上地勤车辆的每一个相关的边框中心之间的距离决定与一个或以上地勤活动相关的开始及终止时间标记。
29.如权利要求26的非暂时性的计算机可读存储介质,其中地勤车辆包括运货车、配餐车、运油车、机场空桥及航空器阶梯。
30.如权利要求26的非暂时性的计算机可读存储介质,其中地勤活动包括机场空桥活动、航空器阶梯活动、货物活动、重新注油活动及配餐活动。
31.如权利要求25的非暂时性的计算机可读存储介质,其中对取得的视频数据应用视频分析决定与航空器活动相关的时间标记,包括:
对在着地到起飞期间取得的视频数据应用视频分析以识别航空器及跑道;
围绕识别出的航空器及跑道创建边框;
利用创建的边框追踪识别出的航空器的活动;
计算与航空器相关的边框以及与跑道相关的边框之间的距离;及
根据计算的距离决定与航空器活动相关的时间标记。
32.如权利要求31的非暂时性的计算机可读存储介质,还包括:
根据取得的视频数据决定与识别出的航空器相关的位置信息;
根据决定的位置信息及时间标记侦测在识别出的跑道中的航空器的碰撞风险;及根据侦测的航空器碰撞风险实时发出警报。
33.如权利要求31的非暂时性的计算机可读存储介质,其中航空器活动包括航空器着地及航空器起飞。

说明书全文

利用视频分析进行空侧活动管理的系统和方法

技术领域

[0001] 本发明实施例一般涉及空侧活动,特别涉及利用视频分析进行空侧活动管理。

背景技术

[0002] 一般来说,航空公司操作员及/或地勤人员监视由航空器着地到起飞期间的空侧活动,以进行空侧活动管理。空侧活动的例子包括航空器着地和起飞、航空器滑行和停泊、航空器到达闸口及离开闸口、陆上车辆活动、重新注油及配餐活动等。为管理空侧活动,航空公司操作员及/或地勤人员决定与空侧活动相关的开始和终止时间标记。现有方法可依靠航空公司操作员及/或地勤人员决定的开始和终止时间标记进行空侧活动管理、闸口分配、TOBT计算、地勤车辆管理等。不过,用人手决定空侧活动的开始和终止时间标记不一定准确,以致空侧活动和地勤车辆的管理效率差、闸口分配欠规划、以及不准确的TBOT计算。

发明内容

[0003] 本文公开利用视频分析进行空侧活动管理的系统和方法。根据本发明的一个方面,从一个或以上视频摄像机实时取得调查区域的视频数据。此外,对取得的视频数据应用视频分析以决定由着地到起飞期间与航空器的一个或以上空侧活动相关的时间标记,以管理一个或以上空侧活动。
[0004] 根据本发明的另一个方面,系统包括一个或以上视频摄像机及计算机系统。此外,计算机系统包括视频分析工具以实现上述方法。
[0005] 根据本发明的另一个方面,利用视频分析进行空侧活动管理的非暂时性的计算机可读存储介质,其载有指令,当指令被计算机装置执行,会令计算机装置实现上述方法。
[0006] 本文所公开的系统和方法可以任何可实现各个方面的方式实现,而其它特征将由附图及下文的详细说明揭示。

附图说明

[0007] 现参考附图对不同的实施例作出说明,其中:
[0008] 图1示出根据一个实施例利用视频分析进行空侧活动管理的示例方法的流程图
[0009] 图2示出根据一个实施例利用视频分析进行空侧活动管理的示例系统的方框图
[0010] 图3A至3F示出在本发明的环境中的航空器、航空器阶梯、机场空桥、运油车、配餐车及运货车在不同方向的示例图像。
[0011] 图4A至4C示出根据一个实施例在取得的视频中各空侧活动的边框和时间标记的屏幕截图。
[0012] 图5示出根据一个实施例利用视频分析进行空侧活动管理的计算机装置的方框图。
[0013] 上述附图的目的只为纯粹说明,而非以任何方式限定本发明公开的范围。

具体实施方式

[0014] 本发明公开了利用视频分析进行空侧活动管理的系统和方法。在以下的本发明的实施例的详细说明中,参照构成本说明书一部分的附图,其中显示实施本发明的特定实施例。这些实施例被充份详细说明,让所属领域的技术人员能实现本发明,并应理解为在未背离本发明的范围下其它实施例可以被使用且可以作出改变。因此,以下具体实施例是非限制性的,而本发明的范围只由随附的权利要求所定义。
[0015] 以下描述的实施例提供利用视频分析进行空侧活动管理的系统和方法。以下公开的示例提供管理由着地到起飞期间的航空器空侧活动的视频分析工具。空侧活动的例子包括地勤活动(例如机场空桥活动、航空器阶梯活动、货物活动、重新注油活动及配餐活动)以及航空器活动(例如航空器着地和航空器起飞)。在一个实施例中,视频分析工具从一个以或上安装在机场的调查区域(例如空侧)的视频摄像机实时取得视频数据。此外,视频分析工具通过对取得的视频数据应用视频分析以侦测一项或以上空侧活动,并决定与由着地到起飞期间的航空器的空侧活动相关的时间标记,以管理空侧活动。
[0016] 现参考图1,其是根据一个实施例利用视频分析进行空侧活动管理的示例方法的流程图100。在方框102,从一个或以上视频摄像机实时取得调查区域的视频数据。例如,一个或以上视频摄像机设于机场的调查区域,使视频摄像机可取得航空器由着地到起飞期间的视频数据。
[0017] 在方框104,对取得的视频数据应用视频分析以决定由着地到起飞期间的航空器的一个或以上空侧活动相关的时间标记,以管理一个或以上空侧活动。例如,空侧活动包括地勤活动和航空器活动。地勤活动的例子包括机场空桥活动、航空器阶梯活动、货物活动、重新注油活动及配餐活动等。航空器活动的例子包括航空器着地和航空器起飞等。
[0018] 在一个实施例中,取得与一个或以上地勤活动相关的时间标记。在本实施例中,利用储存在图像数据库的图像对取得的视频数据应用视频分析,以识别航空器及一个或以上地勤车辆。地勤车辆的例子包括运货车、配餐车、运油车、机场空桥、航空器阶梯等。例如,一个或以上地勤车辆各自与一地勤活动相关。
[0019] 此外,在本实施例中,航空器及地勤车辆的一个或以上的活动被追踪。在一个例子中,围绕识别出的航空器及每个地勤车辆创建边框。此外,利用创建的边框追踪航空器及地勤车辆的一个或以上的活动。
[0020] 此外,在本实施例中,根据航空器与各地勤车辆之间的距离决定与一个或以上地勤活动相关的开始和终止时间标记。在一个例子中,决定与航空器相关的边框的中心以及与各地勤车辆相关的边框的中心之间的距离。此外,根据与航空器及各地勤车辆相关的边框的中心之间的距离决定与一个或以上地勤活动相关的开始和终止时间标记。
[0021] 在另一个实施例中,取得与一个或以上航空器活动相关的时间标记。在本实施例中,利用储存在图像数据库的图像对由着地到起飞期间取得的视频数据应用视频分析,以识别航空器及跑道。此外,围绕识别出的航空器和跑道创建边框。此外,利用创建的边框追踪识别出的航空器的活动。此外,计算航空器相关的边框以及跑道相关的边框之间的距离。另外,根据计算出的距离决定与航空器着地及航空器起飞相关的时间标记。
[0022] 此外,在本实施例中,根据取得的视频数据决定识别出的航空器相关的位置信息。此外,根据决定的位置信息和时间标记侦测航空器及识别出的跑道的碰撞险。此外,根据侦测到的航空器的碰撞风险实时发出警报。这将参照图2详细说明。
[0023] 现参考图2,其是根据一个实施例利用视频分析进行空侧活动管理的示例系统200的方框图。如图2所示,系统200包括一个或以上视频摄像机202A-N、计算机系统204、图像数据库222及显示装置206。此外,如图2所示,计算机系统204包括一个或以上处理器208及与处理器208连接的储存器210。此外,储存器210包括视频分析工具212。此外,如图2所示,视频分析工具212包括原始算法侦测模214、跳动控制模块216、错误侦测及间断控制模块218及事件启动模块220。
[0024] 在一个实施例中,视频摄像机202A-N设于机场的调查区域(例如机场的空侧包括停机坪、跑道等)。此外,视频摄像机202A-N可通信地连接至计算机系统204。例如,计算机系统204可以是一专用计算机系统或一通用计算机系统,其用于运行视频分析工具212。在本实施例中,计算机系统204可以设于机场内。此外,显示装置206可通信地连接至计算机系统204。例如,显示装置206亦可以是计算机系统204的一部分。
[0025] 此外,如图2所示,图像数据库222连接至计算机系统204。在一个例子中,图像数据库222包括与航空器、航空器阶梯、机场空桥、运油车、配餐车、运货车等的各个相关的一套图像。航空器、航空器阶梯、机场空桥、运油车、配餐车、运货车的示例图像在图3A至3F分别示出。
[0026] 在操作时,视频摄像机202A-N实时取得航空器由着地到起飞期间的视频数据。在一个实施例中,视频摄像机202A-N取得航空器由着地到起飞期间的各种空侧活动的视频数据。例如,空侧活动包括地勤活动和航空器活动。地勤活动的例子包括机场空桥活动、航空器阶梯活动、货物活动、重新注油活动及配餐活动等。航空器活动的例子包括航空器着地和航空器起飞等。
[0027] 此外,在操作时,原始算法侦测模块214由视频摄像机202A-N取得已取得的视频数据。在一个实施例中,原始算法侦测模块214由设于机场停机坪的视频摄像机(例如,部分视频摄像机202A-N)取得视频数据,而视频摄像机取得航空器的一个或以上地勤活动的视频数据。
[0028] 此外,原始算法侦测模块214利用储存于图像数据库222的图像在取得的视频数据识别物件(例如航空器及一个或以上地勤车辆)。地勤车辆的例子包括运货车、配餐车、运油车、机场空桥、航空器阶梯等。在一个例子中,各地勤车辆与一地勤活动相关。例如,运货车、配餐车、运油车、机场空桥及航空器阶梯分别与货物活动、配餐活动、重新注油活动、机场空桥活动和航空器阶梯活动相关。
[0029] 在一个例子中,原始算法侦测模块214利用机器学习算法在取得的视频数据识别物件。机器学习算法是一种可以训练为用于在视频帧中识别物件的算法。机器学习算法的例子包括最新的支持向量机(SVM)算法、哈尔(Haar)算法、训练级联结构(train-cascade)算法及局部二值模式(LBP)算法。
[0030] 在一个例子中,机器学习算法包括每个物件的物件识别模型/分类器。每个物件识别分类器被编程为在视频帧中识别相关的物件。例如,航空器的物件识别分类器被编程为利用图像数据库222的航空器图像根据航空器的显着特征如航空器机身、航空器引擎、航空器机翼等识别航空器。
[0031] 此外,在本实施例中,原始算法侦测模块214在取得的视频数据的每个视频帧中围绕每个识别出的物件创建边框。例如,每个边框包围其相关的物件。图4A-4C示出示例性的边框,其在一视频帧中包围识别出的物件。此外,原始算法侦测模块214利用创建的边框在取得的视频数据追踪识别出的物件。例如,当物件在取得的视频数据移动,与该物件相关的边框的位置和尺寸亦相应改变。
[0032] 在一个例子中,即使被边框包围的物件没有移动,边框的位置和尺寸在每个视频帧会稍为不同。这种当相关的物件没有移动时的边框位置和尺寸变化称为跳动。在有跳动的情况下,由于边框的位置和尺寸不断改变,被边框包围的物件的活动不能被有效追踪。
[0033] 在一个实施例中,跳动控制模块216减少与边框相关的跳动。跳动控制模块216确保在被边框包围的物件没有移动时,边框的位置和尺寸不变。此外,跳动控制模块216确保在被边框包围的物件移动时,边框的位置和尺寸改变。
[0034] 在一个例子中,跳动控制模块216利用采样保持技术减少与边框相关的跳动。在这种技术中,跳动控制模块216比较当前视频帧中的边框位置和尺寸与之前视频帧中的相应边框位置和尺寸。如果边框位置和尺寸的改变少于一预设阈值(如10%),则被边框包围的物件被视为没有移动,而跳动控制模块216会保留之前视频帧中的边框位置和尺寸。如果当前视频帧中的边框被包围在之前视频帧中的相应边框当中,而其尺寸的改变不多于一预设阈值(如20%),则被边框包围的物件被视为没有移动,而跳动控制模块216会保留之前视频帧中的边框位置和尺寸。如果之前视频帧中的边框被包围在当前视频帧中的相应边框当中,而其尺寸的改变不多于一预设阈值(如20%),则被边框包围的物件被视为没有移动,而跳动控制模块216会保留当前视频帧中的边框位置和尺寸。如果边框位置和尺寸的改变大于一预设阈值(如20%),则被边框包围的物件被视为已经移动,故跳动控制模块
216会保留当前视频帧中的边框位置和尺寸。
[0035] 在减少与边框相关的跳动后,错误侦测及间断控制模块218为取得的视频数据的每个识别出的物件分配一信心值。与物件相关的信心值表示在取得的视频数据中被识别出物件的视频帧的数目。在一个例子中,当物件在位置A被首次识别,与物件相关的信心值会设定为0。此外,与物件相关的信心值在物件在位置A被识别的每个后续视频帧会分别增加1。此外,当物件由位置A移动至位置B(以使与物件相关的边框在位置A和位置B互相重叠),与物件相关的信心值会减少一半。在一个例子中,错误侦测及间断控制模块218利用与物件相关的信心值去除在取得的视频中的物件错误侦测、以及去除在取得的视频数据中任何识别物件的间断。
[0036] 在一个例子中,原始算法侦测模块214在取得的视频数据中的10个连续视频帧中识别一个物件(例如是配餐车)。在10个视频帧之后,配餐车没有在当前视频帧中被识别,在之前视频帧中与配餐车相关的信心值被保留。如果与配餐车相关的信心值低于预设信心值阈值,错误侦测及间断控制模块218会认为配餐车被错误识别。如果与配餐车相关的信心值高于预设信心值阈值,错误侦测及间断控制模块218会认为配餐车在当前视频帧中被识别。
[0037] 在另一个例子中,原始算法侦测模块214在取得的视频数据中的30个连续视频帧中识别一个物件(例如是航空器)。在30个视频帧之后,航空器没有在当前视频帧中被识别(例如,因大部分航空器被地勤车辆阻挡而不能识别出航空器),在之前视频帧中与航空器相关的信心值被保留。如果在之前视频帧中的与航空器相关的信心值高于预设信心值阈值,错误侦测及间断控制模块218会认为航空器在当前视频帧中被识别。换言之,即使原始算法侦测模块214没有识别出航空器,错误侦测及间断控制模块218会认为航空器在视频帧中被识别,直至航空器被再次侦测,并与航空器相关的信心值开始增加。
[0038] 在取得的视频数据识别物件后,事件启动模块220根据识别出的物件决定与航空器的一个或以上地勤活动相关的时间标记。例如,时间标记包括与每个地勤活动相关的开始及终止时间标记、以及与每个地勤车辆相关的连接及分离时间标记。在一个实施例中,事件启动模块220根据与航空器及每个地勤车辆相关的边框中心之间的距离决定与地勤活动相关的时间标记。在一个例子中,当与航空器及其中一个地勤车辆相关的边框中心之间的距离少于预设最低距离阈值,地勤车辆被称为连接至航空器。地勤车辆与航空器连接的时间表示与地勤车辆相关的地勤活动的开始时间。
[0039] 在一个实施例中,在地勤车辆连接至航空器之后,如果地勤车辆被识别为在预设时间阈值(如5分钟)移近航空器,则与地勤车辆相关的地勤活动的开始时间修改为地勤车辆移近航空器的时间。
[0040] 此外,当航空器中心及地勤车辆之间的距离开始增加,地勤车辆被认为是与航空器分离。地勤车辆与航空器分离的时间表示与地勤车辆相关的地勤活动的终止时间。类似地,为航空器的每个地勤活动决定开始和终止时间标记。
[0041] 在另一实施例中,视频分析工具212决定与航空器活动如航空器着地和航空器起飞相关的时间标记。在一个例子中,原始算法侦测模块214从视频摄像机(例如,部分视频摄像机202A-N)实时取得视频数据,而视频摄像机设置为可取得航空器活动的视频数据。此外,原始算法侦测模块214利用图像数据库222中储存的图像通过机器学习算法识别航空器接近/离开跑道。在本实施例中,机器学习算法包括航空器及跑道的物件识别分类器。
例如,跑道的物件识别分类器被编程为利用跑道的图像根据跑道的显着特征如跑道上的标记识别跑道。
[0042] 此外,原始算法侦测模块214围绕识别出的航空器和跑道创建边框。图4A示出围绕航空器和跑道创建的示例边框。此外,利用创建的边框追踪识别出的航空器的活动。此外,跳动控制模块216利用采样保持技术减少与航空器及跑道的边框相关的跳动。此外,错误侦测及间断控制模块218为航空器及跑道分配信心值。
[0043] 此外,事件启动模块220计算与航空器相关的边框以及与跑道相关的边框之间的距离。此外,事件启动模块220根据计算的距离决定与航空器活动相关的时间标记。
[0044] 在一个例子中,当航空器接近跑道,事件启动模块220在与航空器及跑道相关的边框之间的距离低于预设阈值时,决定与航空器着地相关的时间标记。换言之,事件启动模块220在与航空器相关的边框中心及与跑道相关的边框长度的中线之间的距离在预设阈值内时,决定与航空器着地相关的时间标记。此外,事件启动模块220在与航空器及跑道相关的边框之间的距离开始增加时决定与航空器起飞相关的时间标记。
[0045] 在本实例子中,视频分析工具212决定跑道入侵的出现。例如,可以在侦测到另一航空器、车辆(如地勤车辆)或人在指定供航空器着地或起飞的跑道上出现时,决定跑道入侵的出现。在一个例子中,利用取得的视频数据决定接近或离开跑道的航空器的位置信息。此外,监测取得的视频数据以识别任何其它接近跑道的航空器、车辆及/或人。此外,决定与被识别出的接近跑道的航空器、车辆及/或人相关的位置信息。此外,根据决定的位置信息决定航空器与接近跑道的航空器、车辆及/或人之间的距离。例如,可通过在视频帧的特定像素上标上全球定位系统(GPS)坐标以决定距离。此外,根据决定的距离侦测航空器的碰撞风险。此外,事件启动模块220根据侦测到的航空器的碰撞风险实时发出警报。
[0046] 类似地,与其它航空器活动如航空器到达闸口及航空器离开闸口相关的时间标记可以利用视频分析工具212决定。在一个例子中,原始算法侦测模块214由视频摄像机(例如,部分视频摄像机202A-N)实时取得视频数据,而视频摄像机设置为取得机场停机坪的视频数据。此外,原始算法侦测模块214利用储存于图像数据库222的图像识别进入停机坪的航空器。此外,利用与航空器相关的边框追踪航空器的活动。在一个例子中,事件启动模块220在航空器在停机坪停止移动(航空器停泊)时决定航空器到达闸口的时间。此外,事件启动模块220在航空器完成航空器的地勤活动后在停机坪开始移动时决定航空器离开闸口的时间。
[0047] 在一个实施例中,事件启动模块220利用与航空器着地、航空器到达闸口、航空器离开闸口及航空器起飞相关的时间标记决定航空器的滑入和滑出时间。航空器的滑入时间是与航空器到达闸口及航空器着地相关的时间标记之间的差。航空器的滑出时间是与航空器离开闸口及航空器起飞相关的时间标记之间的差。
[0048] 在一个例子中,显示装置206显示各空侧活动的决定的时间标记。在一个实施例中,航空公司操作员及/或地勤人员利用这些时间标记去有效管理(例如排程)空侧活动。空侧活动管理包括监测每个地勤活动车辆的使用状况、监测航空器停泊的闸口的使用状况、利用决定的时间标记计算目标撤轮挡时间(TOBT)、分配闸口等。
[0049] 现参考图3A至3F,其示出在本发明的环境中的航空器、航空器阶梯、机场空桥、运油车、配餐车及运货车在不同方向的示例图像。航空器、航空器阶梯、机场空桥、运油车、配餐车及运货车的图像储存在图像数据库222,如图2所示。这些图像用于为机器学习算法的相关物件识别分类器编程。这根据图2详细说明。
[0050] 现参考图3A,其示出不同方向的航空器的示例图像。图像包括航空器的显着特征如航空器机身、航空器引擎、航空器机翼等。此外,物件识别分类器被编程为利用航空器的图像根据航空器的显着特征在取得的视频帧中职别航空器。
[0051] 现参考图3B,其示出不同方向的航空器阶梯的示例图像。图像包括航空器阶梯的显着特征如三形阶梯座体、梯级等。此外,物件识别分类器被编程为利用航空器阶梯的图像根据航空器阶梯的显着特征在取得的视频帧中职别航空器阶梯。
[0052] 现参考图3C,其示出不同方向的机场空桥的示例图像。图像包括机场空桥的显着特征如机场空桥的站端等。此外,物件识别分类器被编程为利用机场空桥的图像根据机场空桥的显着特征在取得的视频帧中职别机场空桥。
[0053] 现参考图3D,其示出不同方向的运油车的示例图像。图像包括运油车的显着特征如运油车前端、与运油车前端连接的储油箱部分等。此外,物件识别分类器被编程为利用运油车的图像根据运油车的显着特征在取得的视频帧中职别运油车。
[0054] 现参考图3E,其示出不同方向的配餐车的示例图像。图像包括配餐车的显着特征如配餐车的容器等。此外,物件识别分类器被编程为利用配餐车的图像根据配餐车的显着特征在取得的视频帧中职别配餐车。
[0055] 现参考图3F,其示出不同方向的运货车的示例图像。图像包括运货车的显着特征如货车头及第一拖车等。此外,物件识别分类器被编程为利用运货车的图像根据运货车的显着特征在取得的视频帧中职别运货车。
[0056] 在一个例子中,亦可利用各物件的负图像和正图像为物件识别分类器编程。负图像用于减少在视频帧中错误侦测具有类似特征的物件。例如,由于航空器阶梯的三角形特征,角形的地面标记可能被侦测为航空器阶梯。因此,地面标记的图像可以储存为航空器阶梯的负图像以避免其被侦测。
[0057] 现参考图4A至4C,其示出根据一个实施例在取得的视频帧中各空侧活动的边框和时间标记的屏幕截图400A-C。特别地,屏幕截图示出视频数据402、图表404及活动时间记录406。如图4A至4C所示,视频数据402包括包围在取得的视频帧中识别出的每个物件(例如航空器、地勤车辆及跑道)的边框。
[0058] 此外,如图4A至4C所示,图表404包括与每个空侧活动相关的时间标记的图像化表示。在图表中,x轴表示时间。在图4A至4C所示的例子中,地勤车辆的连接(或是与地勤车辆相关的地勤活动的开始)由状态由低至高的改变表示,而地勤车辆的分离(或是与地勤车辆相关的地勤活动的终止)由状态由高至低的改变表示。例如,图表可以颜色表示,而包围物件的边框的颜色及在图表表示与物件相关的空侧活动的颜色相同。此外,如图4A至4C所示,活动时间记录406包括文字格式的在取得的视频帧中与空侧活动相关的时间标记(开始及终止或连接及分离时间标记)。
[0059] 现参考图4A,屏幕截图400A示出接近跑道412的航空器408的取得的视频帧。如图4A所示,边框410包围航空器408,边框414包围跑道412。此外,如图4A所示,416是表示航空器着地时间的图表。此外,如图4A所示,活动时间记录406包括在航空器在跑道着地之后的与航空器着地相关的时间标记。在图4A所示的例子中,航空器408即将在跑道412着地,因此与航空器着地相关的时间标记仍未决定。
[0060] 现参考图4B,屏幕截图400B示出的取得的视频帧包括航空器408、机场空桥418、运货车422及运油车426。例如,视频帧由设于机场停机坪的视频摄像机取得。如图4B所示,边框410包围航空器408、边框420包围机场空桥418、边框424包围运货车422、边框428包围运油车426。此外,如图4B所示,活动时间记录406包括与机场空桥418、运货车
422及运油车426各自相关的地勤活动相关的时间标记。在图4B所示的例子中,示出了与航空器到达、机场空桥连接、运货车连接及分离、以及运油车连接及分离相关的时间标记。此外,如图4B所示,430是表示与航空器到达闸口相关的时间标记的图表、432是表示与机场空桥连接相关的时间标记的图表、434是表示与运货车连接及分离相关的时间标记的图表、
436是表示与运油车连接及分离相关的时间标记的图表。
[0061] 现参考图4C,屏幕截图400C示出的取得的视频帧包括航空器408、机场空桥418及运货车422。例如,视频帧由设于机场停机坪的视频摄像机取得。在图4C所示的例子中,航空器408已离开闸口。如图4C所示,边框420包围机场空桥418、边框424包围运货车422。此外,如图4C所示,活动时间记录406包括与航空器到达闸口、机场空桥连接及分离、运货车连接及分离、运油车连接及分离、以及航空器离开闸口相关的时间标记。此外,如图
4C所示,430是表示与航空器到达闸口以及航空器离开闸口相关的时间标记的图表、432是表示与机场空桥连接及分离相关的时间标记的图表、434是表示与运货车连接及分离相关的时间标记的图表、436是表示与运油车连接及分离相关的时间标记的图表。
[0062] 现参考图5,其示出利用视频分析进行空侧活动管理的示例计算机装置500的方框图。计算机装置500包括通过系统总线可通信地连接的处理器502及计算机可读存储介质504。在一个例子中,计算机装置500可以与图2所示的计算机系统204相似。处理器502可以是任何种类的中央处理单元(CPU)、微处理器、或理解及执行储存在计算机可读存储介质504的计算机可读指示的处理逻辑。计算机可读存储介质504可以是随机存取存储器(RAM)或其它任何种类的动态储存装置,其可以储存可被处理器502执行的信息及计算机可读指示。例如,计算机可读存储介质504可以是同步动态随机存取记忆体(SDRAM)、双倍数据率(DDR)、存储器总线式动态随机存取存储器(RDRAM)、存储器总线式随机存取存储器等,或是储存介质如软盘硬盘、CD-ROM、DVD、笔盘等。在一个例子中,计算机可读存储介质504可以是非暂时性的计算机可读存储介质。计算机可读存储介质504可储存指示506及508。在一个例子中,处理器502可执行指示506以从最少一个视频摄像机实时取得调查区域的视频数据。处理器502可执行指示508以通过在取得的视频数据应用视频分析决定由着地到起飞期间与航空器的一个或以上空侧活动相关的时间标记。空侧活动包括地勤活动和航空器活动。地勤活动的例子包括机场空桥活动、航空器阶梯活动、货物活动、重新注油活动及配餐活动。航空器活动的例子包括航空器着地和航空器起飞。
[0063] 在各实施例中,图1至图5描述的系统和方法建议一种利用视频分析管理空侧活动的技术。建议的技术通过在取得的视频数据应用视频分析决定与空侧活动相关的时间标记。所决定的时间标记是可靠的,因此减低了航空公司操作员及地勤人员依靠主观数据管理空侧活动。此外,决定的时间标记可用作计算准确的TOBT及管理闸口分配。此外,建议的技术侦测跑道上航空器的碰撞风险及根据侦测的碰撞风险提供警报。
[0064] 虽然本文描述了某些方法、系统、设备及产品,但本专利的保障范围并不限于此。反之,本专利覆盖所有不论是照字面地还是根据等同原则在后附权利要求的范围内的方法、设备及产品。
QQ群二维码
意见反馈