首页 / 专利库 / 光学 / 双光子激发 / 用于检测加油管末端和容器口、飞行时用飞桁进行渐进式自动化空中加油的系统以及加油方法

用于检测加油管末端和容器口、飞行时用飞桁进行渐进式自动化空中加油的系统以及加油方法

阅读:955发布:2020-12-20

专利汇可以提供用于检测加油管末端和容器口、飞行时用飞桁进行渐进式自动化空中加油的系统以及加油方法专利检索,专利查询,专利分析的服务。并且一种用于检测利用飞桁的飞行中途空中加油时以半自动或自动 接触 的加油 飞行器 的飞桁的加油管末端和接收器的容器口的系统,所述系统没有在接收 燃料 的飞行器上安装的 信号 发送装置,其中该系统和相关的方法是可靠的并且确保始终从 加油机 的加油管的末端并且从接收燃料的飞行器的容器口为该加油机飞桁控制系统提供实时、可靠并且同步的信息。为此目的,该系统包括:1)安装在所述加油机的加油管末端上的光发射器,2)处理子系统和3)两个3D摄像机-包括TOF摄像机或DOE型摄像机(或两者)以及至少一个 激光器 L以便为它们提供它们的具体功能。,下面是用于检测加油管末端和容器口、飞行时用飞桁进行渐进式自动化空中加油的系统以及加油方法专利的具体信息内容。

1.一种用于检测具有飞桁的飞行中途空中加油系统的加油管末端和容器口的系统,其特征在于,所述检测系统包括下述三个元件:
BD元件(13),所述BD元件(13)包括附接到飞桁(6)的加油管(3)末端的夹持壳体,在所述夹持壳体的表面上分布有一组发光元件,这些发光元件是LED(16)、激光发射器或类似元件以及用于这些发光元件的连接和控制的相关电子装置;
C元件,所述C元件由附接到加油飞行器(1)的外表面-优选地在机身末端(11)-上的盒或壳体(14)形成,并且具有管理前述光发射器组的电子装置(22)、和负责检测接收燃料的飞行器的容器的光发射器的一对3D视觉摄像机(17),以便获得每个发光点(16)的中心和其他兴趣点相对于公共坐标中心的坐标(X,Y,Z),两个摄相机都配备有以光发射器的波长调谐的窄带通滤波器(20);以及
信息和计算处理元件P(21)。
2.根据权利要求1所述的用于检测具有飞桁的飞行中途空中加油系统的加油管末端和容器口的系统,其特征在于,其3D摄像机中的每个都配备有某些或所有下述辅助元件:
透镜(18),
电子装置,所述电子装置用于消除像差和坏点、BD元件和容器的LED的坐标(x,y)的计算和图像改善。
3.根据权利要求1或2所述的用于检测具有飞桁的飞行中途空中加油系统的加油管末端和容器口的系统,其特征在于,所述信息和计算处理元件P(21)包括:
传统处理器,其被理解为最传统的处理器,基于具有一组顺序执行的指令的微程序逻辑,或者
包括例如FPGA或GPU的高速硬件,或者
基于人工神经网络的硬件,所述基于人工神经网络的硬件具有并行处理能
另外,所述子系统P包括与构成本发明的其他子系统通信或者所有的前述各项的组合通信的元件。
4.根据权利要求1、2或3所述的用于检测具有飞桁的飞行中途空中加油系统的加油管末端和容器口的系统,其特征在于,所述P处理元件具有存储器,在所述存储器中容纳用来执行加油任务的不同接收燃料的飞行器3D模型以及加油管(3)的几何3D信息的数据库,所述几何3D信息与从所述摄像机获得的信息相比较。
5.根据权利要求1至4中任一项所述的用于检测具有飞桁的飞行中途空中加油系统的加油管末端和容器口的系统,其特征在于,所述处理单元具有将由两个3D摄像机的同步获得的图像进行比较并且确认每个图像中的点组的功能。
6.根据权利要求1至4中任一项所述的用于检测具有飞桁的飞行中途空中加油系统的加油管末端和容器口的系统,其特征在于,所述飞桁加油接触操作通过下面详述的额外部件来执行:
DOE型摄像机,其检测在由工作场景的不同物体反射时到达图像传感器光子,其中所述DOE摄像机包括其电子装置、图像传感器、聚焦透镜和窄带通滤波器B2,其中所述窄带通滤波器B2以由激光器L2发射的相干光的波长来调谐;
激光器L2,所述激光器L2配备有DOE衍射透镜,在所述DOE衍射透镜上刻有一定的图案,在光线通过所述DOE透镜时所述图案投射到周围环境中;其中所述DOE型摄像机是所述3D摄像机中的一个或者与所述3D摄像机中的一个相一致。
7.根据权利要求6所述的用于检测具有飞桁的飞行中途空中加油系统的加油管末端和容器口的系统,其特征在于,所述DOE型摄像独立于所述3D摄像机,因此所述系统有共计三个摄像机。
8.根据权利要求1至4中任一项所述的用于检测加油管末端和容器口的系统,其中,所述系统具有如下所述的额外部件:
TOF或飞行时间型摄像机,所述TOF或飞行时间型摄像机包括电子装置、透镜和窄带通滤波器B1,所述窄带通滤波器B1用于消除除用于激发场景的光之外的光线;
激光器L1,所述激光器L1通过摄像机与光源同步,所述激光器具有例如准直器的辅助元件以及用于扩展所生成的光的透镜,其中所述TOF型摄像机是所述3D摄像机中的一个或者与所述3D摄像机中的一个相一致。
9.根据权利要求8所述的用于检测具有飞桁的飞行中途空中加油系统的加油管末端和容器口的系统,其特征在于,所述TOF型摄像机独立于所述3D摄像机,由此该系统包括总计三个摄像机。
10.根据权利要求6到8所述的用于检测具有飞桁的飞行中途空中加油系统的加油管末端和容器口的系统,其特征在于,所述系统包括所述DOE型摄像机和所述TOF型摄像以及它们相应的激光器。
11.根据权利要求10所述的用于检测具有飞桁的飞行中途空中加油系统的加油管末端和容器口的系统,其特征在于,所述DOE型摄像机和所述TOF型摄像机都独立于所述3D摄像机,因此所述系统具有总共四个摄像机。
12.根据权利要求10或11中任一项所述的用于检测加油管末端和容器口的系统,其特征在于,所述DOE型摄像机具有波长λ2的第一激光器L2-我们已经向所述第一激光器L2添加了生成结构光图案的衍射透镜,并且由于所述TOF型摄像机具有波长λ1的第二激光器L1,其中所述波长λ1的第二激光器L1与所述TOF型摄像机的窄带通滤波器B1的中心波长相同,因此所述系统具有两个激光器。
13.根据前述权利要求所述的用于检测具有飞桁的飞行中途空中加油系统的加油管末端和容器口的系统,其特征在于,所述系统的任意摄像机都具有可变的电子控制件(19)。
14.一种用于根据前述权利要求所述的系统来为飞行中途空中加油系统建立自动接触的方法,其特征在于,所述方法包括以下步骤:
通过3D摄像机来确定从牢固地连接到所述飞桁喷嘴末端的LED发射器的每个光点的位置
基于下面几组元件中的至少一组来获得对应于所述飞桁和所述飞桁末端以及所述接收燃料的飞行器的至少一个点
a)由DOE型摄像机加上激光器和其他辅助元件形成的一组元件,其中所述激光器通过光线穿过的结构性衍射透镜来生成光图案,该图案的组成成分可以通过以所述激光器的波长调谐的窄带通滤波器的帮助来确认,进行所述调谐将消除具有其他不同波长的光线,同样地,以某种节奏连接/断开也将帮助我们区分激光与其他不同源的光线,并使用互相关技术和数字滤波来获取在我们场景中元件反射的像素,结果是一组2D点,使用这组2D点通过简单的三测量技术和三角学并且考虑从所述激光器到所述DOE型摄像机的距离,我们可以获得从所述摄像机到这组点的距离,在计算这些距离时,每帧的结果因此是对应于属于我们场景的点的一组3D坐标{(xi,yi,zi)},这些点反射了来自激光器的光子;
b)由TOF型摄像机、激光器和其他辅助元件形成的一组元件,所述激光器提供一组具有某个波长的光脉冲,触发该激光器连接的电路与管理TOF型摄像机拍摄和采集帧的电路相同,考虑光的速度和接收在所述TOF型摄像机的传感器中生成的脉冲所花费的时间,我们可以获得与反射所发出的光的场景的点的距离,为了便于执行这项工作,将以激光波长为中心的窄带通滤波器放置在所述TOF型摄像机之前,在每个帧时间内,所述TOF型摄像机提供了点云N={(xi,yi,zi)},该点云对应于我们场景中反射由激光器生成的光线的点的距离;
c)两个所述3D摄像机形成的一组元件,其通过使用两个图像中的重要点能够确认两个摄像机的点云,并且从每个点的(每个照相机的)两个位置开始且使用三角测量技术和三角学来获得关于参考系RC(例如,以其中一个摄像机的传感器为中心)的距离;
-通过电子处理系统P利用获得的点云来执行以下两个功能中的一个:
a)将该组点作为输入引入到先前训练过的人工神经网络来获得输出,所述输出对应于容器口中心的三个坐标、与封闭所述喷嘴的表面正交的向量的三个坐标、所述加油管喷嘴的三个坐标以及与所述喷嘴的闭合面正交的向量的三个坐标;
b)将该组点与被存储在相应数据库中的飞桁和接收燃料的飞行器的表面的3D图像进行比较,直到实现它们的匹配,即直到我们发现获得的云的接收器的真实点与存储的飞行器和飞桁的3D模型的点一致;在该点,并且基于3D接收燃料的飞行器模型,除了垂直于所述喷嘴的闭合面的向量之外,我们还可以获得容器口和加油管喷嘴的确切位置,并且将它们相对于同一坐标中心RC再次布置在我们的场景中;
-用所有上述方法获得的所有结果来执行数据合并,以便获得两个兴趣点的最佳位置以及封闭两个管道的表面的垂直向量,随着时间的推移每一帧都是如此;
-计算找到的兴趣点的相对速度和加速度。
15.一种用于根据权利要求14所述的系统来在用飞桁进行飞行中途空中加油时建立自动接触的方法,其特征在于,将由S3D、SDOE和STOF子系统获得的点云以在所述权利要求中指示的两个过程来用于混合计算-即本发明将联合使用神经网络并且将所述点云与3D模型进行比较以便获得有益的位置和向量。
16.一种用于根据权利要求14到15中任一项所述的方法通过检测加油管末端来在进行飞行中途空中加油时建立自动接触的方法,其特征在于,所述光发射器是LED或者激光型光发射器并且呈准球体,其中
-由这些准球体发射的光在所有发射方向上是均匀的,并且允许所述3D摄像机“看见它们”并且从而确定这些球体中的每个相对于所述RC的位置;
-所述光发射器将以某些图案交替地闪烁,且与所述3D摄像机同步并且相对于其他光发射器被暂时滤波;
-为了便于一个摄像机或另一个摄像机或者两者能够看见,光发射器是双色调谐的-交替地用一种“颜色”或用另一种“颜色”并且发射两种“颜色”。

说明书全文

用于检测加油管末端和容器口、飞行时用飞桁进行渐进式自

动化空中加油的系统以及加油方法

技术领域

[0001] 使用空中飞桁(或仅称为飞桁)进行的加油操作需要将加油管的位于其内部并且分送燃料的末端(称为分送喷嘴)插入到安装在接收燃料的飞行器的上表面上的容器中,其中燃料接收器的口定位在所述容器处。一旦建立了接触-其包括将加油飞行器的所述飞桁加油管末端喷嘴插入到接收燃料的飞行器的容器的口中,那么就将供给燃料(在通过附接到所述喷嘴的接触器钩与接收器的容器连接之后)。
[0002] 飞桁加油的主要优点是:一方面,实现了更高的传送速率(并且因此加油时间更短),并且另一方面,与飞行员直接负责操作的软管-浮锚式加油的情况相比较,接收燃料的飞行器的飞行员的工作量更小。在后一种软管-浮锚方法中,接收燃料的飞行器的飞行员几乎全权负责建立接触。
[0003] 对于接收燃料的飞行器的飞行员来说使用飞桁的操作压较小,因为用飞桁进行操作仅包括使接收燃料的飞行器相对于加油飞行器处于适当位置。用飞桁执行上述操作需要知道在任何给定时间加油管末端的(即喷嘴的)位置和容器口的位置。所述信息目前是由负责手动执行接触操作的操作员(“飞桁手”)以视觉方式获取的。
[0004] 为了使操作自动化,必须将该信息提供给控制飞桁的加油机系统,以便该系统修改控制飞桁运动的相关“控制规则”。还可以提供该信息以便用于加油机控制并且甚至用于接收器控制。以此方式,该信息的这三种用途可以有助于方便和安全地进行自动操作。
[0005] 如前所述,该操作当前是手动执行的。
[0006] 本申请的目的就在于,用于在第一加油飞行器的喷嘴或飞桁燃料供应装置与位于第二飞行器或接收燃料的飞行器的表面上的容器之间自动或半自动地建立接触的一种方法和系统,其中所述第二飞行器或接收燃料的飞行器将从所述第一飞行器收燃料。
[0007] 该系统涉及的元件的另一个目的是,为第一飞行器(即加油机)提供接收器飞行器-更具体地说其容器相对于可靠地连接到所述加油机的坐标中心的位置,以使得一旦所述第二飞行器或接收燃料的飞行器接近和处于建立接触的适当位置时,所述第二飞行器或接收燃料的飞行器就可以接纳加油飞行器的加油管喷嘴并且按规定的数量和时间开始传送燃料。
[0008] 同样地,本发明的另一个方面是提供通过下述要素来管理加油飞行器的飞桁的系统:位于所述加油飞行器的加油管末端处的喷嘴相对于前一段中所述的相同参考中心的位置,以及非常重要的是加油飞行器的加油管喷嘴的出口与接收燃料的飞行器的容器的入口之间的相对位置。
[0009] 如前所述,通过这些数据,接收燃料的飞行器可以移动到适当的接触位置,并且一旦稳定地定位于在该处,等待接收燃料,加油飞行器就可以知道其飞桁末端必须移动到什么位置以便像之前开始燃料传送的事件那样将喷嘴插入到接收燃料的飞行器的容器中。
[0010] 简而言之,基于所述信息,如前所述,根据所述信息且取决于管理加油飞行器的飞桁以及甚至加油机和接收燃料的飞行器的运动控制规则的设计而可以半自动或自动地进行所述操作。获得和提供这些信息是本专利的目标。

背景技术

[0011] 正如第一段所述,在飞行途中进行空中加油目前以两种不同的方式进行:软管-浮锚方式或飞桁方式。在使用飞桁时,其加油管的末端或喷嘴(燃料出口喷嘴)必须插入到被布置在将要接收燃料的飞行器的表面上的容器之中。这整个操作目前都是手动进行的并且依赖于加油机操作员或飞桁手的专业知识。
[0012] 为了获得两点(加油管末端和容器口)的准确信息,通常使用能够“看见”那些信号的信号发送装置和传感器来确定两者的位置。
[0013] 下述专利与本发明的目的相关并且在现有技术中是已知的。
[0014] US6752357描述了一种用于测量与加油飞行器的距离的系统,所述系统包括至少一个伸缩式加油飞桁、至少一个容器和计算机。加油管配置有喷嘴。加油管喷嘴的几何形状适合于连接到飞行器的加油容器。每个摄像机都形成加油管喷嘴和加油容器两者的多个图像。计算机接收每个图像、将这些图像转换成多个像素并且分析这些图像以便确定飞桁喷嘴与加油容器之间的距离。加油飞桁的末端构成了匹配端与加油飞行器之间的固定参考点。飞行器摄像机的固定点也构成摄像机的参考点。
[0015] 专利US5530650公开了一种视觉引导系统和方法,所述系统包括定位飞行器的结构和其配合结构并且还确定它们的运动和它们的运动变化率的子系统。该定位子系统具有电输出,所述电输出将位置和运动数据馈送到引导系统计算机,所述引导系统计算机使用将所述数据与包含飞行器及匹配结构的尺寸大小和构造的数据库中的其他数据结合的软件。结合的数据被转化成适当的格式并且被馈送到计算机监视器,该计算机监视器在加油操作期间实时地显示飞行器及其匹配结构。所述计算机监视器具有图像控件,所述图像控件允许操作员选择观察视以及图像对比度颜色,以便改善由图像提供的视觉信号从而便于加油操作。
[0016] US2007023575:该专利公开了一种用于在飞行途中进行空中的加油机的观察系统,该观察系统不需要用多个摄像机来提供立体图像以使得飞桁操作员可以在接收燃料的交通工具中进行加油操作。
[0017] US20110147528:该专利公开了一种用于观察给定场景的三维系统,从而能够更详细地观察场景的不同部分。该专利还试图为加油飞行器提供观察方法和系统以便监测接收燃料的飞行器的加油操作,从而能够更加详细地查看加油区的选定区域。该系统包括用于提供所述场景的视频信号以便进行立体监视的至少两个高分辨率摄像机、以及用于显示所述场景的三维图像的至少一个三维监视系统,并且该系统还包括用于观察所述场景的选定区域的放大的三维图像的装置。
[0018] US7469863:该专利公开了一种自动加油系统和相关方法,所述自动加油系统具有操作员使用的输入装置-该装置配置为接收输入,而第一输入信号对应于用于在飞行途中进行空中加油的装置的位置。该专利还具有定位成检测至少一个加油装置的位置的传感器。
[0019] 总体上来说,将所述传感器定位在飞行加油器的加油管上并不是很不方便的;然而,对于接收燃料的飞行器的容器来说并非如此,在某些情况下,所述容器甚至与所述加油飞行器可能不属于同一空军队伍或者同一国家。这个问题在作为本发明目标的系统中得以解决,该系统不需要在接收燃料的飞行器上安装传感器。
[0020] 同样重要的是,所述系统能够获得加油管末端及容器口两者的位置,并且所述系统是非常可靠的系统,在任何时间都能够可靠地提供所述信息,无论时间、位置或光线或者其他环境条件怎样。然而,这是通过作为本发明目的的系统得以实现,该系统利用基于不同技术的多个传感器(或者用于获取信息的传感器和发射器装置),能够通过将它们进行组合来始终获得可信并且可靠的结果。
[0021] 也就是说,本发明的目的是开发一种用于将飞桁放置成与接收燃料的飞行器接触以在飞行时进行空中加油的自动化系统,所述自动化系统不需要在所述接收燃料的飞行器上安装信号装置,其中所述系统和相关方法始终可靠且有冗余度,并且确保能够提供所述信息,从而开发了一种例如下面所述的系统和方法。
[0022] 本发明相对于其他发明的基本差异是:
[0023] 在加油管上具有有源装置以确定其相对于加油飞行器的准确、精确和可靠位置。
[0024] 除了位于相对于加油飞行器的特定位置中并且在非常短的距离处,该装置生成光信号并且因此除了使用以相同波长运行的视觉摄像机之外是不可能被检测的。
[0025] 存在用于获得关于接收器的容器位置的相同信息的不同的源,并且甚至存在用于获得关于加油管的口的情形的信息的更多源(高冗余度)。
[0026] 除了传统算法外,还使用神经网络来处理部分信息以便获得结果。

发明内容

[0027] 如前所述,该系统试图在所述加油管末端或喷嘴与所述容器的口之间自动地或半自动地建立接触,即向加油飞行器提供接收燃料的飞行器相对于该加油飞行器本身的位置,并且甚至更重要的是,提供所述加油飞行器的加油管喷嘴出口与接收燃料的飞行器的容器管口之间的相对位置。一旦随着时间地推移动态地确定加油管喷嘴、容器口和它们的点相对于公共轴线的位置,该信息就可以被提供给接收器和加油机两者以及其飞桁的控制规则并且建立自动接触。
[0028] 该系统包括三个基本元件或部分:·I.BD元件(我们称之为飞桁装置),所述BD元件包括附接到所述加油管末端的夹持壳体,一组光发射器或光发射器子系统布置在所述壳体的表面上。在优选实施方式中,这些光发射器包括LED、以及它们的连接/断开电子装置。
·II.由附接到飞行器的外表面-优选地在机身末端的盒形成的C元件,并且所述C元件容纳以下三个子系统:
·1.3D视觉子系统,不失一般性地,所述3D视觉子系统通过左侧摄像机和另一个右侧摄像机形成,所述左侧摄像机和右侧摄像机生成工作场景的3D视图(我们将其称之为3D子系统:S3D)。该S3D子系统以及其电子装置一起控制BD发射器的交替连接并且能够通过处理两个图像来获得所述发光BD元件的空间位置。另外,通过基于分段的图像处理,获得接收燃料的飞行器的容器的位置。
·2.称为STOF的子系统-所述STOF包括TOF(飞行时间)型摄像机,所述摄像机的特殊之处在于它测量在我们的工作场景的不同物体上生成和反射的光脉冲从它离开工作场景的脉冲发生器到它到达所使用的图像传感器的每个像素所用的时间。所述STOF子系统还具有电子装置、具有漫射器的激光器、透镜和窄带通滤波器F1以便消除除用于激发场景的光之外的光线。在此,所述电子装置具有计算由激光发射器L1输出的光子的往返时间、形成该子系统的一部分以及从飞行器周围的物体反弹返回到每个摄像机像素的主要功能。这些电子装置将同样负责发射激光脉冲。显然,激光器L1的波长λ1与TOF摄像机的滤波器F1的中心波长相同。
·3.我们称之为SDOE的子系统,其包括摄像机,该摄像机在到达其传感器之前具有窄带通滤波器(20),该滤波器(20)仅允许那些非常接近由也属于该子系统的激光器L2生成的波长的那些波长(λ2)。在本文件中,我们将所述摄像机因为其追求的目标而称之为DOE型摄像机。它的任务是检测已知图案的光点,所述已知图案在来自激光器L2的光线穿过被刻有所述图案的DOE(衍射光学元件)透镜时被反射在我们的场景中。该SDOE子系统的摄像机包括其电子装置、图像传感器、透镜和窄带通滤波器F2。如前所述,滤波器被调谐适应作为激光器L2发射波长的中心波长的波长λ2。摄像机电子装置能够检测我们周围物体上的前述光图案,并基于此通过三角测量和三角学来确定其构成点的相对距离。
·III.我们将称为P的处理元件,该元件具有两部分:一个部分包括处理器的组合,该处理器组合包括按顺序执行指令的传统型处理器(如多核处理器或FPGA(现场可编程阵列)和GPU(图形处理器单元))以及基于具有学习和并行处理能力的神经网络的其他处理器。此外,元件P包括通信子系统,所述通信子系统与构成本发明的其他子系统通信。P元件的功能一方面包括获得接收器的位置并且另一方面包括从由S3D、STOF和SDOE子系统提供的信息获取飞桁的位置。除了其他结果,该元件P获得附属于接收燃料的飞行器的容器和部件的点。通过得知该点云并将其与存储在数据库中的要接触的可能飞行器的3D模型的信息相比较,接收器的3D模型可以放置在虚拟空间中并且基于此来获得其容器的确切位置。
所述点云也通过在先训练过的神经网络制成,以便最终再次(冗余地)获得容器的位置。它将与点云数据和飞桁的3D模型一样。由元件P执行的另一功能是确定加油管喷嘴的BD元件的发射器的位置以便获得其末端的位置。元件P计算前面提到的所有重要的点和向量。所述元件P还将调整透镜或传感器的大小并且消除透镜或传感器本身的像差。在整个系统正常运行之前必须进行在先校准。元件P的部件可以集中在单个位置或与本发明的其他子系统一起分布在多个部分中。
[0029] 在第一实例中,只有3D摄像机执行必要的功能。该系统将被简化为两个摄像机以及安装在加油管末端上的BD光发射器装置。所有这些部件都带有它们的相应附件并且处理元件P最终将必须添加到这些部件。
[0030] 在第二、更完整的实施方式中,存在所有子系统,然而在第一实施方式中,某些子系统使用的激光器可以是同一个激光器并且其摄像机的功能由两个3D摄像机之一或两者执行。
[0031] 在接续的实施方式中,每个子系统的部件变得越来越自动化并且专用于每个子系统所需的任务,并且整个系统添加更多的单个元件,直到达到最完整的实施方式,其中两个激光器和所有摄像机彼此都是独立的。
[0032] 在本发明的任何实施方式中,整个系统将由飞行器的电源供电并且将输出位于每个中的关键点的一组坐标(Xi,Yi,Zi)和正交规范化四元数(Vix,Viy,Viz)。此外,所有可视为元件P的部分的电子元件都包含通信子系统,用于与其他子系统交换信息。
[0033] 所有的S3D、STOF和SDOE子系统都将基于计算出的距离来生成点云,并且将包含带有嵌入算法的电子装置,该嵌入算法一旦嵌设在那些获得的点云中,能够基于3D模型来预处理从它们的摄像机接收的信息并且将其发送到处理元件P的其余部分,所述信息是所述接收燃料的飞行器的容器的位置和飞桁末端的位置。
[0034] 除非另外指明,否则本文使用的所有技术和科学元件都具有本发明所属领域的技术人员通常理解的含义。在实施本发明时,可以使用类似的方法和材料或与本文所述的等同的方法和材料。
[0035] 使用具有S3D和STOF以及SDOE子系统的基本系统的不同组合实质上构成了本文包括的不同权利要求
[0036] 在整个说明书和权利要求书中,词语“包括”、“包含”及其变体并非旨在排除其他技术特征、添加件、部件或步骤。对于本领域的技术人员而言,本发明的其他目的、优点和特性将部分地来自于描述并且部分地来自于本发明的实施。附图说明
[0037] 为了补充所作的描述并且为了帮助更好地理解本发明的特性,根据本发明的优选实施方式,所述描述伴随有作为其组成部分的一组附图,下面以说明性并且非限制性的方式描述所述附图:
[0038] 在图1中,BD是分布在飞桁(6)的加油管(3)的伸缩部分末端处且尽可能地接近燃料出口喷嘴的装置(13)的简化示意图。P表示通常进入飞行器内部的处理元件(21)。(14)是S3D(9)、STOF(12)和SDOE(10)子系统容纳在其中的壳体,在所选实施方式中的情况下,所述子系统每个都具有其相应的可选辅助部件。在该图中,所述壳体仅容纳子系统S3D,而在下面的图2中示意性示出了三个子系统。
[0039] 在图2中,我们可以观察到形成本发明的一部分的元件(在本发明最完整的实施方式中)的示意图,并且我们可以观察到如何将所述元件放置(2)在加油飞行器的机身末端(11)下面,其中视角(7)为执行这些操作所需的最小视角。在此,飞桁(6)从加油飞行器(1)的机身末端(11)进行延伸,所述飞桁(6)通过球窝关节(8)紧固并且具有控制其运动的翼(5)。加油管(3)从飞桁露出,BD元件(13)布置在所述加油管末端并且在燃料分配喷嘴(4)的前方。

具体实施方式

[0040] 作为本发明的目的的系统由以下三个元件构成。
[0041] I.我们称之为BD的第一元件(图1),所述第一元件作为环状物安装在飞桁(6)的加油管(3)末端的区域中,所述BD抓握所述加油管(3)的末端并且包括保护电子装置并且紧固一组光发射器的壳体,所述光发射器可以不失一般性地包括具有相应漫射器的LED(16)或激光二极管。所述光发射器分布在所述第一元件表面上并且在某些时间均匀地发射光,这些光将由一组摄像机(9)检测,所述摄像机(9)的任务是确定所述光发射器相对于所述第一元件的位置。电子装置(22)包括适配飞机的电源、一组用于连接光发射器的驱动器或适配器以及将从所述电子装置接收命令的通信子系统,所述电子装置管理前述摄像机以便实现在两个子系统(摄像机与LED发射器)之间一定程度的同步。
[0042] II.我们称为C的第二元件(在图2中详细示出),由容纳本发明的其他子系统的第二盒或壳体(14)形成,所述本发明的其他子系统包括最终P处理元件的一部分(图2)以及与控制规则所处的飞行器系统交互作用的元件。在优选实施方式中,该C元件布置在加油飞行器(1)的机身末端(11)下方,然而以集成方式设置的同一子系统可以分散设置-在同一专利的不同实施方式中分布在加油飞行器的不同区域中。
[0043] 取决于本专利的具体实施方式,在C元件内具有多达三个不同的子系统:
[0044] 1首先,我们称为S3D(9)的第一子系统,其包含3D摄像机(17)并且负责定位在点I(图1)中描述的BD元件的LED,并且确定与它们对置的所述发射器的位置。所述第一子系统还负责根据从接收燃料的飞行器(所述第一子系统定位在其表面上)获得的图像来确定容器的位置。这些摄像机具有它们相应的图像传感器、处理电子装置、聚焦透镜(18)和集中在光谱上的λ3位置的窄带通滤波器B3。某些摄像机可具有可变的电子控制透镜(19)。该波长与加油操作涉及的其他摄像机兼容并且以BD元件的LED(16)的相同发射波长为中心。这将有助于消除来自其他源-例如太阳本身的光子。额外电子装置也具有随着时间的推移而控制LED连接的使命,所述LED生成某些图案,所述的某些图案也有助于区分其他光源发出的光线。处理实质上包括在每帧中产生的光图案与接收的光线之间执行互相关。最后,这些电子装置在检测到摄像机可见的BD元件的每个LED发射器之后计算每个LED相对于一组参考轴线的距离和其他坐标,为了简洁起见,这些电子装置设置在摄像机中的一个的传感器的中心(我们称之为RC)。S3D子系统将由飞行器的电源供电并将输出位于每帧的活动点的一组坐标(X,Y,Z)。处理电子装置将包括例如检测由每个摄像机独立地定位的每个活动点的坐标(x,y)以及计算相对于参考轴线的全局坐标的功能,其中RC位于两个摄像机的坐标(x,y)处。所述处理电子装置还将调整透镜或者传感器本身的大小并且消除透镜或传感器本身的像差。在其正常运行之前必须进行在先校准。
[0045] 使用由两个摄像机以其图像获取频率获得的图像计算每帧时间间隔的距离。此外,只要没有几何干涉并且图像可以被两个摄像机看见,通过确认由两个摄像机获取的图像中的一组点,我们就可以通过三角测量法获得到距每个点的距离,从而获得接收燃料的飞行器和飞桁的点云。
[0046] 每个3D摄像机都配置有一些(或全部)以下辅助元件:透镜(18),
电子装置,所述电子装置用于消除像差和坏点、BD元件和容器的LED的坐标(x,y)的计算和图像改善,此外,在该同一专利的更完整的实施方式中,C可以容纳以下任何子系统:
2第二子系统,其包含TOF(飞行时间)型摄像机,所述摄像机的特殊之处在于它测量在我们的工作场景的各种物体上生成和反射的光脉冲的时间,从所述工作场景由脉冲发生器输出所述脉冲,直到所述脉冲到达所使用的图像传感器的每个像素。我们称之为STOF的这个子系统具有电子装置、聚焦透镜和窄带通滤波器B1以便消除除用于激发场景的光之外的光线。在此,电子装置具有计算由激光发射器L1输出的光子的往返时间并且从飞行器周围的物体反弹返回到摄像机的功能。这些电子装置将同样负责发射L1的光脉冲。这些计算将针对TOF摄像机的传感器的每个像素或点进行。显然,L1的光的波长λ1与STOF子系统(12)的摄像机的滤波器B1的中心波长相同。该激光器将伴随有生成的光线扩展透镜以照亮整个工作场景,然而在具体实施方式中该透镜可以是仅向我们的工作场景的某些点发射光的衍射透镜。其结果是与TOF传感器的像素点数量相同的点云,所述TOF传感器的像素给出了从光发射器到聚焦在相应像素上的场景的具体点的距离。
3我们称之为SDOE(10)的第三子系统,其包括配备有电子元件和光学元件的摄像机,其中所述光学元件包括窄带通滤波器-其波长与激光发射的波长重合。该激光器还配备有包括DOE(衍射光学元件)的透镜。当激光发射穿过DOE透镜时光被衍射时,形成之前刻在所述透镜上的具体图案。该SDOE子系统的使命首先是用摄像机(我们称之为DOE型摄像机)检测被反射在场景中的光点并且根据生成的结构化照明产生光线。波长λ2的激光器L2在受控阶段连接和断开,以便于检测由所生成的图案照亮的点。DOE摄像机包括其电子装置、图像传感器、透镜以及λ2调谐的窄带通滤波器B2。一旦检测到这些点,电子装置将确定摄像机像素中照亮和接收的点的相对距离,作为该子系统任务的第二部分。这是通过三角测量法进行的,以便测量根据距离产生的位移并且知道激光器与使用的摄像机之间的间隔。如前所述,L2的光的波长λ2与STOE子系统摄像机的滤波器B2的中心波长相同。因此,结果是在我们的结构化照明器反射时传感器中检测到的点云相对应的点云。
[0047] 在2和3中描述的子系统包括TOF和DOE摄像机以及激光发射器L1和L2。除了其他辅助部件和管理它们的所有电子装置之外,还包括:
[0048] III.我们将称之为处理元件21的第三元件(P),其将位于加油飞行器(1)内部的盒中(所述第三元件(P)的一部分可以认为分布在本发明的其他部件的电子装置中),所述第三元件(P)的任务是基于由子系统1,2和3提供的信息来生成以下信息(关于公共坐标轴):加油管末端的P1点的向量位置=OP1;
与封闭加油管喷嘴的表面正交的规范化四元数=VO1;
分布在容器口末端的点P2的位置矢量=OP2;
与封闭容器口的表面正交的规范化四元数=VO2;
P1和P2之间的相对速度的矢量=VR;
P1和P2之间的相对加速度的矢量=AR;
[0049] 除了可能有利的并且可由所述子系统生成的信息获得的任何其他功能,还包括:
[0050] P元件的主要功能之一是获得由前述子系统1、2和3生成的点云,以便基于此确定先前指定的值。基于两个不同的处理器组并且因此基于下面指示的计算范例的使用,P可以执行信息处理。一方面,传统处理器(理解为例如最常规的处理器)基于具有一组顺序地执行的指令的微程序逻辑或者基于高速硬件(如FPGA或GPU)。此外,它们基于神经网络。此外,元件P包括与构成本发明的其他子系统通信的通信子系统。因此,P负责基于由在C中集成的不同子系统的摄像机获得的点云来获取接收燃料的飞行器的容器和飞桁末端的重要数据。
[0051] P处理元件还具有存储器,除了几何三维飞桁信息之外,该存储器还容纳将要执行加油的不同接收燃料的飞行器的三维模型的数据库。在传统处理器的情形下,P利用如此获得的点云的值来调整3D模型,并且因此将所述3D模型布置在虚拟空间中并且确定上述值和兴趣点的位置。在神经网络的情形下,在用不同的实际加油情况进行训练之后获得期望值。
[0052] 之前生成的数据为管理加油飞行器的法则以及所述加油飞行器的飞桁的法则的系统提供足够的信息以便建立正确的策略,所述策略实现加油管喷嘴与容器口之间的接近及期望的后续接触。这两个处理选项可以组合使用或单独使用,以处理由不同数据收集子系统生成的信息。
[0053] 作为本发明目的的自动接触系统操作程序包括下述步骤:使用3D摄像机来确定稳固地连接到加油管喷嘴的末端的BD元件的每个发光点的位置。
由这些发射器发出的光在发射方向上是均匀的并且允许3D摄像机“看见它们”,从而确定每个发射器相对于RC的位置。为了便于这项工作,所述发射器能够以某些图案交替地闪烁并且与3D摄像机同步,并相对于其他LED被暂时滤波。这避免了发射器之间不必要的重叠并且便于使用互相关技术进行检测以便消除与其他光点混淆。也可以通过交替和同步连接发射器来消除反射。这种同步可以使检测所需的能量最小化。使用以发射器的光的波长调谐的滤波器还能够提高信噪比,从而再次便于所述检测。一旦检测到至少三个发射器,就通过基于三角测量的简单代数计算来获得加油管末端点的位置。这是可能的,因为我们知道摄像机之间的距离、取向和其焦距。以此方式,我们可以计算那些发射器相对于参考中心(RC)的空间坐标。此外,三个合适点的坐标将为我们提供喷嘴中心位置的准确定位。这是用亚中心精度进行的。此外,还获得垂直于封闭“喷嘴”(4)的表面的矢量。这提供了与包含在C元件中的RC相对应的飞桁末端的第一信息源。
为了便于被一个摄像机或另一个摄像机或者两者看见,光发射器可以具有不同颜色-交替地具有一种“颜色”或另一种“颜色”或者发射两种“颜色”。
光发射器是LED或激光类型的并且包括准球体组成,其中
-由这些准球体发出的光在所有发射方向上是均匀的并且允许3D摄像机“看见它们”并因此确定这些球体中的每个相对于RC的位置。
-光发射器将以某些图案交替地闪烁,且与3D摄像机同步,并且并相对于其他光发射器被暂时滤波。
-为了便于被一个摄像机或另一个摄像机或者两者看见,光发射器是双色调谐的-交替地用一种“颜色”或用另一种“颜色”或者发射两种“颜色”。
-通过识别两个摄像机中的具体点来获取第一点云。飞桁末端的图像和位于其下方的接收燃料的飞行器的图像受到包括分割和记录的处理,以便在任何给定时间确认来自两个摄像机的两个帧中的相同点。根据它们在至少两个摄像机中的位置并且通过类似于前一部分中用于检测光发射器的三角测量方法,获得所有S3D摄像机中确认的所有点的坐标。这组坐标正是我们意欲实现的相对于C的点云。应该指出的是,获得了两个连接点的子云:一个对应于飞桁末端并且另一个对应于接收燃料的飞行器。
-获得也对应于飞桁末端并且对应于接收燃料的飞行器-即STOF子系统、L1以及其他辅助部件的第二点云。激光器L1提供一组波长为λ1的光脉冲。触发此激光器连接的电路与管理STOF中包含的TOF型摄像机拍摄和采集帧的电路相同。考虑光的速度和接收在所述TOF型摄像机的传感器的每个像素中生成的脉冲所花费的时间,可以获得从反射接收到的光的场景的点的距离。为了便于这项工作,将一个以λ1为中心的窄带通B1放置在TOF型摄像机上。
此外,相移技术用于精确地确定由L1发出的脉冲返回到传感器的时刻。这是针对场景中的每个点执行的,所述点在TOF摄像机中的传感器的每个像素中都会收到。由此获得具有与所使用的传感器的分辨率相同数量的点的新云。TOF型摄像机为每个帧时间提供新的点云。
-基于其提供的信息,以与前述非常类似的方式获得也对应于飞桁末端和接收燃料的飞行器的第三点云,由DOE型摄像机加上激光L2和其他辅助部件形成SDOE子系统。激光器L2通过衍射透镜生成结构化的光图案(取决于如何控制其他激光透镜,该图案可以是固定的或可变的),由此一旦光线充分地校准就穿过衍射透镜。如果被环境反射时我们能够“看见”由激光器发射的光线,就可以确认这种图案的元件。为了实现这一点,我们在SDOE摄像机前使用新的窄带通滤波器B2,所述新的窄带通滤波器用L2进行调谐并且因此将消除其他波长的光线。此外,以某个节奏连接/断开也有助于我们区分激光相对于来自不同源的其他光线-该光线不会以相同的方式闪烁。通过使用互相关技术,我们将获得反射到我们场景的物体上的像素,并且我们将基于像素的相对强度来确定哪些像素对应于图案的某些点。因此,我们再次通过三角测量技术和三角学并且考虑到我们知道激光L2到SDOE摄像机的距离以及两者的角度,获得一组图案,所述的一组图案将使我们能够获得从SDOE摄像机到这组点中每个点的距离。简而言之,我们将具有属于我们的场景中每个帧的对象的一组坐标(xi,yi,zi)。因此,我们再次获得类似于通过STOF摄像机但以不同方式获得的点云。
-下一步是,或者针对每个帧合并点云信息来获得最佳初始点云,或者将P可以执行的处理方法之一(将在后面解释)用于每个点云来合并所获得的结果并且实现兴趣点和向量的位置的最佳和最可靠解决方案。正如前面提到的,随着时间的推移每一帧都是如此。除了所示的正交规范化四元数之外,相对速度和加速度的计算仅是几乎不需要处理源的代数问题。我们可以在P中对通过融入本发明的不同元件获得的点云进行的处理包括:
-让它们通过人造神经网络,所述人造神经网络被训练成提供两个兴趣点相对于我们参考中心RC的位置坐标和正交向量的坐标来作为输出。
-将它们与接收器和飞桁的3D模型中的一个进行比较,以便确定所述接收器的加油口与所述加油管喷嘴末端(4)两者(一旦两者分开)的中心的位置。所述点相对于我们的参考中心RC定位。当获得飞桁末端的位置时由BD元件提供的高度确定性允许我们消除与其对应的点云的部分并且保持专门对应于接收燃料的飞行器的子云。
-在传统处理器的情况下,如果在点云与存储的3D模型之中的一个之间进行比较,P元件通过的步骤如下:
-1.为了找到点云与3D模型之间的重合,将通过前述任何方法接收的点云与将被提供燃料的飞行器模型的3D表示以及飞桁的3D表示进行比较,从而确定相对于坐标RC中心的确切空间位置。
-2.在确定空间位置时,飞行器的虚拟模型被置于其理论空间位置处。这使我们可以在真实图像上看见3D模型的表面。
-3.在将3D模型布置在我们的工作场景中时,容器口的位置和其他重要数据是已知的。
这就能够将这些兴趣点相对于坐标RC的中心布置在它们的空间位置。在测试阶段,这使得观察容器的真实位置与3D模型预测的位置之间的差异成为可能并且特别有益,因为它以明显的方式显示了所述阶段中可能存在的任何错误。
[0054] 此外,在处理使它们通过人工神经网络的点云时P元件通过的步骤如下:-1.通过引入点云和验证输出来训练神经网络以确定错误信息并将其返回给网络,以便能够训练它(此阶段称为训练阶段)。
-2.一旦经过训练,在识别阶段,可能会给神经网络提供新的点云,所述神经网络将以网络认为最有可能的经训练的兴趣点来响应新的点云。
-3.监督由神经网络发出的数据以避免不一致。
[0055] 对于两种类型的处理,要执行的最后任务包括:-4.将通过替代方法获得的信息进行合并,以便用稳定且可靠的方式获得感兴趣的信息并且能够提供飞桁控制规则并执行自动加油操作。为了执行这项任务,每个子系统都分配了一些称为品质因子的具体值的计算,并且所述品质因子实质上表明它们提供的结果的可靠程度或错误概率。该信息用于保证对获得的结果进行最佳合并。
[0056] 由S3D、SDOE和STOF子系统获得的点云用于使用两种指示方法进行的混合计算中,即它将联合使用神经网络并与3D模型进行比较以获得感兴趣的位置和向量。
[0057] 因此,本发明的系统和方法提供了一种机理,该机理用于获得一组具有可忽略的延迟和足够高速率的基于时间的数据,以便允许管理加油机和其飞桁的控制规律的系统以及接收燃料的飞行器将所述数据并入其控制中并且因此管理加油机、飞桁和接收器,从而在半自动或者甚至自动地监督或无人监督的飞桁与接收器之间产生接触。
[0058] 已经充分描述了本发明的本质以及实施本发明的方式,应当指出的是,在不更改、改变或修改本发明的基本原理的情况下,在其他实施型式中,本发明实质上能够在细节方面以不同于示例指示的方式进行实施,并且此时本发明将也能够获得寻求的保护。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈