用于支持顺畅的目标跟随的系统和方法

申请号 CN201580074398.6 申请日 2015-09-15 公开(公告)号 CN107209854A 公开(公告)日 2017-09-26
申请人 深圳市大疆创新科技有限公司; 发明人 赵丛; 庞敏健; 李睿; 周游; 刘哲; 周谷越;
摘要 本 发明 提供了可以支持目标 跟踪 的系统和方法。 控制器 可以获得目标的特征模型,其中所述特征模型表示所述目标的图像特性。此外,所述控制器可以从由可移动物体携带的成像装置所捕捉的一个或多个图像中提取一个或多个特征,并且可以对所述一个或多个特征应用所述特征模型以确定相似度。
权利要求

1.一种用于支持目标跟踪的方法,所述方法包括:
获得目标的特征模型,其中所述特征模型表示所述目标的图像特性;
从由可移动物体携带的成像装置所捕捉的一个或多个图像中提取一个或多个特征;以及
对所述一个或多个特征应用所述特征模型以确定相似度。
2.如权利要求1所述的方法,其还包括:
基于由所述可移动物体携带的成像装置所捕捉的初始化图像来获取所述目标。
3.如权利要求2所述的方法,其还包括:
从用户接收所述初始化图像中的选择的点;
向所述用户提供多个对象提议候选项,其中每个所述对象提议使用边界框来表示;以及
从所述用户接收所述目标的选择的对象提议。
4.如权利要求3所述的方法,其还包括:
基于由所述用户选择的所述对象提议来确定所述特征模型。
5.如权利要求1所述的方法,其中:
所述特征模型以空间域和/或频域表示。
6.如权利要求1所述的方法,其中:
在所述一个或多个图像中从搜索窗口中提取所述一个或多个特征。
7.如权利要求1所述的方法,其还包括:
计算所述特征模型与从所述一个或多个图像中提取的每个特征之间的相关性,和/或将所述一个或多个特征与所述特征模型匹配。
8.如权利要求1所述的方法,其还包括:
基于所述成像装置的状态信息来获得所述目标在所述一个或多个图像中的投影变换。
9.如权利要求1所述的方法,其中:
基于所述可移动物体的位置姿态信息以及所述成像装置的姿态信息来确定所述成像装置的所述状态信息。
10.如权利要求9所述的方法,其中:
从用于所述可移动物体的控制模接收所述可移动物体的所述位置和姿态信息,并且从有效载荷增稳控制模块接收所述成像装置的姿态信息,其中所述有效载荷增稳控制模块控制增稳系统,所述增稳系统使所述成像装置在所述可移动物体上保持稳定。
11.如权利要求8所述的方法,其还包括:
对所述特征模型应用透视变换以对所述目标在所述一个或多个图像中的所述投影变换进行补偿。
12.如权利要求8所述的方法,其还包括:
对所述一个或多个图像应用逆透视变换以对所述目标的投影变换进行补偿。
13.如权利要求12所述的方法,其中:
基于所述成像装置的俯仰来确定所述逆透视变换。
14.如权利要求1所述的方法,其还包括:
基于所述一个或多个特征与所述特征模型的所述匹配来更新所述特征模型,其中所述更新的特征模型适于应用于后续图像。
15.一种用于支持目标跟踪的系统,所述系统包括:
一个或多个微处理器
控制器,所述控制器在所述一个或多个微处理器上运行,其中所述控制器操作来获得目标的特征模型,其中所述特征模型表示所述目标的图像特性;
从由可移动物体携带的成像装置所捕捉的一个或多个图像中提取一个或多个特征;并且
对所述一个或多个特征应用所述特征模型以确定相似度。
16.如权利要求15所述的系统,其中:
所述控制器操作来基于由所述可移动物体携带的成像装置所捕捉的初始化图像来获取所述目标。
17.如权利要求16所述的系统,其中:
所述控制器操作来
从用户接收所述初始化图像中的选择的点;
向所述用户提供多个对象提议候选项,其中每个所述对象提议使用边界框来表示;并且
从所述用户接收所述目标的选择的对象提议。
18.如权利要求17所述的系统,其中:
所述控制器操作来基于由所述用户选择的所述对象提议来确定所述特征模型。
19.如权利要求15所述的系统,其中:
所述特征模型以空间域和/或频域表示。
20.如权利要求15所述的系统,其中:
在所述一个或多个图像中从搜索窗口中提取所述一个或多个特征。
21.如权利要求15所述的系统,其中:
所述控制器操作来
计算所述特征模型与从所述一个或多个图像中提取的每个特征之间的相关性,和/或将所述一个或多个特征与所述特征模型匹配。
22.如权利要求15所述的系统,其中:
所述控制器操作来基于所述成像装置的状态信息来获得所述目标在所述一个或多个图像中的投影变换。
23.如权利要求15所述的系统,其中:
基于所述可移动物体的位置和姿态信息以及所述成像装置的姿态信息来确定所述成像装置的所述状态信息。
24.如权利要求23所述的系统,其中:
从用于所述可移动物体的控制模块接收所述可移动物体的所述位置和姿态信息,并且从有效载荷增稳控制模块接收所述成像装置的姿态信息,其中所述有效载荷增稳控制模块控制增稳系统,所述增稳系统使所述成像装置在所述可移动物体上保持稳定。
25.如权利要求22所述的系统,其中:
所述控制器操作来对所述特征模型应用透视变换以对所述目标在所述一个或多个图像中的所述投影变换进行补偿。
26.如权利要求22所述的系统,其中:
所述控制器操作来对所述一个或多个图像应用逆透视变换以对所述目标的投影变换进行补偿。
27.如权利要求26所述的系统,其中:
基于所述成像装置的俯仰角来确定所述逆透视变换。
28.如权利要求15所述的系统,其中:
所述控制器操作来基于所述一个或多个特征与所述特征模型的所述匹配来更新所述特征模型,其中所述更新的特征模型适于应用于后续图像。
29.一种非暂时性计算机可读介质,所述非暂时性计算机可读介质上面存储有指令,所述指令在被处理器执行时执行以下步骤,所述步骤包括:
获得目标的特征模型,其中所述特征模型表示所述目标的图像特性;
从由可移动物体携带的成像装置所捕捉的一个或多个图像中提取一个或多个特征;以及
对所述一个或多个特征应用所述特征模型以确定相似度。
30.一种用于支持目标跟踪的系统,所述系统包括:
在可移动物体上的成像装置,其中所述成像装置操作来捕捉一个或多个图像;并且其中所述可移动物体操作来
获得目标的特征模型,其中所述特征模型表示所述目标的图像特性;
从由可移动物体携带的成像装置所捕捉的所述一个或多个图像中提取一个或多个特征;并且
对所述一个或多个特征应用所述特征模型以确定相似度。
31.一种用于支持目标跟踪的方法,所述方法包括:
对为了跟踪目标而捕捉的图像应用目标的特征模型以生成跟踪输出;
基于所述跟踪输出来确定出现跟踪失败;以及
检查一个或多个后续图像来检测所述目标。
32.如权利要求31所述的方法,其还包括:
获得所述特征模型,所述特征模型以空间域和/或频域表示所述目标的图像特性。
33.如权利要求32所述的方法,其中:
所述跟踪输出是特征响应图,所述特征响应图是针对所述图像中的搜索窗口而生成。
34.如权利要求33所述的方法,其中:
所述特征响应图中的每个点表示从所述搜索窗口中提取的一个或多个特征与所述目标的所述特征模型之间的相关性。
35.如权利要求34所述的方法,其中:
在所述空间域和/或所述频域中计算所述相关性。
36.如权利要求34所述的方法,其中:
从所述搜索窗口内的像点块中提取所述一个或多个特征。
37.如权利要求33所述的方法,其还包括:
基于所述特征响应图而获得指标,其中所述指标指示何时出现所述跟踪失败。
38.如权利要求37所述的方法,其还包括:
在后续图像中获得所述目标的对象提议候选项集合;
使用一个或多个过滤器来减小所述对象提议候选项集合;
基于针对所述减小的对象提议候选项集合而计算的相关性来确定最佳对象提议;和/或
计算所述最佳对象提议的置信度
39.如权利要求38所述的方法,其还包括:
当检测到所述目标时,基于所述最佳对象提议来更新所述特征模型;以及基于所述更新的特征模型来跟踪所述目标。
40.如权利要求33所述的方法,其中:
当所述特征响应图的所述峰值旁瓣比的值低于阈值时,确定出现跟踪失败。
41.如权利要求40所述的方法,其还包括:
当与所述最佳对象提议相关联的特征响应图的所述峰值旁瓣比超过所述阈值时,确定在后续图像中检测到所述目标。
42.如权利要求33所述的方法,其还包括:
使用滑动窗口来从所述图像的不同部分中提取一个或多个特征。
43.如权利要求42所述的方法,其还包括:
将所述特征模型与从所述图像的不同部分中提取的所述一个或多个特征匹配。
44.如权利要求31所述的方法,其还包括:
在出现所述跟踪失败时,使用一个或多个定位装置来将所述可移动物体维持在所述目标的接近度内。
45.一种用于支持目标跟踪的系统,所述系统包括:
一个或多个微处理器;
控制器,所述控制器在所述一个或多个微处理器上运行,其中所述控制器操作来对为了跟踪目标而捕捉的图像应用目标的特征模型以生成跟踪输出;
基于所述跟踪输出来确定出现跟踪失败;并且
检查一个或多个后续图像来检测所述目标。
46.如权利要求45所述的系统,其中:
所述控制器操作来获得所述特征模型,所述特征模型以空间域和/或频域表示所述目标的图像特性。
47.如权利要求46所述的系统,其中:
所述跟踪输出是特征响应图,所述特征响应图是针对所述图像中的搜索窗口而生成。
48.如权利要求47所述的系统,其中:
所述特征响应图中的每个点表示从所述搜索窗口中提取的一个或多个特征与所述目标的所述特征模型之间的相关性。
49.如权利要求48所述的系统,其中:
在所述空间域和/或所述频域中计算所述相关性。
50.如权利要求48所述的系统,其中:
从所述搜索窗口内的像点块中提取所述一个或多个特征。
51.如权利要求47所述的系统,其中:
所述控制器操作来基于所述特征响应图而获得指标,其中所述指标指示何时出现所述跟踪失败。
52.如权利要求51所述的系统,其中:
所述控制器操作来
在后续图像中获得所述目标的对象提议候选项集合;
使用一个或多个过滤器来减小所述对象提议候选项集合;
基于针对所述减小的对象提议候选项集合而计算的相关性来确定最佳对象提议;和/或
计算所述最佳对象提议的置信度。
53.如权利要求52所述的系统,其中:
所述控制器操作来
当检测到所述目标时,基于所述最佳对象提议来更新所述特征模型;并且基于所述更新的特征模型来跟踪所述目标。
54.如权利要求47所述的系统,其中:
所述控制器操作来在所述特征响应图的所述峰值旁瓣比的值低于阈值时,确定出现跟踪失败。
55.如权利要求54所述的系统,其中:
所述控制器操作来在与所述最佳对象提议相关联的特征响应图的所述峰值旁瓣比超过所述阈值时,确定在后续图像中检测到所述目标。
56.如权利要求47所述的系统,其中:
所述控制器操作来使用滑动窗口来从所述图像的不同部分中提取一个或多个特征。
57.如权利要求56所述的系统,其中:
所述控制器操作来将所述特征模型与从所述图像的不同部分中提取的所述一个或多个特征匹配。
58.如权利要求45所述的系统,其中:
所述控制器操作来在出现所述跟踪失败时使用一个或多个定位装置来将所述可移动物体维持在所述目标的接近度内。
59.一种非暂时性计算机可读介质,所述非暂时性计算机可读介质上面存储有指令,所述指令在被处理器执行时执行以下步骤,所述步骤包括:
对为了跟踪目标而捕捉的图像应用目标的特征模型以生成跟踪输出;
基于所述跟踪输出来确定出现跟踪失败;以及
检查一个或多个后续图像来检测所述目标。
60.一种用于支持目标跟踪的系统,所述系统包括:
在可移动物体上的成像装置,其中所述成像装置操作来捕捉一个或多个图像;并且其中所述可移动物体操作来
对为了跟踪目标而捕捉的图像应用目标的特征模型以生成跟踪输出;
基于所述跟踪输出来确定出现跟踪失败;并且
检查一个或多个后续图像来检测所述目标。
61.一种用于支持目标跟踪的方法,所述方法包括:
从由可移动物体携带的成像装置所捕捉的一个或多个图像中获取目标;
获得所述可移动物体与所述目标之间的相对距离;以及
生成一个或多个控制信号来跟踪所述目标。
62.如权利要求61所述的方法,其还包括:
基于与所述成像装置和所述可移动物体相关联的状态信息来预估所述跟踪装置与所述目标之间的所述相对距离。
63.如权利要求62所述的方法,其中:
所述状态信息包括所述可移动物体的海拔信息以及由可移动物体携带的所述成像装置的姿态信息。
64.如权利要求63所述的方法,其中:
从用于所述可移动物体的控制模块接收所述成像装置的所述海拔信息,并且从有效载荷增稳控制模块接收所述成像装置的所述姿态信息,其中所述有效载荷增稳控制模块控制增稳系统,所述增稳系统使所述成像装置在所述可移动物体上保持稳定。
65.如权利要求61所述的方法,其中:
所述控制信号包括加速/减速信号以及台姿态调整信号。
66.如权利要求61所述的方法,其还包括:
使用定位系统来将所述目标维持在所述目标的接近度内。
67.如权利要求61所述的方法,其还包括:
使用边界框来在所述一个或多个图像中限定所述目标。
68.如权利要求61所述的方法,其还包括:
针对所述可移动物体与所述目标之间的所述相对距离的测量来配置初始化。
69.如权利要求68所述的方法,其中:
所述初始化包括所述目标的高度的测量。
70.如权利要求69所述的方法,其还包括:
在所述初始化之后,使用所述目标的所述高度来预估所述可移动物体与所述目标之间的所述相对距离。
71.如权利要求70所述的方法,其还包括:
在所述可移动物体改变海拔和姿态之后,对所述目标的所述高度应用透视变换。
72.如权利要求61所述的方法,其还包括:
获得所述目标相对于所述可移动物体的速度。
73.如权利要求61所述的方法,其还包括:
基于所述目标相对于所述可移动物体的所述速度来跟踪所述目标。
74.如权利要求61所述的方法,其还包括:
控制所述可移动物体的偏航角移动和平移移动。
75.一种用于支持目标跟踪的系统,所述系统包括:
一个或多个微处理器;
控制器,所述控制器在所述一个或多个微处理器上运行,其中所述控制器操作来从由可移动物体携带的成像装置所捕捉的一个或多个图像中获取目标;
获得所述可移动物体与所述目标之间的相对距离;并且
生成一个或多个控制信号来跟踪所述目标。
76.如权利要求75所述的系统,其中:
所述控制器操作来基于与所述成像装置和所述可移动物体相关联的状态信息来预估所述跟踪装置与所述目标之间的所述相对距离。
77.如权利要求76所述的系统,其中:
所述状态信息包括所述可移动物体的海拔信息以及由可移动物体携带的所述成像装置的姿态信息。
78.如权利要求77所述的系统,其中:
从用于所述可移动物体的控制模块接收所述成像装置的所述海拔信息,并且从有效载荷增稳控制模块接收所述成像装置的所述姿态信息,其中所述有效载荷增稳控制模块控制增稳系统,所述增稳系统使所述成像装置在所述可移动物体上保持稳定。
79.如权利要求78所述的系统,其中:
所述控制信号包括加速/减速信号以及云台姿态调整信号。
80.如权利要求75所述的系统,其中:
所述控制器操作来使用定位系统来将所述目标维持在所述目标的接近度内。
81.如权利要求75所述的系统,其中:
所述控制器操作来使用边界框以在所述一个或多个图像中限定所述目标。
82.如权利要求75所述的系统,其中:
所述控制器操作来针对所述可移动物体与所述目标之间的所述相对距离的测量配置初始化。
83.如权利要求82所述的系统,其中:
所述初始化包括所述目标的高度的测量。
84.如权利要求83所述的系统,其中:
所述控制器操作来在所述初始化之后使用所述目标的所述高度来预估所述可移动物体与所述目标之间的所述相对距离。
85.如权利要求84所述的系统,其中:
所述控制器操作来在所述可移动物体改变海拔和姿态之后对所述目标的所述高度应用透视变换。
86.如权利要求75所述的系统,其中:
所述控制器操作来获得所述目标相对于所述可移动物体的速度。
87.如权利要求75所述的系统,其中:
所述控制器操作来基于所述目标相对于所述可移动物体的所述速度来跟踪所述目标。
88.如权利要求75所述的系统,其中:
所述控制器操作来控制所述可移动物体的偏航角移动和平移移动。
89.一种非暂时性计算机可读介质,所述非暂时性计算机可读介质上面存储有指令,所述指令在被处理器执行时执行以下步骤,所述步骤包括:
从由可移动物体携带的成像装置所捕捉的一个或多个图像中获取目标;
获得所述可移动物体与所述目标之间的相对距离;以及
生成一个或多个控制信号来跟踪所述目标。
90.一种用于支持第一人称视角(FPV)的系统,所述系统包括:
在可移动物体上的成像装置,其中所述成像装置操作来捕捉一个或多个图像;并且其中所述可移动物体操作来
从由可移动物体携带的成像装置所捕捉的所述一个或多个图像中获取目标;
获得所述可移动物体与所述目标之间的相对距离;并且
生成一个或多个控制信号来跟踪所述目标。

说明书全文

用于支持顺畅的目标跟随的系统和方法

技术领域

[0001] 所公开的实施例总体上涉及支持目标跟随,并且更具体地但非排他地涉及顺畅的目标跟随。

背景技术

[0002] 飞行器例如无人飞行器(UAV)可以用于针对各种应用执行监视、侦察和勘探任务。由于UAV高度受欢迎以及UAV市场的高度需求,需要将更有吸引的功能添加到UAV中。例如,希望使UAV自动跟踪对象。然而,尽管近年来在对象跟踪方面有所成就,但对象跟踪在计算机视觉方面仍具有挑战性(例如,目标在一段较长时间内可能会经历变形、遭到遮挡并且甚至会变得看不见)。这是本发明的实施例旨在解决的大体方面。

发明内容

[0003] 在此描述了可以支持目标跟踪的系统和方法。控制器可以获得目标的特征模型,其中所述特征模型表示所述目标的图像特性。此外,所述控制器可以从由可移动物体所携带的成像装置捕捉的一个或多个图像中提取一个或多个特征,并且可以针对所述一个或多个特征应用所述特征模型以确定相似度。
[0004] 在此还描述了可以支持目标跟踪的系统和方法。控制器可以针对为了跟踪目标而捕捉的图像应用目标的特征模型以生成跟踪输出。此外,所述控制器可以基于所述跟踪输出来确定出现跟踪失败,并且可以检查一个或多个后续图像来检测目标。
[0005] 在此也描述了可以支持目标跟踪的系统和方法。控制器可以从由可移动物体所携带的成像装置捕捉的一个或多个图像中获取目标。此外,所述控制器可以获得所述可移动物体与所述目标之间的相对距离,并且可以生成一个或多个控制信号来跟踪目标。附图说明
[0006] 图1展示了根据本发明的不同实施例的可移动物体环境。
[0007] 图2展示了根据实施例的可移动物体环境中的示例性载体。
[0008] 图3展示了根据本发明的不同实施例支持在可移动物体环境中进行目标跟踪。
[0009] 图4展示了根据本发明的不同实施例的可移动物体环境中的示例性目标跟踪系统。
[0010] 图5展示了根据本发明的不同实施例支持在可移动物体环境中进行目标跟踪。
[0011] 图6展示了根据本发明的不同实施例在可移动物体环境中初始化目标跟踪。
[0012] 图7展示了根据本发明的不同实施例在可移动物体环境中跟踪目标。
[0013] 图8展示了根据本发明的不同实施例的为了在可移动物体环境中跟踪目标而捕捉的两个图像之间的透视变换关系。
[0014] 图9展示了根据本发明的不同实施例使用逆透视变换来支持可移动物体环境中的跟踪。
[0015] 图10展示了根据本发明的不同实施例的在可移动物体环境中跟踪目标的流程图
[0016] 图11展示了根据本发明的不同实施例支持在可移动物体环境中进行目标跟踪和重新检测。
[0017] 图12展示了根据本发明的不同实施例使用定位装置来协助可移动物体环境中的目标跟踪。
[0018] 图13示出了根据本发明的不同实施例的支持在可移动物体环境中进行目标跟踪和重新检测的流程图。
[0019] 图14展示了根据本发明的不同实施例在可移动物体环境中基于距离测量来跟踪目标。
[0020] 图15展示了根据本发明的不同实施例在可移动物体环境中测量相对目标距离。
[0021] 图16示出了根据本发明的不同实施例的在可移动物体环境中基于距离测量来跟踪目标的流程图。

具体实施方式

[0022] 在附图的图中通过举例的方式而非通过限制的方式来展示本发明,在附图中,相似的参考标记指示相似的元件。应注意的是,本公开中对“一”或“一个”或“一些”实施例的提及并不一定是指相同的实施例,并且这类提及意指至少一个实施例。
[0023] 本发明的以下描述中使用无人飞行器(UAV)作为可移动物体的示例。本领域技术人员将清楚的是,可以不受限制地使用其他类型的可移动物体。
[0024] 根据本发明的不同实施例,所述系统可以例如使用可移动物体诸如无人飞行器(UAV)而在一段较长时间内自动跟踪和检测目标,所述可移动物体具有有限资源(例如,就计算能力和动力资源两方面而言)。另外,所述系统可以提供在一旦目标丢失就重新定位目标的能力。
[0025] 图1展示了根据本发明的不同实施例的可移动物体环境。如图1中所示,可移动物体环境100中的可移动物体118可以包括载体102和有效载荷104。尽管可移动物体118可以被描绘为飞行器,但此描绘并不旨在具有限制性,并且可以使用任何合适类型的可移动物体。本领域技术人员将认识到,本文中在飞行器系统的背景下所描述的任何实施例都可以应用于任何合适的可移动物体(例如,UAV)。在一些情形下,不需要载体102就可以将有效载荷104提供在可移动物体118上。
[0026] 根据本发明的不同实施例,可移动物体118可以包括一个或多个移动机构106(例如,推进机构)、感测系统108和通信系统110。
[0027] 移动机构106可以包括旋翼、螺旋桨、桨叶、引擎、电机、轮子、轮轴、磁体、喷嘴、动物或人类中的一个或者多个。例如,可移动物体可以具有一个或多个推进机构。移动机构106可以全部是相同的类型。备选地,移动机构106可以是不同类型的移动机构。移动机构
106可以使用任何合适的手段(诸如支撑元件(例如,驱动轴))来安装在可移动物体118上(或反之亦然)。移动机构106可以安装在可移动物体118的任何合适的部分上,诸如,安装在其顶部、底部、前方、后方、侧部或合适的组合上。
[0028] 在一些实施例中,移动机构106可以使可移动物体118能够竖直地从地面起飞、或者竖直地降落在地面上,而无需可移动物体118进行任何平移动(例如,无需沿跑道滑行)。可选地,移动机构106可以可操作来允许可移动物体118在空中悬停指定位置和/或朝向上。移动机构106中的一个或多个可以独立于其他移动机构而受到控制。备选地,移动机构106可以被配置成同时受到控制。例如,可移动物体118可以具有多个水平朝向的旋翼,所述旋翼可以对可移动物体提供升力和/或推力。所述多个水平朝向的旋翼可以被致动来使可移动物体118具有竖直起飞、竖直降落和悬停的能力。在一些实施例中,水平朝向的旋翼中的一个或多个可以沿顺时针方向旋转,同时水平旋翼中的一个或多个可以沿逆时针方向旋转。例如,顺时针旋翼的数目可以等于逆时针旋翼的数目。水平朝向的旋翼中的每一个的旋转速率可以独立地变化以便于控制由每个旋翼产生的升力和/或推力,并且由此调整可移动物体118(例如,相对于至多三个平移度和至多三个旋转度)的空间部署、速度和/或加速度。
[0029] 感测系统108可以包括可以感测可移动物体118(例如,相对于不同平移度和不同旋转度)的空间部署、速度和/或加速度的一个或多个传感器。所述一个或多个传感器可以包括任何传感器,包括GPS传感器、运动传感器、惯性传感器、接近度传感器或图像传感器。由感测系统108提供的感测数据可以用于(例如,使用合适的处理单元和/或控制模)控制可移动物体118的空间部署、速度和/或朝向。备选地,感测系统108可以用来提供与可移动物体周围的环境相关的数据,诸如天气条件、与潜在障碍物的接近度、地理特征的位置、人造结构的位置等等。
[0030] 通信系统110使得能够通过无线信号116来与具有通信系统114的终端112通信。通信系统110、114可以包括任何数目的适于无线通信的发射器、接收器和/或收发器。通信可以是单向通信,以致于只能在一个方向上传输数据。例如,单向通信可能仅涉及可移动物体118将数据传输给终端112,或反之亦然。数据可以从通信系统110的一个或多个发射器传输到通信系统112的一个或多个接收器,或反之亦然。备选地,通信可以是双向通信,以致于能够在可移动物体118与终端112之间、在两个方向上传输数据。双向通信可以涉及将数据从通信系统110的一个或多个发射器传输到通信系统114的一个或多个接收器,并且反之亦然。
[0031] 在一些实施例中,终端112可以向可移动物体118、载体102和有效载荷104中的一者或多者提供控制数据并且从可移动物体118、载体102和有效载荷104中的一者或多者中接收信息(例如,可移动物体、载体或有效载荷的位置和/或运动信息;由有效载荷感测的数据,诸如由有效载荷相机捕捉的图像数据;以及由有效载荷相机所捕捉的图像数据生成的数据)。在一些情形下,来自终端的控制数据可以包括用于可移动物体、载体和/或有效载荷的相对位置、移动、致动或控制的指令。例如,控制数据可能会导致对以下各项的修改:可移动物体的位置和/或朝向(例如,通过控制移动机构106)或者有效载荷相对于可移动物体的移动(例如,通过控制载体102)。来自终端的控制数据可以导致对有效载荷的控制,例如控制相机或其他图像捕捉装置的操作(例如,拍摄静态或动态照片、放大或缩小、开启或关闭、切换成像模式、改变图像分辨率、变焦、改变景深、改变曝光时间、改变视视野)。
[0032] 在一些情形下,来自可移动物体、载体和/或有效载荷的通信可以包括来自(例如,感测系统108或有效载荷104的)一个或多个传感器的信息和/或基于感测信息而生成的数据。通信可以包括来自一个或多个不同类型传感器(例如,GPS传感器、运动传感器、惯性传感器、接近度传感器或图像传感器)的感测信息。这类信息可以是关于可移动物体、载体和/或有效载荷的方位(例如,位置、朝向)、移动或加速度。来自有效载荷的这类信息可以包括由有效载荷捕捉的数据或有效载荷的感测的状态。由终端112传输的控制数据可以被配置来控制可移动物体118、载体102或有效载荷104中的一个或多个的状态。备选地或者结合地,载体102和有效载荷104各自还可以包括通信模块,所述通信模块被配置来与终端112通信,以使得终端可以独立地与可移动物体118、载体102和有效载荷104中的每一者通信并且对其进行控制。
[0033] 在一些实施例中,可移动物体118可以被配置来与除了终端112之外或者代替终端112的另一个远程装置通信。终端112还可以被配置来与另一个远程装置以及可移动物体
118通信。例如,可移动物体118和/或终端112可以与另一个可移动物体或者另一个可移动物体的载体或有效载荷通信。在需要时,远程装置可以是第二终端或其他计算装置(例如,计算机、膝上型计算机、平板计算机、智能手机或其他移动装置)。远程装置可以被配置来将数据传输给可移动物体118、从可移动物体118接收数据、将数据传输给终端112和/或从终端112接收数据。可选地,远程装置可以连接到互联网或其他电信网络,以使得从可移动物体118和/或终端112接收的数据能够被上传到网站服务器
[0034] 图2展示了根据实施例的可移动物体环境中的示例性载体。载体200可以用于将有效载荷202(诸如图像捕捉装置)联接至可移动物体(诸如UAV)上。
[0035] 载体200可以被配置成允许有效载荷202绕一条或多条轴线(诸如,三条轴线:X轴线或俯仰轴线、Z轴线或横滚轴线、以及Y轴线或偏航轴线)相对于可移动物体旋转。例如,载体200可以被配置成允许有效载荷202绕所述轴线中的仅一条、两条或三条轴线旋转。轴线可以彼此正交或不正交。绕所述轴线中的任一条轴线旋转的范围可以是或者不是有限的并且可以针对所述轴线中的每条轴线发生变化。旋转轴线可以彼此相交或不相交。例如,正交的轴线可以彼此相交。它们可以在有效载荷202处相交或不相交。备选地,它们可以不相交。
[0036] 载体200可以包括框架组件211,所述框架组件211包括一个或多个框架构件。例如,框架构件可以被配置来与有效载荷202(例如,图像捕捉装置)相联接并且支撑所述有效载荷202。
[0037] 在一些实施例中,载体201可以包括一个或多个载体传感器213,所述一个或多个载体传感器213可用于确定载体201或由载体201携带的有效载荷202的状态。状态信息可以包括空间部署(例如,位置、朝向或姿态)、速度(例如,线速度或角速度)、加速度(例如,线性加速度或角加速度)和/或与载体、其部件和/或有效载荷202有关的其他信息。在一些实施例中,从传感器数据中获取或计算的状态信息可以用作反馈数据来控制载体的部件(例如,框架构件)的旋转。此类载体传感器的示例可以包括运动传感器(例如,加速度计)、旋转传感器(例如,陀螺仪)、惯性传感器等等。
[0038] 载体传感器213可以联接至载体的任何一个或多个合适的部分(例如,框架构件和/或致动器构件),并且相对于UAV可以是或不是可移动的。另外或备选地,载体传感器中的至少一些传感器可以直接联接至由载体201携带的有效载荷202。
[0039] 载体传感器213可以与载体的致动器构件中的一些或者全部致动器构件相联接。例如,三个载体传感器可以分别联接至三轴载体的致动器构件212,并且被配置来测量三轴载体的相应的致动器构件212的驱动。此类传感器可以包括电位计或其他类似的传感器。在实施例中,传感器(例如,电位计)可以被插入在电机的电机轴上,以便于测量电机转子和电机定子的相对位置,从而测量转子和定子的相对位置并生成表示所述相对位置的位置信号。在实施例中,每个与致动器联接的传感器被配置来提供其所测量的对应的致动器构件的位置信号。例如,第一电位计可以用来生成第一致动器构件的第一位置信号,第二电位计可以用来生成第二致动器构件的第二位置信号,并且第三电位计可以用来生成第三致动器构件的第三位置信号。在一些实施例中,载体传感器213也可以联接至载体的框架构件中的一些或全部框架构件上。传感器可能能够传送与载体的一个或多个框架构件和/或图像捕捉装置的位置和/或朝向有关的信息。可以使用传感器数据来确定图像捕捉装置相对于可移动物体和/或参照系的位置和/或朝向。
[0040] 载体传感器213可以提供可以传输给载体或可移动物体上的一个或多个控制器(未示出)的位置和/或朝向数据。可以在基于反馈的控制方案中使用传感器数据。控制方案可以用于控制一个或多个致动器构件(诸如一个或多个电机)的驱动。一个或多个控制器(其可以位于载体上或位于携带载体的可移动物体上)可以生成用于驱动致动器构件的控制信号。在一些情形下,可以基于从载体传感器接收的指示载体或由载体201携带的有效载荷202的空间部署的数据来生成控制信号。如本文先前所描述,载体传感器可以位于载体或有效载荷202上。由控制器产生的控制信号可以由不同的致动器驱动器接收。基于控制信号,不同的致动器驱动器可以控制不同的致动器构件的驱动,例如以实现载体的一个或多个部件的旋转。致动器驱动器可以包括硬件和/或软件部件,所述部件适合于控制对应的致动器构件的驱动并且从对应的传感器(例如,电位计)接收位置信号。控制信号可以同时传输给致动器驱动器,以产生致动器构件的同时驱动。备选地,控制信号可以顺序地传输或仅传输至致动器驱动器中的一者。有利地,控制方案可以用于提供用于驱动载体的致动器构件的反馈控制,从而实现载体部件的更精确和准确的旋转。
[0041] 在一些情形下,载体201可以通过一个或多个阻尼元件间接联接至UAV。阻尼元件可以被配置来减少或消除由可移动物体(例如,UAV)的移动所引起的负载(例如,有效载荷、载体或二者)的移动。阻尼元件可以包括适合于阻尼所联接的负载的运动的任何元件,诸如主动阻尼元件、被动阻尼元件或具有主动和被动阻尼特性二者的混合阻尼元件。受到在此提供的阻尼元件阻尼的运动可以包括震动、振荡、晃动或冲击中的一者或多者。这类运动可以源自可移动物体的被传递到负载上的运动。例如,运动可以包括由UAV的推进系统和/或其他部件的操作所造成的震动。
[0042] 阻尼元件可以通过以下方式来提供运动阻尼:通过抵消传递到负载上的运动或减小所述运动的量来使负载与所不期望的运动源相隔离(例如,震动隔离)。阻尼元件可以减小否则负载会经历的运动的幅度(例如,振幅)。由阻尼元件施加的运动阻尼可以用来使负载稳定,从而改进由负载(例如,图像捕捉装置)捕捉的图像的质量,并且降低基于所捕捉的图像来生成全景图像所需的图像拼接步骤的计算复杂度。
[0043] 在此描述的阻尼元件可以由任何合适的材料或材料组合形成,包括固态、液态、或气态材料。用于阻尼元件的材料可以是可压缩的和/或可变形的。例如,阻尼元件可以由海绵、泡沫橡胶、凝胶等等制成。例如,阻尼元件可以包括基本上呈球形形状的橡胶球。阻尼元件可以具有任何合适的形状,诸如基本上球形、长方形、圆柱形等等形状。备选地或另外,阻尼元件可以包括压电材料或者形状记忆材料。阻尼元件可以包括一个或多个机械元件,诸如弹簧活塞、液压件、气动件、缓冲器、减震器、隔离装置等等。可以对阻尼元件的特性进行选择,以便于提供预定量的运动阻尼。在一些情形下,阻尼元件可以具有粘弹性特性。阻尼元件的特性可以是各向同性或各向异性的。例如,阻尼元件可以提供沿所有运动方向都等同的运动阻尼。相反地,阻尼元件可以仅沿运动方向的子集(例如,沿单一运动方向)提供运动阻尼。例如,阻尼元件可以主要沿Y(偏航)轴线提供阻尼。因此,所示的阻尼元件可以被配置来减少竖直运动。
[0044] 虽然不同的实施例可以被描绘成利用单一类型的阻尼元件(例如,橡胶球),但当应当理解的是可以使用任何合适类型阻尼元件的组合。例如,可以使用合适的任一种或多种类型的一个或多个阻尼元件来将载体联接到可移动物体上。阻尼元件可以具有相同的或不同的特征或特性,诸如刚度、粘弹性等等。每个阻尼元件可以联接至负载的不同部分上或仅联接至负载的某一部分上。例如,阻尼元件可以位于负载与可移动物体之间的接触点或联接点或者表面附近。在一些情形下,负载可以被嵌入在一个或多个阻尼元件内或由其封闭。
[0045] 图3展示了根据本发明的不同实施例在可移动物体环境中支持目标跟踪。如图3所示,目标跟踪系统300包括可移动物体310和控制终端311。系统300可以用于跟随,诸如跟踪一个或多个目标306。虽然可移动物体310被描绘为无人飞行器(UAV),但是这种描述并不旨在具有限制性,并且可以使用如本文所述的任何合适类型的可移动物体。本领域技术人员将了解到,本文中在飞行器系统的背景下所描述的任何实施例都可以应用于任何合适的可移动物体。
[0046] 在一些实施例中,可移动物体310可以包括载体301和有效载荷302。载体301可以允许有效载荷302相对于可移动物体310移动。例如,载体301(例如,台)可以允许有效载荷302围绕一条或多条轴线旋转。备选地或另外,载体301可以允许有效载荷302沿一条或多条轴线线性移动。旋转或平移移动的轴线可以彼此正交或不正交。
[0047] 在一些实施例中,有效载荷302可以与可移动物体310刚性地联接或连接,以使得有效载荷302相对于可移动物体310基本上保持静止。例如,连接可移动物体310和有效载荷302的载体301可能不允许有效载荷301相对于可移动物体310移动。备选地,不需要载体就可以将有效载荷104直接联接到可移动物体101上。
[0048] 在一些实施例中,有效载荷302可以包括用于勘察或跟踪一个或多个目标306的一个或多个传感器。这种有效载荷的示例可以包括图像捕捉装置或成像装置(例如,相机或摄像机、红外成像装置、紫外成像装置等等)、音频捕捉装置(例如,抛物面麦克)、红外成像装置等等。有效载荷302中可以结合任何合适的一个或多个传感器以便捕捉任何视觉、音频、电磁信号或任何其他期望的信号。传感器可以提供静态感测数据(例如,照片)或者动态感测数据(例如,视频)。传感器可以实时地或高频率地连续捕捉感测数据。
[0049] 在不同实施例中,被可移动物体101跟踪的目标306可以包括任何自然的或人造的物体或结构,诸如地理景观(例如,山脉、植被、谷地、湖泊或河流)、建筑物、运载工具(例如,飞行器、船舶汽车卡车、公交车、货车或摩托车)。目标306还可以包括有生命的主体,诸如人或动物。目标306相对于任何合适的参照系可以是移动的或静止的。参照系可以是相对固定的参照系(例如,周围环境或地球)。备选地,参照系可以是移动的参照系(例如,移动的运载工具)。在不同实施例中,目标306可以包括被动目标或主动目标。主动目标可以被配置来向可移动物体传输与目标有关的信息,诸如目标的GPS位置。可以通过从主动目标的通信单元到可移动物体的通信单元的无线通信来向可移动物体传输信息。主动目标的示例可以包括友好的运载工具、建筑物、军队等等。被动目标并未被配置来传输与目标有关的信息。被动目标的示例可以包括中立的或敌对的运载工具、建筑物、军队等等。
[0050] 在一些实施例中,控制终端311可以被配置来提供控制数据、或可以由可移动物体310上的控制器304使用来生成控制数据的数据。控制数据可以用于直接或间接地控制可移动物体310的多个方面。在一些实施例中,控制数据可以包括用于控制可移动物体的导航参数(诸如,可移动物体310的位置、速度、朝向或姿态)的导航命令。例如,控制数据可以用来控制UAV的飞行。控制数据可以影响可能影响UAV的飞行的一个或多个推进单元的操作。在其他情况下,控制数据可以包括用于控制可移动物体310的独立部件的命令。
[0051] 在一些实施例中,控制数据可以包括用于控制载体301的操作的信息。例如,控制数据可以用来控制载体301的致动机构以使有效载荷302相对于可移动物体310进行角移动和/或线性移动。作为另一个示例,控制数据可以用来控制不具有有效载荷的载体301的移动。作为另一个示例,控制数据可以用来调整有效载荷302的一个或多个操作参数,诸如拍摄静态或动态照片、放大或缩小、开启或关闭、切换成像模式、改变图像分辨率、变焦、改变景深、改变曝光时间、改变镜头速度、改变视角或视野等等。在其他实施例中,控制数据可以用来控制可移动物体310的感测系统(未示出)、通信系统(未示出)等等。
[0052] 在一些实施例中,来自控制终端311的控制数据可以包括目标信息,所述目标信息可以由可移动物体310上的控制器304使用来生成控制数据。在一些情况下,目标信息可以包括特定目标的特性,诸如由可移动物体310携带的成像装置所捕捉的一个或多个图像中的目标的初始位置(例如,坐标)和/或大小。另外或备选地,目标信息可以包括目标类型信息,诸如目标的类型或类别的特性,包括颜色、纹理、图案、大小、形状、尺寸等等。目标信息可以包括目标的图像的数据表示。这可以包括视野内的目标的图像。视野可以由成像装置捕捉的图像限定或覆盖
[0053] 目标信息还可以包括预期目标信息。预期目标信息指明被跟踪的目标可能出现在由成像装置捕捉的图像中的特性。预期目标信息可以用来调整可移动物体、载体和/或成像装置,以使得被跟踪的目标根据预期目标信息而维持在一个或多个图像中的外观。例如,可以跟踪目标,以便于维持由成像装置捕捉的一个或多个图像中的预期位置和/大小。例如,所跟踪的目标的预期位置可以位于图像的中心附近或偏离中心。所跟踪的目标的预期大小可以为约某个像素数目。预期目标信息可以与初始目标信息相同或不同。在不同实施例中,预期目标信息可以由或不由控制终端提供。例如,预期目标信息可以被硬编码在由可移动物体上的处理单元执行的控制逻辑中、存储在可移动物体的本地和/或远程数据存储器中、或从其他合适的来源获得。
[0054] 在一些实施例中,目标信息(包括特定目标信息和目标类型信息)可以至少部分地在控制终端311处的用户输入端上生成。另外或备选地,目标信息可以基于来自其他来源的数据而生成。例如,目标类型信息可以基于先前的图像和/或从本地或远程数据存储器中提取的数据而获得。图像可以是由联接至可移动物体310上的成像装置或其他装置先前捕捉的。图像可以是计算机生成的。此类目标类型信息可以由用户选择和/或默认地自动提供给可移动物体。
[0055] 目标信息可以由可移动物体310使用来跟踪一个或多个目标306。跟踪和任何其他相关数据处理可以至少部分地由可移动物体310上的一个或多个处理器执行。在一些实施例中,目标信息可以由可移动物体使用来识别有待跟踪的目标306。这种目标识别可以基于初始目标信息来执行,所述初始目标信息包括特定目标的特定特性(例如,由可移动物体捕捉的图像内的目标的初始坐标)、或某一类型目标的一般特性(例如,有待跟踪的一个或多个目标的颜色和/或纹理)。在一些情况下,目标识别可以涉及任何合适的图像识别和/或匹配算法。在一些实施例中,目标识别包括将两个或更多个图像进行比较以便确定、提取和/或匹配其中所含的特征。
[0056] 一旦目标被识别,就可以使用预期目标信息来检测相对于目标的预期特性,诸如预期位置和/或大小的偏差。在一些实施例中,当前目标特性或信息可以基于由可移动物体捕捉的一个或多个图像来确定。可以将当前目标信息与控制终端所提供的预期目标信息进行比较以确定相对于其的偏差。可以通过将图像内的目标的坐标(例如,目标的中心点的坐标)与预期目标位置的坐标进行比较来检测目标的位置的变化。可以通过将目标所覆盖的面积的大小(例如,以像素计)与预期目标大小进行比较来检测目标的大小的变化。在一些实施例中,可以通过检测目标的朝向、边界或其他特性来检测大小的变化。
[0057] 至少部分地基于所检测到的偏差,可以(例如,通过可移动物体上的一个或多个处理器)生成控制信号,所述控制信号会引起基本上校正所检测到的偏差的调整。因此,调整可以用来基本上维持由可移动物体捕捉的图像内的一个或多个预期目标特性(例如,目标位置和/或大小)。在一些实施例中,调整可以在可移动物体正执行用户提供的导航命令(例如,悬停或移动)和/或预定导航路径时基本上实时地执行。调整也可以在成像装置正在捕捉一个或多个图像时基本上实时地执行。在一些实施例中,调整可以基于其他信息,诸如由可移动物体上的一个或多个传感器(例如,接近度传感器或GPS传感器)所获取的感测数据来产生。例如,被跟踪的目标的位置信息可以通过接近度传感器来获得和/或由目标自身提供(例如,GPS位置)。除了所检测到的偏差之外,还可以使用这种位置信息来产生调整。
[0058] 调整可以是关于可移动物体、载体和/或有效载荷(例如,成像装置)。例如,调整可以致使可移动物体和/或有效载荷(例如,成像装置)改变其位置、姿态、朝向、角速度和/或线速度、角速度和/或线速度等等。调整可以致使载体操作来使有效载荷(例如,成像装置)相对于可移动物体,诸如围绕或沿一条、两条、三条或更多条轴线移动。此外,调整可以包括对缩放、聚焦或有效载荷(例如,成像装置)自身的其他操作参数(例如,放大/缩小)的调整。
[0059] 在一些实施例中,调整可以至少部分地基于所检测到的偏差的类型来产生。例如,相对于预期目标位置的偏差可能要求可移动物体和/或有效载荷(例如,通过载体)围绕一条、两条或三条旋转轴线旋转。作为另一个示例,相对于预期目标大小的偏差可能要求可移动物体沿适当轴线进行平移移动和/或改变成像装置的缩放(例如,放大或缩小)。
[0060] 在不同实施例中,基本上校正相对于预期目标信息的偏差的调整可以通过以下方式来实现:经由控制信号来控制一个或多个可控制物体,诸如可移动物体、载体、成像装置或其任何组合。在一些实施例中,可以对可控制物体进行选择以便实施调整,并且可以至少部分地基于可控制物体的配置或设定来生成对应的控制信号。例如,如果成像装置刚性联接至可移动物体并且因此不被允许相对于可移动物体移动,则涉及围绕两条轴线(例如,偏航和俯仰轴线)旋转的调整可以仅仅通过可移动物体围绕两条轴线的对应旋转来实现。当成像装置直接联接至可移动物体时,或当成像装置通过不允许成像装置与可移动物体之间发生相对移动的载体联接至可移动物体时,同样可能出现以上情况。如果载体允许成像装置相对于可移动物体围绕至少一条轴线旋转,则可以通过将对可移动物体和载体两者进行的调整组合来实现相同的双轴调整。在此情况下,可以控制载体来实施围绕调整所要求的两条轴线中的一条或两条轴线进行的旋转,并且可以控制可移动物体来实施围绕两条轴线中的一条或两条轴线进行的旋转。例如,载体可以包括单轴云台,所述单轴云台允许成像装置围绕调整所要求的两条轴线中的一条旋转,而围绕其余轴线的旋转由可移动物体实现。备选地,如果载体允许成像装置围绕两条或更多条轴线相对于可移动物体旋转,则单独通过载体就可以实现相同的双轴调整。例如,载体可以包括双轴或三轴云台。
[0061] 作为另一个示例,校正目标的大小的变化的调整可以通过控制成像装置的缩小/放大(例如,如果成像装置支持所要求的缩放等级),通过控制可移动物体的移动(例如,以便于更靠近或更远离目标),或通过成像装置的缩小/放大与可移动物体的移动的组合来实现。可移动物体上的处理器可以就要调整哪个物体或物体组合而做出决定。例如,如果成像装置不支持在图像内维持目标的所要求大小而要求的缩放等级,则代替调整成像装置的缩放或除此之外,可以使可移动物体受控移动。
[0062] 在一些实施例中,调整可以通过考虑其他约束条件来实施。例如,在可移动物体的导航路径被预先确定的情况下,调整可以在不影响可移动物体的移动的情况下通过载体和/或成像装置来实施。例如,在远程用户通过控制终端来主动控制可移动物体的导航的情况下,或者在可移动物体正在根据预先存储的导航路径(例如,自主地或半自主地)导航的情况下,可移动物体的导航路径可以被预先确定。
[0063] 其他约束条件的示例可以包括可移动物体、载体和/或有效载荷(例如,成像装置)的旋转角度、角速度和/或线速度、操作参数等等的最大和/或最小限值。这类最大和/或最小阈值可以用来限制调整的范围。例如,可移动物体和/或成像装置围绕某一轴线的角速度可以由针对可移动物体、载体和/或有效载荷(例如,成像装置)所允许的最大角速度封顶。作为另一个示例,可移动物体和/或载体的线速度可以由针对可移动物体、载体和/或有效载荷(例如,成像装置)所允许的最大线速度封顶。作为又一个示例,对成像装置的焦距的调整可以由特定成像装置的最大和/或最小焦距来限制。在一些实施例中,这类限值可以是预定的并且取决于可移动物体、载体和/或有效载荷(例如,成像装置)的具体配置。在一些情形下,这类配置可以是可配置的(例如,可由制造商、管理员或用户配置)。
[0064] 在一些实施例中,可移动物体310可以被配置来提供数据并且控制终端311可以被配置来接收所述数据,所述数据诸如由可移动物体310上的传感器303获取的感测数据、以及用于指示由可移动物体310跟踪的一个或多个目标的特性的跟踪数据或信息。感测数据的示例可以包括由可移动物体310所携带的成像装置获取的图像数据或由其他传感器获取的其他数据。例如,实时的或几乎实时的视频可以从可移动物体310和/或有效载荷302(例如,成像装置)被流式传输到控制终端311。感测数据还可以包括由全球定位系统(GPS)传感器、运动传感器、惯性传感器、接近度传感器或其他传感器获取的数据。跟踪信息的示例可以包括从可移动物体接收的一个或多个图像内的目标的相对或绝对坐标和/或大小、连续图像帧之间的目标的变化、GPS坐标或目标的其他位置信息等等。在一些实施例中,跟踪信息可以由控制终端311使用来显示正被跟踪的目标(例如,通过图形跟踪指示符,诸如目标周围的线框)。在不同实施例中,由控制终端接收的数据可以包括原始数据(例如,由传感器获取的原始感测数据)和/或经处理的数据(例如,由可移动物体上的一个或多个处理器处理的跟踪信息)。
[0065] 在一些实施例中,控制终端311可以位于远隔或远离可移动物体310、载体301和/或有效载荷302的位置处。控制终端311可以设置在或附接到支撑平台上。备选地,控制终端311可以是手持式或穿戴式装置。例如,控制终端311可以包括智能手机、平板计算机、膝上型计算机、计算机、眼镜、手套、头盔、麦克风或其合适的组合。而且,控制终端311可以支持一个或多个应用程序305(诸如移动APP)的运行,这可以包括图像查看315。
[0066] 控制终端311可以被配置来通过显示器而显示从可移动物体310接收的数据。所显示的数据可以包括感测数据,诸如由可移动物体310携带的成像装置获取的图像(例如,静止图像和视频)。所显示的数据还可以包括与图像数据分开显示的或叠加在图像数据之上的跟踪信息。例如,显示器可以被配置来显示图像,在所述图像中,目标由跟踪指示符(诸如线框、圆圈或环绕正被跟踪的目标的任何其他几何形状)指示或突出显示。在一些实施例中,图像和跟踪指标在从可移动物体接收图像数据和跟踪信息时和/或在获取图像数据时基本上实时地显示。在其他实施例中,所述显示可以在某个延时之后提供。
[0067] 控制终端311可以被配置来接收通过输入装置进行的用户输入。输入装置可以包括操纵杆、键盘鼠标触控笔、麦克风、图像或运动传感器、惯性传感器等等。可以使用任何合适的用户输入来与终端交互,诸如手动键入的命令、语音控制、手势控制或位置控制(例如,通过终端的移动、定位或倾斜)。例如,控制终端311可以被配置成允许用户通过操纵操纵杆,改变控制终端的朝向或姿态,使用键盘、鼠标、手指或触控笔来与图形用户界面交互、或通过使用任何其他合适的方法来控制可移动物体、载体、有效载荷或其任何部件的状态。
[0068] 控制终端311还可以被配置成允许用户使用任何合适的方法来键入目标信息。在一些实施例中,控制终端311可以被配置成使得用户能够从正在显示的一个或多个图像(例如,视频或快照)中直接选择目标。例如,用户可以通过使用手指或触控笔直接触摸屏幕或者使用鼠标或操纵杆进行选择来选择目标。用户可以围绕目标画图、触摸图像中的目标或以其他方式选择目标。可以使用计算机视觉技术或其他技术来确定目标的边界。在其他方面,用户输入可以限定目标的边界。一次可以选择一个或多个目标。在一些实施例中,所选择的目标与选择指标一起被显示,所述选择指标用于指示用户已经选择了跟踪的目标。在一些其他实施例中,控制终端可以被配置成允许用户键入或选择目标类型信息,诸如颜色、纹理、形状、尺寸或与所期望目标相关联的其他特性。例如,用户可以键入目标类型信息、使用图形用户界面来选择此类信息或者使用任何其他合适的方法。在一些其他实施例中,目标信息可以从除了用户之外的来源获得,诸如远程或本地数据存储器、操作性连接至控制终端或以其他方式与之通信的其他计算装置等等。
[0069] 在一些实施例中,控制终端允许用户在手动跟踪模式与自动跟踪模式之间选择。当选择手动跟踪模式时,用户可以指明要跟踪的特定目标。例如,用户可以从由控制终端正显示的图像中手动选择目标。与所选择的目标相关联的特定目标信息(例如,坐标和/或大小)接着作为目标的初始目标信息而提供给可移动物体。另一方面,当选择自动跟踪模式时,用户并不指明有待跟踪的特定目标。而是,用户可以例如通过由控制终端提供的用户界面来指明与有待跟踪的目标的类型有关的描述信息。可移动物体接着可以使用特定目标的初始目标信息或目标类型信息来自动识别有待跟踪的目标并且随后跟踪所识别的目标。
[0070] 在此,提供特定目标信息(例如,初始目标信息)要求由用户更多地控制对目标的跟踪并且由可移动物体上的处理系统进行更少的自动化处理或计算(例如,图像或目标识别)。另一方面,提供目标类型信息要求由用户更少地控制跟踪过程,但由机载处理系统执行更多的计算。在用户与机载处理系统之间适当地分派对跟踪过程的控制可以根据各种因素来调整,诸如可移动物体的环境、可移动物体的速度或海拔、用户偏好、以及可移动物体之上和/或之外可获得的计算资源(例如,CPU或存储器)等等。例如,当可移动物体在相对复杂的环境(例如,具有众多建筑物或障碍物或在室内)中导航时,与可移动物体在相对简单的环境(例如,宽阔的开放空间或室外)中导航时相比,可以将相对更多的控制分派给用户。作为另一个示例,当可移动物体处于较低海拔时,与可移动物体处于较高海拔时相比,可以将更多的控制分派给用户。作为又一个示例,如果可移动物体配备有适于相对快速地执行复杂计算的高速处理器,则可以将更多的控制分派给可移动物体。在一些实施例中,在用户与可移动物体之间分派对跟踪过程的控制可以基于在此描述的因素来动态地调整。
[0071] 可以至少部分地使用用户输入来生成诸如本文描述的控制数据。控制数据可以由控制终端、可移动物体、第三装置或其任何组合来生成。例如,用户对操纵杆或控制终端的操纵或者与图形用户界面的交互可以被转换成预定控制命令以用于改变可移动物体、载体或有效载荷的状态或参数。作为另一个示例,用户在由控制终端正显示的图像内对目标的选择可以用来生成初始和/或预期目标信息以用于跟踪目的,诸如目标的初始和/或预期位置和/或大小。备选地或另外,控制数据可以基于从非用户来源,诸如远程或本地数据存储器、操作性连接至控制终端的其他计算装置等等获得的信息来生成。
[0072] 图4展示了根据本发明的不同实施例的可移动物体环境中的示例性目标跟踪系统。如图4所示,可移动物体400包括控制器410,所述控制器410可以从由载体401携带的相机402、以及机载的其他传感器403接收不同类型的信息,诸如图像信息。
[0073] 控制器410可以基于从相机402接收到的图像信息来执行初始化操作411。可选地,控制器410可以使用专用或通用检测器413来在初始化图像中检测目标(即,有待跟踪的对象)。因此,控制器410可以获取目标并且设立对应的跟踪策略。
[0074] 此外,可移动物体400可以使用跟踪器412来跟踪目标。在跟踪器412丢失目标的情况下,系统可以使用检测器413来重新检测丢失的目标以便继续跟踪过程。另外,控制器410可以基于从传感器403接收到的信息来执行另外的操作,诸如位置预估414和导航操作415。
[0075] 图5展示了根据本发明的不同实施例在可移动物体环境500中支持目标跟踪。
[0076] 在步骤501处,可移动物体可以开始跟踪目标。在步骤502处,可移动物体可以实时地捕捉一个或多个图像,诸如视频。例如,可移动物体可以利用由云台携带的相机或者可移动物体(例如UAV)上的其他图像传感器。
[0077] 在步骤503处,可移动物体可以执行初始化操作来获取目标。例如,可移动物体可以从初始化图像中获取目标并且获得目标的特征模型。此外,可移动物体可以继续执行初始化操作,直到已经成功获取目标为止。
[0078] 在步骤504处,可移动物体可以执行跟踪过程。例如,可移动物体可以采用基于视觉的跟踪器来跟踪目标。
[0079] 在步骤505处,系统可以检查是否出现跟踪失败。在步骤506处,当出现跟踪失败时,系统可以执行目标检测操作。接着在步骤507处,系统可以检查是否检测到目标。系统可以反复执行目标检测操作,直到重新检测到目标为止。
[0080] 在另一个方面,在步骤508处,系统可以预估目标位置以便连续跟踪目标,只要跟踪是成功的即可(即,包括重新检测到目标的情况)。在步骤509处,借助于预估的目标位置,系统可以执行移动控制操作,诸如UAV的飞行控制,这允许可移动物体捕捉图像以便连续跟踪。
[0081] 图6展示了根据本发明的不同实施例在可移动物体环境600中初始化目标跟踪。如图6所示,可移动物体603可以捕捉图像601,所述图像601可以传输到应用程序602(例如,位于地面终端上)。应用程序602可以使用图像查看604来显示图像601,所述图像601包括一个或多个特征,例如对象A-C 611-613。
[0082] 根据本发明的不同实施例,可移动物体603可以例如在接收用户输入,诸如目标上的一个点和/或有待跟踪的目标类别(例如,人类)之后使用不同类型的对象检测器来检测目标(即,用户期望的对象)。
[0083] 例如,可移动物体603可以在初始化阶段使用对象提议方法。如图6所示,系统允许用户在感兴趣对象上,例如图像601中的对象B 612上选择点605。一旦从用户接收所选择的点605,系统就可以使用边界框606来限定和提出对象612,所述对象612可以具有不规则形状。
[0084] 此外,系统可以例如使用不同的边界框来提出多个对象侯选物。在这种情况下,允许用户就期望哪个对象侯选物(即,边界框)做出决定。接着,系统可以基于所选择的对象提议来生成特征模型610。如图6所示,特征模型610可以表示边界框606内那块像点的图像特性。在从地面站接收对所期望的对象候选项的选择(或边界框)之后,可移动物体603可以基于目标的特征模型610而开始跟踪目标。
[0085] 根据本发明的不同实施例,特征模型610可以基于检验常见对象,诸如人体、汽车和人脸来构造。在这种情况下,特征模型704可以包括经离线训练的不同离散对象。备选地,特征模型704可以基于分析对象的特性,诸如边缘/轮廓和颜色信息来构造。例如,特征模型610可以使用不同的方法,诸如光流和/或相关性滤波算法来生成。而且,特征模型610可以空间域和/或频域表示。
[0086] 使用这种初始化过程,有待从地面站(即,应用程序602)传输至可移动物体603(例如,UAV)的数据是有限的,因为可能仅需要所选择的点605的位置来初始化跟踪过程。因此,初始化步骤中的传输延迟可以被最小化。在另一方面,可移动物体可以将图像或视频数据连续传输给应用程序602以进行用户交互,因为从可移动物体603(例如,UAV)到地面站(即,应用程序602)的数据链路与从可移动物体603到地面站(即,应用程序602)的数据链路相比往往具有更宽的带宽和更高的速度。
[0087] 图7展示了根据本发明的不同实施例在可移动物体环境700中跟踪目标。如图7所示,可移动物体710可以包括载体701,所述载体701携带成像装置702,诸如相机。成像装置702可以捕捉目标706的图像703。此外,可移动物体710可以包括控制器705,所述控制器705可以维护用于跟踪目标706的特征模型704并且生成用于控制可移动物体710的控制信号。
[0088] 根据本发明的不同实施例,系统可以通过跟随表示目标706的特征来跟踪目标。例如,系统可以确定不同特征,诸如图像703中的特征A-C 711-713与特征模型704之间的相似度。相似度可以计算为图像703中的每个特征的函数的结果值(或分数)。基于所计算出的分数,系统可以确定哪个特征表示目标706。备选地,系统可以将图像703中的每个特征与特征模型直接进行比较以确定所述特征是否表示目标706。
[0089] 系统可以定期例如通过检查函数的结果值(或分数)是否保持高于先前确定的阈值来确定在跟踪过程中是否保持特征与特征模型之间的相似度。系统可以在所述值低于先前确定的阈值时认为目标丢失。接着,系统可以检验每个后续图像并且寻找目标。检验可以是基于原始特征模型或最后一次更新的特征模型,并且可以通过跨越每个后续图像中的不同尺度和位置来执行。
[0090] 因此,系统可以维持跟踪精度,这对于长期目标跟踪而言是有益的,因为小误差可能会累积并且使得整个跟踪系统不稳定。而且,系统可以执行失败检测和目标重新检测,这在稳固性和实践性两方面而言也有益于长期目标跟踪。例如,一旦目标在被遮挡一阵之后重新出现,系统就可以维持对目标的跟踪。
[0091] 图8展示了根据本发明的不同实施例的为了在可移动物体环境中跟踪目标而捕捉的两个图像之间的透视变换关系。
[0092] 在如图8所示的示例中,可移动物体环境800中的可移动物体801包括携带诸如相机803的成像装置的载体802。可移动物体801可以在目标804正在移动(或保持静止)时跟踪目标804。
[0093] 仅出于说明目的,在时间T1,相机803可以捕捉目标804的在具有坐标x-y的图像平面内的图像805。接着,在时间T2,相机803可以捕捉目标804(可以处于或不处于同一位置处)的在具有坐标x’-y’的图像平面内的图像815。
[0094] 如图8所示,在图像805中的图像坐标x-y与图像815中的图像坐标x’-y’之间可以存在透视变换820关系。这种透视变换820通过相机893与目标804之间的相对位置的变化来确定。
[0095] 图9展示了根据本发明的不同实施例使用逆透视变换来支持在可移动物体环境900中跟踪。如图9所示,在可以为初始图像的图像901与在稍后时间捕捉的图像902之间可以存在透视变换910。透视投影910可以改变目标911在其显现在图像902中时的几何形状,这可能会增大应用各种基于图像的跟踪算法的难度。
[0096] 根据本发明的不同实施例,增稳机构诸如云台可以在UAV移动时使成像过程保持稳定。这种增稳机构可以减轻相机移动对跟踪性能的影响。然而,尤其是对于图像边缘处出现的对象而言,基于视觉的跟踪算法,诸如基于梯度特征的方向梯度直方图(HOG)方法可能仍要求复杂的模型来处理顶视图中的变化。
[0097] 根据本发明的不同实施例,系统可以对为了跟踪目标而捕捉的图像901与图像902之间的透视变换进行补偿。例如,系统可以对所捕捉的图像902应用逆透视变换920以便产生经补偿的图像904。系统可以基于透视变换910来获得逆透视变换920。
[0098] 接着,系统可以通过对经补偿的图像904应用特征模型来执行对目标的跟踪。在此,从经补偿的图像904获得的跟踪信息(诸如边界框)可以针对所捕捉的图像902往回转换,所捕捉的图像902在控制终端上在图像查看中向用户显示。在此,转换可以使用透视变换910来执行。
[0099] 备选地,系统可以在对所捕捉的图像902应用补偿特征模型之前对特征模型应用逆透视变换920。
[0100] 如图9所示,通过应用考虑到相机的俯仰角的变化的透视变换,可以实现图像校正。在给出俯仰角和相机固有矩阵时,透视矩阵可以计算为
[0101] trans=K×R×K-1
[0102] 其中R是旋转矩阵,
[0103]
[0104] 并且K是固有矩阵,
[0105]
[0106] 图10示出了根据本发明的不同实施例的在可移动物体环境中跟踪目标的流程图。如图10所示,在步骤1001处,系统可以获得目标的特征模型,其中特征模型表示目标的图像特性。此外,在步骤1002处,系统可以从由可移动物体所携带的成像装置捕捉的一个或多个图像中提取一个或多个特征。另外,在步骤1003处,系统可以对所述一个或多个特征应用所述特征模型以确定相似度。
[0107] 图11展示了根据本发明的不同实施例在可移动物体环境1100中支持目标跟踪和重新检测。如图11所示,系统可以使用基于视觉的跟踪器来基于所捕捉的图像1101而进行目标跟踪。
[0108] 根据本发明的不同实施例,基于视觉的跟踪器可以利用不同的跟踪算法,诸如光流算法和/或相关性滤波算法。此外,系统可以在一段较长的时间内自动跟踪和检测目标。另外,跟踪可以通过利用搜索窗口来执行,所述搜索窗口是局部搜索范围,跟踪算法可以在所述搜索窗口内找出目标的最佳位置/尺度,即,可以局部地而非针对整个图像全局地执行跟踪。
[0109] 如图11所示,基于视觉的跟踪器可以在跟踪目标时通过对图像1101应用特征模型1102来生成跟踪输出1103,所述图像1101包括不同特征,诸如特征A-C 1111-1113。例如,跟踪器可以跟随在搜索窗口1110中带有边界框1106的特征B。此外,基于跟踪输出1103,系统可以执行失败检测1104和目标重新检测1105操作。
[0110] 跟踪输出1103可以是特征响应图,所述特征响应图是针对图像1101中的搜索窗口1110而生成的。特征响应图中的每个点都可以表示从搜索窗口1110中的一块像点(即,滑动窗口)中提取的一个或多个特征与目标的特征模型1102之间的相关性或相似度。
[0111] 例如,系统可以使滑动窗口在搜索窗口1110周围移动以获得空间域中的完整的特征响应图。备选地,系统可以例如使用相关性滤波方法来获得频域中的特征响应图,而不需要实际使滑动窗口整个在图像1101中的搜索窗口1110上移动。
[0112] 例如,系统可以通过利用基于相关性滤波的跟踪算法和快速对象提议算法两者而将目标检测与相关性框架结合。基于相关性的对象跟踪算法既快速又有效,这对于可移动物体,诸如无人飞行器(UAV)是有益的,因为可移动物体通常具有有限的计算能力和动力资源。另外,一旦目标丢失,系统就可以重新检测目标。而且,系统可以使用单一相机在存在连续性和稳定性的情况下计算在飞行中的跟踪对象的位置,例如使用基于相关性滤波的跟踪算法来预估对象大小。
[0113] 使用相关性框架,可以在空间域和/或频域中执行的目标跟踪可以涉及多个步骤,诸如平移预估步骤和尺度预估步骤。两个步骤均可以包括从图像块(patch)中提取特征,计算最大特征响应并且更新特征模型。
[0114] 例如,系统可以基于具有M×N个像素的矩形图像块x而在频域内对目标执行平移预估,从所述矩形图像块中可以提取出d维特征图。为了计算最大特征响应,目的是通过将以下成本函数最小化来找出最佳相关性滤波器h:
[0115]
[0116] 其中符号★表示循环相关性,d是总特征维度的数目,fl是f的l特征维度,g是期望的相关性输出,它可以是高斯函数,并且λ是正则化参数,其中λ≥0。
[0117] 另外,特征模型可以基于以上优化问题的解来更新。例如,使用快速傅里叶变换(FFT),以上优化问题的解是:
[0118]
[0119] 其中条 表示复共轭,并且 是逐个元素的乘积。
[0120] 此外,系统可以通过在所预估的平移位置中构造目标特征金字塔来进行尺度预估,以便于处理对象尺度变化。接着,系统可以找出最佳对象尺度,这将尺度响应最大化。例如,对于每个尺度, 其中N是尺度个数,系统可以提取具有大小sP×sQ的图像块ZS,所述图像块位于所预估的平移位置的中心。而且,对于每个块ZS,系统可以从所述图像块ZS中提取d′维特征图f′并将f′联合(conjunct)成联合结构作为一个单独的维度。接着,系统可以计算尺度响应并且基于所述联合结构来更新尺度模型。
[0121] 此外,为了执行失败检测1104操作,系统可以通过指标来将特征响应图中的相关性量化,所述指标指示基于视觉的跟踪器何时跟踪目标失败。例如,指标可以是基于峰值旁瓣比(PSR),这可以量化相关性响应图。跟踪器可以检查每个帧中的平移响应。当PSR值低于针对多个图像(例如,排成一行的10个帧)的阈值τt时,跟踪器可以停止更新特征模型并且可以触发检测器来检测目标。例如,跟踪器可以将当前平移模型Ht传送至检测器。
[0122] 接着,为了执行目标重新检测1105操作,检测器可以执行检测(或重新检测)目标的任务,所述任务可以包括诸如针对当前图像帧产生对象提议、过滤对象提议、获得最佳对象候选项、以及计算最佳对象候选项的置信度等步骤。
[0123] 例如,系统可以通过使用不同的对象提议算法而在图像帧中获得目标的对象提议候选项集合,这允许避免搜索整个图像来寻找对象候选项。在此,对象提议算法可以从单一图像返回大量对象候选项。每个对象候选项可以被定义为包含“对象”的矩形边界框并且可以与对应的对象置信度(例如,分数)相关联。例如,对象提议可以被定义为bb=[x,y,w,h,分数],其中x、y表示图像中的侯选物左上方点位置,并且w、h分别表示边界框宽度和高度。另外,对象候选项提议可以根据分数按降序(或升序)排名。
[0124] 接着,系统可以从对象提议候选项集合中去除不可能的侯选物。例如,系统可以利用预过滤方法来加速去除过程并且避免错配,因为对象提议算法可以返回大量侯选物,包括几乎不可能是所期望对象的侯选物。例如,系统可以在应用预过滤方法之后仅选择最前面几个(例如,10个)侯选物。
[0125] 根据本发明的不同实施例,在预过滤方法中可以使用不同类型的过滤器。例如,系统首先可以将侯选物的纵横比与初始对象边界框的纵横比进行比较。如果纵横比处在某个范围之外,则可以过滤掉侯选物。而且,系统可以使用颜色属性来对其余侯选物排名。例如,系统可以计算当前图像帧中的颜色属性。对于每个侯选物,系统可以切下对应的块并且计算所述块的颜色直方图。接着,系统可以通过直方图距离将侯选物按降序排名并且选择最前面的侯选物。在此,直方图距离可以被定义为原始块与每个侯选物之间的L2范数距离。
[0126] 此外,系统可以例如通过计算空间域中的相关性来获得最佳对象提议。对于每个所选择的提议侯选物,在给出频域中的平移模型Ht时,系统可以通过对平移模型ht应用逆FFT来得到空间域平移模型Ht并且将其堆叠作为模型中的一个维度。所得的空间域中的模型(可以被称为核h)可以被定义为
[0127]
[0128] 类似地,对于最前面的侯选物当中的第i个提议,系统可以从当前图像帧中切下对应的块Zi,从图像块Zi中提取特征图,并且接着将其堆叠作为特征图中的一个维度。所得的特征图可以表示为
[0129] 接着,空间相关性响应 是h与 之间的逐个元素的点积,即
[0130]
[0131] 其中⊙是逐个元素的点积运算。在此,系统可以选择处在提议中心处的提议作为最佳提议。因此,系统可以加速获得最佳提议的过程,因为不需要搜索所有提议。
[0132] 另外,系统可以计算所选择的最佳提议的置信度,以用于确定最佳侯选物提议是否是“真正的”目标。例如,系统可以针对最佳提议从当前图像帧中切下图像块,从图像块中提取特征,产生特征响应图,并且计算特征响应图的PSR。如果所得的PSR超过阈值τt,则系统可以确定检测到“真正的”目标并且检测器可以停止进一步的搜索。在这种情况下,最佳提议可以被传送至跟踪器以便连续更新特征模型。
[0133] 图12展示了根据本发明的不同实施例使用定位装置来协助可移动物体环境中的目标跟踪。如图12所示,可移动物体环境1200中的可移动物体1210可以包括携带诸如相机1202的成像装置的载体1201。
[0134] 此外,可移动物体1210可以包括定位装置,诸如GPS装置1205。而且,目标906可以携带定位装置,诸如GPS装置1215。例如,目标1206可以是携带具有GPS功能的移动装置(诸如,手表、绑带、帽子和/或一双)的人。
[0135] 实时地,可移动物体1210(例如,控制器1203)可以获得目标1206的相对距离和朝向,以便于将目标维持在所述目标的接近度1208(例如,预定圆形范围)内。此外,在系统确定目标丢失时,系统可以依赖于定位装置来将目标1206维持在所述目标的接近度1208内。
[0136] 另外,系统(例如,控制器1203)可以使用基于视觉的跟踪系统1204,所述跟踪系统1204可以在GPS信号不可用时用于室内场景。因此,系统既可以利用基于视觉的跟踪技术又可以利用用于执行长期跟踪任务的定位装置。
[0137] 图13示出了根据本发明的不同实施例的支持在可移动物体环境中进行目标跟踪和重新检测的流程图。如图13所示,在步骤1301处,系统可以对为了跟踪目标而捕捉的图像应用目标的特征模型以生成跟踪输出。此外,在步骤1302处,系统可以基于跟踪输出来确定出现跟踪失败。此外,在步骤1303处,系统可以检查一个或多个后续图像来检测目标。
[0138] 图14展示了根据本发明的不同实施例的在可移动物体环境中基于距离测量来跟踪目标。如图14所示,可移动物体环境1400中的可移动物体1410可以包括携带诸如相机1402的成像装置的载体1401。
[0139] 可移动物体1401可以从由相机1402捕捉的图像1403中获取目标1406。例如,图像1403可以包括多个特征,诸如对象A-C 1411-1413,并且用户可以选择对象1411作为要跟随(或跟踪)的目标。
[0140] 根据本发明的不同实施例,系统可以从(2D)跟踪信息获得目标的(3D)位置。例如,目标1406的位置(对于跟踪目标而言是重要的)可以基于朝向目标1406的方向以及可移动物体1410(例如,UAV)与目标1406之间的相对距离1415来确定。对象的方向可以通过从校准后的相机计算方向向量来获得。此外,系统可以基于与成像装置和可移动物体相关联的状态信息来预估跟踪装置与目标之间的相对距离。
[0141] 状态信息包括由可移动物体携带的成像装置的海拔信息。成像装置的海拔信息可以从用于可移动物体的控制模块接收。状态信息可以包括由可移动物体携带的成像装置的姿态信息。成像装置的姿态信息可以从有效载荷增稳控制模块接收,其中所述有效载荷增稳控制模块控制增稳系统,所述增稳系统使成像装置在可移动物体上保持稳定。
[0142] 根据本发明的不同实施例,控制器1405可以从图像1403获得可移动物体1410与目标1406之间的相对距离1415。而且,控制器1405可以生成一个或多个飞行控制信号1404以引导可移动物体1410来跟踪目标1406。控制信号1404可以包括加速/减速信号以及云台姿态调整信号。例如,当可移动物体1410正在跟踪目标1406时,控制器1405可以基于目标与图像的中心点之间的距离来调整可移动物体或云台以使其绕偏航方向旋转。
[0143] 因此,控制器1405可以维持距目标1406的期望的跟踪距离(其可以是恒定距离或动态配置的距离)。例如,系统可以基于在不同时间点目标距可移动物体1410的相对距离来计算目标相对于可移动物体910的速度v_目标。接着,系统可以基于可移动物体1410的速度v_uav以及当前相对距离1415来确定可移动物体1410的必需的移动变化。
[0144] 图15展示了根据本发明的不同实施例在可移动物体环境中测量相对目标距离。如图15所示,可移动物体环境1500中的可移动物体1501可以包括携带诸如相机1503的成像装置的载体1502。相机1503可以在具有图像坐标1515的图像平面1513上捕捉目标1504的图像。
[0145] 根据本发明的不同实施例,系统可以利用不同的距离测量方法。例如,距离测量方法可以利用边界框1520,这可以处理复杂的几何形状并且提供连续且稳定的结果。
[0146] 如图15所示,可以基于小孔成像模型来代表目标的成像,所述小孔成像模型假定在三维空间中来自物点的光线可以投射到图像平面上而形成像点。光轴1508可以经过反射镜中心1507和图像中心。反射镜中心与图像中心之间的距离可以等于或基本上类似于焦距1509。仅出于说明目的,可以将图像平面1513移动到光轴1008上介于反射镜中心1507与目标1504之间的反射镜位置。
[0147] 根据本发明的不同实施例,系统可以执行初始化步骤,所述初始化步骤包括(自动地)预估目标距离和目标高度两者。在此,系统可以基于几何形状关系来确定在地面上所投射的介于反射镜中心1507与目标1504之间的相对距离1510。接着,系统可以确定目标高度。
[0148] 在初始化阶段(即,当t=0时),系统可以假定可移动物体1501(即,相机1502)的海拔是在与目标1504所处相同的层面(或水平线)测量的。在不带限制性的情况下,当层面不是水平线时,系统可以使用考虑到海拔差异的有效海拔来代替实际测量的可移动物体1501的海拔,以用于测量目标距离和目标高度。
[0149] 在如图15所示的示例中,目标1504在世界坐标1505中可以具有最高目标点(xt,yt,zt)和最低目标点(xb,yb,zb),所述点在图像平面1513上分别投射为目标图像1514中的最高像点(ut,vt)和最低像点(ub,vb)。顶线经过反射镜中心1507、最高像点和最高目标点并且相对于世界坐标1505的轴线Z可以具有倾角1512。而且,底线经过反射镜中心1507、最低像点和最低目标点并且相对于轴线Z可以具有倾角1512。
[0150] 因此,目标顶部和底部方向向量 和 可以如下表述。
[0151]
[0152]
[0153] 其中K表示相机的固有矩阵,并且R表示相机旋转。
[0154] 接着,系统可以基于测量的或有效的相机海拔1506以及边界框1520在图像坐标1515中的位置来预估目标距离。例如,距离1510可以被计算为d=-hc/zb*Pb,并且目标高度
1516可以被计算为ho=hc+ztd/Pt,其中Pb是 在地面上的投影长度,并且Pt是 在地面上的投影长度,它们定义如下。
[0155]
[0156]
[0157] 在初始化步骤之后,系统可以预估距目标1504的距离1510,甚至是在目标海拔改变的情况下(例如,当目标1504离开地面时)以及可移动物体1501(例如,UAV)的海拔未知的情况下。这是有益的,因为在跟踪期间,对象可能会爬升或下降并且在UAV飞过草地或爬升(例如,地面上方5米)时,UAV的海拔可能不可靠。
[0158] 如图15所示,在初始化之后,在地面上所投射的介于目标1501与可移动物体1501之间的相对距离1510可以被计算为hc/dh,其中dh表示远离相机单位距离处的目标的预估高度,所述预估高度可以使用以下公式来计算。
[0159]
[0160] 因此,所述方法可以是有效的并且一旦被初始化就可能具有非常少的限制,因为系统在初始化之后可以基于目标的高度1516来预估距对象的距离1510。
[0161] 此外,系统可以基于预估的距离1510来执行移动控制,诸如飞行控制。根据本发明的不同实施例,对于可移动物体1501(诸如UAV),移动控制的目标是在世界坐标1505的X和Y方向上都将可移动物体1501维持在距目标1504的期望的距离之内。
[0162] 首先,系统可以例如通过应用卡尔曼滤波器而在一段时间内使预估的距离1510平滑。接着,系统可以计算目标1504相对于可移动物体1501(例如UAV)的速度,以便控制可移动物体1501对目标1504的跟踪。
[0163] 根据本发明的不同实施例,系统可以利用比例积分微分控制器(PID控制器)来通过利用可移动物体1501与目标1504之间的相对距离及其相应速度而将可移动物体1501与目标1504之间的距离维持在期望距离之内。例如,系统可以基于状态信息来获得可移动物体1501相对于地面的速度。而且,系统可以基于以上描述的方法来获得目标1504相对于地面的速度。
[0164] 备选地,系统可以控制可移动物体1501的偏航角以及世界坐标1505中的X方向移动。例如,可移动物体1501的偏航角θ可以使用以下公式基于dx和dy来计算。
[0165]
[0166] 其中dx和dy是可移动物体1501在世界坐标1505中沿X和Y方向的位移。接着,系统可以基于所测量的可移动物体1501与目标1504之间的距离来控制可移动物体1501的移动。另外,系统可以实现并排跟踪,这允许可移动物体1501以并排方式跟踪目标1504,从而实现理想的图片捕捉。
[0167] 根据本发明的不同实施例,通过进一步考虑可移动物体1501和相机1507的状态信息,可以修改以上方法来应对可移动物体1501的高度不稳定时和/或相机的横滚角不相同(例如,零度)时的跟踪过程。
[0168] 图16示出了根据本发明的不同实施例的在可移动物体环境中基于距离测量来跟踪目标的流程图。如图16所示,在步骤1601处,系统可以从由可移动物体携带的成像装置所捕捉的一个或多个图像中获取目标。接着,在步骤1602处,系统可以获得可移动物体与目标之间的相对距离。此外,在步骤1603处,系统可以生成一个或多个控制信号来跟踪目标。
[0169] 本发明的许多特征可以在硬件、软件、固件或其组合中,使用或者借助于它们来执行。因此,本发明的特征可以使用处理系统(例如,包括一个或多个处理器)来实施。示例性处理器可以包括但不限于:一个或多个通用微处理器(例如,单核或多核处理器)、专用集成电路、专用指令集处理器、图形处理单元、物理处理单元、数字信号处理单元、协处理器、网络处理单元、音频处理单元、加密处理单元等等。
[0170] 本发明的特征可以在计算机程序产品中、使用或借助于所述计算机程序产品来实施,所述计算机程序产品是在上面/其中存储有指令的一个或多个存储介质或计算机可读介质,所述指令可以用于对处理系统进行编程以执行在此所呈现的任何特征。存储介质可以包括但不限于:任何类型的盘(包括软盘、光盘、DVD、CD-ROM、微型驱动器和磁光盘),ROM,RAM,EPROM,EEPROM,DRAM,VRAM,闪存装置,磁卡或光卡,纳米系统(包括分子存储器IC)或适合于存储指令和/或数据的任何类型的介质或装置。
[0171] 本发明的存储在任一个或多个机器可读介质上的特征可以被结合到软件和/或固件中以用于控制处理系统的硬件,并且使处理系统能够与利用本发明的结果的其他机构交互。这种软件或固件可以包括但不限于:应用代码、装置驱动程序、操作系统以及执行环境/容器。
[0172] 本发明的特征还可以在硬件中使用例如硬件组件,诸如专用集成电路(ASIC)和现场可编程阵列(FPGA)装置来实施。用于执行在此所述的功能的硬件状态机的实现方式对于相关领域技术人员而言将是显而易见的。
[0173] 此外,可以使用一个或多个常规的通用或专用数字计算机、计算装置、机器或微处理器(包括根据本公开的教导来编程的一个或多个处理器、存储器和/或计算机可读存储介质)来方便地实施本发明。有经验的程序员可以容易地基于本公开的教导来准备适当的软件编码,这对于软件领域技术人员而言将是显而易见的。
[0174] 虽然以上已描述了本发明的各个实施例,但应当理解的是,它们是通过举例而非限制的方式呈现的。相关领域技术人员将显而易见的是,在不背离本发明的精神和范围的情况下,可以在本文中做出形式上和细节上的不同改变。
[0175] 以上已经借助于展示指定功能的性能及其关系的功能构造块描述了本发明。为了方便描述,在此通常任意地限定这些功能构造块的边界。可以限定备选边界,只要所述指定功能及其关系能被适当地执行即可。因此,任何此类备选边界都处于本发明的范围和精神之内。
[0176] 本发明的前文描述是出于阐述和说明的目的而提供的。所述描述并不旨在是穷尽的或将本发明限制于所公开的精确形式。本发明的广度和范围不应受上述任何示例性实施例限制。许多修改和变化对于本领域技术人员而言将是显而易见的。所述修改和变化包括所公开的特征的任何相关组合。选择和描述所述实施例是为了最佳地解释本发明的原理及其实际应用,由此使得本领域其他技术人员能够在不同实施例以及适于所预期的特定用途的不同修改中理解本发明。本发明的范围旨在由以下权利要求及其等效物限定。
QQ群二维码
意见反馈