现代任务的复杂化和多样化使得对多机器人结合和团队任务的完成有了 较高的需求，协同多元艾真体如何通过已具备的视频获取设备，通过信息交 互与融合，对环境进行侦察，通过视觉来指导行为的能力就特别重要。但是， 目前在这方面并未存在一个通用性强的跟踪方法，可供广泛应用。
在一个未知环境中，要使用一个具有视觉设备的大型机器人团队协作观 测与跟踪动态多目标，需要异步的通过多机器人上的艾真体模型对环境实时 地进行观察，并解决局部问题，同时需要整个多艾真体系统之间的同步与通 信，保证信息的实时性和准确性，并根据全局信息进行决策。同步方面可以 通过协议中的时间戳，多艾真体群体信息交互，或者结合服务器端的全局监 控和管理来进行同步，而异步则使用基于有限状态自动机的艾真体模型，通 过状态的定位，独立于动作控制平台，可调动不带视频设备的异质多艾真体， 分布式计算信息，协同完成任务。这两者的结合，较好的折中解决了信息和 决策的同步和异步问题，增加机器人团队对环境的自适应性，有利于机器人 团队高效协同合作，保证侦察信息的全面性、准确性和快速性。

本发明所要解决的技术问题是，提供一种基于有限状态自动机的多艾真 体动态多目标协作跟踪方法。
本发明为解决上述技术问题所采用的技术方案是：
一种基于有限状态自动机的多艾真体动态多目标协作跟踪方法，其特征 在于：复合式艾真体根据通过自身探测的环境信息I、服务器或其他艾真体或 艾真体群体管理者传达的需要完成的任务信息M、和/或服务器传达的人为的 指定信息H，在多个有限自动状态机中，选择一个有限自动状态机作为用以 维持该复合式艾真体行为状态模型的有限自动状态机。
所述的有限自动状态机为全自动状态机和半自动状态机； 全自动状态机为：
由等待、观测、跟踪、丢失和忙碌5个状态组成，各状态的具体转换关 系如下：
(a)对于“等待”状态，输入为“禁止连接”则保持原状态；输入为“连接” 则切换到“观测”状态；
(b)对于“观测”状态，输入为“丢失目标”则保持原状态；输入为“禁止 连接”则切换到“等待”状态；输入为“任务”则切换到“忙碌”状态； 输入为“命令”则切换到“丢失”状态；输入为“发现目标”则切换到 “跟踪”状态；
(c)对于“跟踪”状态，输入为“发现目标”则保持原状态；输入为“丢失 目标”则切换到“丢失”状态；输入为“任务”则切换到“忙碌”状态； 输入为“命令”则切换到“观测”状态；输入为“禁止连接”则切换到 “等待”状态；
(d)对于“丢失”状态，输入为“丢失目标”则保持原状态；输入为“发现 目标”则切换到“跟踪”状态；输入为“任务”则切换到“忙碌”状态； 输入为“命令”则切换到“观测”状态；
(e)对于“忙碌”状态，输入为“禁止连接”则切换到“等待”状态；输入 为“任务完成”则根据记录，回复到接受任务之前的状态，可以为“观 测”状态，“丢失”状态或者是“跟踪”状态；
半自动状态机为：
由等待、观测、跟踪、丢失和忙碌5个状态组成，各状态的具体转换关 系如下：
(a)对于“等待”状态，输入为“禁止连接”则保持原状态；输入为“连接” 则切换到“观测”状态；
(b)对于“观测”状态，输入为“丢失目标”则保持原状态；输入为“禁止 连接”则切换到“等待”状态；输入为“任务”则切换到“忙碌”状态； 输入为“发现目标”则切换到“跟踪”状态；
(c)对于“跟踪”状态，输入为“发现目标”则保持原状态；输入为“丢失 目标”则切换到“丢失”状态；输入为“任务”则切换到“忙碌”状态；
输入为“命令”则切换到“观测”状态；输入为“禁止连接”则切换到 “等待”状态；
(d)对于“丢失”状态，输入为“丢失目标”则保持原状态；输入为“发现 目标”则切换到“跟踪”状态；输入为“任务”则切换到“忙碌”状态；
输入为“命令”则切换到“观测”状态；
(e)对于“忙碌”状态，输入为“禁止连接”则切换到“等待”状态；输入 为“任务完成”则根据记录，回复到接受任务之前的状态，可以为“观 测”状态，“丢失”状态或者是“跟踪”状态。
所述的复合式艾真体的行为可表示为M＝(Q，∑，δ，q0，F)，是一个由以下几 部分组成的数学模型：
一个状态的有穷集合Q＝{等待，观测，跟踪，丢失，忙碌}，即
Q＝{Wait，Detect，Track，Lost，Busy}；
可接受的输入集合∑，它指明了所有允许输入的符号，有限自动状态机根 据这个集合中的符号的输入，进行状态的变化，其表示如下：
∑＝{连接，发现目标，丢失目标，禁止连接，任务，任务完成，命令}，
即∑＝{connect，findobj，lostobj，unconnect，work，finishwork，order}
起始状态q0＝{等待}，即q0＝{Wait}，艾真体开启之后的第一个状态，在无 法连接视频设备的情况下，将维持在这个状态；
结束状态F＝{等待}，即F＝{Wait}，当艾真体无法继续主动参与完成协作 跟踪的情况下，断开视频设备后进入该状态，在艾真体物理设备结束一切任 务之前，也首先断开视频设备，宣告离开艾真体群体；
转移函数δ是Q×∑→Q的一个映射，由所述的有限自动状态机所识别。
通过复合式艾真体有限自动状态机所维持行为状态模型以及实时的任务 和环境的约束，将多个复合式艾真体分离成若干群体，群体内部复合式艾真 体可以直接进行信息的交流；每个群体有一个艾真体群体管理者，各个群体 之间可通过艾真体群体管理者直接或间接进行交流；群体之间的直接交流是 通过信息更新激发信息交互和/或定时信息交互来进行，所述的间接交流是在 有服务器的多艾真体系统中，群体间通过服务器进行交流。
艾真体群体管理者从复合式艾真体个体中获取三类信息：
第一类为目标信息，用于保证艾真体群体管理者或服务器上的目标库的 信息为最新信息；
第二类为视频设备的详细信息和复合式艾真体个体的状态信息；艾真体 群体管理者定时从艾真体个体接收新的信息，在有服务器情况下，艾真体群 体管理者根据所更新信息的更新服务器中黑板的内容；
第三类信息为请求信息；当复合式艾真体个体遇到紧急情况，在意外处 理无效的情况下，会发生援助请求信号，写入请求序列，激发请求处理模块； 请求处理模块会让所在的群体进行模块调度，满足某个复合式艾真体发送的 请求；在单个群体任务无法完成时，该单个群体再调度其他群体进行协助。
所述的复合式艾真体包括如下几个部分：
1)一个用有限自动状态机所维持的行为状态模型，行为状态模型中包 括规划方案，行为状态模型根据当前的状态和规划方案决定从模块库中选择 合适的模块进行下一步的计算；
2)一个模块库，包括视频处理模块和建模模块，模块可根据需求进行 扩展；视频处理模块包括基于三帧差的目标检测、形态学去噪声、目标分割、 目标筛选、目标信息计算、目标合并与提取以及均值偏移算法跟踪；建模模 块包括意外处理的记忆过程、预测过程和自保护处理；
3)通讯模块，用于与其他复合式艾真体、艾真体群体管理者和/或服 务器通信。
所采用的协商方案包括协商协议、协商方法和协商途径三个部分：
1)协商协议
协商协议的形式包括多位起始和结束标志、指令长度协商元语、消息编 号和消息内容；所述的协商元语包括请求、命令和信息指令，所述的消息内 容包括消息接收者类型、有效信息内容和消息发送时间；
2)协商方法
一种协商方法是通过艾真体群体管理者或服务器提供的机器人状态列表 和全局目标库、决策选择、任务列表和请求序列信息的实时变化，激活任务 分配算法、竞争协商算法、信息计算部分和请求处理模块，获得最优协商方 案，将结果回写任务列表；然后管理者根据任务列表以最高优先权将指令发 送给相关的复合式艾真体个体。
另外一种协商方法是在复合式艾真体群体中，复合式艾真体个体之间交 互信息，相互直接信息融合，协商完成任务；
3)协商途径
通过可重构的多移动机器人点对点通信平台进行通讯，复合式艾真体个 体在状态变化时会将当前信息发送给艾真体群体管理者，艾真体群体管理者 交互更新信息，或更新服务器信息；在没有状态变化的情况下，每隔时间T 更新一次艾真体群体管理者的信息，同时更新一次艾真体群体管理者所维护 的群体内其他复合式艾真体个体的状态和信息。
所述的基于有限状态自动机的多艾真体动态多目标协作跟踪方法，包括 以下步骤：
第一步，复合式艾真体准备：复合式艾真体开启之后，通过有限自动状 态机维持的行为状态模型进行活动，或和其他复合式艾真体进行交流；当该 复合式艾真体开启时，处于等待状态，即wait状态，当复合式艾真体能够连 接视频设备后，就离开这个状态；维持在这个状态的复合式艾真体个体，可 能由于视频设备故障，没有视频设备或者是被指定为不允许进行侦查活动， 无法自我观测外界环境变化，只等待接收外界指令来进行活动；
第二步，指定任务完成：当复合式艾真体开启之后，如果在群体内，则 开始定时更新复合式艾真体群体管理者上的信息，如果有服务器，则同时更 新服务器信息；当接受到一个指定任务时，复合式艾真体如果是全自动状态， 则会转换成半自动状态；接受的任务如果是队形排列，则所有处于非忙碌状 态的复合式艾真体都进入任务群组，将任务根据当前完成任务的复合式艾真 体个数来进行分配，并指导复合式艾真体完成；如果接受的任务是指定目标 查找或跟踪，则所有当前处于观测状态的或某个区域的机器人进入任务群组 接受任务；以接受任务的某一个复合式艾真体找到目标为标志，表示任务完 成，并通知任务群组中其他复合式艾真体放弃该任务；当复合式艾真体接受 任务后，其状态为忙碌状态；状态的转换根据分配的指令来转换，在没有指 定要转换的状态的情况下，则自动返回到进入忙碌状态之前的状态，恢复保 存的任务点，继续完成被中断的工作；
第三步，环境侦查：复合式艾真体个体连接视频设备后，自动进入观测 状态进行侦查活动；处于观测状态的复合式艾真体个体，观察视野范围内移 动个体，计算和记录它们的信息；如果联系到服务器或其他复合式艾真体， 则将信息共享和通知；若是全自动状态，则根据给定的规则对目标进行选取 和跟踪，并转入跟踪状态，即Track状态；若是半自动状态，根据授权进行 动作；在全自动状态，当目标被提取出来之后，如果跟踪到了目标，则以满 足先到先跟踪、跟踪可视面积最大、目标与复合式艾真体个体距离最近的标 准，选取最优目标进行动作转换到跟踪状态进行跟踪，其他目标可进行基本 的视觉跟踪；如果没有跟踪到目标，则回到观测状态继续观测；
第四步，目标跟踪：复合式艾真体个体通过感知器从外界环境获取大量 数据信息，通过模块库中视频处理模块对数据进行分析，得到跟踪的目标信 息，并通过建模模块对分析后的信息进行存储和计算；跟踪主要通过基于颜 色的均值偏移算法来实现；当所跟踪的目标丢失之后，则进入目标丢失状态， 即Lost状态；
第五步，意外处理：包括记忆过程和预测过程；
1)记忆过程，记忆是复合式艾真体个体在跟踪状态的同时，将已知信息 在存储中进行保存的一个过程，分为短期记忆和长期记忆；短期记忆会记住 最近所做的动作，而长期记忆会记住在跟踪一个目标的整个过程中，所得到 的复合式艾真体个体和目标移动的路径；根据获取的信息，通过曲线拟合对 复合式艾真体个体和目标移动的路径的信息进行归纳；在客户端进行拟合只 考虑最近部分数据，对其进行分段的曲线拟合；复合式艾真体管理者或服务 器端会对总体的数据进行计算；
2)预测过程，当计算目标的面积小于某个阈值之后，认为目标丢失；则 进入丢失状态，即Lost状态；短期记忆一般不超过三个动作，起主要作用的 是最近的动作，其他的起辅助检验作用；如果通过短期记忆引导，没有再次 找到目标，则通过长期记忆的多项式曲线拟合出的目标轨迹，指导复合式艾 真体转到所预测到的角度来进行观测；当复合式艾真体在一定时限内还没有 找到目标，认为目标确实丢失了，则发出目标丢失信息。
本发明的有益效果有：
本发明所提出的基于有限状态自动机的多艾真体动态多目标协作跟踪方 法，独立于动作控制平台，支持集中式控制和艾真体个体信息交互控制。复 合式多艾真体的提出，将适用于不同的多艾真体系统体系结构，适合多机器 人团队的多目标协作跟踪。各个艾真体能独立工作，还能协同完成任务，由 于按照任务分成不同的艾真体群体，因此工作效率更高。有服务器参与时， 服务器即为总的指挥中枢，从全局上指挥各个艾真体或群体协调配合。
附图说明
图1为本发明中基于有限状态自动机的多艾真体动态多目标协作跟踪方 法的抽象应用；
图2为本发明中复合式艾真体模型的设计构架；
图3为本发明中基于有限状态自动机的多艾真体动态多目标协作跟踪 方法行为模型的状态与模块之间的详细调用关系示意图；
图4为本发明基于有限状态自动机的多艾真体动态多目标协作跟踪方 法中行为模型在全自动状态下的有限自动状态机；
图5为本发明基于有限状态自动机的多艾真体动态多目标协作跟踪方 法中行为模型在半自动状态下的有限自动状态机；
图6为本发明中艾真体团队协商协议的格式；
图7为本发明中多艾真体动态多目标协作跟踪方法中行为模型的Track 状态和Lost状态之间的模块流程图；

下面结合附图和具体实施方式对本发明作进一步说明。
实施例1：
本发明提出一种基于有限状态自动机的多艾真体动态多目标协作跟踪方 法，其应用基础是一个多艾真体系统(Multi-Agent System，简称MAS)。该 方法应用在一个可持续自主发挥作用的艾真体上，它根据环境和任务需求选 择一个有限自动状态机(Deterministic Finite Automation，简称DFA)维持 复合式艾真体的行为状态模型，然后结合视频设备传感器所感知的环境信息 与艾真体群体中的共享资源，与其他艾真体通信协作与协商，进行建模、预 测、规划、决策，指导艾真体个体自身动作控制执行器进行一定动作。本发 明将艾真体个体抽象为一个复合式模型，在该模型中，对艾真体自身，有限 自动状态机可根据环境和任务需求自由选择来维持行为状态，对艾真体社会 群体，可从一个抽象层次来管理异质的多艾真体团队。该艾真体以行为状态 及情感信息，如艾真体的跟踪疲劳度，以估值函数为衡量所反映的艾真体的 个性偏好等因素为驱动，通过信息交互或者结合服务器团队协调，进行集中 式控制或艾真体个体信息交互控制。该多目标协作跟踪方法可适用于集中式、 分布式、混合式等不同体系结构。
为了解决现有异质多艾真体多目标协作跟踪存在的技术问题，本发明根 据有限状态自动机的特性针对该问题提出了一种基于有限状态自动机的多艾 真体动态多目标协作跟踪方法，该方法独立于动作控制平台，支持集中式控 制和艾真体个体信息交互控制。这种复合式多艾真体的提出，将适用于不同 的多艾真体系统体系结构，给出了一种适合多机器人团队的多目标协作跟踪 的方案。
各个艾真体群体从各艾真体中获取到有效的数据，将其融合，共享给所 有的艾真体，并根据更新的信息和艾真体个体的任务请求，调用不同的决策， 实现任务分配，协同好群体的合作，达到在未知环境动态背景动态多目标的 协作检测与协作跟踪的目的；为了实现这个功能，在艾真体群体领导艾真体 上，决策生成模块中包含任务分配部分，建模目标预测等知识资源，指导整 体机器人群体进行动作。
艾真体个体上具有一个可在协同计算的环境中持续自主发挥作用的一个 复合式艾真体模型，通过视频设备传感器感知其环境，并通过动作控制作用 于该环境。它通过自己获取的环境信息，并通过艾真体群体中的共享资源和 与其他艾真体通信协作与协商，选择自身使用有限自动状态机来维持行为状 态模型，进行建模，预测，规划，决策，指导动作控制执行器进行动作，作 用于环境，如果有服务器，则同步更新服务器上的相应资源。
下面结合附图对本发明作进一步的说明。
1.艾真体群体抽象
该方法通过基于有限状态自动机的艾真体模型的状态定位进行了两个层 次的抽象。第一，通过独立于运动控制平台的艾真体模型将异质的多艾真体 抽象成一致的艾真体个体模型；第二，通过艾真体模型中的有限自动状态机 所维持行为状态模型将多个艾真体个体，通过实时的任务和环境的约束，将 该多个个体分离成若干群组，每个群组有一个性能较强的管理者，然后各个 群组之间可通过管理者直接或间接进行交流。而群组内部直接各艾真体可以 直接进行信息的交流。整个抽象形式如图1所示。
艾真体群体管理者从艾真体个体中获取三类信息。
第一类为目标信息，用于保证群体管理者或服务器上的目标库的信息为 最新信息，一方面触发信息计算部分，它对被更新的目标有效的已知信息进 行多项式曲线分段拟合，并修正误差，另一方面，根据决策的选择，触发任 务分配算法产生新的跟踪决策，根据机器人任务列表发送指令给相关的艾真 体个体。
第二类为视频设备的详细信息和艾真体个体的状态信息。群体管理者定 时从艾真体个体接收新的信息，如果有服务器，则群体管理者根据所更新信 息的更新黑板的内容。
第三类信息为请求信息。当艾真体个体遇到紧急情况，在意外处理无效 的情况下，会发生援助请求信号，写入请求序列，激发请求处理模块。请求 处理模会让所在的艾真体群体进行模块调度，满足某个艾真体发送的请求。 在单个群体任务无法完成时，再调度其他群体进行协助。
2.复合式艾真体个体模型
复合式艾真体按照提出的方法进行了如图2设计，包括如下几个部分：
1)一个用DFA所维持的行为状态模型，模型中包括规划方案，模型根 据当前的状态和规划方案决定从模块库中选择合适的模块进行下一步的 计算；
2)一个模块库，主要有视频处理模块和建模模块，模块可根据需求进 行扩展；视频处理模块包括基于三帧差的目标检测，形态学去噪声，目 标分割，目标筛选，目标信息计算，目标合并与提取，Meanshift跟踪(均 值偏移算法)等；建模模块包括意外处理的记忆过程，预测过程和自保 护处理。
3)通讯模块
3.艾真体的行为状态模型
DFA维持的行为状态模型和视频处理模块和建模模块的模块库组成了行 为决策层的实现实体，可表示成一个M＝(Q，∑，δ，q0，F)的数学模型，详细介绍如 下。
1)一个状态的有穷集合Q＝{Wait，Detect，Track，Lost，Busy} 状态集中有五个状态：等待状态：Wait，观测状态：Detect，跟踪状态： Track，丢失跟踪状态，简称为跟踪状态：Lost，忙碌状态：Busy。详细 的介绍参见行为状态模型的详细介绍。状态集中的Detect状态，Track状 态和Lost状态中的规划方案对艾真体的自主行为规划进行了完整的覆盖。 这三种状态的规划方案，结合模块库中提供的视频处理模块和建模模块， 对获得的信息进行处理，根据结果对艾真体的行为给出自身的决策。这三 种状态与它们所对应的规划方案要调用的模块详细关系如图3所示。
2)可接受的输入集合∑，它指明了所有允许输入的符号，有限自动状 态机根据这个集合中的符号的输入，进行状态的变化，表示如下：
∑＝{连接，发现目标，丢失目标，禁止连接，任务，任务完成，命令}，即
∑＝{connect，findobj，lostobj，unconnect，work，finishwork，order}
这个集合中包括7个可输入的符号，它们代表在实际中相应的物理事件的 发生，详细介绍如下：
连接connect：表示艾真体个体成功的进行可用视频设备连接；
发现目标findobj：表示艾真体个体在现有的状态下，通过当前获取的视 频图像在视野可及的范围内，搜寻到一个未知或已知的目标；
丢失目标lostobj：表示艾真体个体在现有状态下，通过当前获取的视频 图像在视野可及范围内，无法找到一个和历史信息吻合的目标；
禁止连接unconnect：表示艾真体个体在物理条件限制或整体进行资源调 配时，规定其不能使用视频设备获取环境信息和主动参与协同跟踪活动；
work：表示艾真体个体在当前状态接受指定命令，分配新的任务，在接受 work指令后，艾真体进入Busy状态，不允许自身进行新的任务调配。
任务完成finishwork：表示艾真体个体完成指令队列中所有的任务。在完 成任务后，艾真体恢复到接受命令之前的状态，继续完成被指定命令中断 的任务；
命令order：表示艾真体个体接受指令，转换到新的状态，完成指定的任 务。
3)起始状态q0＝{Wait}，当艾真体开启之后，直接进入这个状态，如果 无法连接视频设备，则维持在这个状态。
4)结束状态F＝{Wait}，当艾真体无法继续主动参与完成协作跟踪时， 则断开视频设备，进入该状态，在艾真体物理设备结束一切任务之前之前， 也首先断开视频设备，宣告离开艾真体群体。
5)转移函数δ是Q×∑→Q的一个映射，被有限自动状态机所识别。有 限自动状态机根据艾真体个体的行为状态分为两种，一种是全自动状态下 的有限自动状态机，一种是半自动状态下的有限自动状态机。
全自动状态：在艾真体行为过程中，在没有其他艾真体和服务器信息支 持的情况下，也能够完成自主的发现目标，进行跟踪任务，自主搜寻其 他艾真体个体等工作的状态，被称为全自动状态。
半自动状态：在艾真体行为过程中，在指定协作的情形下，艾真体接受 指令，跟踪搜寻指定目标，和已知的艾真体进行通讯，协作完成任务， 不能随意放弃现有任务，进行其他非授权的自主行为，被称为半自动状 态。
全自动状态和半自动状态下的有限自动状态机的状态集是一致的，两个 状态可以根据现实环境和任务需求自由转换。自由转换通过自身探测的环境 信息I，服务器或其他艾真体传达的需要完成的任务信息M，和服务器传达的 人为的指定信息H，在多种有限自动状态机中，以N＝f(I，M，H)为选择指标， 选择最优的自动状态机。如果当前艾真体自身探测的环境信息中包括目标信 息，且艾真体群体管理者或服务器没有传达任务指令，则该艾真体以全自动 状态进行运行；而如果艾真体群体管理者或服务器传达了任务指令，则选择 半自动状态，以合作为目的，优先执行任务指令，任务完成后，回到全自动 状态，然后进行自我决策；如果接收到人工指令信息，则处于半自动，无条 件服从指令，直到任务完成，接收到其他指令为止。
有限自动状态机具体的转移函数可参见图4和图5。
4.协商方案
该方法采用的协商方案包括协商协议、协商方法和协商途径三个部分。
1)协商协议
通信是本实施例方法实现协作的关键环节，它在实现协作的过程中起到 了桥梁作用。该方法中协商协议的形式如图6所示。多位起始和结束标志， 指令长度，均是为了保证在网络的传输中，能完整的解析一条指令，因为当 信息打包传输时，不一定一次能给出一条完整的信息，因此在连续接收的信 息中，需要能将被拆分的指令还原。消息编号和消息发送时间是为了在出现 网络堵塞和重发时，保证不用重复或过时的信息来更新艾真体群体管理者或 服务器以及艾真体个体中的数据。
2)协商方法
本发明可以采用以下两种协商方法，一种是通过艾真体群体管理者或服 务器提供的机器人状态列表和全局目标库、决策选择、任务列表、请求序列 等信息的实时变化，激活任务分配算法、竞争协商算法、信息计算部分和请 求处理模块等知识资源，得到最优协商方案，将结果回写任务列表。然后管 理者根据任务列表以最高优先权将指令发送给相关的艾真体个体。另外一种 协商方法是艾真体个体和艾真体个体之间交互信息，相互直接信息融合，协 商完成任务。艾真体个体之间的选择是通过艾真体群体管理者之间信息交互 后或服务器根据任务进行群组划分的结果。满足相似条件的艾真体个体将被 划分为一个艾真体群组(即一个艾真体群体)，艾真体个体和艾真体群组中其 他成员交互所需信息。
3)协商途径
该异质多艾真体通过可重构的多移动机器人点对点通信平台进行通讯， 艾真体个体在状态变化时会将当前信息发送给艾真体群体管理者，艾真体群 体管理者交互更新信息，或更新服务器信息(在存在服务器的情形下)。在没 有状态变化的情况下，每隔时间T更新一次艾真体群体管理者的信息，同时 更新一次它所维护的群组内其他艾真体个体的状态和信息。
本发明应用于在一个未知环境中，使用一个具有视觉设备的大型机器人 团队上，用于进行协作观测与跟踪动态多目标，主要步骤如下：
第一步，艾真体准备：当一个艾真体开启之后，它就通过DFA维持的行为 状态模型，进行活动，或和其他艾真体进行交流。当该艾真体开启时，处于 Wait状态，当艾真体能够连接视频设备后，就离开这个状态。维持在这个状 态的艾真体个体，可能由于视频设备故障，没有视频设备或者是被指定为不 允许进行侦查活动，无法自我检测外界环境变化。只等待接收外界指令来进 行活动；
第二步，指定任务完成：当艾真体开启之后，如果在群体内，则开始定 时更新艾真体群体管理者上的信息，如果有服务器，则同时更新服务器信息。 服务器被设计为可以接受人工干预部分的信息。当接受到一个指定任务时， 艾真体如果是全自动状态，则会转换成半自动状态。接受的任务如果是队形 排列，所有处于非Busy状态的艾真体都进入任务群组，将任务根据当前完成 任务的艾真体个数来进行分配，并指导它们完成。如果接受的任务是指定目 标查找或跟踪，则所有当前处于Detect状态的或某个区域的机器人进入任务 群组，接受任务。以接受任务的某一个艾真体找到目标为标志，表示任务完 成，并通知任务群组中其他机器人，放弃该任务。如果当艾真体接受任务后， 则将处于在艾真体个体的状态中优先级最高的一个状态：Busy状态。说明艾 真体个体当前正在完成一个被指派的工作，不可被自身的指令中断，其他的 命令应当在它完成该工作后进行。状态的转换根据分配的指令来转换，在没 有指定要转换的状态的情况下，则自动返回到进入忙碌状态之前的状态，恢 复保存的任务点，继续完成被中断的工作。
第三步，环境侦查：艾真体个体连接视频设备后，自动进入观测状态，进 行侦查活动。处于观测状态的艾真体个体，观察视野范围内移动个体，计算 和记录它们的信息。如果联系到服务器或其他艾真体，则将信息共享和通知。 若是全自动状态，则根据给定的规则对目标进行选取和跟踪，并转入Track 状态，若是半自动状态，根据授权进行动作；对于视野范围内移动个体的侦 查，采用的技术是先使用三帧差背景剪除方法来对目标的提取，然后通过形 态学去噪和高斯滤波，获取运动空间中的分离部分制作掩模，进行目标分割， 目标合并与提取，最后进行迭代式的原始目标信息查找，并使用分水岭算法 获取单个目标信息。通过定义的目标筛选的原则对它们进行筛选，其目标筛选 的原则如下：
1.目标重心点位置相近，目标色调值相似，面积大小相似，则认为它是 由同一目标误分割所致，选取面积较大的一个保留，取重心点均值，色调 均值。
2.实际目标观测，基本不会出现RGB值为0或H值为0的情况。
3.无目标时光线影响测出的噪声一般面积很大，但是存在目标时，由于 光线影响，测出的噪声信息较小。艾真体个体的物理动作也可能产生部分 小面积信息，需要对这样的小面积目标进行筛选。
进行目标筛选之后需要给目标编号，其中给目标编号需要通过艾真体群体 管理者或服务器的分配。定义筛选目标之后，先根据色调值，给目标分配色 调编号，然后服务器将信息编号发送给各艾真体个体，在目标库中查看是否 有该色调编号目标，如果没有，则可以给目标编号为1。如果已有该色调编号 的目标，则查看是否是同一个目标。通过目标已知信息，目标重心在图像中 的位置，艾真体个体的位置和方向，声纳的数据信息等，可以得出目标的位 置或者方向。如果在全局地图中，该目标和已知目标信息相似，则认为是一 个已知目标，分配已知编号，并将其信息通知给其他跟踪此目标的艾真体个 体。然后跟踪同一个目标的几个艾真体个体，在之后的过程中，几个艾真体 个体将相互交流信息，对信息进行修正。若不是同一个目标，则根据已知编 号，继续分配下一个编号。
在全自动状态，当目标被提取出来之后，如果跟踪到了目标，则以满足 先到先跟踪，跟踪可视面积最大，目标与艾真体个体距离最近的标准，选取 最优目标进行动作转换到Track状态进行跟踪，其他目标可进行基本的视觉 跟踪。如果没有跟踪到目标，则回到Detect状态继续观测。
第四步，目标跟踪：艾真体行为过程中和环境交互最多的状态就是Track， 跟踪状态。在此状态中，艾真体个体通过感知器从外界环境获取大量数据信 息，通过模块库中视频处理模块对数据进行分析，得到跟踪的目标信息，并 通过建模模块对分析后的信息进行存储和计算。由于目标的描述，采用了两 个不变量：颜色信息与轮廓信息，和一个可变量区域信息来表示，因此跟踪 采用的算法是主要通过基于颜色的Meanshift算法来进行实现。如果当所跟 踪的目标丢失之后，则进入Lost，目标丢失状态。理论分析上，Track状态 和Lost状态之间的转换确定性非常强，当目标在视野范围内，就不会丢失和 状态转换。但是在一个移动的艾真体和未知的环境中，由于艾真体物理移动 会产生一定的惯性，环境的光影会随着艾真体移动而发生变化，在多艾真体 的环境中，遮挡也是不可忽视的问题。当状态转换确定性过强的时候，艾真 体对目标跟踪的丢失率就会过高。因此，在方法中设计了意外处理的过程。 当目标发生丢失时，首先通过意外处理中的记忆模型，指导进行一定的动作， 进行多次查找和确认，如果对目标丢失的这个过程进行多次确认还是无法跟 踪目标，则认为该目标最终丢失，进行下一步动作；
第五步，意外处理：在光线，物理惯性等各种不可预知的条件影响下， 目标的意外丢失是很有可能出现的事情。因此为了处理这种意外，为艾真体 个体设计了记忆和预测功能。
(1)记忆过程，记忆是艾真体个体在Track状态的同时，将已知信息在 容器中进行保存的一个过程，分为短期记忆和长期记忆。短期记忆会记住最 近所做的动作，而长期记忆会记住在跟踪一个目标的整个过程中，所得到的 艾真体个体和目标移动的路径。在获取到了一定量信息后，可以使用曲线拟 合对艾真体个体和目标移动的路径的信息进行归纳。在客户端，由于艾真体 个体性能限制和图像数据处理，通信等大量任务，以及目标运动的轨迹不确 定性，进行拟合只考虑最近部分数据，对其进行分段的曲线拟合。艾真体管 理者或服务器端会通过总体的数据进行更详细的计算
(2)预测过程，当计算目标的面积小于某个阈值之后，可认为目标丢 失。则进入Lost状态。如果丢失目标后，没有通过短期记忆来进行临时动作 的话，则先完成一个临时动作，再进行观测。短期记忆一般不超过三个动作， 起主要作用的是最近的动作，其他的起辅助检验工作。如果通过短期记忆引 导，没有再次找到目标，则通过长期记忆的多项式曲线拟合出的目标轨迹， 指导艾真体转到所预测到的角度来进行观测。当艾真体在一定时限内还没有 找到目标，则认为目标确实丢失了，则发送信息到服务器，服务器将指导艾 真体群体做出相应决策与动作。