一种CCSDS AOS协议数据实时处理方法及系统
技术领域
[0001] 本
发明主要应用于航天工程地面应用系统领域，尤其涉及一种CCSDS AOS协议数据实时处理方法及系统。
背景技术
[0002] 为了充分共享稀缺的空间链路资源，满足卫星各分系统不同速率、不同格式数据的传输和应用需求，国内外
航天器大多采用了空间数据系统咨询委员会(Consultative Committee for Space Data System，CCSDS)高级在轨系统(Advanced Orbit System，AOS)协议标准。如图1所示，该标准采用包信道复用、虚拟信道复用两级复用机制，分别实现了卫星各分系统内部、各分系统之间多源数据的汇集与传输。
[0003] 遵循AOS协议标准的
载荷探测数据是地面应用系统掌握卫星气象观测、空间科学观测、
电子侦察等任务执行结果的唯一途径。一方面，随着有效载荷探测
精度的逐步提高、图像及视频类探测仪器的不断增多，AOS协议数据下行的速率越来越快；另一方面，为了以较少的
费用达到利用空间轨道资源的目的，包含遥现场、遥操作两部分的遥科学等实时探测模式不断涌现。这些都使得CCSDS AOS协议数据实时处理成为地面应用系统必须解决的首要问题，百兆甚至千兆量级的实时处理需求日益普遍。
[0004] AOS协议
数据处理流程如图2所示，其内容包括：传输
帧格式同步后分路、源包同步后分包、传输帧及源包数据
质量检测、工程数据物理量反演、探测数据解压缩与图像彩色复原、处理结果分发与入库等。其中需要逐比特进行公式转换的物理量反演、涉及大量复杂数学运算的探测数据解压缩与图像彩色复原、需要进行频繁
数据库插入操作的参数入库等三个步骤一般为制约载荷数据处理性能的三大
瓶颈。
[0005] 传统的AOS协议数据实时处理，通常采用集中式的数据处理方法，一个常驻内存的数据处理
进程完成图2所有处理步骤，该方法在以下几个方面存在不足。①
硬件资源受限：处理进程可
申请的硬件处理资源局限于单台处理设备，这在资源层面限制了数据处理性能的提升；②硬件资源浪费：处理进程常驻内存，即使没有数据处理任务亦会持续占用硬件处理资源；③进程设计复杂度高：单一处理进程即完成从传输帧格式处理至结果分发的所有步骤，设计复杂度高，通过复杂的
算法设计实现数据处理速率的提升，势必将进一步提升进程的复杂度。
[0006] 基于分治、归并思想的Map Reduce
框架是目前海量数据高速并行处理方法的代表，但将该方法应用于AOS协议数据的实时处理时，存在以下问题：①Map Reduce框架的基本思想是数据分治，对AOS协议数据进行分治时，不可避免会破坏虚拟信道复用层次或包信道复用层次的探测数据单元从而造成结果数据的不完整，进而导致总体数据处理质量的下降；②Map Reduce擅长于处理数据文件，对于实时码流形式的实时处理支持不足。
发明内容
[0007] 本发明的目的在于解决传统的集中式、串行AOS协议数据实时处理数据吞吐率不高、可申请的硬件处理资源受限，不能满足日益提高的AOS协议数据实时处理性能需求的问题；
[0008] 为实现上述目的，本发明公开了一种CCSDS AOS协议数据实时处理系统，基于集中式调度、分布式并行处理架构对协议数据进行实时处理，其特征在于，包括：部署于集中调度设备的调度决策模
块，部署于每个分布式处理设备上的调度执行模块和分布式并行处理模块，以及部署于集中监视设备的数据处理状态监视模块；
[0009] 所述调度决策模块，用于读取处理设备配置信息和分布式并行处理模块配置信息，定时搜集实时处理作业，并根据处理设备资源余量动态分配硬件处理资源，在卫星入境、离境时刻，向调度执行模块发送“处理模块启动或终止”指令；
[0010] 所述调度执行模块，用于定时将处理设备资源余量上报调度决策模块，还用于依据调度决策模块发送的指令，执行“处理模块启动或终止”任务；
[0011] 所述分布式并行处理模块，用于完成传输帧、源包、用户帧格式处理与质量检测、工程数据物理量反演、探测数据解压缩与图像彩色复原和结果分发与入库处理；
[0012] 所述数据处理状态监视模块，用于监视所述分布式并行处理模块的处理状态、处理统计、处理日志。
[0013] 作为所述装置的一种改进，所述分布式并行处理模块包括：传输帧格式处理与质量检测子模块、源包格式处理与质量检测子模块、用户帧格式处理与质量检测子模块、工程数据物理量反演子模块、工程参数分发与入库子模块和探测数据解压缩与图像彩色复
原子模块；
[0014] 所述传输帧格式处理与质量检测子模块，用于进行传输帧格式同步、虚拟信道分路、解扰、RS译码和LDPC译码，并对虚拟信道标识、航天器标识的合法性、传输帧失步和帧计数连续性进行质量检测；
[0015] 所述源包格式处理与质量检测子模块，用于进行源包格式同步、应用过程标识分包、循环冗余校验或累加和校验处理，并对应用过程标识的合法性、源包失步和包计数连续性进行质量检测；
[0016] 所述用户帧格式处理与质量检测子模块，用于进行用户帧格式同步、根据模式标识分探测模式处理，并对用户帧计数连续性和模式码的合法性进行质量检测；
[0017] 所述工程数据物理量反演子模块，用于将工程数据包中的二进制数据，按照载荷设计的物理量反演公式进行反演处理，包括转换为
电压、
电流、
温度和压
力物理量；
[0018] 所述工程参数分发与入库子模块，用于将物理量反演后的工程参数入数据库管理，并将反演结果在局域网内进行分发，供卫星及载荷用户进行监视；
[0019] 所述探测数据解压缩与图像彩色复原子模块，用于对探测数据解压缩和对图像彩色复原处理，并将处理结果在局域网内进行分发，供卫星及载荷用户进行监视。
[0020] 作为所述装置的一种改进，所述调度决策模块包括：配置信息读取单元、实时处理作业搜集单元、处理设备硬件资源余量信息管理单元、处理资源动态分配单元和处理模块调度单元；
[0021] 所述配置信息读取单元，用于对所述若干台套的分布式处理设备配置信息、部署于所述处理设备之上的分布式并行处理模块配置信息进行读取；
[0022] 所述实时处理作业搜集单元，用于定时读取数据接收计划，将计划中每一个卫星过境时段作为一个实时处理作业放入待执行的作业队列中；
[0023] 所述处理设备硬件资源余量信息管理单元，用于采集部署在各处理设备上的调度执行模块发送的该处理设备资源余量，对所有处理设备资源余量进行管理；
[0024] 所述处理资源动态分配单元，用于定时扫描作业队列，在待执行作业的卫星入境时刻，给参与执行该处理作业的分布式并行处理模块动态分配相应的硬件处理资源；
[0025] 所述处理模块调度单元，用于在待执行作业的卫星入境时刻，向调度执行模块发送分布式并行处理模块启动消息，接收调度执行模块反馈的启动结果消息，顺次完成与该作业相关的分布式并行处理模块的所有子模块的启动；在正在执行作业的卫星离境时刻，向调度执行模块发送分布式并行处理模块终止消息，接收调度执行模块反馈的终止结果消息，顺次完成与该作业相关的分布式并行处理模块的所有子模块的终止。
[0026] 作为所述装置的一种改进，所述调度执行模块包括：处理设备硬件资源余量信息上报单元、处理模块启动单元和处理模块终止单元；
[0027] 所述处理设备硬件资源余量信息上报单元，用于定时采集所在处理设备的CPU、内存、网络吞吐率的硬件资源余量信息，并上传给调度决策模块；
[0028] 所述处理模块启动单元，用于基于Linux
操作系统的进程Fork、Exec函数实现所述分布式并行处理模块的启动；
[0029] 所述处理模块终止单元，用于基于Linux操作系统的进程Kill命令实现所述分布式并行处理模块的终止。
[0030] 作为所述装置的一种改进，所述数据处理状态监视模块，包括：状态监视单元、统计信息监视单元和日志信息监视单元；
[0031] 所述状态监视单元，用于以图形方式监视所述分布式并行处理模块的各子模块的状态，包括启动状态和终止状态；
[0032] 所述统计信息监视单元，用于以列表方式监视所述分布式并行处理模块各子模块的处理统计信息，包括各虚拟信道的传输帧统计、各应用过程的源包统计、失步统计和计数不连续性统计；
[0033] 所述日志信息监视单元，用于以列表形式监视所述分布式并行处理模块各子模块的处理日志信息，包括格式同步日志和失步日志。
[0034] 作为所述装置的一种改进，所述集中调度设备、分布式数据处理设备和集中监视设备通过局域网进行链接。
[0035] 本发明还提出一种CCSDS高级在轨系统协议数据实时处理方法，以上所述的系统实现，所述方法包括：
[0036] 通过调度决策模块读取分布式并行处理模块配置信息和处理设备配置信息、定时搜集实时处理作业；
[0037] 在待执行作业的卫星入境时刻，所述调度决策模块向调度执行模块发送分布式并行处理模块启动消息，接收调度执行模块反馈的启动结果消息，顺次完成与该作业相关的分布式并行处理模块所有子模块的启动；
[0038] 在卫星过境期间，所述分布式并行处理模块完成传输帧、源包和用户帧格式处理与质量检测，工程数据物理量反演、探测数据解压缩与图像彩色复原和处理结果分发与入库处理；
[0039] 在正在执行作业的卫星离境时刻，所述调度决策模块向调度执行模块发送分布式并行处理模块终止消息，接收调度执行模块反馈的终止结果消息，顺次完成与该作业相关的分布式并行处理模块所有子模块的终止；
[0040] 数据处理状态监视模块监视分布式并行处理模块的处理状态、显示处理统计和日志信息，从而完成高级在轨系统协议数据的实时处理。
[0041] 作为所述方法的一种改进，所述工程数据物理量反演、探测数据解压缩与图像彩色复原和处理结果分发与入库处理，具体包括：
[0042] 以数据帧为处理对象，采用Hash方法将所述数据帧分配到相应的hash桶中，其中hash函数采用直接取余法，根据数据帧接收顺序，轮换放在不同的hash桶中,即Hash(x)＝x mod m,m为hash桶的数量；
[0043] 为每个存放数据帧的hash桶分配一个固定的处理线程和结果缓存区，处理线程按FIFO的方式从桶内获取数据帧，对数据帧进行物理量反演或者探测数据解压缩处理后，将处理结果帧存储到对应的结果缓冲区中；
[0044] 从结果缓存区中顺次取一个结果帧，实现结果帧数据按时间次序的归并。
[0046] 1、本发明公开的CCSDS AOS协议数据实时处理系统，以硬件处理资源负载均衡为目标，在不同处理设备上动态调度分布式并行处理模块的各个子模块，解决了传统方法可申请处理资源受单台硬件设备资源限制、处理资源浪费的问题；
[0047] 2、本发明公开的CCSDS AOS协议数据实时处理系统，基于AOS协议数据虚拟信道、包信道两级复用机制特征，针对每一个虚拟信道、包信道数据不交叉、处理无依赖关系的特性，实现了进程级并行处理，提高了协议数据处理的性能；
[0048] 3、本发明公开的CCSDS AOS协议数据实时处理系统，针对部分处理步骤先入先出的队列式处理需求，以空间换时间，采用多级缓存方法实现线程级并行数据处理，提高了协议数据处理的性能。
附图说明
[0049] 图1为现有技术的CCSDS AOS协议数据的两级复用机制；
[0050] 图2为现有技术的CCSDS AOS协议数据实时处理流程；
[0051] 图3为本发明的CCSDS AOS协议数据实时处理系统的处理框架；
[0052] 图4为本发明的CCSDS AOS协议数据实时处理系统的处理流程；
[0053] 图5为本发明的CCSDS AOS协议数据实时处理系统的分布式并行处理模块的单个子模块硬件处理资源分配策略；
[0054] 图6为本发明的CCSDS AOS协议数据实时处理系统的进程级和线程级并行处理子模块，图中灰色填充子模块为线程级复用子模块、同一虚框内子模块为进程级并行处理子模块；
[0055] 图7为本发明的CCSDS AOS协议数据实时处理系统的基于分治、归并策略的线程级并行处理模块设计；
[0056] 图8为本发明的CCSDS AOS协议数据实时处理系统的数据处理模块状态监视；
[0057] 图9为本发明的CCSDS AOS协议数据实时处理系统的数据处理统计信息监视；
[0058] 图10为本发明的CCSDS AOS协议数据实时处理系统的数据处理日志信息监视。
具体实施方式
[0059] 下面结合附图和具体
实施例对本发明进行详细的说明。
[0060] 本发明提供了一种CCSDS AOS协议数据实时处理系统及方法。通过对AOS协议数据实时处理框架的设计、进程和线程等不同级别并行处理算法模块的设计，将传统的集中式、串行AOS协议数据实时处理转变为分布式、并行处理过程，提高AOS协议数据实时处理的吞吐率，满足日益提高的AOS协议数据实时处理性能需求。
[0061] 如图3所示，本发明包括调度决策模块、调度执行模块、数据处理状态监视模块、传输帧格式处理与质量检测子模块、源包格式处理与质量检测子模块、用户帧格式处理与质量检测子模块、工程数据物理量反演子模块、工程参数分发与入库子模块和探测数据解压缩与图像彩色复原子模块等。
[0062] 其中，除调度决策模块、调度执行模块、数据处理状态监视模块之外的其他模块统称为分布式并行处理模块。调度决策模块、数据处理状态监视模块分别部署于集中调度设备、集中监视设备，调度执行模块与分布式并行处理模块部署于多台套的分布式数据处理设备，所有设备通过万兆局域网进行链接。
[0063] 本发明方法以调度决策模块读取配置信息、定时搜集实时处理作业为开端，在卫星入境时刻，调度决策与调度执行模块协同将所有分布式并行处理模块启动，在卫星离境时刻，调度决策模块再与调度执行模块协同将所有分布式并行处理模块终止；卫星过境期间，多个分布式并行处理模块协同完成图2所示的所有处理步骤；在整个模块调度、数据处理过程中，数据处理状态监视模块实现整个流程处理统计、日志信息的集中监视。
[0064] 如图4所示，分布式并行处理模块与调度执行模块、数据处理状态监视模块的所有交互，均涉及其内包含的每一个处理子模块。
[0065] 所述调度决策模块包括：
[0066] 配置信息读取单元，用于对分布式数据处理设备和部署于其上的分布式并行处理模块的配置信息进行读取。其中所述数据处理设备配置信息包括设备标识、CPU及内存配置、网络带宽配置、IP地址配置等；所述分布式并行处理模块的配置信息包括各个子模块的可执行路径、与其他子模块的链接关系、所属卫星、地面站、程序占用CPU及内存的经验峰值、网络吞吐率经验峰值、平均处理速率经验值等；和
[0067] 实时处理作业搜集单元，用于定时读取数据接收计划，将计划中每一个卫星过境时段作为一个实时处理作业放入待执行的作业队列中，每一个处理作业包含所属卫星、地面站、卫星入境时刻、离境时刻、作业状态(预执行、被取消、已执行)等信息；和[0068] 处理设备硬件资源余量信息管理单元，用于采集部署在各处理设备上的调度执行模块发送的该处理设备硬件资源如CPU、内存、网络吞吐率等余量信息，对所有处理设备的硬件资源余量进行管理；和
[0069] 处理资源动态分配单元，用于定时扫描作业队列，在预执行作业的卫星入境时刻，给参与执行该处理作业的所有分布式并行处理模块动态分配相应的硬件处理资源，单个处理子模块硬件处理资源分配的策略如图5所示：和
[0070] 实时处理模块调度单元，用于在待执行作业的卫星入境时刻，调度决策向调度执行模块发送启动分布式并行处理模块消息，接收调度执行模块反馈的启动结果消息，顺次完成该作业相关所有的子模块的启动；在正在执行作业的卫星离境时刻，调度决策向调度执行模块发送终止分布式并行处理模块的消息，接收调度执行模块反馈的终止结果消息，顺次完成该作业相关所有的子模块的终止。
[0071] 所述调度执行模块包括：处理设备硬件资源余量信息上报单元：定时采集调度执行模块所在设备的CPU、内存和网络吞吐率等硬件资源的余量信息，并上报给调度决策模块；和
[0072] 处理模块启动单元：基于Linux操作系统的进程Fork、Exec函数实现分布式并行处理模块的启动；和
[0073] 处理模块终止单元：基于Linux操作系统的进程Kill命令实现分布式并行处理模块的终止。
[0074] 所述分布式并行处理模块包括：传输帧格式处理与质量检测子模块、源包格式处理与质量检测子模块、用户帧格式处理与质量检测子模块、工程数据物理量反演子模块、工程参数分发与入库子模块和探测数据解压缩与图像彩色复原子模块等。
[0075] 如图4所示，图中分布式并行处理模块仅以其中一个虚拟信道进行示例，实际的处理模块设计中，每一个虚拟信道都对应着一系列包信道数据的处理子模块。
[0076] 所述传输帧格式处理与质量检测子模块，用于进行传输帧格式同步、虚拟信道分路、解扰、RS译码和LDPC译码，并对虚拟信道标识、航天器标识的合法性、传输帧失步和帧计数连续性进行质量检测；
[0077] 所述源包格式处理与质量检测子模块，用于进行源包格式同步、应用过程标识分包、循环冗余校验或累加和校验处理，并对应用过程标识的合法性、源包失步和包计数连续性进行质量检测；包括对探测数据虚拟信道进行源包格式处理与质量检测和对工程数据进行源包格式处理与质量检测；
[0078] 所述用户帧格式处理与质量检测子模块，用于进行用户帧格式同步、根据模式标识分探测模式处理，并对用户帧计数连续性和模式码的合法性进行质量检测；包括对探测数据包信道进行用户帧格式处理与质量检测；
[0079] 所述工程数据物理量反演子模块，用于将工程数据包中的二进制数据，按照载荷设计的物理量反演公式进行反演处理，包括转换为电压、电流、温度和压力物理量；
[0080] 所述工程参数分发与入库子模块，用于将物理量反演后的工程参数入数据库管理，并将反演结果在局域网内进行分发，供卫星及载荷用户进行监视；
[0081] 所述探测数据解压缩与图像彩色复原子模块，用于对探测数据解压缩和对图像彩色复原处理，并将处理结果在局域网内进行分发，供卫星及载荷用户进行监视。
[0082] 本发明所述分布式并行处理模块可以辅助本发明实现进程和线程两种级别的并行处理。
[0083] 如图6所示，每一个虚框内的处理进程之间，处理的数据属于不同虚拟信道或包信道，彼此之间处理无相互依赖关系，可以实现彼此间进程级的并行处理。灰色背景模块具有以下特点：①处理耗资源，性能低，是数据处理性能的瓶颈；②具有典型的先入先出队列式处理需求，即最先采集的数据其处理结果必须最先得到分发，以便于卫星及载荷用户以时间为序判读星载设备的状态。
[0084] 本发明基于空间换时间思想，采用分治和归并策略将此类处理设计为三个步骤：hash分流、数据帧处理和归并，实现线程级的数据并行处理，如图7所示，图中以4个处理线程为例：
[0085] 所述Hash分流：以数据帧为处理对象，采用Hash方法将其分配到相应的hash桶中，其中hash函数采用直接取余法，根据数据帧接收顺序，轮换放在不同的hash桶中,即Hash(x)＝xm od m,m为hash桶的数量。
[0086] 所述数据帧处理：为每个存放数据帧的hash桶分配一个固定的处理线程和结果缓存区，处理线程按FIFO(First Input First Output)的方式从桶内获取数据帧，对数据帧进行物理量反演或者科学数据解压缩处理后，将处理结果帧存储到对应的结果缓冲区中；
[0087] 所述归并：从结果缓存区中顺次取一个结果帧，即可实现结果帧数据按时间次序的归并。
[0088] 所述数据处理状态监视模块，用于分卫星对分布式并行处理模块的处理状态、处理日志和处理统计信息进行集中监视。包括：
[0089] 状态监视单元：以图形方式监视分布式并行处理模块各子模块的状态，包括启动状态、终止状态，模块处于启动状态时其图形为彩色，处于终止状态时为黑白色，如图8所示；和
[0090] 处理统计信息监视单元：以列表方式监视分布式并行处理模块各子模块的处理统计信息，包括各虚拟信道的传输帧统计、各应用过程的源包统计、失步统计和计数不连续性统计等，如图9所示；
[0091] 处理日志信息监视单元：以列表形式监视分布式并行处理模块各子模块的处理日志信息，包括格式同步日志、失步日志等，如图10所示。
[0092] 本发明涉及的技术创新点包括：
[0093] 1、提出一种调度与数据处理协同的CCSDS AOS协议数据处理框架：以硬件处理资源负载均衡为目标，在不同处理设备上动态调度数据处理模块，解决了传统单一处理进程可申请处理资源受单台硬件设备资源限制、处理资源浪费的问题；
[0094] 2、面向CCSDS AOS协议两级复用机制的进程级并行数据处理设计：基于AOS协议数据包信道、虚拟信道复用的两级复用机制特征，针对每一个包信道和虚拟信道数据不交叉和处理无依赖关系的特性，实现了进程级并行处理，提高了AOS协议数据处理的性能；
[0095] 3、基于分治和归并策略的线程级并行处理设计：针对部分处理步骤先入先出的队列式处理需求，以空间换时间，采用多级缓存方法实现线程级并行数据处理，提高了AOS协议数据处理的性能。
[0096] 经过仿真结果表明：①系统支持了墨子号、悟空、慧眼、实践十号四颗卫星，密
云、三亚、喀什三个地面站，数千次实时处理作业的搜集、资源分配、实时数据处理调度任务；②在6000维工程遥测参数物理量反演、29台载荷科学数据解压缩的处理深度下，处理性能优于300Mbps；③参数物理量反演处理速率，从单线程12.1Mbps提升至目前16个处理线程的155Mpbs；④相比传统主流Map Reduce架构，所设计框架具有灵巧性、自主性以及支持实时处理任务的特点。
[0097] 处理性能的提升有两个原因：①基于调度与分布式并行处理模块协同的处理框架设计，突破了传统单一进程申请资源受单台处理设备的限制，实现了处理资源的负载均衡，为AOS协议数据处理性能的提升提供了资源
基础；②进程级、线程级的并行数据处理模块设计，代替了传统的串行处理设计。
[0098] 最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行
修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的
权利要求范围当中。
