首页 / 专利库 / 专利权 / 第I章 / 国际申请 / 摘要 / 一种IEC61850海量数据快速分析方法

一种IEC61850海量数据快速分析方法

阅读:984发布:2021-04-13

专利汇可以提供一种IEC61850海量数据快速分析方法专利检索,专利查询,专利分析的服务。并且一种IEC61850海量数据快速分析方法,本 发明 的方法通过统一数据管理 接口 ,以及 摘要 和 定位 器实现海量数据的快速遍历,仅将预设范围内的数据驻留内存并分析,从而实现无论数据多大所需内存固定的快速数据分析。通过该方法的使用,可以基于统一的数据管理接口针对不同类型数据选择实现最优化的高性能数据管理后端,而且能够在可控的低资源情况下实现海量数据的快速遍历和分析,不仅解决了现有IEC61850海量 数据处理 的问题,也可作为未来新类型海量数据处理的参考或直接使用。,下面是一种IEC61850海量数据快速分析方法专利的具体信息内容。

1.一种IEC61850海量数据快速分析方法,所述分析方法通过统一数据管理接口,以及摘要定位器实现海量数据的快速遍历,仅将预设范围内的数据驻留内存并分析,其特征在于,所述分析方法包括以下步骤:
(1)在智能变电站内IEC61850通信系统中,确定用于数据管理的公共接口、即统一的数据管理接口,该数据管理接口由具体的数据管理后端实现,支持使用多种数据管理后端,所述数据管理接口包括摘要生成接口、定位接口、获取接口、分析接口;其中:
所述摘要生成接口将海量数据按条目生成包括数据位置信息和数据关键信息的摘要;
所述定位接口依据所述摘要生成接口生成的摘要信息实现数据关键信息的快速检索并确定相应数据的位置信息;
所述获取接口依据所述定位接口确定的数据位置信息从海量数据中快速获取被检索数据条目;
所述分析接口将由所述获取接口获取的数据条目进行详细分析并输出分析结果;
(2)依据步骤(1)对应的数据管理接口生成海量数据的摘要并存储为摘要库:使用数据管理接口中的摘要生成接口对海量数据按照数据关键特征进行快速分析,生成包括关键信息和数据位置信息的摘要;
(3)依据步骤(2)对应的摘要通过定位器快速定位获取在预设范围内的数据并分析:定位器记录了当前正在分析的数据在海量数据中的起始位置,预设范围为在内存进行分析的数据条目数;定位器依据摘要通过定位接口实现快速移动定位后,从定位即起始位置开始的预设范围的数据通过数据获取接口加载到内存,然后通过数据分析接口进行分析;
(4)通过移动定位器实现对所有海量数据的分析。
2.根据权利要求1所述的IEC61850海量数据快速分析方法,其特征在于:
在步骤(2)中,数据关键特征的分析和获得由数据管理接口中的摘要生成接口实现,生成关键信息和数据位置信息作为摘要的一部分内容,在定位数据时由定位器将摘要从摘要库提交给定位接口,然后由数据管理接口中的定位接口实现数据关键信息的快速检索并确定相应数据的位置信息。
3.根据权利要求1所述的IEC61850海量数据快速分析方法,其特征在于:
在步骤(4)中,定位器移动并定位到新位置时,原预设范围中远离新位置的数据移出内存,处于新的预设范围内的数据移入内存,数据量始终不超过预设范围,从而实现与数据量大小无关的、稳定的、低资源占用的快速数据分析。

说明书全文

一种IEC61850海量数据快速分析方法

技术领域

[0001] 本发明涉及一种IEC61850数据分析方法,属于电自动化技术领域,特别是针对IEC61850海量网络通信数据的快速分析方法。

背景技术

[0002] IEC61850是IEC TC57制定的电力自动化用通信网络和系统技术标准,在智能变电站中被普遍应用,将变电站的通信定义为3层:站控层、间隔层和过程层。其中,过程层通过网络传输数字化信号,如开关状态、采样值,与传统电力通信相比数字化的网络通信数据量非常大,1天就可达数TB的数据量,对多间隔采样的产品如数字化故障录波器、网络记录仪等的数据处理能力提出了新的挑战。出于安全运行和故障诊断的考虑,需要记录这些通信数据,并且基于这些数据进行检索和故障定位,难度大,因为是针对海量数据处理。智能变电站存在着多种应用集成和数据共享的特点及趋势,同样面临海量数据的处理。
[0003] 目前很多产品在网络接入方面采用如FPGA、DSP等辅助设计提高了网络吞吐量,能够满足需求;但在数据管理和分析方面存在几个突出的问题:(1)所有类型的数据采用同一种方式管理,包括存储、检索等,管理性能低,改进和扩展难度大;(2)数据检索分析速度慢、耗内存,在数据量非常大时甚至出现应用或系统崩溃的情况。
[0004] 实际上多种数据采用一种方式管理很难达到理想效果,由于数据特征的差异,有时甚至因为兼顾太多而导致其他应用效果不理想;如果在应用过程中,某种数据特征差异过大,无法使用原有数据管理方式管理时,整个应用系统的改动将非常大,可能会引出其他如稳定性、兼容性等问题。已有数据分析多采用将原始数据驻留内存并增加辅助分析数据,这样基于内存的分析和遍历速度快,但耗内存(至少大于原始数据量),尤其当数据量非常大时,整体效果会下降(如系统虚拟内存机制导致)甚至因内存不足而崩溃。这些问题直接影响了应用的可用性,维护成本高,也降低了运行维护的工作效率,是潜在的安全稳定险。因此,海量数据的管理和分析是目前亟待解决的问题。随着智能变电站智能化的不断发展,数据量会不断增加,即海量数据的处理技术需要不断的探索和改进。

发明内容

[0005] 为了克服上述已有技术的不足,本发明提供了一种IEC61850海量数据快速分析方法。
[0006] 本发明所采用的技术方案是:
[0007] 一种IEC61850海量数据快速分析方法,所述分析方法通过统一数据管理接口,以及摘要和定位器实现海量数据的快速遍历,仅将预设范围内的数据驻留内存并分析,其特征在于,所述分析方法包括以下步骤:
[0008] (1)在智能变电站内IEC61850通信系统中,确定用于数据管理的公共接口、即统一的数据管理接口,该数据管理接口由具体的数据管理后端实现,支持使用多种数据管理后端;数据管理接口包括摘要生成接口、定位接口、获取接口、分析接口;其中:
[0009] 所述摘要生成接口将海量数据按条目生成位置信息和数据关键信息;
[0010] 所述定位接口依据所述摘要生成接口生成的摘要信息实现数据关键信息的快速检索并确定相应的位置信息;
[0011] 所述获取接口依据所述定位接口确定的数据位置信息从海量数据中快速获取被检索数据条目;
[0012] 所述分析接口将由所述获取接口获取的数据条目进行详细分析并输出分析结果。
[0013] (2)依据步骤(1)对应的数据管理接口生成海量数据摘要并存储为摘要库,使用摘要生成接口对海量数据按照数据关键特征进行快速分析,生成包括关键信息和数据位置信息的摘要;数据关键特征的分析和获得由数据管理接口中的摘要生成接口实现,所述数据关键特征作为摘要的一部分内容,在定位数据时由定位器从摘要库提交给定位接口,然后由数据管理后端具体处理;
[0014] (3)依据步骤(2)对应的摘要通过定位器快速定位获取在预设范围内的数据并分析;定位器记录了当前正在分析的数据在海量数据中的起始位置,预设范围为在内存进行分析的数据条目数;定位器依据摘要通过定位接口实现快速移动定位后,从定位即起始位置开始的预设范围的数据通过数据获取接口加载到内存,然后通过数据分析接口进行分析;
[0015] (4)通过移动定位器实现对所有海量数据的分析;定位器移动并定位到新位置时,原预设范围中远离新位置的数据移出内存,靠近新位置的数据移入内存,数据量始终不超过预设范围,从而实现与数据量大小无关的、稳定的、低资源占用的快速数据分析。
[0016] 与已有技术相比,本发明的有益效果是:本发明的数据管理接口及后端实现分离的设计提高了数据管理性能,且易于改进和扩展,延长产品生命周期,降低维护成本;通过摘要和定位器实现的海量数据快速分析,显著提高了应用的可用性,提供了运行维护的效率。附图说明
[0017] 下面结合附图及具体实施例对本发明再作进一步详细的说明。
[0018] 图1为本发明的IEC61850海量数据快速分析方法的层次示意图。

具体实施方式

[0019] 下面结合附图和实施例对本发明进一步说明。
[0020] 本申请公开了一种IEC61850海量数据快速分析方法。本发明所采用的技术方案是:通过统一数据管理接口,以及摘要和定位器实现海量数据的快速遍历,仅将预设范围内的数据驻留内存并分析,从而实现无论数据量多大所需内存固定的快速数据分析,包括以下步骤:
[0021] (1)依据数据定位、获取、分析的共性确定统一的数据管理接口。对智能变电站内IEC61850通信中的各类数据的特征、存储要求、检索定位、获取及分析进行了对比并总结共性,确定了用于数据管理的公共接口,包括摘要生成接口、定位接口、获取接口、分析接口。数据管理接口由具体的数据管理后端实现,支持使用多种数据管理后端,从而能够按照具体数据特点设计最优化的高性能数据管理后端,并快速改进已有数据管理后端和快速实现及部署新类型数据管理后端。
[0022] 如图1所示,本发明的数据管理接口10是在对智能变电站内IEC61850通信中的各类数据的特征、存储要求、检索定位、获取及分析进行了对比并总结共性,确定了用于数据管理的公共接口,包括摘要生成接口11、定位接口12、获取接口13、分析接口14。数据管理后端20是数据管理接口10的一个实现体,在实际系统应用中可以有多个实现体,每个实现体必须实现数据管理接口10所要求的摘要生成11、定位12、获取13和分析14。这种设计将实际的数据管理后端20与快速数据分析方法解耦,使数据管理后端20易于改进、扩展、部署,有利于具体类型数据选择各自最优化的高性能的管理方式。IEC61850的3种通信MMS、GOOSE和SV的数据特征差异很大,可以采用不同的数据管理后端。摘要生成接口11将海量数据30按条目生成位置信息和数据关键信息,并存储为摘要40;数据关键信息内容及格式由具体的数据管理后端20实现,所以不同数据管理后端20的数据关键信息可能不同。定位接口12依据摘要生成接口11生成的摘要40实现数据关键信息的快速检索并确定相应的位置信息。获取接口13依据定位接口12确定的数据位置信息从海量数据30中快速获取被检索数据条目。分析14将由获取13获取的数据条目进行详细分析并输出分析结果到内存。
[0023] (2)依据步骤(1)对应的数据管理接口生成海量数据摘要。使用摘要生成接口对海量数据按照数据关键特征进行快速分析,生成包括关键信息和数据位置信息的摘要。数据关键特征的分析和获得由具体的数据管理后端实现,作为摘要的一部分内容,在定位数据时由定位器从摘要库提交给定位接口,然后由数据管理后端具体处理。
[0024] 如图1所示,在进行快速数据分析之前,使用摘要生成接口11生成数据30的摘要40。摘要40一次性生成,用于定位接口12能够在海量数据30中快速定位数据,便于分析时获取接口13的数据获取。摘要生成接口11应能够快速处理数据30,且生成的摘要40数据量要小。摘要40的一条摘要包括对应的数据条目在数据30中的位置信息和数据关键信息,格式要求:位置信息由数据条目号(64位整型)、数据条目在数据30中的偏移(64位整型)组成,数据关键信息为一个最大32字节二进制数据。摘要信息只做格式要求,具体信息的含义由具体数据管理后端20处理,即摘要40由数据管理后端20生成,在定位时传入定位12仍由数据管理后端20处理。摘要40的一条摘要可以对应数据30一条数据,一一对应;一条摘要也可以对应一段数据,即多条数据的起始条目,一对多;一一对应时可以一次性精确定位,但摘要
40较大;一对多时在两条摘要间模糊定位,摘要40较小,尤其适合数据30非常大的情况。
[0025] (3)依据步骤(2)对应的摘要通过定位器快速定位获取在预设范围内的数据并分析。定位器记录了当前正在分析的数据在海量数据中的起始位置。预设范围为在内存进行分析的数据条目数。定位器依据摘要通过定位接口实现快速移动定位后,从定位即起始位置开始的预设范围的数据通过数据获取接口加载到内存,然后通过数据分析接口进行分析。
[0026] 如图1所示,在摘要40生成后,就可以使用定位器50通过定位12对数据30进行遍历定位。定位器50记录了当前正在内存中分析的数据在数据30中的起始位置,即定位器位置70。每次在对数据30进行遍历定位时,定位器50从摘要40中取得相应的摘要条目信息传入定位12,并更新定位器50的定位器位置70。遍历定位是双向的,即可以向数据30的前面定位,也可以向后面定位。由于摘要40所提供的信息已经缩小了遍历定位范围,所以即使数据
30非常大,遍历定位也是快速的;另一方面,如果数据管理后端20的摘要信息准确性及定位
12的处理性能比较好,则遍历定位会更快。当定位器50定位确定后,便可通过获取13从数据
30获取数据,然后由分析14在内存中分析获取的数据。在内存中分析的具体数据与定位器
50的定位器位置70有关。定位器位置70为在内存中分析的数据的起始位置,对应数据30中的数据位置,从该位置开始的、不超过预设范围60的数据在内存中分析。预设范围60为在同一时间在内存中分析的最大数据条目数,因此无论数据30多大,在遍历分析时,所需最大内存固定。预设范围60可配置,越大使用内存越大,但分析的流畅性越好。预设范围60同时还附带一种机制,在分析时为了控制同时分析的数据条目数不超过预设范围60,当有新数据被获取并准备分析前,首先要将正在分析的数据从内存移出80一部分,使得剩余的数据与新数据总和不超过预设范围60。以定位器位置70为基准,原在内存中分析的数据中远离该基准的被移出80内存,靠近的被移入90;该基准与定位前的位置差为新数据,新数据量是确定的,依据预设范围60和正在内存中分析的数据量便可确定要移出的数据并移出,然后获取新数据并在内存中分析。
[0027] (4)通过移动定位器实现对所有海量数据的分析。定位器移动并定位到新位置时,原预设范围中远离新位置的数据移出内存,靠近新位置的数据移入内存,数据量始终不超过预设范围,从而实现与数据量大小无关的、稳定的、低资源占用的快速数据分析。对数据30的所有数据遍历分析由上述数据管理接口10、数据管理后端20、定位器50和预设范围60协同完成。无论数据量多大,总能通过摘要40缩小遍历定位范围,即能够快速遍历定位器位置70并获取数据;在同一时间在内存中分析的数据量不超过预设范围60,依赖于预设范围
60的移出80、移入90机制,既能控制分析所需内存,而且所分析的数据只是海量数据中的一小部分,分析速度快。综合起来,本发明的方法实现了易于改进、扩展和部署的高性能数据管理,而且实现了与数据量大小无关的、稳定的、低资源占用的快速数据分析。
[0028] 以上给出的实施例用以说明本发明和它的实际应用,并且因此使得本领域的技术人员能够实现或使用本发明,本领域普通技术人员可以再不脱离本发明的发明思想的情况下,对上述实施例作出种种修改或变化,因而本发明并不被上述实施例所限,而应该是符合权利要求书提到的创新性特性的最大范围。
相关专利内容
标题 发布/更新时间 阅读量
摘要生成方法及装置 2020-05-11 33
包括特定人的视频摘要 2020-05-12 488
视频摘要生成方法和视频摘要生成装置 2020-05-13 267
摘要翻译器 2020-05-11 661
会议摘要 2020-05-11 938
摘要生成装置和摘要生成方法 2020-05-11 369
摘要生成方法及装置 2020-05-12 623
摘要生成方法及装置 2020-05-11 299
选择性会议摘要 2020-05-11 862
多功能摘要书籍 2020-05-11 632
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈