技术领域
[0001] 本
发明属于数据管理技术，具体涉及一种分布式电力数据管理系统。
背景技术
[0002] 随着电力信息化的推进和智能变电站、智能电表、实时监测系统、现场移动检修系统、测控一体化系统以及一大批服务于各个专业的信息管理系统的建设和应用，数据的规模和种类快速增长，这些数据共同构成了智能
电网海量数据。其中，由自动化系统、在线监测系统等采集的海量时序数据是电力数据的独特内容，其规模庞大，可达万亿级别(通常包含千万级别的测点，每个测点有百万级别的时序数据)，并具有持续写入和频繁查询的特点。
[0003] 随着电力系统规模和复杂程度的提高，应用程序在深层次变得更加需求化，需要将大量数据添加到
数据库中，由上层应用程序提取并用于
数据挖掘，科学计算以及报告和图像的生成等。将这些庞大的数据量一次存储在不同的关系数据库报告表单中是非常耗时的，并且从不同的关系数据库中提取这些数据并不容易报告表格。不同部
门的信息系统彼此分离，导致数据
孤岛从企业的中心
角度分散到整个组织。尽管收集和存储大量数据，但可从中提取的有用和有价值的信息仍然有限。
[0004] 因此，传统的数据管理系统和采集处理模式已不能满足电力数据来源复杂、数据规模巨大、数据结构多样、数据应用多变的需求，但是，目前没有针对电力
大数据特点的分布式电力数据管理系统。
发明内容
[0005] 为了克服现有的技术问题，本发明提出了一种分布式电力数据管理系统，包括：
[0006] 所述分布式电力数据管理系统分布于至少两个不同的地址，每个地址的电力数据管理系统包括所辖地址区域范围内的分布式电力数据库
节点、驱动单元，每个所述驱动单元与一个电力数据管理系统相对应，用于控制所述电力数据管理系统；所述分布式电力数据管理系统还包括：交换机、供电单元、通讯单元、管理
服务器、计算服务器、储存服务器、采集服务器、界面服务器，所述交换机分别与所述管理服务器、所述计算服务器、所述储存服务器、以及所述采集服务器和所述界面服务器连接，所述供电单元分别与所述交换机、所述通讯单元、管理服务器、所述计算服务器、所述储存服务器、以及所述采集服务器和所述界面服务器连接，所述交换机用于实现所述管理服务器、所述计算服务器、所述储存服务器、所述采集服务器、所述界面服务器之间的数据传输，通讯单元使用通讯网络实现处于不同地址的所述电力数据管理系统之间、所述电力数据管理系统与用户之间的通信；
[0007] 所述分布式电力数据库中使用非关系数据库和关系数据库以混合方式进行数据组织，
[0008] 所述采集服务器采用不同的
数据采集策略针对不同的数据类型获取电力数据，[0009] 所述储存服务器通过固态
硬盘和机械硬盘组合储存方式来储存电力数据，[0010] 所述计算服务器对电力数据进行相应的业务处理，
[0011] 界面服务器，用于根据用户需求展示对应的业务处理步骤的处理结果，[0012] 所述管理服务器部署分布式调度单元，用于根据用户操作
请求控制所述采集服务器节点、所述存储服务器节点以及所述计算服务器节点达到负载均衡。
[0013] 本发明的有益效果包括：首先，提高了电力数据的管理和使用
水平，将电力行业分散的数据资源进行整合优化，降低各电力部门管理成本和各类应用开发运营复杂度，加快业务应用系统落地速度和随需而变的速度，提高了业务应用系统的可靠性和性能；其次，采集任务模板化，构建了标准化体系，打通了关系数据库、非关系数据库、分布式存储、并行数据库、文本文件存储等不同存储类型的数据采集边界，实现统一的采集任务配置、调度和管控流程；采用多种数据采集安全机制，保证数据采集的完整性和正确性；并且，由于包括驱动模
块，数据共享模块，数据寻址模块，数据调度模块，业务处理模块和呈现模块，且数据使用非关系数据库和关系数据库以混合方式来组织，所以本发明的系统可以实现实时存储，共享，数据挖掘，大数据量搜索等处理，提高数据查询效率；最后，本发明的系统处于分布式即时处理环境，由于在存储不同种类的数据时，非关系数据库和关系数据库都有各自的优势，将数据以混合方式来组织可以最优化数据存储，尤其是在采集数据前又实时处理从非关系数据库发送的数据流并写入到关系数据库中，极大地提高了数据采集效率，以应对大量数据的处理，从而大幅降低建设成本。
附图说明
具体实施方式
[0015] 为了更好地理解本发明，下面结合附图参考
实施例的描述，对本发明的方法和系统进行进一步的说明。
[0016] 为了全面理解本发明，在以下详细描述中提到了众多具体细节。但是本领域技术人员应该理解，本发明可以无需这些具体细节而实现。在实施例中，不详细描述公知的方法、过程、组件，以免不必要地使实施例繁琐。
[0017] 参见图1所示，本发明提供了一种分布式电力数据管理系统，包括：
[0018] 所述分布式电力数据管理系统分布于至少两个不同的地址，每个地址的电力数据管理系统包括所辖地址区域范围内的分布式电力数据库节点、驱动单元，每个所述驱动单元与一个电力数据管理系统相对应，用于控制所述电力数据管理系统；所述分布式电力数据管理系统还包括：交换机、供电单元、通讯单元、管理服务器、计算服务器、储存服务器、采集服务器、界面服务器，所述交换机分别与所述管理服务器、所述计算服务器、所述储存服务器、以及所述采集服务器和所述界面服务器连接，所述供电单元分别与所述交换机、所述通讯单元、管理服务器、所述计算服务器、所述储存服务器、以及所述采集服务器和所述界面服务器连接，所述交换机用于实现所述管理服务器、所述计算服务器、所述储存服务器、所述采集服务器、所述界面服务器之间的数据传输，通讯单元使用通讯网络实现处于不同地址的所述电力数据管理系统之间、所述电力数据管理系统与用户之间的通信；
[0019] 所述分布式电力数据库中使用非关系数据库和关系数据库以混合方式进行数据组织，
[0020] 所述采集服务器采用不同的数据采集策略针对不同的数据类型获取电力数据，[0021] 所述储存服务器通过固态硬盘和机械硬盘组合储存方式来储存电力数据，[0022] 所述计算服务器对电力数据进行相应的业务处理，
[0023] 界面服务器，用于根据用户需求展示对应的业务处理步骤的处理结果，[0024] 所述管理服务器部署分布式调度单元，用于根据用户操作请求控制所述采集服务器节点、所述存储服务器节点以及所述计算服务器节点达到负载均衡。
[0025] 优选地，其中，所述数据采集策略包括：
[0026] 数据库采集策略，用于采集关系型数据，将数据备份至备份库后，生成数据文件，从备份库采集关系型数据文件；
[0027] 文件采集策略，用于采集文件型数据，监听各服务器的文件目录，定时从所述文件目录采集文件型数据文件；
[0028] 系统数据采集策略，用于采集系统产生的实时数据，监听数据流，从所述数据流中直接采集系统数据文件。
[0029] 优选地，其中，所述储存服务器采用
云存储技术。
[0030] 优选地，其中，所述计算服务器采用云计算技术。
[0031] 优选地，其中，所述通讯网络为Internet网络，其通信传输方式为GPRS、ADSL、RS232专线或光纤专网。
[0032] 优选地，其中，所述采集服务器具体包括：
[0033] 监听单元，用于监听所述电力数据管理系统中的数据流，
[0034] 判断单元，用于判断所述数据流的当前数据类型，
[0035] 选取单元，用于根据所述数据类型的不同选取不同的数据采集策略，[0036] 数据采集单元，用于根据选取的数据采集策略，对所述电力数据管理系统进行数据采集，
[0037] 其中，数据采集单元具体包括：
[0038] 数据共享单元，位于分布式数据库节点上，用于确定需要采集数据的路由地址，[0039] 数据寻址单元，用于提取路由地址对应的数据，
[0040] 数据调度单元，用于指示数据寻址步骤提取相应的数据。
[0041] 优选地，其中，所述系统进一步包括数据转换单元，用于采集服务器进行数据采集之前，实时处理从非关系数据库发送的多个连续生成的数据流，并将从实时处理得到的输出写入到关系数据库，
[0042] 所述数据转换单元具体包括：
[0043] 识别单元，用于基于所述非关系数据库连接到的端口来识别从所述非关系数据库传输的数据的类别，
[0044] 模式设置单元，用于根据所述端口设置传输所述数据为同步或异步的通信模式，[0045] 检索单元，用于基于主索引顺序地检索每个增量数据记录，
[0046] 模式转换单元，用于检查并确定非关系数据库的数据模式是否与关系数据库的数据模式一致，如果一致，则非关系数据库的数据模式不需要转换；否则，非关系数据库的数据模式将被转换为关系数据库的数据模式，
[0047] 写入单元，用于通过与通信模式相对应的方式将数据写入数据，根据所述模式转换单元检查的结果，将模式转换或不转换到关系数据库中，
[0048] 其中，如果通信模式是异步的，则当
存储器中的数据满足预定状态时，无论模式是否转换，都将数据缓存到存储器中并且随后基于批处理将数据写入到关系数据库中。
[0049] 本发明与
现有技术相比，其显著优点为：首先，提高了电力数据的管理和使用水平，将电力行业分散的数据资源进行整合优化，降低各电力部门管理成本和各类应用开发运营复杂度，加快业务应用系统落地速度和随需而变的速度，提高了业务应用系统的可靠性和性能；其次，采集任务模板化，构建了标准化体系，打通了关系数据库、非关系数据库、分布式存储、并行数据库、文本文件存储等不同存储类型的数据采集边界，实现统一的采集任务配置、调度和管控流程；采用多种数据采集安全机制，保证数据采集的完整性和正确性；并且，由于包括驱动模块，数据共享模块，数据寻址模块，数据调度模块，业务处理模块和呈现模块，且数据使用非关系数据库和关系数据库以混合方式来组织，所以本发明的系统可以实现实时存储，共享，数据挖掘，大数据量搜索等处理，提高数据查询效率；最后，本发明的系统处于分布式即时处理环境，由于在存储不同种类的数据时，非关系数据库和关系数据库都有各自的优势，将数据以混合方式来组织可以最优化数据存储，尤其是在采集数据前又实时处理从非关系数据库发送的数据流并写入到关系数据库中，极大地提高了数据采集效率，以应对大量数据的处理，从而大幅降低建设成本。
[0050] 这里只说明了本发明的优选实施例，但其意并非限制本发明的范围、适用性和配置。相反，对实施例的详细说明可使本领域技术人员得以实施。应能理解，在不偏离所附
权利要求书确定的本发明精神和范围情况下，可对一些细节做适当变更和
修改。
