技术领域
[0001] 本
发明涉及电
力系统数字化调控技术，具体涉及一种面向云上电网监视需求的多维度数据处理方法、系统及介质。
背景技术
[0002] 目前电网调控中心构建了云平台实现了云上电网，能够打破各系统间信息壁垒，减少不必要的信息重复采集，提升信息共享，实现了电网跨调度机构、跨业务的相关数据信息的一体化存储。基于电网调控运行需要，云上电网以业务数据化和数据业务化为核心，通过数据中台和业务中台，实现源网荷储全域全息
感知互动、跨专业多系统数据融合和全业务智慧
能源生态构建，萃取电网运行控制及管理核心要素，有效提升了电网运行控制能力和公司管理服务能力。但是，由于电源、电网及负荷相关数据每天产生大量实时数据、同时历史数据存储庞大。云上电网的现有应用都仅具备单一维度数据缓存，导致查询展示反应极慢，反应时间长，频繁操作
数据库，
人机交互不流畅，极大程度影响了用户体验，不利于工作人员随时准确、全面的掌握电力系统中实际运行情况、预测和分析电力系统的运行趋势、快速有效的发现电网
风险，工作效率较低。
发明内容
[0003] 本发明要解决的技术问题：针对
现有技术的上述问题，提供一种面向云上电网监视需求的多维度数据处理方法、系统及介质，本发明可根据数据本身的查询效率、使用
频率、更新间隔等多种
角度，充分利用调控云总线将数据和运算结果采用多种形式对数据进行缓存存储，既能保证支持云上电网监控应用能够高效展示大量数据，还能减少数据运算给
服务器数据库带来的压力，为用户构建轻量级客户端，解决了目前LFU
算法缓存更新不及时以及
可视化系统大量占用本地存储容量的问题，同时也避免了多次
访问云存储文件，有效解决了云上电网大量数据集中展示带来的数据堵塞及服务器负载率过高等问题。
[0004] 为了解决上述技术问题，本发明采用的技术方案为：
[0005] 一种面向云上电网监视需求的多维度数据处理方法，包括建立云上电网数据管控系统，所述云上电网数据管控系统包括展示层、数据层、缓存层，所述展示层用于从数据层获取数据，所述缓存层用于从数据源获取数据进行缓存后为数据层提供数据缓存；当数据层收到来自展示层针对目标数据的刷新需求时的实施步骤包括：
[0006] 1)判定目标数据的类型为同步还是异步，如果是同步数据则跳转执行步骤2)；否则跳转执行步骤3)；
[0007] 2)直接向目标数据对应的数据源获取实时的目标数据，跳转执行步骤4)；
[0008] 3)通过缓存层获取缓存的目标数据，跳转执行步骤4)；
[0009] 4)将获取的目标数据返回给展示层。
[0010] 可选地，步骤3)通过缓存层获取缓存的目标数据的详细步骤包括：
[0011] 3.1)判断目标数据的内容，如果目标数据的内容为含有大量图片和访问页面的静态内容，则跳转执行步骤3.2)；否则跳转执行步骤3.3)；
[0012] 3.2)通过缓存层访问静态文件或者页面获取缓存的目标数据，返回；
[0013] 3.3)通过缓存层访问关系数据库获取缓存的目标数据，返回。
[0014] 可选地，所述关系数据库采用下述基于权重LFU的数据更新策略：将关系数据库中缓存资源从数据源
接口返回的时长作为权重系数，定时根据关系数据库中缓存资源被引用的次数以及权重系数计算每一个数据缓存的策略系数，然后根据策略系数关系数据库中缓存资源进行排序，如果超时未被使用则将将关系数据库中缓存资源进行删除。
[0015] 可选地，所述计算每一个数据缓存的策略系数的函数表达式为：
[0016]
[0017] 上式中，Vi(j)策略系数，λ为权重系数，Fi(n)为某一基本周期内被访问的次数总和，n为当前的基本周期数，j为当前应用总的生存周期换算到基本周期的等效周期。
[0018] 可选地，步骤3.1)还包括如果目标数据的内容为大量数据缓存时通过缓存层获取组合缓存所缓存的目标数据并跳转执行步骤4)的步骤，所述组合缓存按照数据使用频率设定数据缓存场景、采用场景为单位展开更新组合缓存，按照场景进行划分使用Redis Set数据类型，使用key为场景名称、value为缓存数据的key-value数据结构进行缓存数据，且所述组合缓存在执行数据更新时以场景为单位执行批量更新。
[0019] 可选地，缓存层从数据源获取数据进行缓存的规则包括：将数据缓存到速度更快的存储设备、将数据缓存到离展示层的应用程序最近的
位置、将数据缓存到离云上电网数据管控系统的计算机
节点最近的位置三种。
[0020] 可选地，所述云上电网数据管控系统还包括反向代理层，所述反向代理层布置于缓存层和数据源之间，用于为缓存层和数据源提供数据缓存代理服务。
[0021] 此外，本发明还提供一种面向云上电网监视需求的多维度
数据处理系统，包括计算机设备，该计算机设备被编程或配置以执行所述面向云上电网监视需求的多维度数据处理方法的步骤。
[0022] 此外，本发明还提供一种面向云上电网监视需求的多维度数据处理系统，包括计算机设备，该计算机设备的
存储器上存储有被编程或配置以执行所述面向云上电网监视需求的多维度数据处理方法的
计算机程序。
[0023] 此外，本发明还提供一种计算机可读存储介质，该计算机可读存储介质上存储有被编程或配置以执行所述面向云上电网监视需求的多维度数据处理方法的计算机程序。
[0024] 和现有技术相比，本发明具有下述优点：本发明可根据数据本身的查询效率、使用频率、更新间隔等多种角度，充分利用调控云总线将数据和运算结果采用多种形式对数据进行缓存存储，既能保证支持云上电网监控应用能够高效展示大量数据，还能减少数据运算给服务器数据库带来的压力，为用户构建轻量级客户端，解决了目前LFU算法缓存更新不及时以及可视化系统大量占用本地存储容量的问题，同时也避免了多次访问云存储文件，有效解决了云上电网大量数据集中展示带来的数据堵塞及服务器负载率过高等问题，且通过建立云上电网数据管控系统便于调控人员从纷繁的电网大量数据中抓住影响电网安全稳定运行的重点，快速准确响应电网异常及故障，保障电网安全稳定运行。
附图说明
[0025] 图1为本发明
实施例中云上电网数据管控系统的分层架构示意图。
[0026] 图2为本发明实施例中云上电网数据管控系统的展示层界面示意图。
[0027] 图3为本发明实施例中数据层响应刷新需求的
流程图。
[0028] 图4为本发明实施例中数据层通过缓存层获取缓存的目标数据的流程图。
具体实施方式
[0029] 如图1所示，本实施例面向云上电网监视需求的多维度数据处理方法包括建立云上电网数据管控系统，云上电网数据管控系统包括展示层、数据层、缓存层，展示层用于从数据层获取数据，缓存层用于从数据源获取数据进行缓存后为数据层提供数据缓存。参见图2，本实施例中的展示层利用3D及可视化图表技术实现了有限空间内多维度数据的立体展示，有效展示电网运行重点及关键信息，便于调控人员从纷繁的电网大量数据中抓住影响电网安全稳定运行的重点，快速准确响应电网异常及故障，保障电网安全稳定运行。参见图2，本实施例中云上电网数据管控系统的展示层包括电源中心、电网中心、负荷中心三个主题场景。数据层的数据通过展示层将各类电网数据按主题场景划分并展示，根据主题命名，可快速查阅和浏览所需数据，掌握电网运行状态。基于图2，监控员通过系统能够查看到省网负荷、地区负荷、实时负荷。监控员可以准确的了解到全省今日、昨日负荷曲线。可以获知今年与去年各月最大、最小负荷信息。以行政图为
基础，展示14个地区实时负荷热力图，按负荷大小
颜色由深到浅发散显示，同时展示各地区负荷实时值及负荷棒状图。点击行政区域显示地区历史最大负荷及日期。使用折线图、柱状图、3D组件展示负荷信息。
[0030] 如图3所示，当数据层收到来自展示层针对目标数据的刷新需求时的实施步骤包括：
[0031] 1)判定目标数据的类型为同步还是异步，如果是同步数据则跳转执行步骤2)；否则跳转执行步骤3)；
[0032] 2)直接向目标数据对应的数据源获取实时的目标数据，跳转执行步骤4)；
[0033] 3)通过缓存层获取缓存的目标数据，跳转执行步骤4)；
[0034] 4)将获取的目标数据返回给展示层。
[0035] 本实施例中根据数据时效性、业务场景进行同步、异步划分，通过上述划分方式可以提升数据加载的性能和效率。
[0036] 如图4所示，步骤3)通过缓存层获取缓存的目标数据的详细步骤包括：
[0037] 3.1)判断目标数据的内容，如果目标数据的内容为含有大量图片和访问页面的静态内容，则跳转执行步骤3.2)；否则跳转执行步骤3.3)；
[0038] 3.2)通过缓存层访问静态文件或者页面获取缓存的目标数据，返回；其中针对静态文件或者页面可根据需要采用镜像服务、远程
加速等手段提升访问速度以保证访问
质量；
[0039] 3.3)通过缓存层访问关系数据库获取缓存的目标数据，返回。
[0040] 本实施例中，关系数据库采用下述基于权重LFU(最近最常使用)的数据更新策略：将关系数据库中缓存资源从数据源接口返回的时长作为权重系数，定时根据关系数据库中缓存资源被引用的次数以及权重系数计算每一个数据缓存的策略系数，然后根据策略系数关系数据库中缓存资源进行排序，如果超时未被使用则将将关系数据库中缓存资源进行删除。例如当缓存资源超过24小时未被使用即被驱除缓存、移除资源引用数。传统LFU缓存策略只是记住每个缓存资源被引用的次数，本实施例中基于权重LFU(最近最常使用)的数据更新策略基于传统缓存策略增加了权重管理，从而可以更加科学合理地实现根据策略系数关系数据库中缓存资源进行排序，从而确保最近最常使用的缓存资源处于最容易访问到的问题。
[0041] 本实施例中，计算每一个数据缓存的策略系数的函数表达式为：
[0042]
[0043] 上式中，Vi(j)策略系数，λ为权重系数，Fi(n)为某一基本周期内被访问的次数总和，n为当前的基本周期数(序号)，j为当前应用总的生存周期换算到基本周期的等效周期。每一个Vi(j)可以看作历史缓存数据部分，Vi(j-1)是最新缓存部分和最新权重部分Fi(n)加权平均而得，其中权重系数λ(0<λ<1)用于调节历史缓存数据和最新缓存数据之间的比重。
如果权重系数λ接近于1，表明历史缓存数据更为重要,最新收集到的数据对平均值影响缓慢。如果权重系数λ接近0,希望快速缓存最新的数据。
[0044] 本实施例中，步骤3.1)还包括如果目标数据的内容为大量数据缓存时通过缓存层获取组合缓存所缓存的目标数据并跳转执行步骤4)的步骤，组合缓存按照数据使用频率设定数据缓存场景、采用场景为单位展开更新组合缓存，按照场景进行划分使用Redis Set数据类型，使用key为场景名称、value为缓存数据的key-value(键-值)数据结构进行缓存数据，且组合缓存在执行数据更新时以场景为单位执行批量更新，本实施例中key-value数据结构进行缓存数据时还包括根据需要设置不同的缓存超时周期，如表1所示：
[0045] 表1：key-value数据结构的缓存方式。
[0046] 数据类型 缓存周期 读取方式 关键定义数据字典 长期缓存 一次写入 Globle:dic:[key]
实体数据 中期缓存 自行读写 Entity:[id]:[value]
实时数据 短期缓存 一次写入 Temp:[id]:[value]
[0047] 根据表1可知，缓存超时周期包括长期缓存、中期缓存、短期缓存三种，分别对应不同的缓存超时周期参数，其对应的数据类型分别为数据字典、实体数据、实体数据，读取方式、关键定义也各有差异，例如关键定义中[]为携带的信息，其余字符均为格式定义。组合缓存适用性强，但数据同步较为困难。本实施例中按照数据使用频率设定数据缓存场景，采用场景为单位展开更新组合缓存方法。按照场景进行划分使用Redis Set数据类型，使用key{场景名称}，value为缓存数据。当数据变更时，使用云消息技术，发送消息给组合缓存，更新缓存数据，有效解决了组合缓存的同步更新问题。
[0048] 为了提供高性能的数据快速访问，采取数据缓存技术进行数据的交互，根据不同的业务场景，本实施例中，缓存层从数据源获取数据进行缓存的规则包括：将数据缓存到速度更快的存储设备、将数据缓存到离展示层的应用程序最近的位置、将数据缓存到离云上电网数据管控系统的计算机节点最近的位置三种。
[0049] 此外，本实施例的云上电网数据管控系统还包括反向代理层，反向代理层布置于缓存层和数据源之间，用于为缓存层和数据源提供数据缓存代理服务，通过反向代理层对频繁进行的数据
请求进行反向代理缓存，能够进一步提升数据访问的性能。
[0050] 本实施例前述面向云上电网监视需求的多维度数据处理方法的工作过程如下：在系统正常运行时，实时负荷等秒级采集信息、第三方数据接口经过精密计算回显给前端页面。数据缓存会每次把数据缓存为一个结果集，每次会
覆盖上一次结果集，保证本地有一份最新的数据结果。当数据链路断开或故障时，能够读取本地缓存数据，保证系统不会出现异常，为修复争取时间。为了避免浪费相对稀缺的缓存资源，缓存系统为缓存中的对象设置超时处理，缓存时间的处理机制可以分为主动失效和被动失效两种。主动失效意味着系统具有主动检查缓存有无效的机制，例如，计时器任务或单独的线程会不断检查以查看缓存队列中的对象是否无效。若他们失效就将其清理，以避免浪费。被动失效是在访问缓存对象时检查缓存对象是否升效。例如，按近几年统计的数据，到了新的一年清除历史数据。
[0051] 综上所述，在现有的云上电网智能管控系统中，需要24小时不间断稳定运行，如果遇到
数据采集的中断、没有获取到可显示的内容将会导致系统瘫痪或异常。以往可视化应用大量占用本地存储容量，加载速度慢，愈发庞大的用户规模和数据规模对系统性能提出了更高的要求。本实施例前述面向云上电网监视需求的多维度数据处理方法结合云总线对云上电网进行分层、分布式缓存，从展示层、数据层、缓存层进行多维度缓存，从而极大程度减轻数据库压力，通过负载均衡减轻服务器压力、轻化了客户端，提高了加载性能和效率，人机交互更加流畅，实现不同业务场景下的数据缓存及自动化展示，方便调度运行人员精准、快速掌握电网运行状态，提高用户体验。
[0052] 此外，本实施例还提供一种面向云上电网监视需求的多维度数据处理系统，包括计算机设备，该计算机设备被编程或配置以执行本实施例前述面向云上电网监视需求的多维度数据处理方法的步骤。
[0053] 此外，本实施例还提供一种面向云上电网监视需求的多维度数据处理系统，包括计算机设备，该计算机设备的存储器上存储有被编程或配置以执行本实施例前述面向云上电网监视需求的多维度数据处理方法的计算机程序。
[0054] 此外，本实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有被编程或配置以执行本实施例前述面向云上电网监视需求的多维度数据处理方法的计算机程序。
[0055] 本领域内的技术人员应明白，本
申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全
硬件实施例、完全
软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方
框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中
指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0056] 以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
