专利汇可以提供一种基于电力物联网平台的数据质量检测方法专利检索,专利查询,专利分析的服务。并且本 发明 提出一种基于电 力 物联网 平台的数据 质量 检测方法,包括 数据采集 、分析及 异常检测 ,异常检测包括在实时分析流程的各环节中,使用基于隔离森林 集成学习 算法 对实时流数据进行异常检测,输入历史量测数据构建初始探测器;提取历史数据离线 构建时 间序列趋势及周期性特征,选择分割属性和对应的分割值构建隔离树,确定树构造停止条件及深度预设最大值;构建多颗隔离树;构建滑动 时间窗 口模型,利用指数平滑算法处理改进数据丢失点和噪声,对量测实时流数据计算平均分割深度,依深度值确定是否是异常数据;按时间分界点初始化历史数据, 修改 实时数据的消费偏移量,保证批处理和实时处理数据无缝衔接。上述方法能提升泛在电力物联网平台数据质量。,下面是一种基于电力物联网平台的数据质量检测方法专利的具体信息内容。
1.一种基于电力物联网平台的数据质量检测方法,其特征在于:包括以下步骤:
步骤1、数据采集,其包括以下步骤:
步骤101、通过电力物联网平台以及电力物联管理中心的设备量测采集数据;
步骤102、将采集到的数据按照预定频度传送至数据存储层,并将各类数据落地到电力物联网平台,再根据相关需求对数据进行加工计算,以方便后续数据质量检测;
步骤103、对数据进行筛选、过滤、汇总、整合后,将数据分布在文件系统、列式数据库和关系型数据库;
步骤2、数据分析,其包括以下步骤:
步骤201、根据数据的类型、采集时间、数据项、数据间逻辑关系,对量测类实时数据进行建模;
步骤202、分层分步实时分析数据的异常情况、关联关系、以及分类分层和预测,根据需要关联的离线数据选取外存技术,利用缓存或外存进行状态数据存储及更新,分层进行汇聚及逻辑计算;
步骤203、将离线数据借助Hbase及外部缓存存储与实时流数据形成实时明细及聚合层数据,通过实时同步组件,提供前端实时数据服务,在实时分析流程的各个环节中分析实时数据质量监测及改进的需求;
步骤3、数据异常检测,其包括以下步骤:
步骤301、在实时分析流程的各环节中,使用基于隔离森林集成学习算法对实时流数据进行异常检测,输入历史量测数据构建初始探测器,获得初始的异常检测器;
步骤302、提取历史数据离线构建时间序列趋势及周期性特征,选择分割属性和对应的分割值构建隔离树,确定树构造的停止条件及深度预设最大值;
步骤303、引入集成学习方法,构建多颗隔离树;
步骤304、构建滑动时间窗口模型,利用指数平滑算法处理改进数据丢失点和噪声,同时对量测实时流数据计算平均分割深度,根据深度值确定是否是异常数据,当深度值的大小超过预设的最大值,则为异常,反之,数据是正常;
步骤305、按时间分界点初始化历史数据,同时修改实时数据的消费偏移量,保证批处理和实时处理数据的无缝衔接。
2.根据权利要求1所述的基于电力物联网平台的数据质量检测方法,其特征在于:在所述步骤102中,通过消息队列、数据复制或ETL形式,将采集到的数据按照预定频度传送至数据存储层。
标题 | 发布/更新时间 | 阅读量 |
---|---|---|
一种低冷量地区高桩嫁接大樱桃花枝丰产技术 | 2020-05-11 | 451 |
一种缓解城市热岛效应的城市森林树种选择方法 | 2020-05-18 | 166 |
一种智能配变终端及其应用系统、安全态势评估方法 | 2020-05-08 | 254 |
氯氟吡氧乙酸和ALS抑制剂的组合的除草杂草防治 | 2020-05-12 | 544 |
术语相关地将基于语音输入的信息输出给特定组的方法和系统 | 2020-05-16 | 684 |
实时传输的分散式浅井微地震监测数据采集系统及方法 | 2020-05-11 | 196 |
一种基于工况识别的混合动力汽车电池寿命预测方法 | 2020-05-16 | 154 |
基于树木功能性状改造浙东海岸低效防风林的方法 | 2020-05-16 | 130 |
一种基于广域态势感知的综合能源能效评价与控制性能优化方法 | 2020-05-11 | 142 |
一种红景天的培育方法 | 2020-05-18 | 821 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。