首页 / 专利库 / 信号处理 / 插补器 / 时间序列数据管理方法及系统

时间序列数据管理方法及系统

阅读:14发布:2024-01-12

专利汇可以提供时间序列数据管理方法及系统专利检索,专利查询,专利分析的服务。并且本 发明 公开了一种时间序列数据管理方法及系统,其中时间序列数据管理方法包括:表对象从缓冲区池中获取缓冲区对象;向所述表对象写入数据的数据缓存在缓冲区中,并在所述缓冲区中进行排序;在所述缓冲区写满后,所述缓冲区对象进入插入队列,并将所述缓冲区中的数据写入文件中,并将所述缓冲区对象放回所述缓冲区池。本发明弥补了现有的时间序列 数据库 使用难度大的不足,利用mysql的 框架 ,实现SQL标准化操作,极好的提高用户使用的感受,极大的提高机器的CPU资源,磁盘资源,极大的降低了程序员的开发难度,所有操作符合mysql存储引擎规范;使用新的存储结构,较好地提高写入和查询效率。,下面是时间序列数据管理方法及系统专利的具体信息内容。

1.一种时间序列数据管理方法,其特征在于,包括:
表对象从缓冲区池中获取缓冲区对象;
向所述表对象写入数据的数据缓存在缓冲区中,并在所述缓冲区中进行排序;
在所述缓冲区写满后,所述缓冲区对象进入插入队列,并将所述缓冲区中的数据写入文件中,并将所述缓冲区对象放回所述缓冲区池。
2.如权利要求1所述的时间序列数据管理方法,其特征在于,所述时间序列数据管理方法还包括:
对所述缓冲区中的数据进行预处理并生成索引。
3.如权利要求1所述的时间序列数据管理方法,其特征在于,所述时间序列数据管理方法还包括:
在所述缓冲区写满后,向所述表对象写入数据的数据缓存在新的缓冲区。
4.如权利要求1所述的时间序列数据管理方法,其特征在于,所述时间序列数据管理方法通过以下步骤判断所述缓冲区是否写满:
判断所述缓冲区的数据是否达到阈值,若是,所述缓冲区已写满,若否,所述缓冲区未写满。
5.一种时间序列数据管理系统,其特征在于,包括:
表对象,用于从所述缓冲区池中获取缓冲区对象;
缓冲区,用于缓存向所述表对象写入数据的数据,并进行排序;
在所述缓冲区写满后,所述缓冲区对象进入插入队列,所述插入队列用于将所述缓冲区中的数据写入文件中,并将所述缓冲区对象放回所述缓冲区池。
6.如权利要求5所述的时间序列数据管理系统,其特征在于,所述缓冲区还用于对所述缓冲区中的数据进行预处理并生成索引。
7.如权利要求5所述的时间序列数据管理系统,其特征在于,在所述缓冲区写满后,向所述表对象写入数据的数据缓存在新的缓冲区。
8.如权利要求5所述的时间序列数据管理系统,其特征在于,所述缓冲区还用于判断所述缓冲区的数据是否达到阈值,若是,所述缓冲区已写满,若否,所述缓冲区未写满。

说明书全文

时间序列数据管理方法及系统

技术领域

[0001] 本发明涉及一种时间序列数据管理方法及系统。

背景技术

[0002] 现在有很多种时间序列数据库,如:influxDB,opentsdb,graphite,缺点是:非SQL型解决方案,每个时间序列数据库采用独立的接口;部署复杂,需要重新积累运维经验。

发明内容

[0003] 本发明要解决的技术问题是现有的时间序列数据库使用难度大的缺陷,提供一种时间序列数据管理方法及系统。
[0004] 本发明是通过以下技术方案解决上述技术问题的:
[0005] 一种时间序列数据管理方法,包括:
[0006] 表对象从缓冲区池中获取缓冲区对象;
[0007] 向所述表对象写入数据的数据缓存在缓冲区中,并在所述缓冲区中进行排序;
[0008] 在所述缓冲区写满后,所述缓冲区对象进入插入队列,并将所述缓冲区中的数据写入文件中,并将所述缓冲区对象放回所述缓冲区池。
[0009] 较佳地,所述时间序列数据管理方法还包括:
[0010] 对所述缓冲区中的数据进行预处理并生成索引。
[0011] 较佳地,所述时间序列数据管理方法还包括:
[0012] 在所述缓冲区写满后,向所述表对象写入数据的数据缓存在新的缓冲区。
[0013] 较佳地,所述时间序列数据管理方法通过以下步骤判断所述缓冲区是否写满:
[0014] 判断所述缓冲区的数据是否达到阈值,若是,所述缓冲区已写满,若否,所述缓冲区未写满。
[0015] 一种时间序列数据管理系统,包括:
[0016] 表对象,用于从所述缓冲区池中获取缓冲区对象;
[0017] 缓冲区,用于缓存向所述表对象写入数据的数据,并进行排序;
[0018] 在所述缓冲区写满后,所述缓冲区对象进入插入队列,所述插入队列用于将所述缓冲区中的数据写入文件中,并将所述缓冲区对象放回所述缓冲区池。
[0019] 较佳地,所述缓冲区还用于对所述缓冲区中的数据进行预处理并生成索引。
[0020] 较佳地,在所述缓冲区写满后,向所述表对象写入数据的数据缓存在新的缓冲区。
[0021] 较佳地,所述缓冲区还用于判断所述缓冲区的数据是否达到阈值,若是,所述缓冲区已写满,若否,所述缓冲区未写满。
[0022] 在符合本领域常识的基础上,上述各优选条件,可任意组合,即得本发明各较佳实例。
[0023] 本发明的积极进步效果在于:本发明能够提高数据插入效率,降低程序员使用时间序列数据库的难度,简化数据操作。附图说明
[0024] 图1为本发明实施例的时间序列数据管理方法的示意图。

具体实施方式

[0025] 下面通过实施例的方式进一步说明本发明,但并不因此将本发明限制在所述的实施例范围之中。
[0026] 实施例
[0027] 一种时间序列数据管理方法,如图1所示,包括:
[0028] 表对象1从缓冲区池2中获取缓冲区对象;向所述表对象1写入数据的数据(即图1中的行数据)缓存在缓冲区3中,对所述缓冲区3中的数据进行预处理并生成索引,并在所述缓冲区3中进行排序。若在表对象的数量超过一个,则每个表对象分别从所述缓冲区池2中获取一个缓冲区对象,向各表对象写入数据的数据分别缓存在对应的缓冲区中,然后各缓冲区分别对各自的数据进行预处理并生成索引,以及排序。
[0029] 通过以下步骤判断所述缓冲区2是否写满:判断所述缓冲区3的数据是否达到阈值,若是,所述缓冲区3已写满,若否,所述缓冲区3未写满。
[0030] 在所述缓冲区3写满后,所述缓冲区对象进入插入队列4,并将所述缓冲区3中的数据写入文件5中,并将所述缓冲区对象放回所述缓冲区池2,向所述表对象写入数据的数据缓存在新的缓冲区。
[0031] 本实施例的时间序列数据管理系统,包括:
[0032] 表对象,用于从所述缓冲区池中获取缓冲区对象;
[0033] 缓冲区,用于缓存向所述表对象写入数据的数据,对所述缓冲区中的数据进行预处理并生成索引并进行排序;
[0034] 所述缓冲区还用于判断所述缓冲区的数据是否达到阈值,若是,所述缓冲区已写满,若否,所述缓冲区未写满。
[0035] 在所述缓冲区写满后,所述缓冲区对象进入插入队列,所述插入队列用于将所述缓冲区中的数据写入文件中,并将所述缓冲区对象放回所述缓冲区池,向所述表对象写入数据的数据缓存在新的缓冲区。
[0036] 本发明可以利用mysql(一个关系型数据库管理系统)的框架,实现SQL(结构化查询语言)标准化操作,极好的提高用户使用的感受;以表对象和缓冲区为核心,行数据并发写入表对象的缓冲区中,并在缓冲区中进行数据的预处理工作,并发的组织数据,极大的提高机器的CPU资源,磁盘资源。将时间序列的数据操作SQL标准化,极大的降低了程序员的开发难度,所有操作符合mysql存储引擎规范,降低运维人员的工作难度;使用新的存储结构,较好地提高写入和查询效率。
[0037] 虽然以上描述了本发明的具体实施方式,但是本领域的技术人员应在理解,这些仅是举例说明,本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下,可以对这些实施方式做出多种变更或修改,但这些变更和修改均落入本发明的保护范围。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈