技术领域
[0001] 本
发明涉及
水泥生产技术领域，特别是一种InfluxDB时序数据存储系统。
背景技术
[0002]
水泥工厂每天有成千上万的
传感器需要采集、存储、查看和分析。这时候需要一款时序
数据库来满足厂内大量的IOT设备产生的海量数据。目前，对于水泥工厂生产运营过程中所产生的大量信息数据，尚未有针对性、且高效易用的生产数据全周期采集系统。生产数据的传统获取、分析方式效率低下，过程复杂，且不能够进行
可视化呈现，降低了工作效率。
发明内容
[0003] 本部分的目的在于概述本发明的
实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本
申请的
说明书摘要和
发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。
[0004] 鉴于
现有技术中存在的问题，提出了本发明。
[0005] 因此，本发明其中的一个目的是提供一种InfluxDB时序数据存储系统，其便于了解厂内实时的生产状况和历史统计信息，有效提高了生产管理水平。
[0006] 为解决上述技术问题，本发明提供如下技术方案：一种InfluxDB时序数据存储系统，其包括：采集模
块，用于采集生产过程中的生产数据，并通过网络将生产数据信息发送至存储单元；存储模块，用于接收来自所述采集模块的生产数据信息，并将其压缩存储，且还提供API供分析模块、查询模块以及可视化模块调用；分析模块，用于定时获取所述存储模块中的数据进行分析处理，并将分析结果存储至所述存储模块；查询模块，提供查询API，并为所述分析模块和所述可视化模块提供查询
接口；以及，可视化模块，用于展示所述分析模块的分析结果。
[0007] 作为本发明所述InfluxDB时序数据存储系统的一种优选方案，其中：所述采集模块(100)通过使用OPC-DA协议获取工业中的OPCSERVER中的标签变量信息，该服务提供增加或删除标签功能；通过所述增加或删除标签功能选择需要进行采集的标签信息，同时可以设置标签是否需要计算，以供生产管理系统计算服务使用；添加完标签信息后，采集服务就可以到OPCSERVER标签的数值信息，并将数值信息通过HTTP
请求发送到所述存储模块，存储模块收到请求，根据请求中的db信息和表信息以Point结构将数据存储到数据库。
[0008] 作为本发明所述InfluxDB时序数据存储系统的一种优选方案，其中：所述采集模块接收到数据后，通过调用InfluxDB的api将以Point结构将数据插入到所述存储模块插入数据，所述存储模块在插入数据时同时往cache与wal中写入数据。
[0009] 作为本发明所述InfluxDB时序数据存储系统的一种优选方案，其中：所述存储模块插入数据时，同时往cache与wal中写入数据，cache是wal文件中的数据在内存中的缓存；当InfluxDB启动时，遍历所有的wal文件，重新构造cache；cache通过一个maxSize参数使得当cache中的数据占用多少内存后就会将数据写入tsm文件；如果不配置，默认上限为25MB，每当cache中的数据达到
阀值后，会将当前的cache进行一次快照，之后清空当前cache中的内容，再创建一个新的wal文件用于写入，剩下的wal文件被删除，快照中的数据会经过排序写入一个新的tsm文件中。
[0010] 作为本发明所述InfluxDB时序数据存储系统的一种优选方案，其中：所述分析模块通过所述查询模块获取采集服务存储到InfluxDB中的数据信息，通过各个变量的最大值、最小值、平均值、第一个值、最后一个值、差值、以及标准方差进行周期性计算，并将计算结果重新写入到所述存储模块中。
[0011] 作为本发明所述InfluxDB时序数据存储系统的一种优选方案，其中：所述可视化模块提供配置数据源功能，该功能能够友好兼容InfluxDB数据源；该服务基于go语言开发的web服务，在html页面提供常用报表组件，用户能够在设计界面拖动组件，通过在报表属性栏目设置报表展现效果，为报表配置数据源信息并将数据信息与图表进行绑定，将设计好的图表保存后将会生成一个固定唯一
访问http链接，方便将设计好的报表页面嵌入第三方用；同时能够将图表数据以EXCEL格式文件进行导出。
[0012] 本发明的有益效果：本发明通过把信息化技术融入到工厂的日常维护运营工作中，完成对生产数据的全周期采集，由于其高效的压缩
算法以及存储策略，可以对海量数据进行压缩和定期归档。由于其优越的性能，可以实现用户历史数据的秒级访问，极大提高了用户体验。同时配合Grafana套件，用户可以独自完成生产
数据可视化，便于了解厂内实时的生产状况和历史统计信息，有效提高了生产管理水平。
附图说明
[0013] 为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：
[0014] 图1为本发明的系统原理图。
[0015] 图2为本发明的各模块连接关系示意图。
[0016] 图3为本发明的各模块数据传导关系原理图。
具体实施方式
[0017] 为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明。
[0018] 在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
[0019] 其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
[0020] 参照图1～3，为本发明第一个实施例，该实施例提供了一种InfluxDB时序数据存储系统，便于了解厂内实时的生产状况和历史统计信息，有效提高了生产管理水平。
[0021] InfluxDB时序数据存储系统，其包括采集模块100、存储模块200、分析模块300、查询模块400和可视化模块500。
[0022] 采集模块100用于采集生产过程中的生产数据，并通过网络将生产数据信息发送至存储单元200；存储模块200用于接收来自采集模块100的生产数据信息，并将其压缩存储，且还提供API供分析模块300、查询模块400以及可视化模块500调用；分析模块300用于定时获取存储模块200中的数据进行分析处理，并将分析结果存储至存储模块200；查询模块400提供查询API，并为分析模块300和可视化模块500提供查询接口；可视化模块500用于展示分析模块300的分析结果。
[0023] 所述InfluxDB时序数据存储系统的整体工作过程为：采集模块100用于从OPCSERVER中采集数据，并将采集到的数据存储到存储模块200中。存储模块200用于存储数据，其负责接收采集模块100采集数据，并为查询服务提供查询数据支持。分析模块300用于历史数据分析度量，其通过查询服务获取存储模块200的数据，通过算法计算出数据，并将结果写入存储服务200中。查询模块400用于实时展示历史数据，用户通过调用查询服务，可以迅速从存储模块200中看到已经存档的生产数据历史趋势。可视化模块500是用来展示实时、历史和分析结果的BI工具，其通过查询模块400获取数据，并将数据以图表形式进行展示。
[0024] 实际搭建系统时，可以在数据
服务器电脑上部署采集模块100，1.在采集模块100上配置连接OPC上位机。2.在采集模块100上配置连接存储模块200。3.在展示模块配置连接存储模块200连接。4.在分析模块300配置连接存储模块地址。采集模块100通过监听模块监听OPC上位机数据变化，收到数据通知。并将数据通过网络写入到存储模块200。可视化配置连接语句和展示柱图表，完成采集数据和分析数据的展示。
[0025] 具体的，采集模块100通过使用OPC-DA协议获取工业中的OPCSERVER中的标签变量信息，该服务提供增加和删除标签功能。用户可以通过该功能选择需要进行采集的标签信息，同时可以设置标签是否需要计算，以供生产管理系统计算服务使用。用户添加完标签信息后，采集服务就可以获取到OPCSERVER标签的数值信息，并将数值信息通过HTTP请求发送到存储模块200，存储模块200收到请求，根据请求中的db信息和表信息以Point结构将数据存储到数据库。
[0026] 采集模块100接收到数据后，通过调用InfluxDB的api将以Point结构将数据插入到存储模块200插入数据。存储模块200在插入数据时会同时往cache与wal中写入数据，可以认为cache是wal文件中的数据在内存中的缓存。这样一方面可以提高查询模块400的查询速度，另外当InfluxDB启动时，会遍历所有的wal文件，重新构造cache，这样即使系统出现故障，也不会导致数据的丢失。同时分析模块300也会将分析结果存储到存储模块200中，供可视化模块500使用。
[0027] 进一步的，存储模块200插入数据时，实际上是同时往cache与wal中写入数据，可以认为cache是wal文件中的数据在内存中的缓存。当InfluxDB启动时，会遍历所有的wal文件，重新构造cache，这样即使系统出现故障，也不会导致数据的丢失。cache中的数据并不是无限增长的，有一个maxSize参数用于控制当cache中的数据占用多少内存后就会将数据写入tsm文件。如果不配置的话，默认上限为25MB，每当cache中的数据达到阀值后，会将当前的cache进行一次快照，之后清空当前cache中的内容，再创建一个新的wal文件用于写入，剩下的wal文件最后会被删除，快照中的数据会经过排序写入一个新的tsm文件中。目前的cache的设计有一个问题，当一个快照正在被写入一个新的tsm文件时，当前的cache由于大量数据写入，又达到了阀值，此时前一次快照还没有完全写入磁盘，InfluxDB的做法是让后续的写入操作失败，用户需要自己处理，等待恢复后继续写入数据。
[0028] 分析模块300通过调用查询模块400，获取采集服务存储到InfluxDB中的数据信息，通过各个变量的最大值、最小值、平均值、第一个值、最后一个值、差值、以及标准方差进行周期性计算，并将计算结果重新写入到存储模块200。
[0029] 可视化模块500提供配置数据源功能，该功能可以友好兼容InfluxDB数据源。该服务是基于go语言开发的web服务，在html页面提供常用报表组件如折线图、饼图、柱图、热
力图、仪
表盘等等可视化组件，用户可以在设计界面拖动组件，通过在报表属性栏目设置报表展现效果，为报表配置数据源信息并将数据信息与图表进行绑定，将设计好的图表保存后将会生成一个固定唯一访问http链接，方便将设计好的报表页面嵌入第三方用。同时图表上提供导出按钮，用户只要点击导出按钮，即可将图表数据以EXCEL格式文件进行导出。
[0030] 本发明通过把信息化技术融入到工厂的日常维护运营工作中，完成对生产数据的全周期采集，由于其高效的压缩算法以及存储策略，可以对海量数据进行压缩和定期归档。由于其优越的性能，可以实现用户历史数据的秒级访问，极大提高了用户体验。同时配合Grafana套件，用户可以独自完成生产数据可视化，便于了解厂内实时的生产状况和历史统计信息，有效提高了生产管理水平。
[0031] 重要的是，应注意，在多个不同示例性实施方案中示出的本申请的构造和布置仅是例示性的。尽管在此公开内容中仅详细描述了几个实施方案，但参阅此公开内容的人员应容易理解，在实质上不偏离该申请中所描述的主题的新颖教导和优点的前提下，许多改型是可能的(例如，各种元件的尺寸、尺度、结构、形状和比例、以及参数值(例如，
温度、压力等)、安装布置、材料的使用、
颜色、定向的变化等)。例如，示出为整体成形的元件可以由多个部分或元件构成，元件的
位置可被倒置或以其它方式改变，并且分立元件的性质或数目或位置可被更改或改变。因此，所有这样的改型旨在被包含在本发明的范围内。可以根据替代的实施方案改变或重新排序任何过程或方法步骤的次序或顺序。在
权利要求中，任何“装置加功能”的条款都旨在
覆盖在本文中所描述的执行所述功能的结构，且不仅是结构等同而且还是等同结构。在不背离本发明的范围的前提下，可以在示例性实施方案的设计、运行状况和布置中做出其他替换、改型、改变和省略。因此，本发明不限制于特定的实施方案，而是扩展至仍落在所附的权利要求书的范围内的多种改型。
[0032] 此外，为了提供示例性实施方案的简练描述，可以不描述实际实施方案的所有特征(即，与当前考虑的执行本发明的最佳模式不相关的那些特征，或于实现本发明不相关的那些特征)。
[0033] 应理解的是，在任何实际实施方式的开发过程中，如在任何工程或设计项目中，可做出大量的具体实施方式决定。这样的开发努力可能是复杂的且耗时的，但对于那些得益于此公开内容的普通技术人员来说，不需要过多实验，所述开发努力将是一个设计、制造和生产的常规工作。
[0034] 应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行
修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。
