技术领域
[0001] 本
发明涉及
数据处理技术领域，更具体地，涉及一种基于频域特征的时序数据存储的方法和装置。
背景技术
[0002] 目前，随着更多的
物联网和
传感器网络的发展，时序数据的采集、存储和查询变得越来越重要。传感器不断地以高速度产生大量的数据，这些随时间递增的数据点形成的有限或无界的序列集合称为时间序列。由于时序数据的数据量巨大，因此如何高效的编码以及如何更好的查询时序数据的特征，就变得非常重要。
[0003] 时间序列数据(简称为时序数据)是一系列带有时间戳、依时间按照升序排列、并且来自于同一个目标的数据值，例如
传感器数据值，每个数据值与该数据值带有的时间戳为时序数据的一个数据点。时序数据有以下的特点：总量大，在一个典型的应用场景，比如一个
风电厂，可能存在上万台设备，而每一台设备又包含了近千个传感器。每个传感器每隔几秒就会采集一次数据；流式到达，为了保证数据的实时性，有的传感器每采集一个数据点就会立即发送，这就要求处理方拥有较强的流式处理能
力；具有相似性，在封闭环境下的传感器，例如工厂、实验室中的监控设备，其外部环境经常受到严格的控制，传感器值主要受到进行中的工艺流程影响，而这些工艺流程都是周期重复的，因此传感器值也往往有着类似的性质。而在开放条件下，例如
风力发
电机，其主要受到季节因素影响，在一个较长的周期内，其传感器数据也会呈现出季节性特征。另外，处于同一个工作环境下的传感器，例如同一个机房的传感器，因为它们的工况类似，其数据也往往表现出相似性。
[0004] 由于时序数据的总量大，且具有相似性，对时序数据以时域方式的存储，数据之间的特征并不突出，并不适合于有效的查询，而时序数据的频域特征是时序数据的根本特征之一，在一些应用场合，时序数据的频域特征更适合于对数据的查询，但是目前没有一种利用时序数据的频域特征进行储存的方式。
发明内容
[0005] 为了克服上述问题或者至少部分地解决上述问题，本发明提供一种基于频域特征的时序数据存储的方法和装置。
[0006] 根据本发明的一个方面，提供一种基于频域特征的时序数据存储的方法，包括：将待存储的时序数据划分成若干数据点集合，每一数据点集合包括多个连续的数据点，每一数据点包括一个时间戳和一个数据值；对于任一数据点集合，根据任一数据点集合中每一数据点的数据值和时间戳获取任一数据点集合对应的频域特征值；依次存储每一数据点集合对应的频域特征值。
[0007] 其中，将待存储的时序数据划分成若干数据点集合，包括：将待存储的时序数据划分成数据点的数量相等的若干数据点集合，且任意相邻的两个数据点集合中，前一数据点集合中最后的预设数量的数据点与后一数据点集合中最初的预设数量的数据点相同。
[0008] 其中，根据任一数据点集合中每一数据点的数据值和时间戳获取任一数据点集合对应的频域特征值，包括：根据任一数据点集合中每一数据点的数据值和时间戳，确定任一数据点集合中所有数据值随时间变化的时域函数；将时域函数通过预设变换规则变换为频域函数；根据频域函数获取任一数据点集合对应频域特征值。
[0009] 其中，预设变换规则为傅里叶变换。
[0010] 其中，根据频域函数获取任一数据点集合对应频域特征值，包括：将对频域函数抽样的第一数量的抽样点组成的集合作为第一抽样点集合，提取第一抽样点集合中每一抽样点的
频率值和
能量值；根据预设比例确定第二抽样点集合，第二抽样点集合中包括第二数量的抽样点，且第二抽样点集合中每一抽样点均属于第一抽样点集合，预设比例为第二数量与第一数量的比值；将第二抽样点集合中每一抽样点的频率值和能量值作为任一数据点集合对应的频域特征值。
[0011] 其中，根据预设比例确定第二抽样点集合，包括：根据第一数量和预设比例，确定第二数量；在第一抽样点集合中选取第二数量的抽样点，其中，选取的每一抽样点的能量值大于未被选取的任一抽样点的能量值；将选取的第二数量的抽样点组成的集合作为第二抽样点集合。
[0012] 其中，依次存储每一数据点集合对应的频域特征值，包括：依次将每一数据点集合对应的第二抽样点集合中每一抽样点的频率值进行列存储，依次将每一数据点集合对应的第二抽样点集合中每一抽样点的能量值进行列存储，并使任一抽样点的频率值关联至任一抽样点的能量值。
[0013] 本发明的另一方面，提供一种基于频域特征的时序数据存储的装置，包括：至少一个处理器；以及与处理器通信连接的至少一个
存储器，其中：存储器存储有可被处理器执行的程序指令，处理器调用程序指令以执行上述的方法。
[0014] 本发明的又一方面，提供一种
计算机程序产品，该计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，该计算机程序包括程序指令，当该程序指令被计算机执行时，使计算机执行上述的方法。
[0015] 本发明的又一方面，提供一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储计算机程序，该计算机程序使计算机执行上述的方法。
[0016] 本发明提供的一种基于频域特征的时序数据存储的方法和装置，包括将待存储的时序数据划分成若干数据点集合，每一数据点集合包括多个连续的数据点，每一数据点包括一个时间戳和一个数据值；对于任一数据点集合，根据任一数据点集合中每一数据点的数据值和时间戳获取任一数据点集合对应的频域特征值；依次存储每一数据点集合对应的频域特征值；从而将时序数据转换成频域特征进行存储，实现了一种利用时序数据的频域特征进行储存的方式。
附图说明
[0017] 为了更清楚地说明本发明或
现有技术中的技术方案，下面将对
实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0018] 图1为根据本发明实施例的基于频域特征的时序数据存储的方的
流程图；
[0019] 图2为根据本发明实施例的待存储的时序数据划分为若干数据点集合的示意图。
具体实施方式
[0020] 为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0021] 在本发明的一个实施例中，参考图1，提供一种基于频域特征的时序数据存储的方法，包括：S11，将待存储的时序数据划分成若干数据点集合，每一数据点集合包括多个连续的数据点，每一数据点包括一个时间戳和一个数据值；S12，对于任一数据点集合，根据任一数据点集合中每一数据点的数据值和时间戳获取任一数据点集合对应的频域特征值；S13，依次存储每一数据点集合对应的频域特征值。
[0022] 具体的，时序数据是指按统一指标按时间顺序记录的数据，对于任意一段时序数据可使用P＝{p1，p2...pn}进行表示，其中pi＝(ti，di)表示P中的第i个数据点，ti表示时间戳，di表示数据值。由于时序数据的数据量大，每段时序数据包含的数据点的数量比较多，并且时序数据可能是实时采集的，而将时序数据转换为频域特征值有许多方法，如离散傅里叶变换(DFT)、离散
小波变换(DWT)等等，转换后都会有一定程度的信息损失，为了尽可能避免信息损失，将待存储的时序数据划分成若干数据点集合，再根据每一数据点集合中数据点的时间和数据提取频域特征值，并对提取的频域特征值进行存储。
[0023] 本实施例通过将待存储的时序数据划分成若干数据点集合；对于任一数据点集合，根据任一数据点集合中每一数据点的数据和时间提取任一数据点集合对应的频域特征值；依次存储每一数据点集合对应的频域特征值；从而将时序数据转换成频域特征进行存储，实现了一种利用时序数据的频域特征进行储存的方式。
[0024] 基于以上实施例，将待存储的时序数据划分成若干数据点集合，包括：将待存储的时序数据划分成数据点的数量相等的若干数据点集合，且任意相邻的两个数据点集合中，前一数据点集合中最后的预设数量的数据点与后一数据点集合中最初的预设数量的数据点相同。
[0025] 具体的，所划分的每个数据点集合的长度相同，即每个数据点集合中数据点的数量相同，且任意相邻的两个数据点集合，前一数据点集合中最后的预设数量的数据点与后一数据点集合中最初的预设数量的数据点相同，即前一数据点集合与后一数据点集合有部分重叠的数据点，重叠的数据点的数量可由预先设定的重叠比例来确定，通常重叠比例应小于0.5。
[0026] 例如，参考图2，每个数据点集合的长度为8，即每个数据点集合中数据点的数量(n)为8个，将预先设定的重叠比例(p)设置为0.4，则重叠的数据点的数量(n·p)约为3，即任意相邻的两个数据点集合中，有3个数据点既属于前一数据点集合，也属于后一数据点集合。
[0027] 本实施例通过将任意相邻的两个数据点集合中的一部分数据即分配给前一数据点集合，也分配给后一数据点集合，可避免给时序数据划分成多个数据点集合后带来的划分边界部分的信息损失。
[0028] 基于以上实施例，根据任一数据点集合中每一数据点的数据值和时间戳获取任一数据点集合对应的频域特征值，包括：根据任一数据点集合中每一数据点的数据值和时间戳，确定任一数据点集合中所有数据值随时间变化的时域函数；将时域函数通过预设变换规则变换为频域函数；根据频域函数获取任一数据点集合对应频域特征值。
[0029] 其中，预设变换规则为傅里叶变换。
[0030] 具体的，数据点集合中的时序数据可使用P＝{p1，p2...pn}进行表示，其中Pi＝(ti，di)表示P中的第i个数据点，ti表示时间，di表示数据，由于数据和时间具有一一对应关系，可使用一个时域函数表达这种数据关系，而将时域函数转换为频域函数的方法有多种，例如傅里叶变换、小波变换等等，傅里叶变换将时序数据分解为多个
正弦波的
叠加，而正弦波的频率值和
相位信息即体现该时序数据的频域特征，其中，傅里叶变换中的离散傅里叶变换(DFT)还对频域函数进行抽样，获得若干抽样点的频率值与能量值，可将若干抽样点的频率值与能量值作为时序数据对应的频域特征值。快速傅里叶变换(FFT)是离散傅里叶变换的快速
算法。FFT会通过把DFT矩阵分解为稀疏(大多为零)因子之积来快速计算。因此，它能够将计算DFT的复杂度从DFT的O(n2)降低到O(nlogn)，其中n为数据点的数量，本实施例可采用FFT，以简化计算的复杂度。
[0031] 基于以上实施例，根据频域函数获取任一数据点集合对应频域特征值，包括：将对频域函数抽样的第一数量的抽样点组成的集合作为第一抽样点集合，提取第一抽样点集合中每一抽样点的频率值和能量值；根据预设比例确定第二抽样点集合，第二抽样点集合中包括第二数量的抽样点，且第二抽样点集合中每一抽样点均属于第一抽样点集合，预设比例为第二数量与第一数量的比值；将第二抽样点集合中每一抽样点的频率值和能量值作为任一数据点集合对应的频域特征值。
[0032] 其中，根据预设比例确定第二抽样点集合，包括：根据第一数量和预设比例，确定第二数量；在第一抽样点集合中选取第二数量的抽样点，其中，选取的每一抽样点的能量值大于未被选取的任一抽样点的能量值；将选取的第二数量的抽样点组成的集合作为第二抽样点集合。
[0033] 具体的，由FFT变换获得包含第一数量的抽样点的频域
信号序列，该第一数量往往比较大，且频域信号序列中部分信号对时序数据的特征表示的意义不大，在对频域特征值的存储时，可仅选择那些能突出体现时序数据的特征的频域特征值进行存储，从而以降低
精度为代价，来节省存储空间；可预设一个压缩比例(即预设比例)，按该压缩比例和抽样点的总数量(即第一数量)来确定用于存储的频域特征值的数量(即第二数量)，用于存储的频域特征值的数量即为压缩比例和抽样点的总数量的乘积；比较所有抽样点的能量值，选择能量值最大的前第二数量的抽样点的频率值和能量值，作为用于存储的频域特征值，例如，如图2所示，第一数量(n)为8，预设的压缩比例(r)为0.25，则第二数量(n·r)为2，选取两个抽样点的频率值和能量值作为存储的频域特征值，这两个抽样点的能量值在所有抽样点的能量值从大到小的排序中为前两个。
[0034] 基于以上实施例，依次存储每一数据点集合对应的频域特征值，包括：依次将每一数据点集合对应的第二抽样点集合中每一抽样点的频率值进行列存储，依次将每一数据点集合对应的第二抽样点集合中每一抽样点的能量值进行列存储，并使任一抽样点的频率值关联至任一抽样点的能量值。
[0035] 具体的，将选取的抽样点的频率值和能量值分别进行列存储，可以使频率值和能量值形成一一的对应关系，且具有一一对应关系的频率值和能量值对应于一个抽样点。
[0036] 基于以上实施例，基于上述基于频域特征的时序数据存储的方法存储的频域信息可直接支持主频查询，主频定义为，频率值从0到2π排序，如果某个频率值的能量值达到局部最大，则该频率值是一个主频。按照主频的能量值大小，依次称之为第一主频、第二主频，以此类推。另外，通常情况下，第一主频(能量值最大的频率值)是该数据点集合的均值，对于频域分析意义较小，因此通常舍弃第一主频。
[0037] 基于上述实施例，基于上述基于频域特征的时序数据存储的方法存储的频域信息也可支持时域查询，读取第二数量的频率值和能量值，并组成第二数量的频率值-能量值对，将剩余的频率值对应的能量值补充为0，共组成第一数量的频率值-能量值对；对第一数量的频率值-能量值对实施FFT逆变换算法获得一个数据点集合的数据点的时间和数据；若该数据点集合是时序数据的第一个数据点集合，则将所有数据点的时间和数据返回给用户，否则，将最后的n-n·p个数据点的时间和数据返回给用户，其中，n为该数据点集合中数据点的数量，p为重叠比例。
[0038] 作为本发明的又一实施例，提供一种基于频域特征的时序数据存储的装置，包括：至少一个处理器；以及与所述处理器通信连接的至少一个存储器，其中：所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令以执行上述各方法实施例所提供的方法，例如包括：将待存储的时序数据划分成若干数据点集合，每一数据点集合包括多个连续的数据点，每一数据点包括一个时间戳和一个数据值；对于任一数据点集合，根据任一数据点集合中每一数据点的数据值和时间戳获取任一数据点集合对应的频域特征值；依次存储每一数据点集合对应的频域特征值。
[0039] 作为本发明的又一个实施例，提供一种计算机程序产品，该计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，该计算机程序包括程序指令，当程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：将待存储的时序数据划分成若干数据点集合，每一数据点集合包括多个连续的数据点，每一数据点包括一个时间戳和一个数据值；对于任一数据点集合，根据任一数据点集合中每一数据点的数据值和时间戳获取任一数据点集合对应的频域特征值；依次存储每一数据点集合对应的频域特征值。
[0040] 作为本发明的又一个实施例，提供一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储计算机程序，该计算机程序使该计算机执行上述各方法实施例所提供的方法，例如包括：将待存储的时序数据划分成若干数据点集合，每一数据点集合包括多个连续的数据点，每一数据点包括一个时间戳和一个数据值；对于任一数据点集合，根据任一数据点集合中每一数据点的数据值和时间戳获取任一数据点集合对应的频域特征值；依次存储每一数据点集合对应的频域特征值。
[0041] 本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过计算机程序指令相关的
硬件来完成，前述的计算机程序可以存储于一计算机可读取存储介质中，该计算机程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
[0042] 通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助
软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，
服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0043] 最后说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行
修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
