一种基于Flink SQL的数据处理方法、装置、存储介质
技术领域
[0001] 本
发明涉及
数据库处理技术领域，一种基于Flink SQL的数据处理方法、装置、存储介质。
背景技术
[0002]
大数据系统中的数据通常具有一个或多个数据源，这些数据源可以包括同构/异构的(大)数据库、文件系统、服务
接口等。这些数据源中的数据来源现实世界，容易受到噪声数据、数据值缺失与数据冲突等的影响。
[0003]
数据治理、分析、
可视化过程中的
算法与实现技术复杂多样，往往需要对数据的组织、数据的表达形式、数据的
位置等进行一系列前置处理。这就对研发提出了较高的要求，不仅需要了解业务、数据标准、较高的代码
水平，而现实中研发的能
力往往参差不齐，这就造就了数据治理
质量有好有坏。而数据治理的好坏直接影响到整套系统的可用性、准确性、完整性、时效性、可信性与可解释性等。
[0004] 可见，在
现有技术中，多源数据处理的效率较低、准确性差，且界面不够友好，不方便工作人员进行多源数据的处理。
发明内容
[0005] 本发明针对上述现有技术中的
缺陷，提出了如下技术方案。
[0006] 一种基于Flink SQL的数据处理方法，该方法包括：
[0007] 获取步骤，获取数据源中的待处理的数据并发送至SQL任务提交平台；
[0008] 编写步骤，在SQL任务提交平台中编写SQL语句对数据进行标准化的映射，并在SQL语句中定义数据源表、数据目标表，并为数据选择udf函数；
[0009] 处理步骤，SQL任务提交平台将编写好的SQL语句提交至Flink集群，Flink集群对所述SQL语句进行解析获得UDF函数、数据源表和数据目标表，所述Flink集群基于UDF函数、数据源表和数据目标表进行数据处理，并将处理后的数据输出。
[0010] 更进一步地，所述数据源为分布式发布订阅消息系统Kafka。
[0011] 更进一步地，所述SQL任务提交平台还用于：
[0012] 查看所述Kafka上汇集的实时推送和离线推送的数据并计算某个范围内数据的空值率及校验数据的准确率；
[0013] 在编写的SQL语句中定义SQL任务的并行度、检查点及备份点；
[0014] 以及用于查看SQL任务的执行情况、执行统计和取消SQL任务。
[0015] 更进一步地，所述Flink集群对所述SQL语句进行解析的操作为：所述Flink集群采用apache calcite解析SQL语句，通过SQL Parser解析SQL语句，并基于正则表达式判定SQL语句的类型，并通过JavaCC将SQL语句解析成AST语法树SqlNode，并且结合元数据验证SQL语句是否符合规范；通过对解析出来的语法树SqlNode再进行解析获得udf函数、数据源表和数据目标表的集合。
[0016] 更进一步地，所述Flink集群基于UDF函数、数据源表和数据目标表进行数据处理的操作为：对获得的udf函数集合进行遍历，通过class.forName方法动态加载class对象注册到flink Table Environment，使用Scalar Functions对字段进行数据清洗、数据校验、数据去重、数据归一化、数据比对和数据标识；对获得的源表集合进行遍历，然后根据解析出来的field字段和type类型转换成flink Table可识别的InternalType类型然后注册到flink Table Environment，通过flink Table Environment执行sqlQuery获得Flink Table结果集，通过flink Table Environment将Flink Table结果集转换成Flink DataStream。
[0017] 本发明还提出了一种基于Flink SQL的数据处理装置，该装置包括：
[0018] 获取单元，获取数据源中的待处理的数据并发送至SQL任务提交平台；
[0019] 编写单元，在SQL任务提交平台中编写SQL语句对数据进行标准化的映射，并在SQL语句中定义数据源表、数据目标表，并为数据选择udf函数；
[0020] 处理单元，SQL任务提交平台将编写好的SQL语句提交至Flink集群，Flink集群对所述SQL语句进行解析获得UDF函数、数据源表和数据目标表，所述Flink集群基于UDF函数、数据源表和数据目标表进行数据处理，并将处理后的数据输出。
[0021] 更进一步地，所述数据源为分布式发布订阅消息系统Kafka。
[0022] 更进一步地，所述SQL任务提交平台还用于：
[0023] 查看所述Kafka上汇集的实时推送和离线推送的数据并计算某个范围内数据的空值率及校验数据的准确率；
[0024] 在编写的SQL语句中定义SQL任务的并行度、检查点及备份点；
[0025] 以及用于查看SQL任务的执行情况、执行统计和取消SQL任务。
[0026] 更进一步地，所述Flink集群对所述SQL语句进行解析的操作为：所述Flink集群采用apache calcite解析SQL语句，通过SQL Parser解析SQL语句，并基于正则表达式判定SQL语句的类型，并通过JavaCC将SQL语句解析成AST语法树SqlNode，并且结合元数据验证SQL语句是否符合规范；通过对解析出来的语法树SqlNode再进行解析获得udf函数、数据源表和数据目标表的集合。
[0027] 更进一步地，所述Flink集群基于UDF函数、数据源表和数据目标表进行数据处理的操作为：对获得的udf函数集合进行遍历，通过class.forName方法动态加载class对象注册到flink Table Environment，使用Scalar Functions对字段进行数据清洗、数据校验、数据去重、数据归一化、数据比对和数据标识；对获得的源表集合进行遍历，然后根据解析出来的field字段和type类型转换成flink Table可识别的InternalType类型然后注册到flink Table Environment，通过flink Table Environment执行sqlQuery获得Flink Table结果集，通过flink Table Environment将Flink Table结果集转换成Flink DataStream。
[0028] 本发明还提出了一种计算机可读存储介质，所述存储介质上存储有
计算机程序代码，当所述计算机程序代码被计算机执行时执行上述之任一的装置。
[0029] 本发明的技术效果在于：本发明的一种基于Flink SQL的数据处理方法，该方法包括：获取步骤，获取数据源中的待处理的数据并发送至SQL任务提交平台；编写步骤，在SQL任务提交平台中编写SQL语句对数据进行标准化的映射，并在SQL语句中定义数据源表、数据目标表，并为数据选择udf函数；处理步骤，SQL任务提交平台将编写好的SQL语句提交至Flink集群，Flink集群对所述SQL语句进行解析获得UDF函数、数据源表和数据目标表，所述Flink集群基于UDF函数、数据源表和数据目标表进行数据处理，并将处理后的数据输出。本发明提出了
风格统一的SQL任务提交平台，使用语法简洁、易学易用的SQL语句来完成数据处理过程中的数据清洗、数据校验、数据去重、数据归一化、数据比对和数据标识，且在数据处理过程中可以实时查看任务的执行情况、并进行执行统计等，该方法界面友好，方便非专业的工作人员进行数据处理，提高了用户体验。
附图说明
[0030] 通过阅读参照以下附图所作的对非限制性
实施例所作的详细描述，本
申请的其它特征、目的和优点将会变得更明显。
[0031] 图1是根据本发明的实施例的一种基于Flink SQL的数据处理方法
流程图。
[0032] 图2是根据本发明的实施例的一种基于Flink SQL的数据处理装置的结构图。
具体实施方式
[0033] 下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
[0034] 需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
[0035] 图1示出了本发明的一种基于Flink SQL的数据处理方法，该方法包括：
[0036] 获取步骤S101，获取数据源中的待处理的数据并发送至SQL任务提交平台；更进一步地，所述数据源为分布式发布订阅消息系统Kafka，Kafka具有高吞吐量、持久化、多副本备份、横向扩展能力的优点，当然也可以是其他数据源。
[0037] 编写步骤S102，在SQL任务提交平台中编写SQL语句对数据进行标准化的映射，并在SQL语句中定义数据源表、数据目标表，并为数据选择udf函数；选择的合适udf函数用于对数据字段进行清洗、校验、去重、归一化、比对、标识等动作。本发明构建的SQL语句(也称为SQL任务)提交平台为一个WEB应用，这样方便用户这样可以联网便可以进行数据的处理，且WEB的界面统一，方便用户的使用，提高了用户体验。
[0038] 处理步骤S103，SQL任务提交平台将编写好的SQL语句提交至Flink集群，Flink集群对所述SQL语句进行解析获得UDF函数、数据源表和数据目标表，所述Flink集群基于UDF函数、数据源表和数据目标表进行数据处理，并将处理后的数据输出。Flink SQL是Flink实时计算为简化计算模型，降低用户使用实时计算
门槛而设计的一套符合标准SQL语义的开发语言。
[0039] 在一个实施例中，所述SQL任务提交平台还提供以下功能：
[0040] 查看所述Kafka上汇集的实时推送和离线推送的数据并计算某个范围内数据的空值率及校验数据的准确率；即通过查看消息队列kafka上汇集了哪些实时推送和离线推送上来的数据(数据探查)。计算某个范围内数据的空值率、校验数据的准确率。
[0041] 在编写的SQL语句中定义SQL任务的并行度、检查点(checkpoint)、备份点(savepoint)等参数。
[0042] 以及用于查看SQL任务的执行情况、执行统计和取消SQL任务。例如，通过调用Flink/overview接口查看集群的task manager数量、使用资源slot数量、耗费资源slot数量、集群cpu使用情况、集群内存使用情况、集群job执行情况。通过调用Flink/jobs/jobid接口查看任务的执行时间、执行状态、任务的并行度、拉取数据源的数量、已经处理的数据量等等情况。通过调用Flink/plan接口查看待执行sql的执行计划。通过调用Flink/yarn-cancel接口取消sql任务。通过调用Flink/run接口提交sql启动Flink SQL数据处理程序，即SQL任务提交平台将编写好的SQL语句提交至Flink集群是调用Flink/run接口提交sql启动Flink SQL数据处理程序实现的。
[0043] 在一个实施例中，所述Flink集群对所述SQL语句进行解析的操作为：所述Flink集群采用apache calcite解析SQL语句，通过SQL Parser解析SQL语句，并基于正则表达式判定SQL语句的类型，并通过JavaCC将SQL语句解析成AST语法树SqlNode，并且结合元数据验证SQL语句是否符合规范；通过对解析出来的语法树SqlNode再进行解析获得udf函数、数据源表和数据目标表的集合。
[0044] 在一个实施例中，所述Flink集群基于UDF函数、数据源表和数据目标表进行数据处理的操作为：对获得的udf函数集合进行遍历，通过class.forName方法动态加载class对象注册到flink Table Environment，使用Scalar Functions对字段进行数据清洗、数据校验、数据去重、数据归一化、数据比对和数据标识；对获得的源表集合进行遍历，然后根据解析出来的field字段和type类型转换成flink Table可识别的InternalType类型然后注册到flink Table Environment，通过flink Table Environment执行sqlQuery获得Flink Table结果集，通过flink Table Environment将Flink Table结果集转换成Flink DataStream。
[0045] 目前flink主要支持Scalar Functions标量函数、Table Functions表函数和Aggregation Functions聚合函数三种。实现一个Scalar Functions标量函数需要继承ScalarFunction，并且实现一个或者多个evaluation方法。标量函数的行为就是通过evaluation方法来实现的。evaluation方法必须定义为public，命名为eval。通过Scalar Functions可以对字段进行数据清洗、数据校验、数据去重、数据归一化、数据比对和数据标识。
[0046] 实现一个Table Functions表函数需要继承TableFunction，实现一个或者多个evaluation方法。表函数的行为定义在这些evaluation方法内部，函数名为eval并且必须是public。通过Table Functions表函数我们可以实现表的join获得结果集。
[0047] 实现一个聚合函数需要继承AggregateFunction，通过调用AggregateFunction函数的createAccumulator()方法来创建一个空accumulator。随后，每个输入行都会调用accumulate()方法来更新accumulator。一旦所有的行被处理了，getValue()方法就会被调用，计算和返回最终的结果。通过聚合函数我们可以实现数据的实时统计。
[0048] 对获得的源表集合进行遍历，然后根据解析出来的field字段和type类型转换成flink Table可识别的InternalType类型然后注册到flink Table Environment。
[0049] 对获得的源表集合进行遍历，通过flink Table Environment执行sqlQuery获得Flink Table结果集。
[0050] 通过flink Table Environment将Flink Table结果集转换成Flink DataStream，即完成了数据的处理。
[0051] 在一个实施例中，需要将处理后的数据输出，是通过继承org.apache.flink.streaming.api.functions.sink.RichSinkFunction实现flink自定义Sink(结果输出)，通过重写RichSinkFunction的open方法初始化下游系统(数据库)接口实例，通过重写RichSinkFunction的invoke方法对flink从数据源获取到的每条数据进行组装和储存处理(输出到数据库)，通过重写RichSinkFunction的close方法关闭下游系统(数据库)的接口实例。从而完成了将处理后的数据写入到下游数据库。
[0052] 本发明的方法通过风格统一的SQL任务提交平台，使用语法简洁、易学易用的SQL语句来完成数据处理过程中的数据清洗、数据校验、数据去重、数据归一化、数据比对和数据标识，且在数据处理过程中可以实时查看任务的执行情况、并进行执行统计等，该方法界面友好，方便非专业的工作人员进行数据处理，提高了用户体验，这是本发明的重要发明点。
[0053] 图2示出了本发明的一种基于Flink SQL的数据处理装置，该装置包括：
[0054] 获取单元201，获取数据源中的待处理的数据并发送至SQL任务提交平台；更进一步地，所述数据源为分布式发布订阅消息系统Kafka，Kafka具有高吞吐量、持久化、多副本备份、横向扩展能力的优点，当然也可以是其他数据源。
[0055] 编写单元202，在SQL任务提交平台中编写SQL语句对数据进行标准化的映射，并在SQL语句中定义数据源表、数据目标表，并为数据选择udf函数；选择的合适udf函数用于对数据字段进行清洗、校验、去重、归一化、比对、标识等动作。本发明构建的SQL语句(也称为SQL任务)提交平台为一个WEB应用，这样方便用户这样可以联网便可以进行数据的处理，且WEB的界面统一，方便用户的使用，提高了用户体验。
[0056] 处理单元203，SQL任务提交平台将编写好的SQL语句提交至Flink集群，Flink集群对所述SQL语句进行解析获得UDF函数、数据源表和数据目标表，所述Flink集群基于UDF函数、数据源表和数据目标表进行数据处理，并将处理后的数据输出。Flink SQL是Flink实时计算为简化计算模型，降低用户使用实时计算门槛而设计的一套符合标准SQL语义的开发语言。
[0057] 在一个实施例中，所述SQL任务提交平台还提供以下功能：
[0058] 查看所述Kafka上汇集的实时推送和离线推送的数据并计算某个范围内数据的空值率及校验数据的准确率；即通过查看消息队列kafka上汇集了哪些实时推送和离线推送上来的数据(数据探查)。计算某个范围内数据的空值率、校验数据的准确率。
[0059] 在编写的SQL语句中定义SQL任务的并行度、检查点(checkpoint)、备份点(savepoint)等参数。
[0060] 以及用于查看SQL任务的执行情况、执行统计和取消SQL任务。例如，通过调用Flink/overview接口查看集群的task manager数量、使用资源slot数量、耗费资源slot数量、集群cpu使用情况、集群内存使用情况、集群job执行情况。通过调用Flink/jobs/jobid接口查看任务的执行时间、执行状态、任务的并行度、拉取数据源的数量、已经处理的数据量等等情况。通过调用Flink/plan接口查看待执行sql的执行计划。通过调用Flink/yarn-cancel接口取消sql任务。通过调用Flink/run接口提交sql启动Flink SQL数据处理程序，即SQL任务提交平台将编写好的SQL语句提交至Flink集群是调用Flink/run接口提交sql启动Flink SQL数据处理程序实现的。
[0061] 在一个实施例中，所述Flink集群对所述SQL语句进行解析的操作为：所述Flink集群采用apache calcite解析SQL语句，通过SQL Parser解析SQL语句，并基于正则表达式判定SQL语句的类型，并通过JavaCC将SQL语句解析成AST语法树SqlNode，并且结合元数据验证SQL(也可以写作sql)语句是否符合规范；通过对解析出来的语法树SqlNode再进行解析获得udf函数、数据源表和数据目标表的集合。
[0062] 在一个实施例中，所述Flink集群基于UDF函数、数据源表和数据目标表进行数据处理的操作为：对获得的udf函数集合进行遍历，通过class.forName方法动态加载class对象注册到flink Table Environment，使用Scalar Functions对字段进行数据清洗、数据校验、数据去重、数据归一化、数据比对和数据标识；对获得的源表集合进行遍历，然后根据解析出来的field字段和type类型转换成flink Table可识别的InternalType类型然后注册到flink Table Environment，通过flink Table Environment执行sqlQuery获得Flink Table结果集，通过flink Table Environment将Flink Table结果集转换成Flink DataStream。
[0063] 目前flink主要支持Scalar Functions标量函数、Table Functions表函数和Aggregation Functions聚合函数三种。实现一个Scalar Functions标量函数需要继承ScalarFunction，并且实现一个或者多个evaluation方法。标量函数的行为就是通过evaluation方法来实现的。evaluation方法必须定义为public，命名为eval。通过Scalar Functions可以对字段进行数据清洗、数据校验、数据去重、数据归一化、数据比对和数据标识。
[0064] 实现一个Table Functions表函数需要继承TableFunction，实现一个或者多个evaluation方法。表函数的行为定义在这些evaluation方法内部，函数名为eval并且必须是public。通过Table Functions表函数我们可以实现表的join获得结果集。
[0065] 实现一个聚合函数需要继承AggregateFunction，通过调用AggregateFunction函数的createAccumulator()方法来创建一个空accumulator。随后，每个输入行都会调用accumulate()方法来更新accumulator。一旦所有的行被处理了，getValue()方法就会被调用，计算和返回最终的结果。通过聚合函数我们可以实现数据的实时统计。
[0066] 实现一个聚合函数需要继承AggregateFunction，通过调用AggregateFunction函数的createAccumulator()方法来创建一个空accumulator。随后，每个输入行都会调用accumulate()方法来更新accumulator。一旦所有的行被处理了，getValue()方法就会被调用，计算和返回最终的结果。通过聚合函数我们可以实现数据的实时统计。
[0067] 对获得的源表集合进行遍历，然后根据解析出来的field字段和type类型转换成flink Table可识别的InternalType类型然后注册到flink Table Environment。
[0068] 对获得的源表集合进行遍历，通过flink Table Environment执行sqlQuery获得Flink Table结果集。
[0069] 通过flink Table Environment将Flink Table结果集转换成Flink DataStream，即完成了数据的处理。
[0070] 在一个实施例中，需要将处理后的数据输出，是通过继承org.apache.flink.streaming.api.functions.sink.RichSinkFunction实现flink自定义Sink(结果输出)，通过重写RichSinkFunction的open方法初始化下游系统(数据库)接口实例，通过重写RichSinkFunction的invoke方法对flink从数据源获取到的每条数据进行组装和储存处理(输出到数据库)，通过重写RichSinkFunction的close方法关闭下游系统(数据库)的接口实例。从而完成了将处理后的数据写入到下游数据库。
[0071] 本发明的装置通过风格统一的SQL任务提交平台，使用语法简洁、易学易用的SQL语句来完成数据处理过程中的数据清洗、数据校验、数据去重、数据归一化、数据比对和数据标识，且在数据处理过程中可以实时查看任务的执行情况、并进行执行统计等，该方法界面友好，方便非专业的工作人员进行数据处理，提高了用户体验，这是本发明的重要发明点。
[0072] 为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个
软件和/或
硬件中实现。
[0073] 通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，
服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的装置。
[0074] 最后所应说明的是：以上实施例仅以说明而非限制本发明的技术方案，尽管参照上述实施例对本发明进行了详细说明，本领域的普通技术人员应当理解：依然可以对本发明进行
修改或者等同替换，而不脱离本发明的精神和范围的任何修改或局部替换，其均应涵盖在本发明的
权利要求范围当中。
