技术领域
[0001] 本
发明属于工业数据处理领域，具体涉及一种新的航空制造车间工业
大数据处理框架。
背景技术
[0002] 随着工业4.0的发展，航空制造工业的数字化、自动化、智能化程度不断提高。大数据和数据驱动等环境特点，使工业数据的处理、利用及存储变的愈发重要，并且传统数据处理结构也逐渐暴露出无法满足日益增长的数据处理和功能需求的弊端。再者，传统的数据架构是端到端的单一流向架构，无法同时支持数据的批量处理和实时处理，并且处理效率低，传输延迟大。但工业生产过程中的许多数据流是需要进行实时处理或批量处理以满足生产需求。多数企业对于大数据建设的两个普遍需求，一是对连续流入数据中提取的(接近)实时信息的分析，二是对大量数据流的持续分析。但实时数据的提取、实时处理和快速分析也是目前面临的主要挑战。
[0003] 航空制造作为整个制造业的前端，实现了制造系统的集成化，决策过程的智能化，加工过程的自动化和服务过程的主动化。其多品种小批量的生产模式，多样化的制造场景和高
精度的制造要求，使其制造工艺越加复杂，对设备的性能要求也越来越高。而数据信息的解析能够有效的保证产品
质量和生产过程稳定，然而这种复杂的制造环境极大的增加数据量和数据复杂度。因此，确保有效提取信息，并实现数据处理、分析和应用，是未来工业数据处理领域的主要趋势。
发明内容
[0004] 本发明的主要目的在于提供一种航空制造车间工业大数据处理框架，旨在解决既有方法存在的以上技术问题。
[0005] 为实现上述目的，本发明提供一种航空制造车间工业大数据处理框架，包括边缘计算层，数据传输层，数据批量处理层，数据实时处理层，服务层和数据反馈环；所述边缘计算层与设备端直接连接，用于对高实时性需求的数据进行实时处理；所述数据传输层与设备端和数据批量处理层和数据实时处理层连接，用于提供数据处理的数据来源；所述数据批量处理层及数据实时处理层分别与服务层连接，用于对数据处理结果进行
访问和存储；所述服务层与数据反馈环连接，用于对数据处理结果进行实时反馈和利用。
[0006] 进一步地，所述边缘计算层至少包括
数据采集程序、计算机及数据处理程序，其设置在车间设备的上位机，通过
传感器、采集卡或第三方数据采集程序进行对数据的采集，并传输到边缘计算单元，进行对数据的处理。
[0007] 进一步地，所述数据传输层至少包括Kafka消息
中间件、Kafka部署
服务器、交换机及路由器，其用于接收采集层发送的数据和边缘计算层的数据处理结果，并进行对数据定向发送满足不同模
块的数据需求，通过建立各层级之间的数据通讯，基于Kafka
消息中间件，进行对多源数据的订阅/发布，满足不同对象对于数据的需求。
[0008] 进一步地，所述数据批量处理层至少包括Hadoop数据处理平台、Hive
数据仓库管理工具，其用于接收数据传输层的批量数据，对批量数据进行完整的计算、处理和分析，并输出数据处理结果。
[0009] 进一步地，所述数据实时处理层至少包括Spark集群运算框架、HBase分布式
数据库，其用于接收数据传输层的实时增量数据，对实时增量数据进行快速计算，处理和分析，并输出数据处理结果。
[0010] 进一步地，所述服务层至少包括HBase数据库，其用于接收批处理层和实时处理层的数据处理结果，并提供对数据处理结果的查询服务。
[0011] 进一步地，所述数据反馈环用于对服务层数据库进行查询，并将数据查询的结果作为输入，触发反馈控制命令。
[0012] 本发明具有以下有益效果：
[0013] (1)本发明公开了一种新的航空制造车间工业大数据处理框架，其对于工业数据的处理方式和处理效率有进一步的提升，提高了对数据处理结果的利用率；
[0014] (2)本发明提出了反馈层和边缘计算层；其中反馈层使得对数据处理结果的应用上更加灵活，能够根据用户需求，实现对象的逆向操作；而边缘计算层的融入，能够有效的缩短计算时间，进一步
支撑了工业
制造过程部分业务实时响应的需求；
[0015] (3)本发明避免了机床加工运转过程中海量加工过程数据被视为垃圾而丢弃，造成严重数字浪费；其基于采集数控机床自身加工过程的海量数据，进行分析处理，以达到监测机床监控状态，预测后阶段运行状况等问题；
[0016] (4)本发明降低了数据处理过程中，数据处理集中化的问题，降低了数据处理中心的压
力，节约了计算资源，并且节省了带宽；
[0017] (5)本发明相对于传统数据处理方式，其不再是单一流向的数据处理架构，其能够适应数据，数据处理结果的反向流动等，从而满足更多的生产制造场景的需求。
附图说明
[0018] 图1是本发明的航空制造车间工业大数据处理框架结构示意图；
[0019] 图2是本发明的航空制造车间工业大数据处理框架的
软件架构图；
[0020] 图3是本发明的航空制造车间工业大数据处理框架实现结构图。
具体实施方式
[0021] 为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及
实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
[0022] 为了解决
现有技术中的问题，本发明提出了一种新的航空制造车间工业大数据处理框架，称为Phi架构，其基于Lambda流式数据处理架构实现了进一步改进，融入了数据反馈和边缘计算的理念，能够适应航空制造车间不同的制造场景和制造过程数据处理需求。通过边缘计算的融入对高实时性需求的数据实现了边缘化(数据端)处理，节省了数据传输时间，极大了提高了数据传输效率；通过数据反馈理念的融入，极大的缩短了Lambda架构在数据处理结果利用上的效率，对于不同场景的数据处理应用提供了更加广泛的支持。进一步的实现，数据的高效处理，以及数据处理结果的有效利用。
[0023] 本发明实施例的主要解决方案为：
[0024] 如图1所示，一种航空制造车间工业大数据处理框架，包括边缘计算层，数据传输层，数据批量处理层，数据实时处理层，服务层和数据反馈环；所述边缘计算层与设备端直接连接，用于对高实时性需求的数据进行实时处理；所述数据传输层与设备端和数据批量处理层和数据实时处理层连接，用于提供数据处理的数据来源；所述数据批量处理层及数据实时处理层分别与服务层连接，用于对数据处理结果进行访问和存储；所述服务层与数据反馈环连接，用于对数据处理结果进行实时反馈和利用。
[0025] 在本发明的一个可选实施例中，边缘计算层至少包括数据采集程序、计算机及数据处理程序，其设置在车间设备的上位机，通过传感器、采集卡或第三方数据采集程序进行对数据的采集，并传输到边缘计算单元，进行对数据的处理。边缘计算层从设备端发起对个别数据的实时处理，节省了数据传输的过程，并能结合不同数据处理需求进行数据处理结果的反馈。
[0026] 在本发明的一个可选实施例中，数据传输层至少包括Kafka消息中间件、Kafka部署服务器、交换机及路由器，其用于接收采集层发送的数据和边缘计算层的数据处理结果，并进行对数据定向发送满足不同模块的数据需求，通过建立各层级之间的数据通讯，基于Kafka消息中间件，进行对多源数据的订阅/发布，满足不同对象对于数据的需求。
[0027] 在本发明的一个可选实施例中，数据批量处理层至少包括Hadoop数据处理平台、Hive数据仓库管理工具，其用于接收数据传输层的批量数据，对批量数据进行完整的计算、处理和分析，并输出数据处理结果。
[0028] 在本发明的一个可选实施例中，数据实时处理层至少包括Spark集群运算框架、HBase分布式数据库，其用于接收数据传输层的实时增量数据，对实时增量数据进行快速计算，处理和分析，并输出数据处理结果。
[0029] 在本发明的一个可选实施例中，服务层至少包括HBase数据库，其用于接收批处理层和实时处理层的数据处理结果，并提供对数据处理结果的查询服务。
[0030] 在本发明的一个可选实施例中，数据反馈环用于对服务层数据库进行查询，并将数据查询的结果作为输入，触发反馈控制命令。
[0031] 如图2所示的是整体的工业数据处理框架的软件框架构成，整套软件可以部署在单一服务器或分布式集群上，首先部署Kafka消息中间件，实现海量数据的发布和订阅；进一步搭建批数据处理平台，实现对整体数据集的处理，首先搭建数据批处理层，其中包含Hadoop和Hive；其次搭建数据实时处理，其中包括spark和HBase,然后实现Hadoop与Spark之间的配置，完成分布式搭建。进一步建立数据仓库，其主要包含了Hadoop自带的HDFS分布式文件系统，Hive数据仓库管理工具，HBase分布式数据库，实现对元数据，处理数据，处理结果的存储。
[0032] 如图3所示，本发明的数据处理框架被设计为如下系统，分为多个模块，包括：API网关，用户管理，数据采集，监控服务，数据传输，数据处理，存储服务和查询服务。通过将不同服务之间的组合，以构建完整的
数据处理系统。但系统本身并不局限于上述服务。
[0033] 上述API网关是一个服务器，提供用户访问服务的API，并且其封装了系统各个服务的API，以实现各个服务之间的通讯。
[0034] 上述用户管理模块提供了用户的注册和管理，身份验证和授权，安全访问等服务。
[0035] 上述数据采集模块是数字化车间组件的一部分，提供面向设备的数据采集服务，以支持车间状态监控服务，数据处理服务以及结果查询服务。
[0036] 上述监控服务模块是数字化车间组件的一部分，提供车间状态监控和数据处理结果的显示。支持车间状态的实时监控服务。
[0037] 上述数据传输模块以Kafka为核心组件，接收来自采集客户端的海量数据，并实现向监控端，数据处理端和存储端的数据传输。
[0038] 上述处理服务模块提供了数据的批处理和实时处理。接收来自数据采集服务发送的数据，以及将数据处理结果发送数据库存储。
[0039] 上述边缘计算服务模块用于平衡数据处理中心的计算压力，为系统中的其他服务提供边缘计算支持，以
加速服务响应。
[0040] 上述存储服务模块提供元数据及数据处理结果的存储。此外，与查询服务交互，以支撑数据查询服务。
[0041] 上述查询服务模块基于大数据处理服务以及与数据库的连接和交互。用户可通过Web UI和移动端的方式与查询模块交互，以实现数据处理结果和用户的查询服务。
[0042] 本发明所公开的航空制造车间工业大数据处理框架，通过搭建高性能的数据处理平台，能够满足对车间加工过程中产生的海量数据的批量处理和实时处理，增加了数据处理的方式，并且对数据处理结果有了更进一步的利用，对于车间设备加工过程，设备状态监控以及设备状态预测等需求，实现了更进一步的支撑。
[0043] 本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体
变形和组合，这些变形和组合仍然在本发明的保护范围内。
