一种可信安全跨域数据交换的数据总线及传输方法
专利汇可以提供一种可信安全跨域数据交换的数据总线及传输方法专利检索，专利查询，专利分析的服务。并且本 发明 公开了一种可信安全跨域数据交换的 数据总线 及传输方法，属于数据交换技术领域。包括：（一） 数据采集 层：利用flume日志采集模 块 和ETL数据采集模块采集不同场景数据；（二） 数据治理 层：将数据采集层采集数据进行标准化数据转换；（三） 数据处理 层：根据业务特征关系，将标准化数据进行非范式关系、数据冗余等处理，形成完整的业务数据集。（四）数据应用层：各业务系统将共享数据；共享开放式开发平台。本发明提供了一种安全的数据整合方式，能够融合不同结构的数据形成 数据库 ，并对数据进行处理共享，能够保证数据库的安全性，避免被网络攻击。，下面是一种可信安全跨域数据交换的数据总线及传输方法专利的具体信息内容。
1.一种可信安全跨域数据交换的数据总线，其特征在于包括：
（一）数据采集层：利用flume日志采集模块和ETL数据采集模块采集不同场景数据；
（二）数据治理层：将数据采集层采集数据进行标准化数据转换；
（三）数据处理层：根据业务特征关系，将标准化数据进行非范式关系、数据冗余等处理，形成完整的业务数据集；
（四）数据应用层：各业务系统将共享数据；共享开放式开发平台。
2.根据权利要求1所述的一种可信安全跨域数据交换的数据总线，其特征在于：所述数据采集层的数据主要来源分别为物联网、互联网、政务内网、业务应用系统，根据不同数据来源场景，分别使用不同的应用采集前置服务来完成；基于SpringBoot微服务架构，结合Docker容器部署，统一使用K8S进行服务容器资源协调来实现整个大数据ETL数据采集和flume日志采集过程。
3.根据权利要求2所述的一种可信安全跨域数据交换的数据总线，其特征在于针对物联网非结构化、半结构化低价值密度数据进行关键数据特征提取，数据解析语义分析后形成标准化结构数据；通过网络爬虫技术对互联网关键舆情数据提取、语意分析后形成标准化结构数据；政务网应用及专网业务应用系统大多为结构化关系型数据，通过去重、替换、合并等技术手段对其进行标准化统一导入。
4.根据权利要求1所述的一种可信安全跨域数据交换的数据总线，其特征在于所述的数据治理层通过自定义转换处理模型、关键特征过滤，实现向高价值结构化数据转换，并结合多维元数据信息，利用关键特征数据结合业务核心算法实现，最终建立适合解决业务主题分析的数据仓库，为实现高性能并行查询分析统计提供支撑。
5.根据权利要求1所述的一种可信安全跨域数据交换的数据总线，其特征在于所述的数据采集层采集的日志或者数据传输给消息中间件Kafka，消息中间件Kafka是基于消息订阅模式的，一个订阅主题进行一次流程或者算法的实现，消息中间件根据订阅的主题，把数据推送或者拉取给这个订阅主题模块进行流程或者计算处理，订阅主题模块处理的结果，由另外一个订阅主题模块来订阅使用，就会把处理结果推送给下一个订阅模块去处理，依次执行下去；
所述的日志数据由订阅主题模块订阅后，经中间消息件Kafka进行流处理模块，流处理方式可以为Kafka stream 流处理方式或者Spark Streaming 流处理方式，处理结果存储到大数据存储Hbase数据库、Hive数据库和字典及部分中间结果存储数据库MySQL。
6.根据权利要求1所述的一种可信安全跨域数据交换的数据总线，其特征在于针对不同的业务场景、分析特征进行预制的智能化标签处理，实现多维度大数据融合规约处理；通过使用大数据处理引擎Spark计算平台，对交互式查询和流处理进行高性能大数据集计算服务；运用SparkSQL结构化即时查询，Streaming实时计算、机器学习、图计算等核心体系，实现高性能分析运算，支撑业务主题仓库的建设。
7.根据权利要求6所述的一种可信安全跨域数据交换的数据总线，其特征在于数据处理层字典及部分中间结果存储数据库中的数据通过JDBC接口与数据应用层进行数据交互；
流处理模块产生的实时预警消息推送经中间消息件Kafka，传输给数据应用层；
数据处理层设有Spark批处理作业大数据分析挖掘模块，所述模块利用Redis分布式K/V内存数据库和大数据存储Hbase数据库、Hive数据库的数据进行数据分析与挖掘，并将结果返回给大数据存储Hbase数据库、Hive数据库。
8.根据权利要求1所述的一种可信安全跨域数据交换的数据总线，其特征在于所述的数据应用层可以向数据处理层发出请求，请求分为复杂分析请求和简单查询统计请求：
（1）复杂分析请求的处理：复杂分析请求经Spring Dataflow Task api传输给Spark 即时批处理作业模块，Spark 即时批处理作业模块从大数据存储Hbase数据库、Hive数据库及Redis分布式K/V内存数据库调取数据进行处理计算，计算结果传输给大数据存储Hbase数据库、Hive数据库，并经中间消息件Kafka返回给数据应用层；
（2）简单查询统计请求处理：根据请求查询要求直接将大数据存储Hbase数据库、Hive数据库中的数据返回给数据应用层。
9.根据权利要求1所述的一种可信安全跨域数据交换的数据总线，其特征在于所述的数据应用层使用企业级服务总线技术对各警务、警种等业务系统进行统一集成，并结合Kafka订阅机制，将各业务系统需要大数据平台处理后的主体数据集进行标准化接口集成，各业务系统将共享大数据主题仓库数据集；再者，基于微服务架构的开放式开发平台，实现警务人员、行业专家等开放式开发需要；扁平化、所见即所得的运用大数据资源进行算法模型、技战法运用的定制开发和演练，确实提高各警务人员的侦查手段和经验分享。
10.一种可信安全跨域数据交换的传输方法，其特征在于包括：
S1：利用flume日志采集模块和ETL数据采集模块采集不同场景数据；
S2：将数据采集层采集数据进行标准化数据转换；
S3：根据业务特征关系，将标准化数据进行非范式关系、数据冗余等处理，形成完整的业务数据集；
S4：各业务系统将共享数据；共享开放式开发平台。
一种可信安全跨域数据交换的数据总线及传输方法
技术领域
背景技术
发明内容
（二）数据治理层：将数据采集层采集数据进行标准化数据转换；
（三）数据处理层：根据业务特征关系，将标准化数据进行非范式关系、数据冗余处理，形成完整的业务数据集；
（四）数据应用层：各业务系统将共享数据；共享开放式开发平台。
（2）简单查询统计请求处理：根据请求查询要求直接将大数据存储Hbase数据库、Hive数据库中的数据返回给数据应用层。
S2：将数据采集层采集数据进行标准化数据转换；
S3：根据业务特征关系，将标准化数据进行非范式关系、数据冗余等处理，形成完整的业务数据集；
S4：各业务系统将共享数据；共享开放式开发平台。
具体实施方式
（2）简单查询统计请求处理：根据请求查询要求直接将大数据存储Hbase数据库、Hive数据库中的数据返回给数据应用层。
S2：将数据采集层采集数据进行标准化数据转换；
S3：根据业务特征关系，将标准化数据进行非范式关系、数据冗余等处理，形成完整的业务数据集；
S4：各业务系统将共享数据；共享开放式开发平台。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种矢量地图的生成方法及装置 | 2020-05-14 | 179 |
| 基于光标签的信息设备交互方法及系统 | 2020-05-14 | 468 |
| 一种基于AR定位的室内步行导航系统和方法 | 2020-05-14 | 188 |
| 智能导游方法、系统、服务器及车辆 | 2020-05-11 | 727 |
| 用于实现人机交互界面的系统、计算机设备及存储介质 | 2020-05-13 | 645 |
| 一种Unity与H5组件同步方法及系统 | 2020-05-11 | 231 |
| 一种基于仪表信息的车机交互系统 | 2020-05-15 | 716 |
| 基于WebGL的三维虚拟维修场景组态配置方法 | 2020-05-13 | 66 |
| 车辆介绍方法、系统、服务器及车辆 | 2020-05-11 | 765 |
| 一种提词器 | 2020-05-15 | 20 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
