专利汇可以提供一种城市级数据共享交换平台技术的方法专利检索,专利查询,专利分析的服务。并且一种城市级数据共享交换平台技术的方法,其特征包括前置子系统,中心交换子系统,资源库,共享信息库。本 发明 解决了 电子 政务信息资源存在无法共建、共享及信息无法达成共识的技术问题,而提出一种城市级数据共享与交换技术的方法。,下面是一种城市级数据共享交换平台技术的方法专利的具体信息内容。
1.一种城市级数据共享交换平台技术的方法,其特征包括:
前置子系统:又称之为前置交换节点,是数据共交换平台的重要组成部分。前置子系统部署在与各种应用系统相衔接的前置机上,前置子系统是数据交换平台同各应用系统交互的技术通道,它负责提供各类技术协议适配器来支持同各种应用系统的底层衔接,实现同各应用系统进行数据交换的顺利衔接,并完成数据转换、数据封装和从中心交换子系统的消息监听、消息处理、数据交换服务控制及前置交换节点信息监控管理等功能。
中心交换子系统:又称之为中心交换节点,中心子系统在数据交换平台架构框架中包括交换层、服务层、管理层,是整个数据交换平台的核心。中心交换子系统按照应用层次的划分由接入层、内容处理层、数据存储层构成。各业务系统通过接入层接入数据交换平台,待交换数据在接入层经过简单加工处理后发送到交换层;交换层根据交换路由信息通过消息中间件的可靠传输到达目的地,调用数据交换平台基础服务层完成对数据的解压、解密、报文检验、数据处理操作后,根据业务服务路由数据经与接收业务系统相连接的接入层发送给接收业务系统。整个数据交换平台从逻辑划分为五个层次:应用层:涵盖各地域或各部门的业务应用系统。接入层:实现各地域或各部门业务数据的交换接入。实现不同应用系统的接入和不同数据格式的转换。交换层:实现中心交换节点与交换中心之间、中心交换节点与前置交换节点之间、前置交换节点与前置交换节点之间的数据交换。服务层:包括基础服务和业务服务。其中基础服务实现报文检验、消息包的压缩解压、加密解密、安全认证等功能。管理层:对交换中心、交换总线、交换节点进行管理和监控。从整体上来看,平台主要是在JCA国 际规范基础之上,结合XML、J2EE、Web Services和JMS等技术,采用集中式的交换应用服务器和多种数据传输方式、面向服务的框架结构体系(SOA),实现对各业务应用系统的有机整合。
资源库:用于存储数据交换节点的交换任务及交换数据。
共享信息库:用于存储各数据交换节点交换的数据信息,在共享信息库进行数据挖掘,形成信息资源目录,并可以发布订阅。
2.如权利要求1所述的城市级数据共享交换平台技术,其特征还包括前置子系统的接入功能:
A.前置子系统通过接入适配器提供给应用系统接入方式有四大类:
1)文件方式:应用系统通过与文本(定长、CSV)、EXCEL、XML等文件格式交互接入数据交换平台。
2)标准WEB服务调用:应用系统通过基于XML的SOAP报文与数据交换平台交互接入。
3)非标准服务调用:应用系统通过JMS、WMQ、TLQ、EJB、HTTP、REST、TCP Socket等方式与数据交换平台交互接入。
4)数据库方式:应用系统通过向平台开放数据库访问接口方式,编程实现接入数据交换平台。
适配器从技术角度分为技术协议适配和数据适配两个概念层次,从数据共享交换平台角度分为通用适配器和业务系统适配器。通用适配器是数据交换平台本身提供的,以支持业界常用技术协议及各类系统的连接服务组件,业务系统专用适配器是基于通用交换适配器之上做的适应特定业务系统的连接服务组件。
1)技术协议适配:是对接入和接出提供业界各类标准技术协议的适配,协议适配分为接入协议适配和接出协议适配。接入协议适配负责建立与不同系统的接入通信,适配各种的技术协议。采用的实现方式是提供不同协议的统一接入,接入协议适配支持同步和异步接入。接出协议适配负责建立与不同系统的接出通信,适配各种接出技术协议。
2)数据库适配:是数据交换平台和一个数据库的连接方法。数据库适配器对业界主流数据库都支持,并支持数据库POOL、Cluster等高级特性。
3)文件适配:文件适配组件,对于常见的文件格式,只要通过可视化配置的方式,就可以实现应用系统通过与文本(定长、CSV)、EXCEL、XML等文件格式与前置子系统的交互。
4)数据适配:是对报文内容的处理。对接入的报文进行消息规格化,解码或编码、报文格式转换等。数据适配通过配置组合交换总线容器中基础服务,针对不同的接入或接出服务,每个接入和接出都有自己的数据适配器实例。
5)大数据量文件适配:大于等于5兆的采用离线报送方式,使用移动硬盘或FTP/SFTP等方式进行数据报送。对于FTP/SFTP等报送方式,数据交换平台提供了数据文件完整性校验、数据文件重发、数据文件加密/解密、数据文件压缩/解压缩等功能以提供传输可靠性、安全性、高性能保证。小于5兆的数据,采用在线报送,对文件进行加密、打包,形成消息发送;到达目的节点后,解包、解密,恢复成原来的文件。对于在线报送方式,数据交换平台提供了数据拆包/拼包、断点续传、消息 包的顺序处理、消除重复包、消息包完整性校验、消息包重发、消息包加密/解密、消息包压缩/解压缩等功能以提供传输可靠性、安全性、高性能保证。
B.前置子系统对外提供了Web Services、WMQ、TLQ、JMS、SMTP、FTP、文件等桥接服务,在这些服务中,可以分为被动桥接方式和主动桥接方式两种类型:
1)被动桥接方式:即前置子系统被动的接受业务应用系统的交换请求,其中Web Services、WMQ、TLQ、JMS、SMTP、FTP、文件及中间库是属于被动桥接方式。
2)主动桥接方式:即前置子系统主动探测业务应用系统数据的变化,并主动发起数据交换的流程。
C.增量数据的抽取,数据交换平台的前置子系统提供了基于业务标识、变化日志等多种解决方案:
1)基于业务标识:根据业务系统数据的特性,如交换日期、交换标识等,从而识别出本次所需要交换的增量数据。
2)基于变化日志:通过生成建立触发器方式将业务系统发生的变化记录在日志表中。
每个业务表对应一个日志表,日志表除包括业务表全部字段外,有二个交换用字段:序号、操作状态(表明数据变化状态,I/U/D)。
3)触发器:触发器处理要区分数据变化是由业务系统引发还是由数据交换平台引发,通过一个备用的业务字段区分。每次交换时,数据交换平台查询出上一次抽取的最大序号之后的增量数据,打包成交换消息,
通过通讯传输系统发往目的地。
增量数据抽取后按交换标准打包成交换消息包,通过通讯传输子系统传输到目的地。
D.数据转换处理,这一层定义了应用系统之间进行交换数据的格式标准,该格式标准将遵循通行的工业标准XML,利用XML来定义和描述各应用系统之间以及应用系统和底层架构之间的交互信息。
1)消息转换技术:可以将消息转换为应用程序所需的新格式。该技术检查每个消息字段,并且允许增加、修改或检查新的消息格式和字段,这些功能并不需要修改源程序和目标程序。
2)基于XML的交换数据格式:交换数据的接口和数据描述采用XML标准,提高系统平台的扩展性和开放性。
3)基于标准的数据转换:利用XSLT来转换XML文档,可以在具有多个方言的XML之间翻译数据元素。
3.如权利要求2所述的城市级数据共享交换平台技术,其特征还包括前置子系统的节点管理功能:
A.节点管理是前置子系统提供的基于WEB的管理模块,可对交换节点的状态、运行配置进行管理监控。
1)节点状态管理用于查看当前的前置节点的运行状态及基本信息。
2)流程管理:用来管理数据在多个交换节点之间的流转。在一个交换中心上,流转表现为任务执行的先后顺序,如一个接收任务执行成功后,会触发指定的发送任务,将收到的数据发送到其他服务器上。主要包括流程管理、流程流向路由管理、流程节点管理、流程查询等。
3)任务管理:数据交换平台根据需要提供不同的数据传输调度机制,主要分为定时和实时两种任务调度模式
4)节点日志:用来管理服务器中的日志,提供可视化的人机交互管理环境,监测和查看系统运行时产生的状态信息以及其他各种输出信息。
5)用户及权限管理:对管理控制台登录账号的维护管理以及权限控制。每一种类型的账号对应着一组可访问的资源。
6)配置管理器用于管理交换中心的相关配置,包括性能限制、用户选项等。
4.如权利要求1或2或3所述的城市级数据共享交换平台技术,其特征还包括中心交换子系统按层次的划分:
A.接入层:使用基于消息服务的消息队列技术,其主要功能是以多种方式负责共享数据的通讯传递,在功能上类型上可以分为JMS服务、HTTP服务、SOAP服务、TCP服务、FTP服务和Web Service服务等。
B.内容处理层:主要负责对通讯消息的处理和通讯文件的处理,其主要功能是在系统根据数据请求指令,通过数据处理服务进行相应数据库操作获得相应业务数据后,生成相应的通讯消息或通讯文件,供系统进行通讯传输,即通讯内容的创建提供。同时,分析获取的通讯内容,包括通讯消息或通讯文件,提取相应业务数据,分发给数据存储层的数据处理服务并进行相应数据库操作。
5.如权利要求1或2或3或4所述的城市级数据共享交换平台技术,其特征还包括中心交换子系统的平台管理:
平台管理是中心子系统提供的基于WEB的管理模块,集中对交换平台、 交换节点、资源统一管理,是交换体系的控制中枢。
A.前置交换节点注册管理:在数据交换平台上注册各级的前置交换节点,然后进行前置交换节点的部署。
B.前置交换节点部署管理:只有拥有安装注册号才能进行前置交换节点的安装。安装注册号与前置交换节点前置机MAC地址绑定,有且只能安装在指定前置交换节点服务器上。
C.前置交换节点运行监控管理:对前置交换节点的运行进行远程控制,主要包括启动、终止、挂起、关闭服务。对前置交换节点的运行状态进行查询。提供当前前置交换节点下所有连接(包括应用客户端连接类型和消息中间件连接类型)状态、消息输入输出流量的查询,并对查询结果进行分析。
1)前置交换节点网络拓扑图:通过节点网络拓扑图功能,可直观的查看注册在交换平台的各级交换节点以及其状态。
2)节点状态监控:节点状态监控功能可以查看各个交换节点的信息和状态,并可控制对交换节点的起动、停止、挂起、恢复。
3)节点运行状态监控:对每个交换节点,可以查看该节点机器运行负载情况,包括CPU、内存、swap空间、运行线程数、垃圾回收运行情况等。
4)交换流程运行状态监控:任务和转换是通过数据交换平台的可视化开发工具开发出来参与交换的流程和转换。监控管理对这两种对象的监控管理包括:查看任务/转换的定义信息;查看任务的运行状态信息;查看任务的历史任务信息;查看任务的实时任务信息;查看任务的日志、 运行情况信息;手工或自动启动任务。
5)交换消息包监控:对交换过程的消息包监控,可以查看消息包发送的批次、消息包内容,对于未成功交换到目的地的消息包,可以选择手工重发。对于每个消息包,可在线查看其内容和数据,也可以将原始消息包下载到本地查看。
D.故障监测及事件告警:当出现网络故障、服务器故障、交换故障、系统资源超过警戒值时监控系统能及时发出告警信息,以邮件、短信、任务提醒等方式即时通知系统管理员,达到快速跟踪、解决问题的目的。
E.业务监控催办:数据的催办管理分为催办跟踪、被催办跟踪及催办配置。
1)催办跟踪:记录了所有对数据发送节点的催办记录,在该记录列表中,显示了催办的前置节点名称、指标名称、责任人、催办方式和催办日期。
2)被催办跟踪:记录了所有被催办的记录,在该记录列表中,显示了催办的指标、催办方式、催办方、催办时间及处理状态。
3)催办配置:用于配置被催办方的责任人信息、催办方式及不同催办方式的子配置。
F.交换统计分析:交换统计报表通过列表的形式,展示各类交换统计报表,包括总的数据交换统计和按照发送方和接收方进行分类的数据交换统计。交换累计统计以直观的柱状图形式,展示历年交换累计量的趋势、历年各月交换累计量的趋势和当年各月交换累计量的趋势。统计排名提供多种查询条件,可以根据不同统计指标进行排名。 G.平台日志:实现对平台运行日志的查询、浏览、导出、清空。可以查询中心总控服务器在运行过程中产生的输出日志和错误日志。监控消息中间件,记载每一条消息记录,作为消息日志,以备查询。实现对监控日志和服务日志的查询、浏览、导出、清空。对平台应用管理系统的用户登录和操作等日志进行审计。
H.安全管理:安全管理主要包括安全级别、身份认证与授权、权限控制、访问规则的配置和定义。权限控制包括交换中心、交换节点的权限管理,主要对注册的交换中心、交换节点的权限进行管理。
I.资源目录管理:数据交换平台的信息资源目录子系统是遵循国家电子政务信息资源目录体系标准的应用模块,在国家环境信息与统计能力建设项目中,可通过构建覆盖中央、省、市、县的多级政务信息资源目录体系,形成政务信息资源物理分散、逻辑集中的信息共享模式,提供全国范围内跨部门、跨地区的普遍信息共享,方便用户发现、定位和共享多种形态的政务信息资源。
J.配置管理:在中心子系统中可以对所有的交换节点进行远程控制,可远程修改前置交换节点的配置参数,由于前置交换节点的配置参数实现了热加载,因此当远程修改交换平台配置参数时,可即时生效。
6.如权利要求1或2或3或4或5所述的城市级数据共享交换平台技术,其特征还包括中心交换子系统数据交换管理:
A.队列管理:即消息服务器,负责队列管理以及消息的存储和转发。
B.消息发送和接收:中心交换子系统/前置交换节点通过交换层来访问队列和消息。 C.消息格式转换:不同应用程序的数据存储格式和数据表示格式不同,数据交换平台提供消息格式转换服务来实现不同应用之间消息的转换。
D.桥接流程引擎:桥接流程的建模工具通过图形拖拽的方式进行业务流程定义,通过设置元素的属性实现业务的复杂逻辑。经过可视化的操作生成BPEL文件,然后打成符合特定引擎的包进行部署,流程引擎负责解释执行流程逻辑。
E.传输管理:传输管理模块负责前置子系统与中心交换子系统间传递消息的处理工作。
7.如权利要求1或2或3或4或5或6所述的城市级数据共享交换平台,其特征还包括以下步骤:
步骤1:中心交换子系统通过手动或自动功能注册各前置子系统和交换协议。定义各前置交换节点交换流程、交换策略和路由信息,并下发至各前置子系统。各前置子系统的数据也可由中心交换子系统进行转发或由中心交换子系统与中心交换子系统进行数据的传输。
步骤2:前置子系统在源数据端从各种应用系统中抽取源数据,把抽取的需要共享的数据转换成约定的格式,通过中心交换子系统下发的安全信息、路由信息进行路由设置,将共享的源数据进行加密、压缩、打包处理,并将处理后的数据存储到资源库,等待数据交换引擎的调度。
步骤3:前置子系统的数据交换引擎根据中心交换子系统下发的交换流程的调度信息(手动启动、周期启动、定时启动)来调度前置子系统源数据端交换流程的执行。
步骤4:前置子系统在接收端从消息服务器获取本节点数据包,该数据 接收模块根据源端对数据包的加密压缩方式进行相应的解包、解密,然后将解出来的文件中的源数据结构转化成目标数据结构,对抽取的源数据进行进行合法性和完整性校验,如校验通过再对数据进行加工、清洗、转换后,将目标数据写入目标位置;如校验不通过则通知源前置交换子系统进行重发。
步骤5、各前置子系统将发送和接收的数据信息上传到中心交换子系统,中心交换子系统对各交换流程的正确与否进行自动对账或通过人工进行手动对账。确保数据在传输过程中的完整性。
标题 | 发布/更新时间 | 阅读量 |
---|---|---|
物联网PUB-SUB数据发布者 | 2020-05-14 | 315 |
云管理平台与控制器集成方法和系统以及相关模块 | 2020-05-29 | 849 |
一种配置修改的方法及装置 | 2020-06-03 | 542 |
内容分发网络中的部分对象分配 | 2020-06-15 | 598 |
一种数据保全方法和相关系统 | 2020-06-01 | 303 |
一种业务消息处理方法及装置 | 2020-05-31 | 157 |
Processing device having session component with integrated support for message queuing protocol | 2020-06-07 | 156 |
SERVICING DATABASE OPERATIONS USING A MESSAGING SERVER | 2020-06-18 | 937 |
Transformation of common information model messages | 2020-06-08 | 202 |
USING AMQP FOR REPLICATION | 2020-06-16 | 812 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。