自主智能异构数据集成系统及方法
阅读：537发布：2022-07-19
专利汇可以提供自主智能异构数据集成系统及方法专利检索，专利查询，专利分析的服务。并且本 发明 公开一种自主智能异构数据集成系统及方法，其特征在于，该发明利用映射器和 基础 内核 进行的网络异构 数据库 自动探索处理；利用映射器和基础内核进行的网络数据源模型、主机 定位 索引表的创建；利用映射器和基础内核进行的自动化数据结构、数据字典和数据语义映射。本发明提供一种适用于企业、政府、行业、以及 电子 商务所迫切需要的安全、高效、低成本、高可用性，可运行在任何网络环境下的终端产品的自主智能异构数据集成系统及方法。，下面是自主智能异构数据集成系统及方法专利的具体信息内容。
1.一种自主智能异构数据集成系统，该系统是一种在互联网、 局域网和广域网环境中，具有开放性、自主化和智能化的异构数据 探索、数据模型结构分析、数据挖掘、语义分析、及XML数据传输 处理能力的跨网络跨平台异构数据库的数据集成系统，其特征在于， 该系统包括：
一个实现了对象化数据库和多个异构数据库驱动的基础内核，该 内核提供上述装置在异构数据集成处理中的算法、规则、模型、底 层调用和设备管理；
一个连接到上述基础内核的映射器，该映射器实现异构数据集成 处理中的网络数据探索和关系映射处理；
一个连接到上述基础内核的挖掘器，该挖掘器实现异构数据集成 处理中的数据查询引擎、数据挖掘引擎，针对上述映射器的输出结 果-映射图进行网络数据挖掘；
一个连接到上述基础内核的交换器，该交换器针对上述挖掘器的 输出-数据报，进行异构数据集成处理中的数据格式化、通讯连接与 管理，及网络控制和数据传输；
一个连接到上述基础内核的接收器，异构数据集成处理过程中， 该接收器针对网络进行通讯监听、对上述交换器进行应答、数据接 收和数据库数据推入与更新。
2.根据权利要求1所述的自主智能异构数据集成系统，其特征 在于，所述的映射器、挖掘器、交换器和接收器之间是通过数据总 线连接的，以实现数据内部传输，消息交换和共享数据堆栈访问。
3.根据权利要求1所述的自主智能异构数据集成系统，其特征 在于，所述的基础内核包括公共类接口、同步调用器、异步调用器、 文件及数据库服务引擎、网络通讯引擎和网络协议引擎，在基础内 核中的公共类接口实现为一组动态连接库和运行时中间转译服务代 码，由与其直接连接的同步调用器和异步调用器进行运行时调用、 控制和管理。
4.一种自主智能异构数据集成方法，该方法是一种在互联网、 局域网和广域网环境中的异构数据探索、数据模型结构分析、数据 挖掘、语义分析、及XML数据传输的跨网络跨平台异构数据库的数 据集成方法，其特征在于，该方法包括下述步骤：
利用映射器和基础内核进行的网络异构数据库自动探索处理；
利用映射器和基础内核进行的网络数据源模型、主机定位索引表 的创建；
利用映射器和基础内核进行的自动化数据结构、数据字典和数据 语义映射；
利用挖掘器和基础内核进行的针对多个异构数据库跨越网络的 数据挖掘；
利用交换器、接收器和基础内核进行的网络监听数据报并接收数 据，进行对目标数据库的数据插入和数据更新。
技术领域
本发明涉及一种与异构数据集成技术以及数据挖掘技术相关的网络 数据互联技术领域，更具体地涉及一种自主智能异构数据集成系统及方 法。
背景技术
众所周知，互联网、内联网和广域网三网互联提供了覆盖全球的信 息通讯网络，但目前网络只提供了通过以TCP/IP(transmission control protocol/internet protocol，传输控制与网际协议协议)为主的计算设备 和软端口的连接，对各种硬件平台中，不同操作系统之间可以实现文件 级共享，如内联网中的文件、驱动器共享设备等以及在互联网中的FTP (file transfer protocol，文件传输协议)系统。但对于各种数据结构之间 数据对数据的直接互联和集成尚且是一项技术空白。由于历史因素的影 响，截止目前，在网络中存在着保存大量结构化数据的各类型数据库系 统超过30多种，而保存非结构化数据的文件格式已经超过万种。这些 异构数据之间由于缺乏可以相互识别数据的接口和统一的数据表达标 准，因此，虽然置身于全球信息互联网络之中，但却存在着极其严重的 信息孤岛现象。对于构建在广泛信息共享基础上的高效信息运用产生了 极大的阻碍作用。
当前，包括IBM、Oracle等主流数据库厂商和以CA为代表的应用 软件开发商已经对基于三网的分布数据集成技术给予了高度的重视，并 投入相当的力量开发相关软件产品。但目前出现的该类相关软件产品均 为简单的辅助工具软件，不具备开放性、自主性和智能化特征。总结其 主要缺陷有：不开放；不通用；不独立；无智能；不安全；缺乏同时对 内联网、互联网和广域网的支持能力；缺乏自主运行能力。
当前，包括IBM、Oracle等主流数据库厂商和以CA为代表的应用 软件开发商已经对基于三网的分布数据集成技术给予了高度的重视，并 投入相当的力量开发相关软件产品。但目前出现的该类相关软件产品均 为简单的辅助工具软件，不具备开放性、自主性和智能化特征。总结其 主要缺陷有：不开放；不通用；不独立；无智能；不安全；缺乏同时对 内联网、互联网和广域网的支持能力；缺乏自主运行能力。
发明内容
本发明目的是提供一种适用于企业、政府、行业、以及电子商务所 迫切需要的安全、高效、低成本、高可用性，可运行在任何网络环境下 的终端产品的自主智能异构数据集成系统及方法。
本发明是这样实现的：
一种自主智能异构数据集成系统，该系统是一种在互联网、局域网 和广域网环境中，具有开放性、自主化和智能化的异构数据探索、数据 模型结构分析、数据挖掘、语义分析、及XML数据传输处理能力的跨 网络跨平台异构数据库的数据集成系统，该系统包括：
一个实现了对象化数据库和多个异构数据库驱动的基础内核，该内 核提供上述装置在异构数据集成处理中的算法、规则、模型、底层调用 和设备管理；
一个连接到上述基础内核的映射器，该映射器实现异构数据集成处 理中的网络数据探索和关系映射处理；
一个连接到上述基础内核的挖掘器，该挖掘器实现异构数据集成处 理中的数据查询引擎、数据挖掘引擎，针对上述映射器的输出结果-映射 图进行网络数据挖掘；
一个连接到上述基础内核的交换器，该交换器针对上述挖掘器的输 出-数据报，进行异构数据集成处理中的数据格式化、通讯连接与管理， 及网络控制和数据传输；
一个连接到上述基础内核的接收器，异构数据集成处理过程中，该 接收器针对网络进行通讯监听、对上述交换器进行应答、数据接收和数 据库数据推入与更新。
一种自主智能异构数据集成方法，该方法是一种在互联网、局域网 和广域网环境中的异构数据探索、数据模型结构分析、数据挖掘、语义 分析、及XML数据传输的跨网络跨平台异构数据库的数据集成方法， 该方法包括下属步骤：
利用映射器和基础内核进行的网络异构数据库自动探索处理；
基于上述步骤的结果，利用映射器和基础内核进行的网络数据源模 型、主机定位索引表的创建；
基于上述步骤的结果，利用映射器和基础内核进行的自动化数据结 构、数据字典和数据语义映射；
基于上述步骤的结果，利用挖掘器和基础内核进行的针对多个异构 数据库跨越网络的数据挖掘；
基于上述步骤的结果，利用交换器、接收器和基础内核进行的网络 监听数据报并接收数据，进行对目标数据库的数据插入和数据更新。
与现有技术相比较，本发明具备如下优点：开放的体系结构；动态 的应用模型；全面支持三网环境；与应用无关的应用跨平台能力；支持 全部类型数据库的自动、智能数据集成；支持全部类型非结构化字符流 数据结构的自动、智能数据集成。
附图说明
根据下面附图及最佳实施例的描述，本发明的特性和优点将会更加 易于理解。
图1是本发明自主智能异构数据集成系统的总体模块图；
图2-6是图解图1中5个模块的详细模块图；
图7是实现本发明方法的总体步骤流程图；
图8-9是图解图7中自动探索和异构映射的详细步骤流程图。
本发明是这样实现的：
一种自主智能异构数据集成系统，该系统是一种在互联网、局域网 和广域网环境中，具有开放性、自主化和智能化的异构数据探索、数据 模型结构分析、数据挖掘、语义分析、及XML数据传输处理能力的跨 网络跨平台异构数据库的数据集成系统，该系统包括：
一个实现了对象化数据库和多个异构数据库驱动的基础内核，该内 核提供上述装置在异构数据集成处理中的算法、规则、模型、底层调用 和设备管理；
一个连接到上述基础内核的映射器，该映射器实现异构数据集成处 理中的网络数据探索和关系映射处理；
一个连接到上述基础内核的挖掘器，该挖掘器实现异构数据集成处 理中的数据查询引擎、数据挖掘引擎，针对上述映射器的输出结果-映射 图进行网络数据挖掘；
一个连接到上述基础内核的交换器，该交换器针对上述挖掘器的输 出-数据报，进行异构数据集成处理中的数据格式化、通讯连接与管理， 及网络控制和数据传输；
一个连接到上述基础内核的接收器，异构数据集成处理过程中，该 接收器针对网络进行通讯监听、对上述交换器进行应答、数据接收和数 据库数据推入与更新。
一种自主智能异构数据集成方法，该方法是一种在互联网、局域网 和广域网环境中的异构数据探索、数据模型结构分析、数据挖掘、语义 分析、及XML数据传输的跨网络跨平台异构数据库的数据集成方法， 该方法包括下属步骤：
利用映射器和基础内核进行的网络异构数据库自动探索处理；
基于上述步骤的结果，利用映射器和基础内核进行的网络数据源模 型、主机定位索引表的创建；
基于上述步骤的结果，利用映射器和基础内核进行的自动化数据结 构、数据字典和数据语义映射；
基于上述步骤的结果，利用挖掘器和基础内核进行的针对多个异构 数据库跨越网络的数据挖掘；
基于上述步骤的结果，利用交换器、接收器和基础内核进行的网络 监听数据报并接收数据，进行对目标数据库的数据插入和数据更新。
与现有技术相比较，本发明具备如下优点：开放的体系结构；动态 的应用模型；全面支持三网环境；与应用无关的应用跨平台能力；支持 全部类型数据库的自动、智能数据集成；支持全部类型非结构化字符流 数据结构的自动、智能数据集成。
附图说明
根据下面附图及最佳实施例的描述，本发明的特性和优点将会更加 易于理解。
图1是本发明自主智能异构数据集成系统的总体模块图；
图2-6是图解图1中5个模块的详细模块图；
图7是实现本发明方法的总体步骤流程图；
图8-9是图解图7中自动探索和异构映射的详细步骤流程图。
具体实施方式
在图1中，本发明包括基础内核19，和通过基础内核19连接的映射 器20、挖掘器21、交换器22和接收器23。
基础内核19向提供底层计算和服务基础，包括实现一个基本对象化 数据库和多个异构数据库的数据库驱动接口；与其连接的映射器20主 要实现网络数据探索和关系映射；与基础内核19连接的挖掘器21实现 数据查询引擎、数据挖掘引擎；与基础内核19连接的交换器22主要实 现数据格式器、通讯与网络控制器和数据传输器；与基础内核19连接 的接收器23主要实现通讯监听器、应答器、接收器和数据库数据推入 操纵引擎。
映射器20、挖掘器21、交换器22和接收器23之间通过数据总线连 接，主要实现数据内部传输、消息交换和共享数据堆栈访问。
图2更详细地图示了基础内核19的内部模块构造。基础内核19包 括公共类接口24、同步调用器25、异步调用器26、文件及数据库服务 引擎27、网络通讯引擎33和网络协议引擎35。其中，网络协议引擎35 内部组成包括HTIP(hypertext transfer protocol，超文本传输协议)引擎 38、ASP(active server page，动态服务器主页)引擎39、XML引擎40和 消息队列41；网络通讯引擎33内部组成包括通讯驱动器31和TCP/IP 引擎34等网络协议引擎。在基础内核19中的公共类接口24实现为一组 动态连接库和运行时中间转译服务代码，由与其直接连接的同步调用器 25和异步调用器26进行运行时调用、控制和管理。与公共类接口24连 接的文件及数据库服务引擎27提供本地系统级文件和对象化数据库服 务。与公共类接口24连接的通讯协议引擎33提供可基于多种可扩充网 络通讯协议之上的通讯服务、提供不断植入新硬件、设备的驱动软件。 由通讯驱动器31和TCP/IP引擎等多种通讯协议引擎组成。与公共类接 口24连接的网络协议引擎35是在运行时互为客户、服务角色中的精简 中间件服务容器。提供HTTP服务、ASP服务和XML服务40；以及消 息队列服务。上述四项服务分别由组成网络协议引擎35的HTTP引擎 38、ASP引擎39、XML引擎40和消息队列41提供。
图3更详细地图示了映射器20的内部模块构造。映射器20包括SQL (structured query language，结构化查询语言)模型库43、SQL引擎42、 样本映射器53、关系映射器52和抽取映射器51。其中，样本映射器53 内部组成包括数据库探针63、模型管理器62和样本管理器61；关系映 射器52内部组成包括视图管理器60、算法管理器59和连接管理器58； 抽取映射器51内部组成包括模板引擎54、触发器引擎55、字符转换器 56和数据表达器57。
映射器20中的SQL引擎42实现基于关系映射语言的SQL定义、存 储和维护，以及基于SQL标准的分析和创建。与SQL引擎42连接的SQL 模型库43提供SQL模型和对象服务，包括含SQL标准语法库和SQL 标准函数及运算库。与SQL引擎42连接的样本映射器53实现对各种网 络的自动和智能化数据源样本分析、探索、结构创建、维护及采集方案 下载和维护。其中的数据库探针63完成网络数据源自动探索；模型管 理器62完成网络数据源分析和管理；样本管理器61完成样本结构创建、 维护及采集方案的下载和维护。与SQL引擎42连接的关系映射器52针 对样本映射器53的输出(图3中样本映射器53和关系映射器52之间的 连接)实现在数据源样本结构和采样方案结构之间的数据集成关系影 射。其中视图管理器60管理虚拟视图对象；算法管理器59管理SQL算 法对象；连接管理器58管理虚拟视图对象和SQL算法对象之间的传递 连接关系。与SQL引擎42连接的抽取映射器51针对关系映射器52的 输出，实现在已定义表级数据域列关系映射图基础上的记录行行抽取规 则定义。其中的模板引擎54提供模型化预定义抽取规则，利于用户快 速定义和实现在关系映射器52基础上的抽取规则定义；触发器引擎55 实现对动态数据库集成及动态数据抽取规程中向源数据库系统的触发 器代码段植入；字符转换器56实现针对各种数据库系统中国际化字符 集的自动转换；数据表达器57提供可视化的数据库集成结果预浏览及 用于抽取映射器进行自主智能优化的基础数据结构服务。
图4更详细地图示了挖掘器21的内部模块构造。挖掘器21包括多 主机交换引擎64、数据缓冲池65、数据库驱动器77、挖掘触发器76和 挖掘执行器75。其中，数据库驱动器77内部组成包括针对各种主流数 据库系统的驱动接口；挖掘触发器76内部组成包括事件触发器83、倒 数计数器84和手工启动器85；挖掘执行器76内部组成包括挖掘过滤器 82、数据整理器81和过程跟踪器79。
挖掘器21中的主机交换引擎64实现挖掘过程调度、优先级仲裁、 进程管理、面对网络环境的多主机定位、集成流程分析、SQL转译、创 建与部署以及动态共享空间管理。与主机交换引擎64连接的数据驱动 器77向主机交换引擎64提供预定义的多种主流数据库的驱动接口；与 主机交换引擎64连接的挖掘触发器76实现挖掘启动触发模型，提供手 工启动、事务驱动启动和倒计时启动三种不同或混合方式实现挖掘过程 的启动触发。其中的事件触发器83、倒数计数器84和手工启动器85分 别对应和提供上述三种类型的启动触发服务。与主机交换引擎64连接 的挖掘执行器75实现根据采样方案和SQL表达的数据挖掘过程。其中 的挖掘过滤器82实现基于字段内容的复合过滤模型和算法；数据整理 器81实现对挖掘过滤器82中所有投放运行进程的输出，在数据项→数 据行→数据表→结果集分别4个数据级别上的整理、加工；过程跟踪器 79实现基于挖掘进程的过程内容暴露，以图形化方式提供挖掘结构和挖 掘结论。
图5更详细地图示了交换器22的内部模块构造。交换器22包括传 输与交换引擎86、格式器95、加密器96、压缩器97、投递器99、认证 服务器94和握手器95。
图6更详细地图示了接收器23的内部模块构造。交换器22包括侦 听引擎110、格式器115、解密器116、解缩器117、监听器119、缓冲数 据库114和植入器118。
图7说明了本发明方法的全过程步骤顺序。
在步骤101中，由基础内核19与映射器20进行网络异构数据库的 自动探索处理；创建指定网络环境下的数据源模型、主机定位索引表， 并为后续的步骤102提供网络异构数据映射的基础和模型参数。
在步骤102中，由映射器20和挖掘器21在步骤101输出模型和参 数的基础上，进行自动化的数据结构、数据字典和数据语义的映射，生 成提供在后续步骤103数据挖掘中进行数据挖掘与抽取的执行指令。
在步骤103中，由挖掘器21在步骤102输出挖掘与抽取执行指令的 前提下，进行针对多个异构数据库跨越网络的数据挖掘，生成待传数据 报。
在步骤104中，由交换器22接受步骤102的输出，进行打包，加密， 压缩等一系列处理后，由接收器23通过网络监听机制对网络上的数据 报进行侦测和接受并最终完成对目标数据库的数据插入和更新。
图8更深入地说明了图7中步骤101的详细图解步骤顺序。
由步骤301装载协议、获取MaskIP(mask internet protocol address，互 联网地址掩码)、自动验证内网通讯状态、网络区域甄测以及初始化网 络通讯链路；之后，由步骤302在内存区中创建主机探索队列和指针索 引，完成对目标数据库探索堆栈的初始化；由单一进程投入步骤303， 锁定每一个主机探索队列中的地址，首先完成对其所运行的操作系统类 型和相关运行、配置参数的自动探索；根据某一操作系统类型(例如 Windows和UNIX等，后续处理步骤将有所不同)，在步骤304中由单一 进程装载操作系统服务模型(来自智能信息泵内置模型库，功能服务以 开放式插件的形式实现)，并根据装载的操作系统服务模型扫描服务端 口；步骤305是对每一个捕捉到的端口进行与数据库服务模型的自动比 对；通过步骤306判断是否在某主机某端口上捕捉到与某数据库服务模 型相匹配的服务；如果是，则由步骤307将捕捉参数写入目标数据库探 索堆栈；如果否，则由步骤308测试指针到底；在本世纪内09步骤中判 断是否到底；如果否，则表明仍然存在尚未进行比对的数据库服务模型， 此时，将交由步骤305进行继续的探测；如果是，则通过步骤310完成 堆栈向队列的转移，为后续的扫描每一个已探明数据库服务内部具体数 据对象的步骤完成队列的初始化等处理；从312至316的5个步骤为并 行线程的多任务处理方式，由步骤311首先完成对并行线程的管理控制 器的创建，并同时建立扫描参数共享内存，该共享内存将实现并行线程 之间的动态数据交互和通讯；步骤312启动某线程进行针对队列中的某 数据库服务的内部数据实例的探测；结果通过共享内存通讯提交另外一 线程通过步骤313完成与数据库探索模型库中对象的验证；步骤314进 行判断，如果不匹配，则通过步骤315写入共享内存适当的描述数据结 构，如果匹配则直接进入步骤316测试队列指针，如果尚未达到队列尾 端，则将控制权交回步骤313，定位和检测其他数据模型对象；如果已 经达到队列尾端，则进入步骤317，结束并行线程，回收资源，控制器 等候全部线程的返回；一旦全部返回，在步骤318中，由控制器完成根 据已经生成在共享内存中的贡献内存数据结构，写入或刷新系统的数据 库探索模型库。
图9更深入地说明了图7中步骤102的详细图解步骤顺序。
图9说明了根据本发明的，用映射器20所进行的网络异构数据关系 模型映射的图解步骤顺序。在步骤351中，映射器根据接收器23所发送 来的响应，自动动态装载接收器23推入共享内存的挖掘映射目标模型， 并对历史结论样本进行比对；在步骤352中判定是否与历史匹配，对匹 配的部分由公共接口调用内核进行对装载井的刷新处理，并直接在步骤 354中结束；对存在的不匹配部分或全部，在步骤355中初始化关系映 射工作区，建立前趋索引树结构；随后，一方面在步骤356中交由公共 接口进行重新挖掘装载井处理并于步骤357中结束；另一方面，在步骤 358中根据挖掘映射需求和前趋索引树，创建或装载现行的离散关系映 射规则树；在步骤359中，映射器20进行对挖掘映射目标的解析，并分 离离散挖掘映射主题，在共享内存中建立离散主题；在步骤360中，映 射器20创建与离散主题相对应的多线程并发管理控制器；在步骤361 中，由多线程并发管理控制器创建与各个离散主题相对应的处理线程， 进行主题线程离散规则挖掘映射；在步骤362中，判别是否成功形成主 题映射结论，如果成功，则在步骤364中回收线程，合并规则，并完成 对各个主题挖掘映射的动态集成；在步骤365中，映射器20根据集成映 射结论，配发算法、函数模型对象，生成可记录的实例化挖掘映射模型； 在步骤366中，映射器完成对挖掘映射模型的茅化，在数据库源中植入 映射茅；在步骤367中，根据茅化后的挖掘映射模型，由映射器调用公 共接口中的内核服务，进行预数据挖掘抽取，在硬盘设备中创建本地数 据库结构数据抽取集合；在步骤368中，对预抽取的数据集合进行实现 性分析，是否满足以及在何程度上满足挖掘需求；在步骤369中，进行 性能和效率分析，并完成针对实现性和性能的主动优化；经过n次迭代 后在步骤370中，配装载井并进行数据存储处理，同时对数据挖掘的需 求设备主动进行汇报应答。
应当理解前面只是图解本发明的原理，本领域的技术人员在不脱离 本发明的范围和本质的情况下可以进行各种修改。
基础内核19向提供底层计算和服务基础，包括实现一个基本对象化 数据库和多个异构数据库的数据库驱动接口；与其连接的映射器20主 要实现网络数据探索和关系映射；与基础内核19连接的挖掘器21实现 数据查询引擎、数据挖掘引擎；与基础内核19连接的交换器22主要实 现数据格式器、通讯与网络控制器和数据传输器；与基础内核19连接 的接收器23主要实现通讯监听器、应答器、接收器和数据库数据推入 操纵引擎。
映射器20、挖掘器21、交换器22和接收器23之间通过数据总线连 接，主要实现数据内部传输、消息交换和共享数据堆栈访问。
图2更详细地图示了基础内核19的内部模块构造。基础内核19包 括公共类接口24、同步调用器25、异步调用器26、文件及数据库服务 引擎27、网络通讯引擎33和网络协议引擎35。其中，网络协议引擎35 内部组成包括HTIP(hypertext transfer protocol，超文本传输协议)引擎 38、ASP(active server page，动态服务器主页)引擎39、XML引擎40和 消息队列41；网络通讯引擎33内部组成包括通讯驱动器31和TCP/IP 引擎34等网络协议引擎。在基础内核19中的公共类接口24实现为一组 动态连接库和运行时中间转译服务代码，由与其直接连接的同步调用器 25和异步调用器26进行运行时调用、控制和管理。与公共类接口24连 接的文件及数据库服务引擎27提供本地系统级文件和对象化数据库服 务。与公共类接口24连接的通讯协议引擎33提供可基于多种可扩充网 络通讯协议之上的通讯服务、提供不断植入新硬件、设备的驱动软件。 由通讯驱动器31和TCP/IP引擎等多种通讯协议引擎组成。与公共类接 口24连接的网络协议引擎35是在运行时互为客户、服务角色中的精简 中间件服务容器。提供HTTP服务、ASP服务和XML服务40；以及消 息队列服务。上述四项服务分别由组成网络协议引擎35的HTTP引擎 38、ASP引擎39、XML引擎40和消息队列41提供。
图3更详细地图示了映射器20的内部模块构造。映射器20包括SQL (structured query language，结构化查询语言)模型库43、SQL引擎42、 样本映射器53、关系映射器52和抽取映射器51。其中，样本映射器53 内部组成包括数据库探针63、模型管理器62和样本管理器61；关系映 射器52内部组成包括视图管理器60、算法管理器59和连接管理器58； 抽取映射器51内部组成包括模板引擎54、触发器引擎55、字符转换器 56和数据表达器57。
映射器20中的SQL引擎42实现基于关系映射语言的SQL定义、存 储和维护，以及基于SQL标准的分析和创建。与SQL引擎42连接的SQL 模型库43提供SQL模型和对象服务，包括含SQL标准语法库和SQL 标准函数及运算库。与SQL引擎42连接的样本映射器53实现对各种网 络的自动和智能化数据源样本分析、探索、结构创建、维护及采集方案 下载和维护。其中的数据库探针63完成网络数据源自动探索；模型管 理器62完成网络数据源分析和管理；样本管理器61完成样本结构创建、 维护及采集方案的下载和维护。与SQL引擎42连接的关系映射器52针 对样本映射器53的输出(图3中样本映射器53和关系映射器52之间的 连接)实现在数据源样本结构和采样方案结构之间的数据集成关系影 射。其中视图管理器60管理虚拟视图对象；算法管理器59管理SQL算 法对象；连接管理器58管理虚拟视图对象和SQL算法对象之间的传递 连接关系。与SQL引擎42连接的抽取映射器51针对关系映射器52的 输出，实现在已定义表级数据域列关系映射图基础上的记录行行抽取规 则定义。其中的模板引擎54提供模型化预定义抽取规则，利于用户快 速定义和实现在关系映射器52基础上的抽取规则定义；触发器引擎55 实现对动态数据库集成及动态数据抽取规程中向源数据库系统的触发 器代码段植入；字符转换器56实现针对各种数据库系统中国际化字符 集的自动转换；数据表达器57提供可视化的数据库集成结果预浏览及 用于抽取映射器进行自主智能优化的基础数据结构服务。
图4更详细地图示了挖掘器21的内部模块构造。挖掘器21包括多 主机交换引擎64、数据缓冲池65、数据库驱动器77、挖掘触发器76和 挖掘执行器75。其中，数据库驱动器77内部组成包括针对各种主流数 据库系统的驱动接口；挖掘触发器76内部组成包括事件触发器83、倒 数计数器84和手工启动器85；挖掘执行器76内部组成包括挖掘过滤器 82、数据整理器81和过程跟踪器79。
挖掘器21中的主机交换引擎64实现挖掘过程调度、优先级仲裁、 进程管理、面对网络环境的多主机定位、集成流程分析、SQL转译、创 建与部署以及动态共享空间管理。与主机交换引擎64连接的数据驱动 器77向主机交换引擎64提供预定义的多种主流数据库的驱动接口；与 主机交换引擎64连接的挖掘触发器76实现挖掘启动触发模型，提供手 工启动、事务驱动启动和倒计时启动三种不同或混合方式实现挖掘过程 的启动触发。其中的事件触发器83、倒数计数器84和手工启动器85分 别对应和提供上述三种类型的启动触发服务。与主机交换引擎64连接 的挖掘执行器75实现根据采样方案和SQL表达的数据挖掘过程。其中 的挖掘过滤器82实现基于字段内容的复合过滤模型和算法；数据整理 器81实现对挖掘过滤器82中所有投放运行进程的输出，在数据项→数 据行→数据表→结果集分别4个数据级别上的整理、加工；过程跟踪器 79实现基于挖掘进程的过程内容暴露，以图形化方式提供挖掘结构和挖 掘结论。
图5更详细地图示了交换器22的内部模块构造。交换器22包括传 输与交换引擎86、格式器95、加密器96、压缩器97、投递器99、认证 服务器94和握手器95。
图6更详细地图示了接收器23的内部模块构造。交换器22包括侦 听引擎110、格式器115、解密器116、解缩器117、监听器119、缓冲数 据库114和植入器118。
图7说明了本发明方法的全过程步骤顺序。
在步骤101中，由基础内核19与映射器20进行网络异构数据库的 自动探索处理；创建指定网络环境下的数据源模型、主机定位索引表， 并为后续的步骤102提供网络异构数据映射的基础和模型参数。
在步骤102中，由映射器20和挖掘器21在步骤101输出模型和参 数的基础上，进行自动化的数据结构、数据字典和数据语义的映射，生 成提供在后续步骤103数据挖掘中进行数据挖掘与抽取的执行指令。
在步骤103中，由挖掘器21在步骤102输出挖掘与抽取执行指令的 前提下，进行针对多个异构数据库跨越网络的数据挖掘，生成待传数据 报。
在步骤104中，由交换器22接受步骤102的输出，进行打包，加密， 压缩等一系列处理后，由接收器23通过网络监听机制对网络上的数据 报进行侦测和接受并最终完成对目标数据库的数据插入和更新。
图8更深入地说明了图7中步骤101的详细图解步骤顺序。
由步骤301装载协议、获取MaskIP(mask internet protocol address，互 联网地址掩码)、自动验证内网通讯状态、网络区域甄测以及初始化网 络通讯链路；之后，由步骤302在内存区中创建主机探索队列和指针索 引，完成对目标数据库探索堆栈的初始化；由单一进程投入步骤303， 锁定每一个主机探索队列中的地址，首先完成对其所运行的操作系统类 型和相关运行、配置参数的自动探索；根据某一操作系统类型(例如 Windows和UNIX等，后续处理步骤将有所不同)，在步骤304中由单一 进程装载操作系统服务模型(来自智能信息泵内置模型库，功能服务以 开放式插件的形式实现)，并根据装载的操作系统服务模型扫描服务端 口；步骤305是对每一个捕捉到的端口进行与数据库服务模型的自动比 对；通过步骤306判断是否在某主机某端口上捕捉到与某数据库服务模 型相匹配的服务；如果是，则由步骤307将捕捉参数写入目标数据库探 索堆栈；如果否，则由步骤308测试指针到底；在本世纪内09步骤中判 断是否到底；如果否，则表明仍然存在尚未进行比对的数据库服务模型， 此时，将交由步骤305进行继续的探测；如果是，则通过步骤310完成 堆栈向队列的转移，为后续的扫描每一个已探明数据库服务内部具体数 据对象的步骤完成队列的初始化等处理；从312至316的5个步骤为并 行线程的多任务处理方式，由步骤311首先完成对并行线程的管理控制 器的创建，并同时建立扫描参数共享内存，该共享内存将实现并行线程 之间的动态数据交互和通讯；步骤312启动某线程进行针对队列中的某 数据库服务的内部数据实例的探测；结果通过共享内存通讯提交另外一 线程通过步骤313完成与数据库探索模型库中对象的验证；步骤314进 行判断，如果不匹配，则通过步骤315写入共享内存适当的描述数据结 构，如果匹配则直接进入步骤316测试队列指针，如果尚未达到队列尾 端，则将控制权交回步骤313，定位和检测其他数据模型对象；如果已 经达到队列尾端，则进入步骤317，结束并行线程，回收资源，控制器 等候全部线程的返回；一旦全部返回，在步骤318中，由控制器完成根 据已经生成在共享内存中的贡献内存数据结构，写入或刷新系统的数据 库探索模型库。
图9更深入地说明了图7中步骤102的详细图解步骤顺序。
图9说明了根据本发明的，用映射器20所进行的网络异构数据关系 模型映射的图解步骤顺序。在步骤351中，映射器根据接收器23所发送 来的响应，自动动态装载接收器23推入共享内存的挖掘映射目标模型， 并对历史结论样本进行比对；在步骤352中判定是否与历史匹配，对匹 配的部分由公共接口调用内核进行对装载井的刷新处理，并直接在步骤 354中结束；对存在的不匹配部分或全部，在步骤355中初始化关系映 射工作区，建立前趋索引树结构；随后，一方面在步骤356中交由公共 接口进行重新挖掘装载井处理并于步骤357中结束；另一方面，在步骤 358中根据挖掘映射需求和前趋索引树，创建或装载现行的离散关系映 射规则树；在步骤359中，映射器20进行对挖掘映射目标的解析，并分 离离散挖掘映射主题，在共享内存中建立离散主题；在步骤360中，映 射器20创建与离散主题相对应的多线程并发管理控制器；在步骤361 中，由多线程并发管理控制器创建与各个离散主题相对应的处理线程， 进行主题线程离散规则挖掘映射；在步骤362中，判别是否成功形成主 题映射结论，如果成功，则在步骤364中回收线程，合并规则，并完成 对各个主题挖掘映射的动态集成；在步骤365中，映射器20根据集成映 射结论，配发算法、函数模型对象，生成可记录的实例化挖掘映射模型； 在步骤366中，映射器完成对挖掘映射模型的茅化，在数据库源中植入 映射茅；在步骤367中，根据茅化后的挖掘映射模型，由映射器调用公 共接口中的内核服务，进行预数据挖掘抽取，在硬盘设备中创建本地数 据库结构数据抽取集合；在步骤368中，对预抽取的数据集合进行实现 性分析，是否满足以及在何程度上满足挖掘需求；在步骤369中，进行 性能和效率分析，并完成针对实现性和性能的主动优化；经过n次迭代 后在步骤370中，配装载井并进行数据存储处理，同时对数据挖掘的需 求设备主动进行汇报应答。
应当理解前面只是图解本发明的原理，本领域的技术人员在不脱离 本发明的范围和本质的情况下可以进行各种修改。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种基于云计算的机房环境智能调节系统 | 2020-05-11 | 392 |
| 一种健身管理开放平台 | 2020-05-08 | 883 |
| 一种动态选择广告商的智能移动广告系统 | 2020-05-08 | 845 |
| 一种美丽乡村智慧服务系统及信息终端 | 2020-05-11 | 530 |
| 基于Hadoop体系架构的视图库系统及其构建方法 | 2020-05-11 | 214 |
| 一种教室智能照明管理系统 | 2020-05-12 | 106 |
| 一种会议设备管控方法、系统及存储介质 | 2020-05-08 | 1020 |
| 基于即时通讯的行动护理信息系统 | 2020-05-08 | 132 |
| 一种智慧城市综合管理指挥系统 | 2020-05-08 | 558 |
| 基于物联网的低压配电网云平台 | 2020-05-13 | 248 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈