技术领域
[0001] 本
发明属于信息系统集成技术领域，具体涉及一种数据信息扫描同步系统及方法。
背景技术
[0002] 信息系统集成通常有
接口编程、落地文件集成、数据集成、界面集成等多种方式。通常信息系统集成需要对产生信息的上游信息系统和接收信息的下游信息系统进行改造，比如
修改增加数据获取和推送接口，建立DBLink
数据库链接等技术手段。但对于企业内一些基于成熟产品的信息系统的集成而言，则由于产品技术架构的复杂度，难以开展技术改造工作，此时可以使用数据提取、转换、装载等工具进行数据层的集成，但使用工具集成，对于上游信息系统的数据存储格式有非常严格的要求，并且采用数据层的集成通常不是实时的，对于连贯要求较高的应用场景难以满足。
[0003] 现有的数据信息同步系统及方法通常是面向文件级别的数据同步，无法实现从数据库和数据文件实时同步到下游信息系统的结构化数据存储中；面向结构化数据的信息同步通常对数据的格式化要求比较高，并且难以做到实时同步。
[0004] 适用范围：上游信息系统无法进行改造，下游信息系统具有写入功能。
发明内容
[0005] 本发明的目的：
[0006] 本发明针对现有信息同步扫描同步方法在通用性和实时性方面的不足，提出了一种采用数据扫描、数据分析、信息推送装置，实现信息系统数据层集成的方法。
[0007] 本发明的技术方案：
[0008] 一种数据信息扫描同步系统及方法，其特征在于无需对产生和管理数据的上游信息系统和使用数据的下游信息系统进行改造，通过搭建信息扫描同步系统，获取和识别上游信息系统的数据变化，并以低代价和高效率的方式对数据进行分析后写入下游信息系统，实现了信息流的单向、稳定、及时的推送。
[0009] 本发明的技术方案包括在上游信息系统和下游信息系统之间独立搭建信息扫描同步系统，在信息扫描同步系统中设置数据扫描装置、数据
属性信息数据库、数据内容分析装置、数据内容分析规则库、数据信息同步装置。并将数据扫描装置的数据源设置为上游信息系统的数据存储，将数据同步装置的输出点设置为下游信息系统数据接口，并根据上游信息系统数据存储中数据的信息构成特征，设置数据内容分析规则库。上述同步系统中，数据扫描装置、数据信息同步装置、数据内容分析装置可以根据数据同步量，采取单机或分布式部署；当采用分布式部署时，数据内容分析装置可部署多个
节点。
[0010] 数据属性信息数据库以行存储方式存放上游信息系统数据的数据资源标识、数据更新时间标识、数据分析状态标识、数据同步状态标识、数据信息属性集。
[0011] 数据内容分析规则库用于匹配数据内容中的数据信息，每条匹配规则对应一个信息字段，以及该信息字段在数据内容中的匹配特性和提取方法。
[0012] 数据扫描装置用于周期的扫描上游信息系统数据存储，获取数据清单，根据上游信息系统数据存储中数据的数据更新时间标识信息，以及数据属性信息数据库中的已有数据属性信息，过滤得到增量的数据属性清单，并写入到数据属性信息数据库。具体工作特征如下述过程：
[0013] (1)开始第n个扫描周期，记录当前时间T(n)；
[0014] (2)遍历上游信息系统数据存储，获取数据文件清单DL，根据数据源类型建立数据资源标识，并获取每个数据的最后更改时间，具体为文件的更改时间或数据库条目的最后更改时间属性；
[0015] (3)对步骤(2)所述的数据文件清单DL进行筛选，将最后更改时间晚于上个扫描周期开始时间T(n-1)的数据筛选出，得到最新更改数据文件清单NDL；
[0016] (4)从数据属性信息数据库中，按照最后更改时间属性晚于T(n-1)的条件取出上周期增量数据文件清单LADL，将步骤3)所述的最新更改数据文件清单NDL与上周期增量数据文件清单LADL进行对比，从最新更改数据文件清单NDL中去除已经存在于上周期增量数据文件清单LADL的数据，得到本周期增量数据清单CADL；
[0017] (5)对步骤4)所述的本周期增量数据文件清单CADL中的每一条数据D(i)，根据数据资源标识值，在数据属性信息数据库中进行查询，得到数据属性信息结果集CQ(i)；
[0018] (6)如果步骤(5)所述的数据属性信息结果集CQ(i)不为空，则执行步骤(8)；否则，执行步骤(7)；
[0019] (7)将数据D(i)的数据资源标识、最后更改时间写入数据属性信息数据库中,与之对应的数据分析状态标识、数据同步状态标识、数据信息属性集均为空；
[0020] (8)如果CADL的遍历未完成，则回到步骤(5)继续执行；如果对CADL的遍历结束，则返回步骤(1)开始下个执行周期，继续执行。采用上述执行步骤，扫描周期的执行效率可以达到最优。
[0021] 数据内容分析装置用于周期性的根据数据分析状态标识过滤得到待分析的数据清单，对于清单中的每一行，根据数据资源标识获取数据内容，对获取到的数据内容按照数据内容分析规则库提供的匹配规则进行分析，得到数据信息，将数据信息写入数据信息属性集，更新数据分析状态标识。具体工作特征如下述过程：
[0022] (1)开始分析周期；
[0023] (2)按照数据分析状态标识为空的条件，在数据属性信息数据库中进行查询，得到数据属性信息查询结果集CQUA；
[0024] (3)对于CQUA的每一行L(i)，根据数据资源标识，到上游信息系统数据存储中读取数据L-DATA(i)；
[0025] (4)检查数据L-DATA(i)是否完整，如果L-DATA(i)不完整，跳过L(i)，返回步骤3)处理下一条；如果L-DATA(i)完整，则读取数据内容分析规则库，得到规则清单RL；
[0026] (5)对于规则清单RL中的每一条R(i)，读取其字段F(i)，匹配表达式Exp(i)，将Exp(i)应用于L-DATA(i)，如果匹配成功得到信息数据FD(i)，则在L(i)的数据信息属性集中增加一段(F(i),FD(i))的键值对属性记录，如果Exp(i)应用于L-DATA(i)未能匹配到任何信息，则跳过R(i)；
[0027] (6)在步骤5)中对规则清单RL的遍历结束后，将L(i)的数据分析状态标识置为非空，之后将L(i)数据分析状态标识和数据信息属性集写回数据属性信息数据库，返回步骤3)处理下一条；
[0028] (7)在步骤3)至步骤6)中对数据属性信息查询结果集CQUA的遍历结束后，回到步骤1)开始下一个分析周期。
[0029] 数据信息同步装置用于周期性的将数据信息属性集写入下游信息系统的数据接口，写入成功则更新数据同步状态标识。具体工作特征如下述过程：
[0030] (1)开始数据同步周期；
[0031] (2)按照数据分析状态标识为非空，且数据同步状态标识为空的条件，在数据属性信息数据库中进行查询，得到数据属性信息查询结果集CQTA；
[0032] (3)对于CQTA的每一行LT(i)，将其数据信息属性集按照下游信息系统数据接口所要求的格式进行格式化，并写入下游信息系统数据接口；
[0033] (4)如果步骤3)所述的写入成功，则将LT(i)的数据同步状态标识置为非空，并写回数据属性信息数据库；否则跳过LT(i)；
[0034] (5)在步骤3)至步骤4)中对数据属性信息查询结果集CQTA的遍历结束后，回到步骤1)开始下一个数据同步周期。
[0035] 本发明的有益效果：本发明无需对产生和管理数据的上游信息系统和使用数据的下游信息系统进行改造，通过搭建信息扫描同步系统，获取和识别上游信息系统的数据变化，并以低代价和高效率的方式对数据进行分析后写入下游信息系统，实现了信息流的单向、稳定、及时的推送。本发明为信息系统的单向信息流集成提供了一种可靠系统及方法，减少了信息系统集成时的实施难度，并为无法改造的信息系统间的集成提供了一种可行方法。
附图说明
[0036] 图1为数据信息扫描同步系统，
[0038] 图3为数据内容分析装置工作流程图，
[0039] 图4为数据信息同步装置工作流程图。
具体实施方式
[0040] 实施方式1：
[0041] 本实施方式为一种在
服务器采取分布式部署系统的方式，包括在搭建事务型数据库和部署系统服务。系统由数据扫描服务、数据信息同步服务、数据内容分析服务、存储数据属性信息的关系型数据库实例、存储数据内容分析规则的文档型数据库。由于数据内容分析运算量较大，将数据内容分析服务和数据内容分析规则数据库部署到一台服务器，将数据扫描服务、数据信息同步服务、数据属性信息数据库部署到一台服务器。
[0042] 数据扫描服务的扫描数据源配置为上游信息系统的文件系统，将数据同步服务的输出点设置为下游信息系统的数据库，根据上游信息系统的文件格式，编写匹配表达式，并存入数据内容分析规则数据库。
[0043] 其中：
[0044] 数据属性信息数据库为关系型数据库，建立数据属性信息表，包括：数据资源标识列、数据更新时间列、数据分析状态列(默认为0)、数据同步状态列(默认为0)；建立数据信息表，包括：数据资源标识列(以数据属性信息表的数据资源标识列为外键)、数据信息字段名、数据信息字段值。
[0045] 数据内容分析规则数据库为文档型数据库，每条数据库记录包含字段名称，以及匹配表达式，匹配表达式为文本型，基于正则表达式。在实施信息扫描同步系统时，根据上游信息系统数据的格式编写匹配表达式，并配置到数据内容分析规则数据库中。
[0046] 数据扫描服务为一个周期运行的
操作系统服务程序，部署在分时操作系统中。将数据扫描服务的扫描目录配置为上游信息系统的文件存储目录，以便周期的扫描上游信息系统文件存储，获取数据文件清单，根据上游信息系统文件存储目录中的数据文件最后更新时间，以及数据属性信息数据库中的已有数据属性信息的数据更新时间列，过滤得到增量的文件属性清单，并写入到数据属性信息数据库。
[0047] 数据扫描服务以操作系统服务
框架进行编程，在后台服务中循环执行扫描过程，每个循环周期按照如下过程进行编程：
[0048] (1)开始第n个扫描周期，记录当前时间T(n)；
[0049] (2)遍历上游信息系统文件存储目录，获取文件清单DL，根据建立以文件路径为标识的文件数据源标识，并获取每个文件的最后更改时间；
[0050] (3)对步骤(2)所述的文件清单DL进行筛选，将DL中文件最后更改时间晚于上个扫描周期开始时间T(n-1)的文件筛选出，得到最新更改文件清单NDL；
[0051] (4)从数据属性信息数据库中，按照最后更改时间属性晚于T(n-1)的条件取出上周期增量数据清单LADL，将步骤3)所述的文件清单NDL与上周期增量数据清单LADL进行对比，从NDL中去除已经存在于LADL的数据，得到本周期增量文件清单CADL。
[0052] (5)对步骤4)所述的本周期增量文件清单CADL中的每一条文件信息数据D(i)，根据数据资源标识值，在数据属性信息数据库中进行查询，得到数据属性信息结果集CQ(i)；
[0053] (6)如果步骤(5)所述的数据属性信息结果集CQ(i)为空，则执行步骤(8)；否则，执行步骤(7)；
[0054] (7)将文件信息数据D(i)的数据资源标识、最后更改时间写入数据属性信息数据库中的新行,新行的数据分析状态标识、数据同步状态标识、数据信息属性集均为默认值；
[0055] (8)如果本周期增量文件清单CADL的遍历未完成，则回到步骤(5)继续执行；如果对本周期增量文件清单CADL的遍历结束，则返回步骤(1)开始下个执行周期，继续执行。
[0056] 数据内容分析服务与部署于数据内容分析规则数据库部署于同一个服务器，用于周期性的根据数据分析状态标识过滤得到待分析的数据清单，对于清单中的每一行，根据数据资源标识获取数据内容，对获取到的数据内容按照数据内容分析规则库提供的匹配规则进行分析，得到数据信息，将数据信息写入数据信息属性集，更新数据分析状态标识。
[0057] 数据内容分析服务以操作系统服务框架进行编程，在后台服务中循环执行分析过程，每个循环周期按照如下过程进行编程：
[0058] (1)开始分析周期；
[0059] (2)按照数据分析状态标识为空的条件，在数据属性信息数据库中进行查询，得到数据属性信息查询结果集CQUA；
[0060] (3)对于数据属性信息查询结果集CQUA的每一行数据属性信息L(i)，根据数据资源标识得到数据文件在上游信息系统文件目录中的路径，依此到上游信息系统数据文件系统中读取文件内容L-DATA(i)；
[0061] (4)检查文件内容L-DATA(i)是否完整，如果文件内容L-DATA(i)不完整，跳过数据属性信息L(i)，返回步骤3)处理下一条；如果文件内容L-DATA(i)完整，则读取数据内容分析规则数据库，得到规则清单RL；
[0062] (5)对于规则清单RL中的每一条规则R(i)，读取其字段名称F(i)，匹配表达式Exp(i)，将匹配表达式Exp(i)应用于文件内容L-DATA(i)，如果匹配成功得到信息数据FD(i)，则在数据属性信息L(i)的数据信息属性集中增加一段(F(i),FD(i))的键值对属性记录，如果匹配表达式Exp(i)应用于文件内容L-DATA(i)未能匹配到任何信息，则跳过本条规则R(i)；
[0063] (6)在步骤5)中对规则清单RL的遍历结束后，将数据属性信息L(i)的数据分析状态标识置为1，之后将数据属性信息L(i)的数据分析状态标识和数据信息属性集写回数据属性信息数据库，返回步骤3)处理下一条；
[0064] (7)在步骤3)至步骤6)中对数据属性信息查询结果集CQUA的遍历结束后，回到步骤1)开始下一个分析周期；
[0065] 数据信息同步服务为一个周期运行的操作系统服务程序，部署在分时操作系统中。用于周期性的将数据信息属性集写入下游信息系统的数据接口，写入成功则更新数据同步状态标识。
[0066] 数据信息同步服务以操作系统服务框架进行编程，在后台服务中循环执行分析过程，每个循环周期按照如下过程进行编程：
[0067] (1)开始数据同步周期；
[0068] (2)按照数据分析状态标识为非空，且数据同步状态标识为空的条件，在数据属性信息数据库的数据信息表中进行查询，得到数据属性信息查询结果集CQTA；
[0069] (3)对于数据属性信息查询结果集CQTA的每一行数据属性信息LT(i)，将其数据信息属性集按照下游信息系统数据接口所要求的格式进行格式化，并写入下游信息系统数据接口；
[0070] (4)如果步骤3)所述的写入成功，则将第i条数据属性信息LT(i)的数据同步状态标识置为非空，并写回数据属性信息数据库；否则跳过第i条数据属性信息LT(i)；
[0071] (5)在步骤3)至步骤4)中对数据属性信息查询结果集CQTA的遍历结束后，回到步骤1)开始下一个数据同步周期；
[0073] 本实施例是某科技企业的两个信息系统进行单向数据集成的案例；上游信息系统为技术文件审签系统，为国外成熟
软件产品，无法进行软件改造，且数据库结构较复杂，无法采用基于数据库的信息提取，下游为数据档案管理系统，为国产软件，也无法进行改造，但数据库结构较简单，可作写入用。上游信息系统的技术文件审签系统，每个被审签的技术文件及其审签状态，以文件形式存放在技术文件审签系统的服务器上。
[0074] 在本实施例中，通过在技术文件审签系统和数据档案管理系统之间部署信息扫描同步系统，解决了技术文件审签状态同步到数据档案管理系统的问题。
[0075] 在本实施例中，系统的具体部署如下：
[0076] 数据属性信息数据库为MS Sql Server数据库，建立数据属性信息表DataSourceInfo，包括：数据资源标识列(dataUrl)、数据更新时间列(LastModifiedTime)、数据分析状态列(parseStatus，默认为0)、数据同步状态列(syncStatus,默认为0)；建立数据信息表DataInfo，包括：数据资源标识列(dataUrl,以DataSourceInfo的dataUrl列为外键)、数据信息字段名(fieldName)、数据信息字段值(fieldValue)。
[0077] 数据内容分析规则数据库为MongoDB数据库，每条数据库记录包含字段名称(fieldName)，以及匹配表达式(Expression)，匹配表达式为文本型，基于正则表达式。在实施信息扫描同步系统时，根据上游信息系统的技术文件审签系统中，对于数据审批状态的日志格式，在数据库中配置了一组字段和匹配表达式的结果如下:
[0078] (filename,"object\s{value}\sauthorized\sby.*")，
[0079] (authorizer,"object.*authrized\sby\s{value}\s\@.*")
[0080] (authorizeTime,"object.*authrized\sby.*\@{value}$")
[0081] 具体使用时，对每个技术文件审签流程实例文件夹下的日志文件内容进行多行模式匹配，首先将{value}视作.*
通配符对文件内容进行匹配，得到匹配串，其次对匹配串进行后续处理，将{value}的前后均作为正则表达式，对匹配串进行前向去余和后向去余，最终得到被提取的值。
[0082] 数据扫描服务部署于Windows服务器，以C#编写，以Timer驱动而周期性运行，可以配置其扫描的目标目录。将数据扫描服务的扫描目录配置为技术文件审签系统的文件存储目录，以便周期的扫描技术文件审签流程实例文件夹，获取文件审签流程实例清单，根据技术文件审签流程实例文件夹的最后更新时间，以及数据属性信息数据库中DataSourceInfo表中的LastModifiedTime列，过滤得到增量的文件审签流程实例清单，并写入到数据属性信息数据库中。
[0083] 数据扫描服务执行逻辑如下：
[0084] (1)开始ProcessScan过程，将当前T(n)赋值给T(n-1)，将当前时间赋值给T(n)；
[0085] (2)遍历技术文件审签系统的文件存储目录，获取文件清单DL，根据建立数据源标识如“file://{directory_path}/{instancename}”，并获取每个文件夹的最后更改时间；
[0086] (3)对步骤(2)所述的文件清单DL进行筛选，将DL中文件最后更改时间晚于T(n-1)的文件筛选出，得到最新更改文件清单NDL；
[0087] (4)从数据属性信息数据库中，按照最后更改时间属性晚于T(n-1)的条件取出上周期增量数据清单LADL，将步骤3)所述的文件清单NDL与上周期增量数据清单LADL进行对比，从NDL中去除已经存在于LADL的数据，得到本周期增量文件清单CADL。
[0088] (5)对步骤4)所述的本周期增量文件清单CADL中的每一条文件信息数据D(i)，根据数据资源标识值，在数据属性信息数据库中进行查询，得到数据属性信息结果集CQ(i)；
[0089] (6)如果步骤(5)所述的数据属性信息结果集CQ(i)为空，则执行步骤(8)；否则，执行步骤(7)；
[0090] (7)将文件信息数据D(i)的数据资源标识、最后更改时间写入数据属性信息数据库DataSourceInfo表,数据分析状态列(parseStatus)、数据同步状态列(syncStatus)均为默认值0；
[0091] (8)如果本周期增量文件清单CADL的遍历未完成，则回到步骤(5)继续执行；如果对本周期增量文件清单CADL的遍历结束，则返回步骤(1)开始下个执行周期，继续执行。
[0092] 数据内容分析服务部署于Windows服务器，以C#编写，以Timer驱动而周期性运行，与数据内容分析规则数据库部署于同一个服务器，用于周期性的根据parseStatus＝0的条件获取待分析的数据清单，对于清单中的每一行，根据数据资源标识获取数据内容，对获取到的数据内容按照数据内容分析规则库提供的匹配规则进行分析，得到数据信息，将数据信息写入数据信息属性集，更新数据分析状态标识。
[0093] 数据内容分析服务执行逻辑如下：
[0094] (1)开始分析周期；
[0095] (2)按照parseStatus＝0的条件，在数据属性信息数据库中的DataSourceInfo表中进行查询，得到数据属性信息查询结果集CQUA；
[0096] (3)对于数据属性信息查询结果集CQUA的每一行数据属性信息L(i)，根据数据资源标识dataUrl得到技术文件审签流程实例文件夹路径，并读取其中的日志文件内容L-DATA(i)；
[0097] (4)检查文件内容L-DATA(i)是否完整，判断依据为authorized是否存在，如果文件内容L-DATA(i)不完整，跳过数据属性信息L(i)，返回步骤3)处理下一条；如果文件内容L-DATA(i)完整，则读取数据内容分析规则数据库，得到规则清单RL；
[0098] (5)对于规则清单RL中的每一条规则R(i)，读取其字段名称FieldName(i)，匹配表达式Expression(i)，将匹配表达式Expression(i)应用于文件内容L-DATA(i)，如果匹配成功得到信息数据FieldData(i)，则在数据信息表DataInfo中增加(L(i)-dataUrl，FieldName(i),FieldData(i))的键值对属性记录，如果匹配表达式Exp(i)应用于文件内容L-DATA(i)未能匹配到任何信息，则跳过本条规则R(i)；
[0099] (6)在步骤5)中对规则清单RL的遍历结束后，根据L(i)的dataUrl属性将数据属性信息数据库中的DataSourceInfo表中相应的行的数据分析状态parseStatus置为1，返回步骤3)处理下一条；
[0100] (7)在步骤3)至步骤6)中对数据属性信息查询结果集CQUA的遍历结束后，回到步骤1)开始下一个分析周期；
[0101] 数据信息同步服务部署于Windows服务器，以C#编写，以Timer驱动而周期性运行，与数据属性信息数据库部署于同一个服务器。用于周期性的将数据信息表中的数据信息写入档案管理系统的数据接口，写入成功则更新数据同步状态标识。
[0102] 数据信息同步服务执行逻辑如下：
[0103] (1)开始数据同步周期；
[0104] (2)按照parseStatus＝1且syncStatus＝0的条件，将数据属性信息数据库中DataSourceInfo表和DataInfo表以dataUrl为键进行联接查询,之后对同一dataUrl的数据信息进行合并，得到数据全信息查询结果集CQTA；
[0105] (3)对于数据全信息查询结果集CQTA的每一行数据信息LT(i)，将其数据信息集按照档案管理系统的数据库字段名拼接成insert的sql语句，连接档案系统数据库并执行；
[0106] (4)如果步骤3)所述的写入成功，根据LT(i)的dataUrl值，更新数据属性信息数据库中DataSourceInfo表的内容，将匹配dataUrl＝LT(i)的dataUrl值的行的syncStatus值置为1；
[0107] (5)在步骤3)至步骤4)中对数据属性信息查询结果集CQTA的遍历结束后，回到步骤1)开始下一个数据同步周期。
