技术领域
[0001] 本
发明涉及网络信息处理系统，具体的涉及一种知识收集处理和检索系统。
背景技术
[0002] 现有的
电网知识系统是基于海量
大数据的信息服务，亟待对海量信息进行深入整合和挖掘，从而提供更加精准的知识信息和知识资源。因此对于电网企业来说，构建基于全网统一的知识和知识服务平台，对平台内资源按着业务需求和服务特点进行整合挖掘，对知识系统功能和服务频道进行集成优化，有着重要意义。整合海量非结构化资源，降低信息服务的成本，提高用户知识资源查准效率；避免信息系统的重复建设，建立
数据中心和服务中心，统一提供知识和知识服务；打通各类资源之间的关联，提高信息服务的
质量；构建知识的
云平台架构，实现企业知识服务一体化；使知识服务与知识服务结合起来，建设企业业务
知识库，将知识转换化生产
力。
发明内容
[0003] 本发明的目的是为目前电网知识系统海量数据进行重新梳理和整合优化，进而为电力行业需求提供高效的知识和知识服务。。
[0004] 为了实现上述目的，本发明采用了如下技术方案：一种知识收集处理和检索系统，包括，知识分析
跟踪模
块、智能
数据挖掘分析模块、检索模块、知识
数据库、浏览检索界面，其特征在于：还包括，数据中心管理应用系统，其可以对数据进行管理、数据
访问接口和安全访问认证；数据加工标引系统，包括元数据自动识别及标引、加工和管理；知识管理服务模块，其包括专业知识库、兴趣模型库、专题知识库；整个系统基于中心异构数据整合，对不同来源的数据进行导出和导入操作，可
抽取业务系统中对应数据生成知识库并存储到知识数据库，系统可以实现数据预处理和更新管理，对元数据字段对应和转换，实现数据更新。数据加工标引系统包括元数据自动识别及标引，根据元数据标准，对需要加工的资源通过
人机交互的界面进行提取和标注；对于格式比较固定的资源在加工标引时可以配置模板，根据模板自动识别出元数据项并自动抽取；数据加工和管理：实现对知识知识加工、数据清洗预处理加工。数据中心管理应用系统具体为：数据管理，采用分布存储的方式，系统能够根据数据量大小和时间自动分表存储；同时根据数据中心中注册的存储结点自动分配最合适的存储
节点和存储单元进行管理，具体包含数据存储结点管理，数据备份及恢复管理，数据归档和数据缓存管理；数据访问接口，为方便后期项目和服务对数据中心各数据的调取和使用，按需求建立一下标准数据接口：数据库列表获取接口；数据查询接口；数据更新接口；资源访问授权；资源访问授权；数字对象下载接口；安全访问认证，为了确保数据中心数据的安全，可对访问者进行认证和验证，只有在系统中注册并且授权的用户才能访问有权限的资源。知识分析跟踪模块以本地资源和互联网资源为
基础，对用户设定的专题知识进行热点分析及跟踪。
[0005] 其还包括有内容管理模块 包括统一认证和权限管理、资源
版权管理，其整个系统按层设计，每层之间通过松散耦合的方式相互通信，其整体数据构架基于SOA系统和云存储平台。
[0006] 与
现有技术相比，本发明具备以下优点：本系统功能强大，操作简单好用。将众多不同平台的信息资源数据库集成于一个统一的平台，实现跨库查询、定制推送、知识服务功能，为用户提供统一、直观、便捷的
信息检索、信息获取手段，并拓展信息服务功能，实现信息服务个性化、网络化，使用户通过统一的系统完成各项需求。知识资源和服务延伸到公司所有员工桌面，成为各级领导、专业技术和管理人员在日常工作中获取科技、管理、创新源泉的主窗口和主渠道；极大地方便了企业员工对行业信息资源的深层挖掘和利用。
附图说明
[0007] 图1为本发明系统总体技术架构图2为本发明的系统总体网络架构。
具体实施方式
[0008] 下面将结合本发明的附图，对本发明
实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
[0009] 本发明的底层数据构架是基于SOA体系和云存储平台，构建知识中心底层数据架构，整个系统按层设计，每层之间通过松散耦合的方式相互通信，其详细的架构如图1所示。本发明的系统总体网络架构如图2，三层结构是将应用功能分成表示层、业务逻辑层和数据层三部分。在逻辑上使其独立。相比较传统的两层（C/S）结构而言，具有如下优点：系统管理简单，大大减少客户机维护工作量；具有灵活的软、
硬件系统构成；提高程序的可维护性和可扩展性；增加了系统的安全性。
[0010] 基于SOA的先进理念，实现灵活可扩展的系统架构，达到开放性和可扩展性相结合。以服务为导向的体系架构SOA，是目前领先的、具有强大整合能力的应用体系架构，是通过业务服务的概念来提供IT的各项基本应用功能，这些服务可以自由地排列组合、互通互连、融会贯通，能随时弹性配合未来的、新的需求而调整。与当下最热的大数据技术结合，管理海量的大数据资源，利用数据分析和挖掘技术，对海量数据进行精细化处理，并在海量的数据资源中挖掘有用的知识知识，以期摆脱低层次的数据应用，向信息智能和知识发现的多维度应用发展。系统基于云平台架构，实现可伸缩、可扩展的企业级云平台，包括云数据中心和云服务平台。通过引入优化技术增强平台功能，以较小的成本搭建高性能的计算和存储平台，满足本项目的海量信息采集、处理、存储和检索需求。而系统的资源数据库具有：标准数据库、
专利库、科技成果库、知识产品库、期刊库、论文库、电力图书库、南网企业文库、业务生产知识库、网络咨询库、视频多媒体库、图片库、电力机构库、电力学者库对系统的调整建设，需要考虑与其他各业务系统、网络资源的接口，方便相关
软件方面的集成和相关功能的集成，使用户能够更加便捷地进行操作、管理和利用多方面的数据。与公司业务系统的数据接口：与网络资源数据的接口；与南方电网期刊系统的接口； 与分子公司知识系统的数据接口；与公司其他系统的数据接口。
[0011] 对知识中心的所有数据按着电力行业的特点进行梳理，形成全网统一的元数据标准，并建立论文库﹑建立标准库﹑建立成果库等数据库。包括元数据仓储平台改造及相关标准建设、业务系统数据获取和数据预处理和更新管理等功能。
[0012] 建立全网统一的元数据标准，自动采集内部数据库的元数据，实现元数据整合及调度。对于能获得元数据的资源，系统优先采用元数据整合方式。平台基于KBase全文
数据库管理系统，支持对于各种非结构化全文数据的海量信息快速全文检索能力。通过MetaServer元数据整合引擎和OpenQuery关系型数据库整合网关，将各种资源迁移、同步、采集、转换到KBase全文数据库中，组成一个统一元数据仓储，采用KBase强大的全文检索能力，实现对于所有元数据进行WEB检索和发布，实现资源的深度整合和增值服务。检索速度和方式不受不同数据源的约束，通过这种方式整合检索，效率最高。同时，也将进行数据标准规范建设，并进行元数据导出，将知识中心现有系统的数据导出，进行迁移，统一迁移到KBase数据库中，可以通过多种方式将原始资源库中的数据批量导出，包括数据库网关、API接口、Web检索驱动等。将各种外购的资源、自建资源、内部业务数据等通过多种途径，统一转换并同步保存到数据中心相应的数据库表中。根据不同资源平台的特点和接口方式，可通过多种整合方式进行整合。业务数据获取梳理南方电网的各个业务系统，将业务部
门的生产管理数据进行挖掘
整理，并与数据中心的相关资源进行关联，为生产管理部门的实际业务应用起到一定的指导和决策作用。
[0013] 数据加工标引系统要用于对特殊和重点资源进行结构化和碎片化加工，如电力标准、科技成果等资源通过人机交互的方式完成对各个元数据项的标引工作以及xml数据加工，并拆分文章的章节、图片、表格、公式、知识点等信息。完成对标准数据的指标提取和结构化，方便不同企业的同一标准之间进行指标比对。
[0014] 包括元数据标引、自动识别和实现知识知识碎片化等功能，据元数据标准，对需要加工的资源通过人机交互的界面进行提取和标注。提供机辅标引和手工标引功能和操作界面，便于操作员操作。
[0015] 对于格式比较固定的资源在加工标引时可以配置模板，根据模板自动识别出元数据项并自动抽取。实现知识知识碎片化：实现知识知识碎片化、数据清洗等预处理加工，以及数据XML加工管理。对需要进行知识碎片化处理的数据资源进行更细致的字段梳理，特别是对内容里面的字段，建立字段表。根据字段表对此类型资源进行再加工，将一条数据资源加工成若干条知识；也可以利用计算机的智能数据挖掘分析功能，根据字段表自动对数据资源进行扫描分析，自动提取出相关的知识条目，然后进行人工审核，达到知识碎片化的目的。对于知识元，系统能够自动提取电网技术相关的名词、术语、概念、定义等知识元，并对知识元进行
关联性分析。
[0016] 数据中心管理模块是知识数据中心的核心，它是对整合过来的各类数据，包括数据库和文档进行统一仓储、管理、组织和服务。数据导入和访问都通过数据中心统一提供的接口进行操作，数据中心内部通过云平台架构对数据进行存储和管理，从而构建南方电网海量非结构化知识数据中心。采用分布存储的方式，系统能够根据数据量大小和时间自动分表存储；同时根据数据中心中注册的存储结点自动分配最合适的存储节点和存储单元进行管理，具体包含数据存储结点管理，数据备份及恢复管理，数据归档和数据缓存管理。实现的功能包括：数据存储管理：采用分布存储的方式，系统能够根据数据量大小和时间自动分表存储。同时根据数据中心中注册的存储结点自动分配最合适的存储节点和存储单元。具体包含数据存储结点管理，数据备份及恢复管理，数据归档和数据缓存管理。
[0017] 安全访问认证：为了数据中心的安全，可对访问者进行认证和验证，只有在系统中注册并且授权的用户才能访问有权限的资源。提供多种认证方式，包括用户名/密码、IP限定、证书认证等。
[0018] 资源访问授权：管理员可以分配调用者可以访问的数据库、字段、具体数字对象。只有授权调用者才能得到数据访问结果列表。支持帐户密码、IP地址等多种验证方式。通过管理后台，管理员可对用户账号进行授权。
[0019] 对于系统的数据操作，通过用户组和信息分类进行控制，用户隶属于不同的用户组，不同的用户组可以操作不同的信息分类，不同的用户组对于资源可以执行不同的数据操作，包括增加、
修改、删除、浏览等，从而定义用户可以操作和访问的信息分类下的信息文档，实现对于数据操作的安全控制，保证不同用户只能操作用户组所授权的资源文档。
[0020] 还主要包括知识中心门户系统的改版和部分系统功能的升级改造，其中要对现知识中心服务门户架构和页面具体布局进行调整和新子频道架构及页面布局进行设计和个性化定制，并对系统功能进行升级改造，包括个性化与全文智能检索、网省二级智能联合参考咨询和原文传递服务升级改造、知识需求项目功能集成等。保留目前比较重复利用率高的栏目和频道，同时需要对原有各个频道和功能进行完善。主要表现在如下几个方面：优化检索功能，使其更加智能和精确。系统能够对用户的检索条件进行预处理，从而达到更好的检索效果；对订阅推送功能改进
算法和策略，做到精确推送。减少垃圾信息，做到“精而少”；界面
风格与原有系统保持一致，习题适应现有用户的使用习惯：对各类数据和功能进行梳理，把属于同一类别的数据和功能放到一起，方便用户查找：对标准数据进行精加工，提供更加丰富的标准服务：增加业务知识库查询和知识提交的入口：整合深圳供电局项目和武大项目中的优势功能：增加知识分享和交流的功能。
[0021] 对知识中心
网站的功能进行拓展，以数据中心的数据为基础，提供知识智能分析处理功能。
[0022] 成果登记系统升级：根据用户对现有知识中心的成果登记系统的使用反馈，保留系统使用反响良好的地方，改进用户使用不便的地方。
[0023] 使用目前最流行的设计风格和开发技术，对成果登记系统、会员中心进行升级改造，提升用户的使用体验感。
[0024] 实现知识智能分析处理：对知识热点分析及跟踪(包括互联网数据)，对期刊、论文、报告、图书﹑互联网数据等各类资源进行挖掘，通过聚类和主题抽取，挖掘出某段时间内的研究热点和技术热点。并对此热点进行持续的跟踪分析，掌握技术发展动态和趋势。
[0025] 在数据中心和智能挖掘引擎的基础上，针对电网技术板块为集团提供电网相关技术方面的研究热点、前沿、发展趋势等知识监测和跟踪，并为领导和研究人员提供可参考的知识简报。
[0026] 本模块是一个知识专题监测和跟踪系统，所以主要是监测和跟踪为主，其核心模块主要如下：知识热点分析及跟踪功能，对期刊、论文、报告、图书等各类资源进行挖掘，通过聚类和主题抽取，挖掘出某段时间内的研究热点和技术热点。并对此热点进行持续的跟踪分析，掌握技术发展动态和趋势。
[0027] 知识管理和服务模块是此系统是与电网业务相关的知识库系统，是一个开放的平台，将业务部门的生产管理数据进行挖掘整理，并与数据中心的相关资源进行关联，为生产管理部门的实际业务应用起到一定的指导和决策作用。比如：可以将变电站事故记录数据建成一个专题知识库，标注每一次事故的时间、地点、原因、解决办法等信息。通过这些数据的分析一方面可以帮助其他维护人员快速解决问题，另一方面通过数据分析可有效
预防事故的发生。
[0028] 统已实现了学术论文总库资源下载、阅读、访问次数，栏目访问和分省公司访问统计等多维度的评价和统计，结果保存在数据库中，以优化、调整未来的资源采购方向和范围，及计算知识资源的价值。
[0029] 系统通过智能挖掘引擎自动挖掘各个知识之间的关联关系，动态地提取每一条知识的
特征向量，在用户浏览知识时根据这个特征向量检索相似索引并动态地关联出与些知识最相关的知识。
[0030] 另外系统会挖掘用户行为和访问日志，将用户访问的知识进行统计和归类，访问某一知识时自动关联出与之同类并被其他用户大量访问的知识，从而形成一个网状的知识关联图。
[0031] 主题词挖掘引擎定期对知识库进行统计，自动挖掘每一条知识的主题词，并计算各个主题词之间的关联关系，根据关联关系和关联度大小形成一个网状的主题词导航图，其效果如下图所示，每点击其中的一个主题词则将以些主题为中心又向外关联。
[0032] 知识社区，根据网、省公司两级运维人员的日常工作情况，开发了各种咨询服务和日常更新维护的综合统计分析评价功能。提供图表呈现并基于此全面考核二级运维人员的服务质量。功能包括系统访问、操作日志、系统运行维护统计数据和数据分析等功能。
[0033] 为了方便获取员工头脑中隐性知识，建立内部员工网络社区，实现个人相互关注、资源上传分享、推荐、评价；针对相关专题，发起内部讨论和圈子，收集隐性知识，并汇生产报告。知识社区为所有用户提供的一个知识问答、知识分享和知识沉淀的交流互动社区，挖掘专家的隐性知识，形成一个个的专题知识库。
[0034] 知识社区实现如下功能：用户交流功能，包括主题概览和细览、发言、回复、短消息、投票等；辅助交流功能，些辅助功能包括精华区、排行、检索、在线用户列表、打印、收藏等；在线讨论功能——提供
聊天室功能，以方便用户自由讨论，并提供嘉宾访谈功能，可浏览交流内容记录并对发言排序；个性化内容推送——可以为用户提供个性化的内容推送功能，Email推送、版面帖子订阅、帖子推荐功能；日常管理监控功能——提供管理员社区参数及内容的全面管理功能，提供对缓冲池的监控和访问统计等监控功能；安全性控制功能——需要提供用户及组策略管理，版面授权访问控制，发帖信息过滤审核，IP管理等。
[0035] 本发明应用异构数据整合技术、智能检索技术、
文本挖掘技术等前沿技术将众多异构的信息资源数据库进行集成、整合，实现一站式跨库检索、多语言检索、检索结果智能分类；对知识中心进行升级优化，升级优化后，实现数据清洗和整合，建立全网元数据标准、数据加工标引标准、系统集成规范、数据管理规范和服务规范及相关标准接口、升级智能检索功能、获取业务数据建立知识地图和知识社区、提供知识跟踪分析和简报生产等智能服务，辅助知识中心由文献保障转型转变为知识知识服务型，完成由被动服务到主动服务的改变。
