首页 / 专利库 / 企业组织 / 术语学家 / 基于网络信息资源的行业分析系统及方法

基于网络信息资源的行业分析系统及方法

阅读:337发布:2020-05-25

专利汇可以提供基于网络信息资源的行业分析系统及方法专利检索,专利查询,专利分析的服务。并且本 发明 涉及信息分析领域,提出了一种基于网络信息资源的行业分析系统,旨在解决行业信息分析需要消耗大量的人 力 物力,且无法达到实时性的问题。该系统包括: 数据采集 模 块 、数据预处理模块、数据分析模块和前台交互模块,其中,数据采集模块,配置为采集与行业相关的网络信息;数据预处理模块,配置为对上述网络信息进行结构化处理,与平台数据进行融合,构建产业结构树;数据分析模块,配置为通过 自然语言处理 技术和 数据挖掘 算法 分析上述平台数据,提取与上述关键词相关的数据作为交互数据;前台交互模块,配置为于通过上述交互数据与用户终端进行交互。本发明实现从海量网络信息中挖掘有价值的数据,为用户实时地呈现行业的分析结果。,下面是基于网络信息资源的行业分析系统及方法专利的具体信息内容。

1.一种基于网络信息资源的行业分析系统,其特征在于,所述系统包括:数据采集、数据预处理模块、数据分析模块和前台交互模块,其中,
所述数据采集模块,配置为采集与用户所关注行业相关的网络信息;
所述数据预处理模块,配置为对所述网络信息进行结构化处理,与预设的平台数据进行融合,构建产业结构的领域知识树和产业结构的领域知识树节点之间的关联关系;
所述数据分析模块,配置为通过自然语言处理方法和数据挖掘算法分析所述平台数据和所述领域知识树,提取与所述行业相关的数据作为交互数据;
所述前台交互模块,配置为通过所述交互数据与用户终端进行交互。
2.根据权利要求1所述的基于网络信息资源的行业分析系统,其特征在于,所述数据采集模块包括垂直网络爬虫和学术网络爬虫,
所述垂直网络爬虫,配置为根据预设的第一初始种子节点,通过分析统一资源定位符从行业垂直网站抓取网页信息;
所述学术网络爬虫,配置为根据预设的第二初始种子节点从学术网站抓取学术文章。
3.根据权利要求2所述的基于网络信息资源的行业分析系统,其特征在于,所述数据预处理模块包括数据结构化子模块、平台数据子模块、领域术语提取子模块和领域知识树子模块,
所述数据结构化子模块,配置为对所述垂直网络爬虫所爬取的垂直网页信息进行结构化分析;
所述平台数据子模块,配置为存储平台用户以及收集的网络信息数据,并为所述分析模块提供数据;
所述领域术语提取子模块,配置为从所述学术网络爬虫所爬取的学术文章中提取领域相关术语;
所述领域知识树子模块,配置为结合领域专家知识,对提取的所述领域术语进行结构化组织,构建产业结构的领域知识树,并分析产业结构的领域知识树节点之间的产业关联关系。
4.根据权利要求3所述的基于网络信息资源的行业分析系统,其特征在于,所述领域术语提取子模块,进一步配置为分析所述学术网络爬虫获取的学术文章,使用文本分析方法分析文章标题、关键词和摘要中的词频,提取领域专业术语。
5.根据权利要求1所述的基于网络信息资源的行业分析系统,其特征在于,所述数据分析模块包括实体识别子模块和数据挖掘子模块,
所述实体识别子模块,配置为通过文本分词、词性标注和句法分析来构建实体识别特征,融合条件随机场和基于规则的方法,识别所述平台数据中所包含的地域实体、机构名实体和领域术语实体;
所述数据挖掘子模块,配置为利用有监督的机器学习算法,将识别出的实体与所述领域知识树相关联,统计分析新闻数据、公司数据与所述领域知识树之间的关联关系,从而分析网络信息数据在地域和产业链各节点的分布情况以及变化趋势;根据所述用户在平台的操作数据,推理所述用户所关注的产业节点,使用基于内容的推荐算法,为用户推荐个性化的新闻、公司和产品。
6.根据权利要求1所述的基于网络信息资源的行业分析系统,其特征在于,所述前台交互模块包括可视化子模块和地图子模块,
所述可视化子模块,配置为通过领域知识树、地图、折线图、柱状图和列表综合的方式将所述数据分析模块分析的结果数据与用户进行交互;
所述地图子模块,配置为用户呈现所选取区域的地图。
7.一种基于网络信息资源的行业分析方法,其特征在于,所述方法包括:
采集与用户所关注行业相关的网络信息;
对所述网络信息进行结构化处理,与预设的平台数据进行融合,构建产业结构的领域知识树;
通过自然语言处理方法和数据挖掘算法分析所述平台数据和所述领域知识树,提取与所述行业相关的数据作为交互数据;
通过所述交互数据与用户终端进行交互。
8.根据权利要求7所述的基于网络信息资源的行业分析方法,其特征在于,所述与行业相关的网络信息包括网页信息和学术文章,所述采集与用户所关注行业相关的网络信息,包括:
根据预设的第一初始种子节点,利用垂直网络爬虫通过分析所述第一初始种子节点所包含的统一资源定位符从行业垂直网站抓取网页信息;
根据预设的第二初始种子节点,利用学术网络爬虫为从学术网站抓取学术文章。
9.根据权利要求8所述的基于网络信息资源的行业分析方法,其特征在于,所述对所述网络信息进行结构化处理,与预设的平台数据进行融合,构建产业结构的领域知识树,包括:
对所述垂直网络爬虫采集的垂直网页信息进行结构化分析;
从所述学术网络爬虫所爬取的学术文章中提取领域相关术语;
结合领域专家知识,对提取的领域术语进行结构化组织,构建产业结构的领域知识树,并分析所述领域知识树的节点之间的产业关联关系。
10.根据权利要求9所述的基于网络信息资源的行业分析方法,其特征在于,所述从所述学术网络爬虫所爬取的学术文章中提取领域相关术语,包括:
为分析学术网络爬虫获取的学术文章,使用文本分析算法分析文章标题、关键词和摘要中的词频,提取领域专业术语。
11.根据权利要求7所述的基于网络信息资源的行业分析方法,其特征在于,所述通过自然语言处理方法和数据挖掘算法分析所述平台数据,提取与所述行业相关的数据作为交互数据,包括:
通过文本分词、词性标注和句法分析来构建实体识别特征,融合条件随机场和基于规则的方法,识别所述平台数据中所包含的地域实体、机构名实体和领域术语实体;
利用有监督的机器学习算法,将识别出的实体与所述领域知识树相关联,统计分析新闻数据、公司数据与所述领域知识树之间的关联关系,从而分析网络信息数据在地域和产业链各节点的分布情况以及变化趋势;
根据用户在平台的数据,推理用户所关注的产业节点,使用基于内容的推荐算法,为用户推荐个性化的新闻、公司和产品。
12.根据权利要求11所述的基于网络信息资源的行业分析方法,其特征在于,所述通过所述交互数据与用户终端进行交互,包括:
通过领域知识树、地图、折线图、柱状图和列表综合的方式将所述交互数据与用户进行交互;
为用户呈现所选取区域的地图。

说明书全文

基于网络信息资源的行业分析系统及方法

技术领域

[0001] 本发明涉及计算机网络信息应用领域,具体涉及网络信息资源的数据挖掘应用领域,特别涉及一种基于网络信息资源的行业分析系统及方法。

背景技术

[0002] 随着信息技术的快速发展,各领域的信息数据呈现出爆炸式增长,也给这些行业的工作者带来了巨大的挑战和压,如何从这些海量数据中,挖掘出有价值的行业信息,实时追踪产业信息变化,了解产业上下游分工和竞争对手的发展动向,辅助行业管理层、决策层针对市场变化,做出快速有效的应对策略,具有重要的借鉴意义。
[0003] 行业分析,是一种系统性的行业信息整合分析结果,对于企业发现行业商机、把握市场脉搏、评估投资险等方面,具有重要的借鉴意义。通常由企业内部或专业的市场研究公司,收集相关数据,并结合相关的从业经验来进行行业分析报告。由于行业分析报告需要调研后编制,需要消耗大量的人力物力,且无法达到实时性,这与瞬息万变的信息时代,存在巨大的反差。

发明内容

[0004] 为了解决现有技术中的上述问题,即为了解决在行业分析报告需要调研后编制,需要消耗大量的人力物力,且无法达到实时性的问题,本发明采用以下技术方案以解决上述问题:
[0005] 第一方面,本申请提供了基于网络信息资源的行业分析系统,该系统包括:数据采集、数据预处理模块、数据分析模块和前台交互模块,其中,上述数据采集模块,配置为采集与用户所关注行业相关的网络信息;上述数据预处理模块,配置为对上述网络信息进行结构化处理,与预设的平台数据进行融合,构建产业结构的领域知识树和产业结构的领域知识树节点之间的关联关系;上述数据分析模块,配置为通过自然语言处理方法和数据挖掘算法分析上述平台数据和领域知识树,提取与上述行业相关的数据作为交互数据;上述前台交互模块,配置为通过上述交互数据与用户终端进行交互。
[0006] 在一些示例中,上述数据采集模块包括垂直网络爬虫和学术网络爬虫,上述垂直网络爬虫,配置为根据预设的第一初始种子节点,通过分析统一资源定位符从行业垂直网站抓取网页信息;上述学术网络爬虫,配置为根据预设的第二初始种子节点从学术网站抓取学术文章。
[0007] 在一些示例中,上述数据预处理模块包括数据结构化子模块、平台数据子模块、领域术语提取子模块和领域知识树子模块,上述数据结构化子模块,配置为对上述垂直网络爬虫收集的垂直网页信息进行结构化分析;上述平台数据子模块,配置为存储平台用户以及收集的网络信息数据,并为上述分析模块提供数据;上述领域术语提取子模块,配置为从上述学术网络爬虫所爬取的学术文章中提取领域相关术语;上述领域知识树子模块,配置为结合领域专家知识,对提取的所述领域术语进行结构化组织,构建产业结构的领域知识树,并分析上述领域知识树的节点之间的产业关联关系。
[0008] 在一些示例中,上述领域术语提取子模块,进一步配置为分析学术网络爬虫获取的学术文章,使用文本分析方法分析文章标题、关键词和摘要中的词频,提取领域专业术语。
[0009] 在一些示例中,上述数据分析模块包括实体识别子模块和数据挖掘子模块,上述实体识别子模块,配置为通过文本分词、词性标注和句法分析来构建实体识别特征,融合条件随机场和基于规则的方法,识别平台数据中所包含的地域实体、机构名实体和领域术语实体;上述数据挖掘子模块,配置为利用有监督的机器学习算法,将识别出的实体与领域知识树相关联,统计分析新闻数据、公司数据与领域知识树之间的关联关系,从而分析网络信息数据在地域和产业链各节点的分布情况以及变化趋势;根据用户在平台的操作数据,推理用户所关注的产业节点,使用基于内容的推荐算法,为用户推荐个性化的新闻、公司和产品。
[0010] 在一些示例中,上述前台交互模块包括可视化子模块和地图子模块,上述可视化子模块,配置为通过领域知识树、地图、折线图、柱状图和列表综合的方式将上述数据分析模块分析的结果数据与用户进行交互;上述地图子模块,配置为用户呈现所选取区域的区域地图。
[0011] 第二方面,本申请提供了一种基于网络信息资源的行业分析方法,该方法包括:采集与用户所关注行业相关的网络信息;对所述网络信息进行结构化处理,与预设的平台数据进行融合,构建产业结构树;通过自然语言处理技术和数据挖掘算法分析所述平台数据,提取与所述行业相关的数据作为交互数据;通过所述交互数据与用户终端进行交互。
[0012] 在一些示例中,上述与行业相关的网络信息包括网页信息和学术文章,上述采集与用户所关注行业相关的网络信息,包括:根据预设的第一初始种子节点,利用垂直网络爬虫通过分析上述第一初始种子节点所包含的统一资源定位符从行业垂直网站抓取网页信息;根据预设的第二初始种子节点,利用学术网络爬虫为从学术网站抓取学术文章。
[0013] 在一些示例中,上述对上述网络信息进行结构化处理,与预设的平台数据进行融合,构建产业结构的领域知识树,包括对垂直网络爬虫采集的垂直网页信息进行结构化分析;从上述学术网络爬虫所爬取的学术文章中提取领域相关术语;结合领域专家知识,对提取的领域术语以及关键技术进行结构化组织,构建产业结构树,并分析结构树节点之间的产业关联关系。
[0014] 在一些示例中,上述从上述学术网络爬虫所爬取的学术文章中提取领域相关术语,包括:为分析学术网络爬虫获取的学术文章,使用文本分析算法分析文章标题、关键词和摘要中的词频,提取领域专业术语。
[0015] 在一些示例中,上述通过自然语言处理方法和数据挖掘算法分析上述平台数据,提取与上述行业相关的数据作为交互数据,包括:通过文本分词、词性标注和句法分析来构建实体识别特征,融合条件随机场和基于规则的方法,识别平台数据中所包含的地域实体、机构名实体和领域术语实体;利用有监督的机器学习算法,将识别出的实体与领域知识树相关联,统计分析新闻数据、公司数据与领域知识树之间的关联关系,从而分析网络信息数据在地域和产业链各节点的分布情况以及变化趋势;根据用户在平台的数据,推理用户所关注的产业节点,使用基于内容的推荐算法,为用户推荐个性化的新闻、公司和产品。
[0016] 在一些示例中,上述通过上述交互数据与用户终端进行交互,包括:通过领域知识树、地图、折线图、柱状图和列表综合的方式将上述交互数据与用户进行交互;为用户呈现所选取区域的地图。
[0017] 本申请提供的基于网络信息资源的行业分析系统及方法,数据采集模块采集与用户所在行业相关的信息,通过数据预处理模块将上述信息进行结构化处理,并构建行业的领域知识树,利用数据分析模块对预处理后的信息进行分析挖掘得到行业信息的分析结果,通过前台交互模块与用户进行交互。实现了从海量数据中,挖掘出有价值的行业信息,实时追踪产业信息变化,了解产业上下游分工和竞争对手信息,辅助行业管理层、决策层针对市场变化,做出快速有效的应对策略。附图说明
[0018] 图1是根据本申请的基于网络信息资源的行业分析系统的一实施例的结构示意图;
[0019] 图2是本申请的实施例中垂直网络爬虫爬取网页信息流程的基本框架图;
[0020] 图3是本申请的实施例中领域知识树子模块构建的机器人行业产业链知识树的示例性应用的示意图;
[0021] 图4a是在行业产业链中构建的产业节点的上下游节点关系示意图;
[0022] 图4b是在行业产业链中构建的机器人产业链中系统集成产业节点的上下游节点关系示意图;
[0023] 图5是本申请实施例中利用文本分析算法执行文本分词、词性标注和句法分析的实例结果示意图;
[0024] 图6是应用于本申请的基于网络信息资源的行业分析方法的一实施例示意图。

具体实施方式

[0025] 下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是,这些实施方式仅仅用于解释本发明的技术原理,并非旨在限制本发明的保护范围。
[0026] 需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
[0027] 本申请的基于网络信息资源的行业分析系统可以包括数据采集模块、数据预处理模块、数据分析模块和前台交互模块,其中,上述数据采集模块,配置为采集与用户所关注行业相关的网络信息;上述数据预处理模块,配置为对上述网络信息进行结构化处理,与预设的平台数据进行融合,构建产业结构的领域知识树;上述数据分析模块,配置为通过自然语言处理方法和数据挖掘算法分析上述平台数据和领域知识树,提取与上述关键词相关的数据作为交互数据;上述前台交互模块,配置为通过上述交互数据与用户终端进行交互。
[0028] 在本实施例中,上述数据采集模块是根据用户提供的关键词或关键信息采集行业相关的网络信息,这里,可以采集与用户所关注的行业相关的信息,如,与用户同行业的企业的信息、上下游企业的信息;还可以采集与用户所关注行业的发展相关的信息,如该行业发展的技术前沿,学术前沿等信息。
[0029] 上述数据预处理模块对上述网络信息进行预处理,上述预处理可以为对上述与用户所关注行业相关的网络信息结构化处理,可以从上述信息中提取与行业相关的公司、公司的产品、公司分布区域、公司求购等分类信息;还可以对行业发展建立分类前沿信息,从其中获取产业发展趋势、技术发展监控等信息。
[0030] 上述数据分析模块通过对上述数据预处理模块建立的结构化数据和分类信息进行分析挖掘,结合用户在平台的操作信息,向用户推荐用户可能感兴趣的产品、公司和新闻等信息。
[0031] 上述前台交互模块可以通过交互界面与用户交互,交互界面可以是通过各种图表的形式展示产业变化趋势、产业地域分布、上下游分析、竞争对手、潜在买家等信息;用户可以直观的、随时、随地的获得行业信息。
[0032] 本申请的上述实施例提供的系统通过对用户所关注的行业相关的信息进行分析挖掘,为用户展现分析挖掘得到的行业信息。
[0033] 图1示出了可以应用本申请的基于网络信息资源的行业分析系统的一具体实施例的示例性系统结构示意图。
[0034] 具体地,如图1所示,基于网络信息资源的行业分析系统的数据采集模块、数据预处理模块、数据分析模块和前台交互模块,分别实现数据采集、数据预处理、数据分析和前台交互功能。
[0035] 上述数据采集模块包括垂直网络爬虫101和学术网络爬虫102。上述垂直网络爬虫101配置为根据预设的第一初始种子节点,通过分析统一资源定位符(Uniform Resource Locator,URL)从行业垂直网站抓取网页信息。具体地,可以为根据行业选择具有代表性的网站,作为垂直网络爬虫的第一初始种子节点。上述垂直网络爬虫101通过分析网站的URL进行与用户关注行业相关的网页信息的爬取。上述网页信息包括该行业的相关企业的新闻、该行业的机构信息、产品和求购信息等。
[0036] 上述学术网络爬虫102,配置为根据预设的第二初始种子节点从学术网站抓取学术文章。这里,可以将基于学术会议和学术期刊作为学术网络爬虫的第二初始节点。上述学术网络爬虫102根据上述第二初始种子节点从学术网站、学术期刊或学术会议中爬取相关的学术文章,获取该行业的发展前沿信息。
[0037] 上述垂直网络爬虫101和学术网络爬虫102可以根据实际需求,按照固定周期运行,为进行实时的行业分析提供数据支撑。例如,因行业信息更新频率较高,上述垂直网络爬虫101可以每隔1小时运行一次,使得所获取的信息能够尽可能达到实时的效果;而知识领域或学术领域的信息更新频率可以比较低一些,上述学术网络爬虫102,可以每天或者每月运行一次。
[0038] 作为示例,图2示出了上述垂直网络爬虫101爬取与行业相关数据的流程。
[0039] 步骤2.1:根据用户所关注的行业选择具有代表性的网站,作为模块201的种子URL,其中,模块201中存储网络爬虫的初始种子;
[0040] 步骤2.2:将模块201的种子URL压入模块202的待抓取URL队列;
[0041] 步骤2.3:模块203读取从待抓取URL队列中读取URL,并使用URL过滤器204对选定的URL进行过滤,具体可以是对所读取的URL进行解析,只保留和新闻、公司相关的网页URL;
[0042] 步骤2.4:模块205的下载器从垂直网站上爬取过滤后的URL网页,并使用模块206保存网页内容;
[0043] 步骤2.5:将模块206的网页保存到网页数据库209中,同时,把爬取成功的网页URL压入到模块207的已抓取的URL队列208中;
[0044] 步骤2.6:使用模块206从网页中提取URL,并对其中的已爬取URL进行过滤,把未爬取的URL压入到模块202;
[0045] 步骤2.7:判断模块202的队列中,是否还有未抓取的网页URL,如果有,则跳转到步骤2.3,否则,网络爬虫对行业相关数据的爬取结束。
[0046] 在本实施例中,上述数据预处理模块包括数据结构化子模块103、平台数据子模块105、领域术语提取子模块104和领域知识树子模块106。上述数据结构化子模块103配置为对上述垂直网络爬虫101所爬取的网页内容进行解析和结构化处理,并与平台数据子模块
105中的平台数据合并,为数据的进一步分析处理提供基础数据。对于上述垂直网络爬虫
101所爬取的新闻网页,上述数据结构化子模块103利用利用网页解析工具,如,BeautifulSoup、lxml等,提取上述新闻网页的新闻标题、发布时间、网页内容等。作为示例,表1中示出了利用网页解析工具对上述垂直网络爬虫101所爬取新闻网页的进行解析得到的新闻数据表。
[0047] 表1新闻数据表,
[0048] 上述垂直网络爬虫101获取的企业机构信息中包括与企业相关的公司的信息,获取公司网页内容,利用网页解析工具解析该公司网页内容,提取出上述公司网页内容所指示的公司的名称、地址、产品、求购和公司介绍等信息。作为示例,参考表2,表2示出了上述利用网页解析工具对上述垂直网络爬虫101所爬取的公司网页进行解析得到的公司数据表。
[0049] 表2公司数据
[0050] 上述领域术语提取子模块104利用网页解析工具对上述学术网络爬虫102获取的学术文章进行分析,进而提取学术文章的领域术语。由于学术文章所包含的标题、关键词和摘要是该学术文章的核心内容的提炼,因此对学术文章的分析可以是首先对学术文章的标题、关键词和摘要的分析,然后根据需要对学术文章的内容进行分析。上述领域术语提取子模块104内嵌各种文本分析算法,利用上述领域术语提取子模块104所内嵌的文本分析算法分析上述学术文章。具体地,上述利用文本分析算法分析学术文章,可以为使用词频-反文档频率算法(term frequency-inverse document frequency,TF-IDF)和潜在语义分析算法(Latent Dirichilet Allocation,LDA)提取学术文章的文本的关键词,使用聚类方法分析学术文章标题、关键词和摘要中的词频,抽取出现次数大于设定阈值的词语,作为领域知识树中子节点的领域术语。上述领域知识树中各子节点的领域术语所构成的术语集合可以用于分析网络信息数据与领域知识树之间的关系。作为示例,参考表3,表3示出了学术文章的数据结构,文本分析算法基于表3的数据结构所示的内容对学术文章进行分析。
[0051] 表3学术文章数据表
[0052] 上述平台数据子模块105配置为上述数据分析模块进行数据分析提供基础数据和预处理过的数据。上述平台数据子模块105中存储各类信息,包括平台中的用户操作行为、公司产品、求购需求、公司新闻、公司信息和地域信息等。上述用户操作行为为用户在系统平台中的操作行为,如浏览新闻、点击产品、发布需求等,用于跟踪记录用户的行为信息,为算法分析用户兴趣,提供数据支撑。上述公司产品可以为公司用户在平台中所发布的产品信息,如产品名称、产品简介、产品功能、产品的参数等信息。上述求购需求可以使用户在平台中发布的求购信息,如,求购产品名称、参数、价位、限定区域等。上述公司新闻可以为公司用户在平台中发布的新闻信息,包括新闻标题、作者、内容等。上述公司信息可以为公司用户在系统平台中的注册信息,如,公司名称、注册地址、主营业务等;上述地域信息可以为系统平台中构建的中国地理信息,包括省市的全称、简称、经纬坐标和区域,为分析网络信息以及定位公司位置信息所使用。
[0053] 上述领域知识树子模块106配置为结合专家知识和所提取的领域专业术语,构建领域知识树和产业结构的领域知识树节点之间的关联关系。上述领域知识树子模块106可以根据公司用户所在的行业的提取的数据信息构建行业产业的领域知识树。上述构建行业产业的领域知识树,首先构建产业链节点,分别为产业链上游、产业链中游和产业链下游节点;然后,根据网络爬虫所爬取的网页信息和专家知识分别构建产业链上游节点、产业链中游节点和产业链下游节点的子节点;最后继续以各上述子节点为中间节点,构建各上述中间节点的子节点,从而构建出公司用户所在行业产业链的领域知识树。作为示例,图3示出了上述领域知识树子模块106构建的机器人产业链的领域知识树。在机器人产业链中,分为产业链上游节点、产业链中游节点和产业链下游节点。产业链上游节点为供应商,包括原材料、零部件等子节点;产业链下游节点为售后服务和应用,包括合作商子节点、代理商子节点、第三方服务子节点和解决方案子节点等;产业链中游节点为行业主营业务,作为领域树主干,包括机器人本体节点和机器人集成节点,在机器人集成节点下包括多层子节点,例如机器人集成节点的子节点有智能机器人节点,智能机器人节点下有工业机器人子节点,工业机器人节点下有搬用机器人子节点等。
[0054] 图4示出了上述领域知识树子模块106所构建的机器人产业链上下游产业节点的示意图。其中,图4a示出了设计各节点的上下游节点关系,图4b示出了机器人产业链中一具体示例的产业链节点示意图,如,在机器人产业链中,当产业节点为“系统集成”,那么上游产业节点包括传感器控制器等,下游产业节点包括第三方、代理商等。
[0055] 在本实施例中,上述数据分析模块包括实体识别子模块107和数据挖掘子模块108,上述实体识别子模块107配置为通过文本分词、词性标注和句法分析来构建实体识别特征,融合条件随机场和基于规则的方法,识别平台数据中所包含的地域实体、机构名实体和领域术语实体;上述数据挖掘子模块108,配置为利用有监督的机器学习算法,将识别出的实体与领域知识树相关联,统计分析新闻数据、公司数据与领域知识树之间的关联关系,从而分析网络信息数据在地域和产业链各节点的分布情况以及变化趋势;根据用户在平台的数据,推理用户所关注的产业节点,使用基于内容的推荐算法,为用户推荐个性化的新闻、公司和产品。
[0056] 上述实体识别子模块107包括文本分词、词性标注、句法分析、地域识别、机构名识别和领域术语识别六个单元,上述文本分词、词性标注和句法分析,用于构建实体识别特征。以“机器人是自动执行工作的机器装置”为例,进行文本分词、词性标注和句法分析,结果如图5所示,从中提取的实体识别特征,如表4所示;然后融合条件随机场(Conditional Random Fields,CRF)和基于规则的方法,针对每条信息,发现识别其包含的地域实体、机构名实体和领域术语实体。
[0057] 表4实体识别特征
[0058] 上述数据挖掘子模块108,利用监督学习算法,构建识别实体与产业节点之间的关联关系,分析新闻数据、公司数据与领域知识树之间的关联关系,统计产业趋势变化、产业地域分布、上下游分析,通过分析用户或公司在平台中的数据,如发布的产品、求购等信息,推理其关注的产业节点,推荐其感兴趣的产品、公司和新闻。
[0059] 在本实施例中,上述前台交互模块包括可视化子模块和地图子模块,上述可视化子模块配置为通过领域知识树109、折线图111、柱状图112和列表113综合的方式将所述数据分析模块分析的结果数据与用户进行交互;上述地图子模块110,配置为用户呈现所选取区域的地图,可以作为该区域的区域地图。
[0060] 上述与用户交互的可视化子模块,通过领域知识树109、折线图111、柱状图112和列表113的方式为用户呈现各类分析结果信息。
[0061] 上述领域知识树109,为用户呈现用户所关注行业的领域知识树结构,供用户来选择查看的产业节点。
[0062] 上述地图子模块110为用户呈现中国各省市的区域,当选择某个省市,会自动跳转到该省的省地图。
[0063] 上述折线图111为用户呈现某地区某产业节点的新闻热度随时间的变化趋势。
[0064] 上述柱状图112,为用户呈现某地区某产业节点的新闻热度分布。
[0065] 上述列表113,以列表的方式为用户呈现上下游公司、竞争对手和潜在买家,以及推荐的新闻等信息。
[0066] 本申请上述实施例所提供的系统通过数据采集模块在海量数据中抽取与用户所在行业相关的信息;数据预处理模块通过对所抽取的信息进行数据结构化处理;构建领域知识树。数据分析模块分析和挖掘处理后的信息,并结合专家知识分析产业发展趋势,为用户提供行业分析报告;前台交互模块与用户进行信息交互,为用户提供与产业相关的信息。使得用户可以及时掌握产业各节点的实时变化,了解产业上下游分工和竞争对手的信息,辅助行业管理层或决策层针对市场变化,做出快速有效的应对策略。
[0067] 参考图6,本申请提供一种基于网络信息资源的行业分析方法,该方法包括如下步骤:
[0068] 步骤601,采集与用户所关注行业相关的网络信息。
[0069] 在本实施例中,应用于本申请的电子设备(可以为服务器或应用平台)利用网络爬虫从与行业相关的网站获取与行业相关的网络信息。这里,与用户所关注行业相关的网站可以为用户所在或所从事行业内及上下游产业的公司的网站,还可以为与行业产业相关的技术及学术论坛或网站。上述网络爬虫可以为垂直网络爬虫,还可以为学术网络爬虫。上述垂直网络爬虫从领域相关的网站,收集新闻、机构、产品和求购信息。上述学术网络爬虫,从领域相关的学术会议和学术期刊网站中,抓取相关的学术文章。上述网络信息可以为上述新闻、机构、产品和求购信息,还以为学术文章。
[0070] 在一些优选的实施方案中,上述与用户所关注行业相关的网络信息包括网页信息和学术文章,上述采集与用户所关注行业相关的网络信息,包括:根据预设的第一初始种子节点,利用垂直网络爬虫通过分析上述第一初始种子节点的统一资源定位符从行业垂直网站抓取网页信息。根据预设的第二初始种子节点,利用学术网络爬虫为从学术网站抓取学术文章。这里,上述第一初始种子节点是根据行业选择具有代表性的网站,作为网络爬虫的初始种子节点。上述第二初始种子节点可以是基于学术会议和学术期刊作作为初始种子节点。上述网络爬虫通过分析URL,爬取相关网页信息或学术文章。
[0071] 步骤602,对上述网络信息进行结构化处理,与预设的平台数据进行融合,构建产业结构的领域知识树。
[0072] 在本实施例中,上述服务器或应用平台对上述网络信息进行数据预处理,构建产业结构树。这里,上述数据预处理可以为对垂直网络爬虫采集的垂直网页信息进行结构化分析;还可以为对学术网络爬虫所爬取的学术文章中提取领域相关术语和关键技术,并结合领域专家知识,对提取的领域术语以及关键技术进行结构化组织,构建产业结构树,并分析结构树节点之间的产业关联关系。进一步地,从学术网络爬虫所爬取的学术文章中提取与行业相关行业或产业相关术语和关键技术信息,可以为分析学术网络爬虫获取的学术文章,使用文本分析算法分析文章标题、关键词和摘要中的词频,提取领域专业术语。上述文本分析算法可以为TF-IDF、LDA、聚类等算法。
[0073] 步骤603,通过自然语言处理方法和数据挖掘算法分析平台数据和领域知识树,提取与行业相关的数据作为交互数据。
[0074] 在本实施例中,可以利用自然语言处理方法从新闻、公司、产品、求购等网络信息中,识别地域实体、领域术语实体和机构名实体;可以利用数据挖掘算法根据识别出的领域术语实体和领域知识树节点之间的关系,对新闻、公司、产品、求购等信息的知识节点分类分析,并根据这些信息所处的地域和发布的时间进行统计,基于知识节点的新闻热度变化,形成对产业趋势变化的跟踪。
[0075] 进一步地,上述通过自然语言处理方法和数据挖掘算法分析平台数据,提取与行业相关的数据作为交互数据,包括通过文本分词、词性标注和句法分析来构建实体识别特征,融合条件随机场和基于规则的方法,识别平台数据中所包含的地域实体、机构名实体和领域术语实体;利用有监督的机器学习算法,将识别出的实体与领域知识树相关联,统计分析新闻数据、公司数据与领域知识树之间的关联关系,从而分析网络信息数据在地域和产业链各节点的分布情况以及变化趋势;根据用户在平台的数据,推理用户所关注的产业节点,使用基于内容的推荐算法,为用户推荐个性化的新闻、公司和产品。
[0076] 步骤604,通过交互数据与用户终端进行交互。
[0077] 在本实施例中,通过应用平台提供的交互应用与用户进行信息交互。这里,交互应用可以为可视化的应用,如折线图、柱状图、列表的形式显示分析结果。具体地:
[0078] 使用折线图,为用户呈现所选择的地域范围内,所选择的领域知识树节点的产业趋势变化。
[0079] 使用柱状图,为用户呈现所选择的地域范围内,所选择的领域知识树节点的地域分布状况。
[0080] 使用列表,为用户呈现所选择的地域范围内,所选择的领域知识树节点的上下游企业展示;使用列表,为用户推荐其感兴趣的公司;使用列表,为用户推荐其感兴趣的产品;使用列表,为用户推荐其感兴趣的新闻。
[0081] 本申请的上述实施例所提供的方法能够从海量数据中,抽取有效信息,为用户呈现产业各节点的实时变化,了解产业上下游分工和竞争对手,辅助行业管理层、决策层等,针对市场变化,做出快速有效的应对策略。
[0082] 至此,已经结合附图所示的优选实施方式描述了本发明的技术方案,但是,本领域技术人员容易理解的是,本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下,本领域技术人员可以对相关技术特征作出等同的更改或替换,这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈