技术领域
[0001] 本
发明涉及境外投资服务技术领域，特别是涉及基于大数据的国际产能合作风险评估与决策服务系统。
背景技术
[0002] 大
力推动我国企业“走出去”参与国际产能合作，在更广阔空间获取资金、技术、市场等战略资源，促进产业结构升级，努力向产业链高增值环节努力迈进，是我国新时期经济发展的必然选择。国际产能合作的推进实施是一项长期、复杂、艰巨的系统工程。在此过程中，我国海外投资企业将直接面对目标国家政治、经济、产业、技术、金融、税收、政策、资源、环保、生态、
生物、
自然灾害等多维度风险因素。
[0003] 海外投资风险衍生途径多种多样，各种情报信息纷繁复杂，风险管控的复杂程度和难度呈几何倍数增长。在这种形势下，采用传统方法对海外投资风险进行量化评估的
瓶颈日益突出。
[0004] “大数据”作为一种新兴的
数据处理技术与认知思维，近年来获得全球科技界、产业界、政府部
门的高度重视，被认为是决策支持的有力工具，已经成为世界各国的研究前沿与战略规划重点。因此，迫切需要整合各类数据资源，利用大数据、
云计算、智能识别等技术手段，打造一个国家级海外投资风险智能检测、识别、预测、预警平台，快速、准确、全面
感知目标国家的政治、经济、产业、技术、金融、法律、劳工与汇率等海外投资风险，用最新信息技术手段强化我国企业参与国际产能合作过程中的风险防控能力。
发明内容
[0005] 本发明的目的是提供基于大数据的国际产能合作风险评估与决策服务系统，以实现用信息技术手段强化我国企业参与国际产能合作过程中的风险防控能力。
[0006] 为实现本发明的目的所采用的技术方案是：
[0007] 基于大数据的国际产能合作风险评估与决策服务系统，基于大数据的国际产能合作风险评估与决策服务系统，其特征在于，包括：
[0008] 分布式结构/非结构
数据库，用于结构化数据、半结构化数据和非结构化数据的分布式存储，实现PB级多源异构大数据的批量和流式处理；
[0009] 数据接入层，用于通过各种标准通信
接口，接收前端
数据采集模
块采集的数据，并将采集到的数据按照标准格式自动录入分布式结构/非结构数据库；
[0010] 信息采集和预处理层，用于采集预定的数据并对采集的数据进行预处理，对数据进行格式统一和语义理解，使用
数据挖掘技术，挖掘提炼出有效信息，并提取信息关键词，构建索引；
[0011] 其中，预定的数据来源包括有卫星遥感数据，互联网开源信息，智库业务数据以及
能源、环境、政策、法律、经济的调研数据；
[0012] 分析层，用于从实时信息流中识别有价值的信息内容，以文本形式保存，并对文本进一步加工，然后分别把针对国别风险、行业分析、国际舆情分析的信息进行聚类，并以信息表的形式展示，以为用户提供可靠情报；
[0013] 应用层，用于为查询用户提供查询检索功能，将检索查询的信息进行多维
可视化输出，生成相应的报告。
[0014] 其中，在对互联网开源信息采集方面，采用聚焦爬虫对网上信息页面自动分类、识别和采集；通过网页判别模块，根据人工预设主题词库，自动识别目标
网站中的信息页面，将通过爬虫采集的信息需要通过网页去噪模块滤除夹杂在网页正文内容周边的同正文内容无关的信息，包括广告信息、导航信息、著作权信息、页眉页脚信息；在
网络爬虫爬行过程中，通过网页消重模块进行数据消重处理；
[0015] 在卫星遥感信息采集方面，对卫星遥感图像图像进行校正恢复、增强变换、图像镶嵌、特征提取、图像分类操作，对图像中引入的噪声与畸变进行消除；增强变换即突出数据的预定特征，包括彩色增强、反差增强、边缘增强、
密度分割、比值运算、
去模糊；图像镶嵌即对一幅或若干幅图像通过几何镶嵌、
色调调整、去重叠处理后，镶嵌到一起生成一幅完整图像；特征提取，即从经过增强处理的影像中提取有用的遥感信息，包括采用统计分析、集群分析、
频谱分析技术自动识别与分类。
[0016] 所述分析层采用基于
认知计算的多源异构数据融合技术以及大图结构建模与关联分析方法来处理数据：
[0017] 所述基于认知计算的多源异构数据融合技术包括：
[0018] 基于
深度学习进行跨模态多源数据融合，实现跨模态数据的特征提取、概念融合与联合语义分析，针对大规模、多源、异构化流数据信息，整合文本信息与动态网络结构特征，实现面向事件、话题与群体的在线
跟踪和评估；
[0019] 基于认知计算的知识表示，模拟人脑对知识获取、存储和激活的方式，实现概念层级构建、推理规则及高层认知结构表示；
[0020] 所述大图结构建模与关联分析方法，包括大图的结构表示与建模、大图的计算及大图的关联分析；
[0021] 在大图的结构表示与建模方面，根据基于
顶点切割的分布式大图表示策略，采用负载
节点上边数和顶点数联合最小化的策略，进行大图的结构表示与建模；
[0022] 在大图的计算方向，将矩阵和向量操作转化为临近节点间的信息
迭代交互，以实现多种图
算法的集成，包括PageRank、特征值求解、联通子图统计；对于每种图算法，根据计算目标选取最优计算策略，包括基于随机变分，通过随机自然梯度上升算法进行变分推理来选取最优计算策略；
[0023] 在大图的关联分析方面，考虑节点在图中的
位置及节点随时间的动态变化因素，构建节点、子图及边的时变转移矩阵，根据时序模式下的转移熵关联监测与分析技术，针对不同类型的图结构，计算不同节点、子图及边的直接关联与间接关联性。
[0024] 所述应用层包括查询检索模块、信息多维可视化模块、初级报告生成模块和数据安全保障模块；
[0025] 查询检索模块，用于按照用户输入的数据查询
请求，提供包括专题检索、标题检索、模糊检索、联想检索、字符串检索在内多种快速查询检索方式；检索结果支持按发布时间分类排序、按类别分类排序、按相似度分类排序、按重复度分类排序。
[0026] 信息多维可视化模块，用于将数据信息以图形图像可视化的形式呈现出来，信息多维可视化模块使用的可视化技术包括：
[0027] 1)空间三维图形：用不同的图形元素的组合的变换映射为不同的数据维解释，把一个可视化空间结构和一条数据信息对应起来，通过图形的密度和
颜色的分布，以呈现数据的分布、数据之间的相似性和数据之间的关系；
[0028] 2)颜色图：分为彩色图和灰度图，彩色图的每一种颜色，对应着不同的属性维，灰度图利用颜色的深浅来标记数据量的属性值的大小；
[0029] 3)
亮度图：对于特定区域，用不同的亮度来辅助人眼对视点的观察；
[0030] 4)数学方法：利用数学中统计方法，先对数据关系进行分析，得到数据的大体分布信息，然后再结合其它可视化方法来进行细节数据分析；或者利用数学中统计方法对数据中的关系进行映射，映射成为图形图像关系；
[0031] 初级报告自动生成模块，用于自动完成原始数据收集、原始数据的加工计算、数据提取录人、表格编辑、曲线绘制，编辑生成初级报告；
[0032] 数据安全保障模块，用于保障数据的安全，通讯数据流使用SSL3.0安全套接层通讯，采用https加密协议传输，
服务器端与客户端之间的通讯需要相互认证，确保远用户操作时通讯安全，保障应用层的功能模块间通讯数据的合法性、数据的
保密性、数据的不可否认性和数据的完整性；在系统安全管理方面，实时检测功能模块运作状态，对重要模块提供双机热备份，安装反病毒、反木
马、
防火墙软件，加装入侵检测系统，定时更新病毒库、木马库，及时更新系统
补丁，确保系统不被病毒、木马攻击和感染；使用UPS不间断电源确保电源稳定供应。
[0033] 所述国别风险分析，是基于卫星遥感对地缘环境要素的观测，借助大数据云计算技术手段，以遥感数据处理、业务数据分析和多源信息综合可视化表达为技术路线，从包括政治、经济、产业、资源、环境在内的多个维度构建国家风险动态分析数学模型，对目标国家投资风险进行综合研判和定量分析；
[0034] 所述行业分析是对获得的来自于互联网开源数据、智库业务数据、生产企业数据数据，通过包括聚类、关联、回归在内的挖掘分析技术提炼有价值信息，形成包括行业国内外发展
水平、产业生命周期、产业发展态势、产能分布地图、产业政策、市场容量、市场进入与退出障碍在内的信息；
[0035] 所述国际舆情分析是以目标国家发生的包括自然灾害、事故灾难、公共卫生事件、社会安全事件在内的热点突发事件为研究对象，全面采集包括互联网、平面媒体、电视台、广播电台、社交媒体在内的全媒体大数据，应用大数据分析和处理技术对包括热点突发事件的来龙去脉、发展态势、舆论倾向、可能波及的范围和影响程度、重点人物社会关系图谱在内的情报进行监测、分析、评估和预警。
[0036] 本发明运用大数据、云计算、智能识别等技术手段，实现海外投资风险情报数据的搜集、融合与深度挖掘，全面感知境外投资国家的政治、经济、产业、技术、政策、资源、环境、生物、生态信息，对不同来源的数据进行采集、清洗、存储、格式统一、语义理解，以“
时空-对象-内容事件”为关联模型，挖掘提炼有效情报，进行分析；为开展国别风险研究、国际舆情研究、行业分析研究提供强大的数据采集、多语种多媒体数据分析和初级报告自动生成服务，使海外投资风险分析模式由人工经验型向计算机辅助智慧型转变，可为用户提供国别风险分析、行业风险分析、国际舆情分析三类信息服务。
附图说明
[0037] 图1是于大数据的国际产能合作风险评估与决策服务系统的原理示意图。
具体实施方式
[0038] 以下结合附图和具体
实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0039] 参见图1所示，基于大数据的国际产能合作风险评估与决策服务系统，基于大数据的国际产能合作风险评估与决策服务系统，其特征在于，包括：
[0040] 分布式结构/非结构数据库，用于结构化数据、半结构化数据和非结构化数据的分布式存储，实现PB级多源异构大数据的批量和流式处理；
[0041] 数据接入层，用于通过各种标准
通信接口，接收前端数据采集模块采集的数据，并将采集到的数据按照标准格式自动录入分布式结构/非结构数据库；
[0042] 信息采集和预处理层，用于采集预定的数据并对采集的数据进行预处理，对数据进行格式统一和语义理解，使用数据挖掘技术，挖掘提炼出有效信息，并提取信息关键词，构建索引；
[0043] 其中，预定的数据来源包括有卫星遥感数据，互联网开源信息，智库业务数据以及能源、环境、政策、法律、经济的调研数据；
[0044] 分析层，用于从实时信息流中识别有价值的信息内容，以文本形式保存，并对文本进一步加工，然后分别把针对国别风险、行业分析、国际舆情分析的信息进行聚类，并以信息表的形式展示，以为用户提供可靠情报；
[0045] 应用层，用于为查询用户提供查询检索功能，将检索查询的信息进行多维可视化输出，生成相应的报告。
[0046] 本发明基于Hadoop搭建大数据云存储平台，在计算机集群上运行应用程序，构建一个具有高可靠性和良好扩展性的并行分布式系统，支持结构化数据、半结构化数据和非结构化数据分布式存储。数据经过采集、清洗、预处理之后，由Hadoop交互模块对数据文件的大小和格式进行判断，进行合并后上传至HDFS，可以实现PB级多源异构大数据的批量和流式处理。
[0047] 所述数据接入层通过各种标准通信接口，接收前端采集信息。并将采集到的数据按照标准格式自动录入数据库，当需要采集外部数据时，系统向各数据采集模块发出数据接收请求，各数据采集模块在接到请求之后，启动数据采集任务，检查最早到达的外部数据并按时间顺序向系统发送。为保证信息的高效正确传输，要建立合适的接收发送机制，在接收方启动己接收缓存队列、接收任务队列和接收失败队列，在发送方启动发送缓存队列、发送任务队列和发送失败队列。对数据处理有效时间加以规定，对数据接收时未按时处理的，进入失败队列，按照异常处理，同时建立断点续传机制，确保各种情况下文件的正确传输。
[0048] 其中，在对互联网开源信息采集方面，采用聚焦爬虫对网上信息页面自动分类、识别和采集；通过网页判别模块，根据人工预设主题词库，自动识别目标网站中的信息页面，将通过爬虫采集的信息需要通过网页去噪模块滤除夹杂在网页正文内容周边的同正文内容无关的信息，包括广告信息、导航信息、著作权信息、页眉页脚信息；在网络爬虫爬行过程中，通过网页消重模块进行数据消重处理，通过网页消重模块，解决了重复采集的数据占用大量系统资源，降低工作效率的问题，可以达到增强检索效率、减少存储空间、增强用户的体验的效果；
[0049] 在卫星遥感信息采集方面，对卫星遥感图像图像进行校正恢复、增强变换、图像镶嵌、特征提取、图像分类操作，对图像中引入的噪声与畸变进行消除；增强变换即突出数据的预定特征，包括彩色增强、反差增强、边缘增强、密度分割、比值运算、去模糊；图像镶嵌即对一幅或若干幅图像通过几何镶嵌、色调调整、去重叠处理后，镶嵌到一起生成一幅完整图像；特征提取，即从经过增强处理的影像中提取有用的遥感信息，包括采用统计分析、集群分析、频谱分析技术自动识别与分类。对卫星遥感图像图像进行校正恢复、增强变换、图像镶嵌、特征提取图像分类等一系列的操作，对图像中引入的噪声与畸变进行消除，可以有效地提高图像的
质量；增强变换即突出数据的某些特征，可以提高影像目视质量。
[0050] 信息采集和预处理层在处理数据时，通过构建索引的目的是为方便系统及时找到需要的信息，快速从整体集合中选择性地读取满足条件的一部分集合。
[0051] 所述分析层采用基于认知计算的多源异构数据融合技术以及大图结构建模与关联分析方法来处理数据：
[0052] 所述基于认知计算的多源异构数据融合技术包括：
[0053] 基于深度学习进行跨模态多源数据融合，实现跨模态数据的特征提取、概念融合与联合语义分析，针对大规模、多源、异构化流数据信息，整合文本信息与动态网络结构特征，实现面向事件、话题与群体的在线跟踪和评估；
[0054] 基于认知计算的知识表示，模拟人脑对知识获取、存储和激活的方式，实现概念层级构建、推理规则及高层认知结构表示；
[0055] 所述大图结构建模与关联分析方法，包括大图的结构表示与建模、大图的计算及大图的关联分析；
[0056] 在大图的结构表示与建模方面，根据基于顶点切割的分布式大图表示策略，采用负载节点上边数和顶点数联合最小化的策略，进行大图的结构表示与建模；
[0057] 在大图的计算方向，将矩阵和向量操作转化为临近节点间的信息迭代交互，以实现多种图算法的集成，包括PageRank、特征值求解、联通子图统计；对于每种图算法，根据计算目标选取最优计算策略，包括基于随机变分，通过随机自然梯度上升算法进行变分推理来选取最优计算策略；
[0058] 在大图的关联分析方面，考虑节点在图中的位置及节点随时间的动态变化因素，构建节点、子图及边的时变转移矩阵，根据时序模式下的转移熵关联监测与分析技术，针对不同类型的图结构，计算不同节点、子图及边的直接关联与间接关联性。
[0059] 所述应用层包括查询检索模块、信息多维可视化模块、初级报告生成模块和数据安全保障模块；
[0060] 查询检索模块，用于按照用户输入的数据查询请求，提供包括专题检索、标题检索、模糊检索、联想检索、字符串检索在内多种快速查询检索方式；检索结果支持按发布时间分类排序、按类别分类排序、按相似度分类排序、按重复度分类排序。
[0061] 信息多维可视化模块，用于将数据信息以图形图像可视化的形式呈现出来，信息多维可视化模块使用的可视化技术包括：
[0062] 1)空间三维图形：用不同的图形元素的组合的变换映射为不同的数据维解释，把一个可视化空间结构和一条数据信息对应起来，通过图形的密度和颜色的分布，以呈现数据的分布、数据之间的相似性和数据之间的关系；
[0063] 2)颜色图：分为彩色图和灰度图，彩色图的每一种颜色，对应着不同的属性维，灰度图利用颜色的深浅来标记数据量的属性值的大小；
[0064] 3)亮度图：对于特定区域，用不同的亮度来辅助人眼对视点的观察；
[0065] 4)数学方法：利用数学中统计方法，先对数据关系进行分析，得到数据的大体分布信息，然后再结合其它可视化方法来进行细节数据分析；或者利用数学中统计方法对数据中的关系进行映射，映射成为图形图像关系；
[0066] 初级报告自动生成模块，用于自动完成原始数据收集、原始数据的加工计算、数据提取录人、表格编辑、曲线绘制，编辑生成初级报告；
[0067] 数据安全保障模块，用于保障数据的安全，通讯数据流使用SSL3.0安全套接层通讯，采用https加密协议传输，服务器端与客户端之间的通讯需要相互认证，确保远用户操作时通讯安全，保障应用层的功能模块间通讯数据的合法性、数据的保密性、数据的不可否认性和数据的完整性；在系统安全管理方面，实时检测功能模块运作状态，对重要模块提供双机热备份，安装反病毒、反木马、防火墙软件，加装入侵检测系统，定时更新病毒库、木马库，及时更新系统补丁，确保系统不被病毒、木马攻击和感染；使用UPS不间断电源确保电源稳定供应。
[0068] 所述国别风险分析，是基于卫星遥感对地缘环境要素的观测，借助大数据云计算技术手段，以遥感数据处理、业务数据分析和多源信息综合可视化表达为技术路线，从包括政治、经济、产业、资源、环境在内的多个维度构建国家风险动态分析数学模型，对目标国家投资风险进行综合研判和定量分析；
[0069] 所述行业分析是对获得的来自于互联网开源数据、智库业务数据、生产企业数据数据，通过包括聚类、关联、回归在内的挖掘分析技术提炼有价值信息，形成包括行业国内外发展水平、产业生命周期、产业发展态势、产能分布地图、产业政策、市场容量、市场进入与退出障碍在内的信息；
[0070] 所述国际舆情分析是以目标国家发生的包括自然灾害、事故灾难、公共卫生事件、社会安全事件在内的热点突发事件为研究对象，全面采集包括互联网、平面媒体、电视台、广播电台、社交媒体在内的全媒体大数据，应用大数据分析和处理技术对包括热点突发事件的来龙去脉、发展态势、舆论倾向、可能波及的范围和影响程度、重点人物社会关系图谱在内的情报进行监测、分析、评估和预警。
[0071] 其中，系统具有基于统一时空
框架的多源异构数据组织管理与可视化能力，具有多维度数据联动展现能力，具有专业的卫星遥感影像专业处理能力，具有对宏观经济大数据分析挖掘能力，并从政治、经济、产业、资源、环境等多个维度构建国家风险动态分析数学模型，对目标国家投资风险进行综合研判和定量分析，提高海外投资风险评估的时效性和准确度，以为境外投资企业提前部署资源，管控海外投资风险提供精准、迅速、量化的科学依据。宏观经济运行监测和预警指标体系如下表所示：
[0072]
[0073] 表1
[0074] 对特定国家i而言，其在t时刻的海外风险可以表达为依赖于信息集Ω的若干风险要素rij的函数形式。
[0075] CRit＝f(PRit，Erit，Brit，Lrit；Ωt)
[0076] 其中：CRit—特定国家i的风险评估指标,
[0077] PRit—特定国家i的政治风险指标,
[0078] Erit—特定国家i的经济风险指标,
[0079] Brit—特定国家i的商业环境风险指标,
[0080] Lrit—特定国家i的法律风险指标。
[0081] 在行业风险分析时，本发明用技术手段对互联网开源数据、智库业务数据、生产企业数据进行采集、
整理和存储，通过聚类、关联、回归等挖掘分析提炼有价值信息。为我国境外投资企业提供行业国内外发展水平、产业生命周期、产业发展态势、产能分布地图、产业政策、市场容量、市场进入与退出障碍等信息。
[0082] 在国际舆情分析时，本发明以我国主要境外投资国发生的自然灾害、事故灾难、公共卫生事件、社会安全事件等重大突发、热点事件为研究对象，全面采集互联网、平面媒体、电视台、广播电台、社交媒体等全媒体大数据，应用大数据分析和处理技术对海外热点突发事件的来龙去脉、发展态势、舆论倾向、可能波及的范围和影响程度、重点人物社会关系图谱等情报进行深入细致客观的监测、分析、评估和预警。
[0083] 本发明运用大数据、云计算、智能识别等技术手段，实现海外投资风险情报数据的搜集、融合与深度挖掘，全面感知我国境外投资国家的政治、经济、产业、技术、政策、资源、环境、生物、生态等信息，对不同来源的数据进行采集、清洗、存储、格式统一、语义理解，以“时空-对象-内容事件”为关联模型，挖掘提炼有效情报，进行分析；为开展国别风险研究、国际舆情研究、行业分析研究提供强大的数据采集、多语种多媒体数据分析和初级报告自动生成服务，使海外投资风险分析模式由人工经验型向计算机辅助智慧型转变，可为用户提供国别风险分析、行业风险分析、国际舆情分析三类信息服务。
[0084] 以上所述仅是本发明的优选实施方式，应当指出的是，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
