技术领域
[0001] 本
发明属于资源环境技术领域，尤其涉及一种资源环境承载能力的大数据智能测定系统及方法。
背景技术
[0003] 伴随着城镇化、工业化的快速推进，面临的资源环境问题将越来越严峻，且对人类社会的影响相对比较滞后。资源环境承载能力测定已成为可持续发展研究的核心问题之一，其关键就在于标定人类活动是否处于承载能力的范围之内。
[0004] 目前，承载能力测定方法有很多，例如模糊评价、主成分分析、集对分析、多目标分析评价、投影寻踪、生态足迹等等方法，资源环境是一个复杂的大数据系统，仅凭某一种方法来测定承载能力，归根到底也是充满了争议。资源环境承载能力测定在技术方法上有两个难点问题：①资源环境复杂系统的数据来源众多，关联性比较强，又包含结构化数据和图像、视频等非结构化数据，目前仍然缺乏对海量数据的整合分析。②在测定和决策中不可避免的存在主观性。在承载能力规范性量和质的决策过程中，无法避开人类价值取向和经验型判断的影响。③目前的研究现状多以指标定量分析为
基础开展评价，在空间方面的精准分析评价上仍存在不足。因此，大数据技术的应用和智能化的信息平台的构建就成为推动资源环境承载能力测定的重要保障措施。
[0005] 现有大数据的思想在资源环境领域得到了初步应用，但在数据存储、管理及处理分析等方面相对薄弱，没有形成成熟的资源环境大数据系统体系，大数据的
深度学习和智能化不够。因此，提高了大数据的存储速度和管理效率，采用深度学习与智能计算提高服务的
精度是目前需要解决的关键问题。
[0006] 综上所述，现有技术存在的问题是：
[0007] (1)资源环境复杂系统的数据来源众多，关联性比较强，又包含结构化数据和图像、视频等非结构化数据，目前仍然缺乏结合计算机或其他数据运行介质对海量数据的整合分析。
[0008] (2)在测定和决策中不可避免的存在主观性。在承载能力规范性量和质的决策过程中，无法避开人类价值取向和经验型判断的影响，目前缺乏一种结合计算机的测定和决策的系统。
[0009] (3)多以指标定量分析为基础开展评价，在空间方面的精准分析评价上缺乏有效的技术手段，在空间表征上，影响承载力的决策。
[0010] 解决上述技术问题的难度：
[0011] 要解决上述技术问题的难度在于：①对于资源环境-社会经济二元模式的系统中多源异构的海量数据进行并行分析，开展各种结构化、非结构化处理；②引入智能模拟克服承载能力测定和决策中的主观性；③如何全面系统的将地表自然和人文地质要素数据从调查、录入、预处理、分析，全面获取地表自然、生态和人类活动信息，并通过分析评价展示在空间格局上。
[0012] 解决上述技术问题的意义
[0013] 本发明建立基于MapReduce批处理的分布式计算
框架，对多源异构的海量数据开展各种结构化、非结构化处理，以期构建资源环境-社会经济二元模式的分布式大数据体系，在一定程度上满足数据量爆炸性增长和计算模式的集群化要求；通过数据统计分析、分布式挖掘技术和智能化深度学习方法，挖掘复杂系统内部多层次指标之间的内部强关联关系，开展承载力的智能评价，实现各个子系统和关键要素的联动控制，克服评价的主观性，提高了评价的效率；基于海量的空间数据与人文数据的融合，开展承载力在时间和空间域的评价，从空间格局上对政府提供决策，提高精准服务能力。
发明内容
[0014] 针对现有技术存在的问题，本发明提供了一种资源环境承载能力的大数据智能测定系统及方法。
[0015] 本发明是这样实现的，一种资源环境承载能力的大数据智能测定方法，所述资源环境承载能力的大数据智能测定方法包括：
[0016] 步骤一，建立资源环境-社会经济二元模式的大系统
数据采集、分析、整合系统，搭建多层次的大数据框架结构；通过智能数据采集处理器集成的数据采集芯片进行大系统数据采集，并利用智能数据采集处理器内部集成的处理芯片采用多特征融合的采集
算法进行资源环境-社会经济二元模式的大系统数据特征的识别；
[0017] 步骤二，对海量的资源环境和社会经济数据，通过计算机预置的
局部线性嵌入算法进行大数据的预处理，建立多维度、多尺度的资源环境复杂系统的大
数据库；
[0018] 步骤三，通过计算机的数据统计分析、预置的分布式挖掘技术和智能化深度学习方法，建立资源环境复杂大系统内部多层次指标之间的内部强关联关系，构建资源环境与社会二元结构的承载力智能评价模
块；
[0019] 步骤四，资源环境承载能力大数据智能评价系统的
可视化模块在计算机资源环境承载能力大数据的预处理、处理、分析、深度学习、智能评价的基础上，采用J2EE或.NET技术架构，进行智能评价的可视化展示。
[0020] 进一步，步骤一中，资源环境-社会经济二元模式的大系统数据特征的识别过程的公式为：
[0021]
[0022] 式中：Sim(U，U1)表示的是源环境-社会经济二元模式的大系统数据包含的特征属性以及特征表达集合；Ri表示数据分类过后的某一数据的特征数量；T表示特征含有量；PJU表示大数据的专属特有属性；
[0023] 所述资源环境-社会经济二元模式的大系统数据特征的识别过程中，对数据特征识别后把非特征性的属性进行筛出，表达式为：
[0024]
[0025] 式中：PU表示限定筛出条件，满足条件的被筛出；R表示在筛出过程中使用的过滤条件，防止有用的属性被筛出；r表示现有的筛出条件；通过过滤后进行数据特征的采集，表达式为：
[0026]
[0027] 式中：eiθ表示大数据分析情况下，数据特征的持有权值；λ表示进行采集过程中的平衡因子关联系数； 表示数据特征采集因素；在采集过程中有条件限定，限定公式为：
[0028]
[0029] 式中：M+N表示采集过程属性特征以及表现特征的采集量； 表示大数据的价值副属性； 表示无法进入采集过程的应对公式。
[0030] 进一步，所述步骤二中采用局部线性嵌入算法进行大数据的预处理分法包括：
[0031] D表示原始数据集样本空间的特征维度；d表示经过
降维后的特征维度；k为每个样本选取的近邻个数；X1，X2，...，Xn表示D维的n个样本；Y1，Y2，...，Yn则表示降到d维后的n个样本；Yi为Xi在d维空间的嵌入表示；k≤n-1，d≤D；具体包括：
[0032] (1)局部邻域点搜索，使用欧式距离计算并选取距离样本点Xi最接近的样本点作为样本点Xi的邻域点Xi1，Xi2，...，Xik，并假定Xi及选择的邻域点构成的是线性
超平面；
[0033] (2)计算样本的局部重建权值矩阵W，对于任意样本Xi，用选择的邻域点的线性组合重构表示
[0034]
[0035] 系数ωij表示在重构时Xi的第j个邻域点所占的权重，当样本点Xj不是Xi的邻域点时，ωij＝0；并且满足∑jωij＝1；使得重构后的代价误差函数ε(W)最小：
[0036]
[0037] 对于每一个样本点Xi，其代价误差εi(W)为：
[0038]
[0039] 其中wi＝(ωi1，ωi2，...，ωin)T；Gi＝(Gjk)，并且：
[0040] Gjk＝(Xi-Xj)T(Xi-Xk)；
[0041] 因为∑jωij＝1，即lnTwi＝1；利用拉格朗日乘子法，最小化函数：
[0042] f(wi)＝wiTGiwi-μ(1nTwi-1)；
[0043] 求得：
[0044] 其中，1n＝(1，1，...，1)T表示得到局部重建权值矩阵W；
[0045] (3)低维嵌入样本Yi的线性组合重构 表示为：
[0046]
[0047] 使用局部重建矩阵W计算嵌入d维空间的重建代价误差ε(Y)，并使得ε(Y)最小：
[0048]
[0049] 其中，M＝(I-W)T(I-W)，tr表示矩阵的迹，In为单位矩阵，且满足
[0050] 进一步，步骤一中，梳理资源环境-社会经济二元模式的大系统内部的关键因子，从野外数据采集、资料收集与室内分析处理，应用
聚类分析技术识别资源环境承载能力的关键数据因子，建立资源环境承载能力评价的多层次数据结构框架，并将采集的用户行为大数据传输至大数据预处理模块；
[0051] 农田变量信息利用
接触式传感方法、非接触式遥感方法对农田中的
土壤含水量、肥力、土壤有机质、
土壤压实、
耕作层深度和作物病、虫、草害及作物苗情分布信息进行采集。
[0052] 进一步，步骤二中，进行大数据的预处理的方法包括：清理、集成、规约和转换。
[0053] 进一步，步骤二具体包括：
[0054] 通过对海量数据进行不一致检测修正、数据集成、数据归纳与数据转换，实现数据的预处理；
[0055] 基于MapReduce批处理的分布式计算框架，对多源异构的海量数据进行并行分析，开展各种结构化、非结构化处理；
[0056] 构建资源环境-社会经济二元模式的基础数据、专题数据、数据输入、预处理、存储、分析和应用为一体的分布式大数据体系；
[0057] 将预处理之后的数据传输至
数据挖掘模块；
[0058] 步骤三中，分布式挖掘方法和智能化深度学习方法具体有：
[0059] 构建多种资源环境承载能力大数据系统的
机器学习过程，挖掘大数据集合中
节点之间的因果关系，建立要素之间的强关联规则，形成对承载能力描述或者属性的规则；对多
数据网络节点构建基于粒子群PSO和蚁群的混合算法、自适应多层神经网络、二阶
贝叶斯网络模型的关联规则挖掘方法，建立智能学习模型和海量的
训练数据集，进行无监督深度学习，学习数据的有用特征；
[0060] 基于大数据与承载能力之间的强关联关系，构建资源环境与社会经济二元内结构的承载能力智能评价系统模型；
[0061] 步骤四具体包括：
[0062] 在多承载能力的关键影响因子，设置资源利用与环境保护的情境集，依据智能化学习及模拟，分析承载能力的变化情况，并对学习结果进行灵敏度分析；
[0063] 根据承载能力、主要贡献因子与承载力
风险管控措施之间的关联关系，建立三者之间的关联数据库，提供承载能力智能评价、主要原因分析、承载力风险应急管理、决策支持的管理平台，并进行可视化展示给不同的用户，实现用户之间的交互式处理。
[0064] 本发明的另一目的在于提供一种实施所述资源环境承载能力的大数据智能测定方法的资源环境承载能力的大数据智能测定系统，所述资源环境承载能力的大数据智能测定系统包括：
[0065] 资源环境-社会经济二元模式的大数据采集模块、大数据预处理模块、资源环境承载能力数据挖掘模块、资源环境管理显示输出模块。所述资源环境-社会经济二元模式的大数据采集模块包括智能数据采集处理器，智能数据采集处理器集成的数据采集芯片进行大系统数据采集，所述智能数据采集处理器内部集成的处理芯片采用多特征融合的采集算法进行资源环境-社会经济二元模式的大系统数据特征的识别；
[0066] 资源环境-社会经济二元模式的大数据采集模块主要负责采集、分析、整合海量用户行为大数据，建立多层次的数据框架结构；
[0067] 大数据预处理模块负责对用户行为大数据进行清理、集成、规约和转换预处理；
[0068] 大数据挖掘模块利用数据统计分析、分布式挖掘技术以及智能化深度学习技术，建立用户行为大数据之间的强关联关系，进行资源环境与社会二元结构的承载力智能评价；
[0069] 资源环境承载能力大数据管理显示输出模块用于分析用户资源环境承载能力的评价行为结果，并将用户行为数据和信息通过数据、文本、图表、视频等多种形式显示输出。
[0070] 本发明的另一目的在于提供一种实施所述资源环境承载能力的大数据智能测定方法的信息
数据处理终端。
[0071] 本发明的另一目的在于提供一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行所述的资源环境承载能力的大数据智能测定方法。
[0072] 本发明的另一目的在于提供一种实施所述资源环境承载能力的大数据智能测定方法的资源环境承载能力的大数据分析、处理、智能评价、可视化系统平台。
[0073] 综上所述，本发明的优点及积极效果为：
[0074] 本发明中的资源环境承载能力的大数据智能化测定技术采用非工程措施，借助于计算机或其他数据运行介质的智能化深度学习技术，可迅速地分析资源、环境、灾害等信息的现状、发展趋势以及危害性，制定出资源环境风险适应、转移方案，有效地运用防控体系，提高了分析处理的时效性和准确性，最大限度地减少灾害损失。本发明提出的基于大数据分析的海量数据特征智能采集方法，通过建立节点部署模型保证了在大数据的环境下数据采集过程的准确性，优化了多特征融合的采集算法，提高了对数据特征的敏感程度，保证了数据特征采集的速度。
[0075] 表1本发明采用的关键技术的技术效果表
[0077] 图1是本发明
实施例提供的资源环境承载能力的大数据智能测定系统示意图；
[0078] 图中：1、资源环境-社会经济二元模式的大数据采集模块；2、大数据预处理模块；3、大数据挖掘模块；4、资源环境承载能力大数据管理显示输出模块。
[0079] 图2是本发明实施例提供的资源环境承载能力的大数据智能测定方法
流程图。
具体实施方式
[0080] 为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0081] 资源环境复杂系统的数据来源众多，关联性比较强，又包含结构化数据和图像、视频等非结构化数据，目前仍然缺乏对海量数据的整合分析。
[0082] 在测定和决策中不可避免的存在主观性。在承载能力规范性量和质的决策过程中，无法避开人类价值取向和经验型判断的影响。
[0083] 为解决现有技术问题，下面结合技术方案对本发明的应用原理作详细描述。
[0084] 如图1所示，本发明实施例提供的资源环境承载能力的大数据智能测定系统包括：
[0085] 资源环境-社会经济二元模式的大数据采集模块1主要负责采集、分析、整合海量用户行为大数据，建立多层次的数据框架结构；所述资源环境-社会经济二元模式的大数据采集模块包括智能数据采集处理器，智能数据采集处理器集成的数据采集芯片进行大系统数据采集，所述智能数据采集处理器内部集成的处理芯片采用多特征融合的采集算法进行资源环境-社会经济二元模式的大系统数据特征的识别。
[0086] 大数据预处理模块2负责对用户行为大数据进行清理、集成、规约和转换预处理。
[0087] 大数据挖掘模块3利用数据统计分析、分布式挖掘技术以及智能化深度学习技术，建立用户行为大数据之间的强关联关系，进行资源环境与社会二元结构的承载力智能评价。
[0088] 资源环境承载能力大数据管理显示输出模块4用于分析用户资源环境承载能力的评价行为结果，并将用户行为数据和信息通过数据、文本、图表、视频等多种形式显示输出。
[0089] 如图2所示，本发明实施例提供的资源环境承载能力的大数据智能测定方法包括：
[0090] S101，建立资源环境-社会经济二元模式的大系统数据采集、分析、整合系统，搭建多层次的大数据框架结构；通过智能数据采集处理器集成的数据采集芯片进行大系统数据采集，并利用智能数据采集处理器内部集成的处理芯片采用多特征融合的采集算法进行资源环境-社会经济二元模式的大系统数据特征的识别。
[0091] S102，对海量的资源环境和社会经济数据，通过计算机采用局部线性嵌入算法进行大数据的预处理，建立多维度、多尺度的资源环境复杂系统的大数据库。
[0092] S103，通过计算机的数据统计分析、分布式挖掘技术和智能化深度学习方法，建立资源环境复杂大系统内部多层次指标之间的内部强关联关系，构建资源环境与社会二元结构的承载力智能评价模块。
[0093] S104，资源环境承载能力大数据智能评价系统的可视化模块在计算机资源环境承载能力大数据的预处理、处理、分析、深度学习、智能评价的基础上，采用J2EE或.NET技术架构，进行智能评价的可视化展示。
[0094] 步骤S101中，资源环境-社会经济二元模式的大系统数据特征的识别过程的公式为：
[0095]
[0096] 式中：Sim(U，U1)表示的是源环境-社会经济二元模式的大系统数据包含的特征属性以及特征表达集合；Ri表示数据分类过后的某一数据的特征数量；T表示特征含有量；PJU表示大数据的专属特有属性；
[0097] 所述多特征融合的采集算法的资源环境-社会经济二元模式的大系统数据特征的识别过程对数据特征识别后把非特征性的属性进行筛出，表达式为：
[0098]
[0099] 式中：PU表示限定筛出条件，满足条件的被筛出；R表示在筛出过程中使用的过滤条件，防止有用的属性被筛出；r表示现有的筛出条件；通过过滤后进行数据特征的采集，表达式为：
[0100]
[0101] 式中：eiθ表示大数据分析情况下，数据特征的持有权值；λ表示进行采集过程中的平衡因子关联系数； 表示数据特征采集因素；在采集过程中有条件限定，限定公式为：
[0102]
[0103] 式中：M+N表示采集过程属性特征以及表现特征的采集量； 表示大数据的价值副属性； 表示无法进入采集过程的应对公式。
[0104] 步骤S102中采用局部线性嵌入算法进行大数据的预处理分法包括：
[0105] D表示原始数据集样本空间的特征维度；d表示经过降维后的特征维度；k为每个样本选取的近邻个数；X1，X2，...，Xn表示D维的n个样本；Y1，Y2，...，Yn则表示降到d维后的n个样本；Yi为Xi在d维空间的嵌入表示；k≤n-1，d≤D；具体包括：
[0106] (1)局部邻域点搜索，使用欧式距离计算并选取距离样本点Xi最接近的样本点作为样本点Xi的邻域点Xi1，Xi2，...，Xik，并假定Xi及选择的邻域点构成的是线性超平面；
[0107] (2)计算样本的局部重建权值矩阵W，对于任意样本Xi，用选择的邻域点的线性组合重构表示
[0108]
[0109] 系数ωij表示在重构时Xi的第j个邻域点所占的权重，当样本点Xj不是Xi的邻域点时，ωij＝0；并且满足∑jωij＝1；使得重构后的代价误差函数ε(W)最小：
[0110]
[0111] 对于每一个样本点Xi，其代价误差εi(W)为：
[0112]
[0113] 其中wi＝(ωi1，ωi2，...，ωin)T；Gi＝(Gjk)，并且：
[0114] Gjk＝(Xi-Xj)T(Xi-Xk)；
[0115] 因为∑jωij＝1，即lnTwi＝1；利用拉格朗日乘子法，最小化函数：
[0116] f(wi)＝wiTGiwi-μ(1nTwi-1)；
[0117] 求得：
[0118] 其中，1n＝(1，1，...，1)T表示得到局部重建权值矩阵W；
[0119] (3)低维嵌入样本Yi的线性组合重构 表示为：
[0120]
[0121] 使用局部重建矩阵W计算嵌入d维空间的重建代价误差ε(Y)，并使得ε(Y)最小：
[0122]
[0123] 其中，M＝(I-W)T(I-W)，tr表示矩阵的迹，In为单位矩阵，且满足
[0124] 在本发明实施例中，步骤S101中，梳理资源环境-社会经济二元模式的大系统内部的关键因子，从野外数据采集、资料收集与室内分析处理，应用聚类分析技术识别资源环境承载能力的关键数据因子，建立资源环境承载能力评价的多层次数据结构框架，并将采集的用户行为大数据传输至大数据预处理模块。
[0125] 农田变量信息快速采集主要是对农田中的土壤含水量、肥力、土壤有机质、
土壤压实、耕作层深度和作物病、虫、草害及作物苗情分布信息采集，一般分为接触式传感技术、非接触式遥感技术。
[0126] 在本发明实施例中，步骤S102中，①通过对海量数据进行不一致检测修正、数据集成、数据归纳与数据转换，实现数据的预处理；
[0127] ②基于MapReduce批处理的分布式计算框架，对多源异构的海量数据进行并行分析，开展各种结构化、非结构化处理；
[0128] ③构建资源环境-社会经济二元模式的基础数据、专题数据、数据输入、预处理、存储、分析和应用为一体的分布式大数据体系；
[0129] ④将预处理之后的数据传输至数据挖掘模块。
[0130] 在本发明实施例中，步骤S103中，通过数据统计分析、分布式挖掘技术和智能化深度学习技术，建立资源环境复杂大系统内部多层次指标之间的内部强关联关系，构建资源环境与社会二元结构的承载力智能评价模块。
[0131] 在资源环境承载能力大数据框架下开展数据挖掘工作，主要包括分布式挖掘和深度学习过程，具体有：
[0132] ①构建多种资源环境承载能力大数据系统的机器学习过程，挖掘大数据集合中节点之间的因果关系，建立要素之间的强关联规则，形成对承载能力描述或者属性的规则。针对数据网络节点较多，数据量较大，本次构建基于粒子群(PSO)和蚁群的混合算法、自适应多层神经网络、二阶贝叶斯网络模型等的关联规则挖掘方法，建立智能学习模型和海量的训练数据集，进行无监督深度学习，学习数据的有用特征，提升分类和预测的准确性。
[0133] ②基于大数据与承载能力之间的强关联关系，构建资源环境与社会经济二元内结构的承载能力智能评价系统模型。
[0134] 在本发明实施例中，步骤S104中，包括：①在众多的承载能力的关键影响因子，设置资源利用与环境保护的情境集，依据上述智能化学习及模拟，分析承载能力的变化情况，并对学习结果进行灵敏度分析。
[0135] ②根据承载能力、主要贡献因子与承载力风险管控措施之间的关联关系，建立三者之间的关联数据库，提供承载能力智能评价、主要原因分析、承载力风险应急管理、决策支持的一
套管理平台，并进行可视化展示给不同的用户，实现用户之间的交互式处理，创新性得提出了资源环境承载能力的大数据分析、处理、智能评价、可视化系统平台。
[0136] 在上述实施例中，可以全部或部分地通过
软件、
硬件、
固件或者其任意组合来实现。当使用全部或部分地以
计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、
计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个
网站站点、计算机、
服务器或
数据中心通过有线(例如同轴
电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、
微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是
磁性介质，(例如，
软盘、
硬盘、磁带)、光介质(例如，DVD)、或者
半导体介质(例如固态硬盘Solid State Disk(SSD))等。
[0137] 以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何
修改、等同替换和改进等，均应包含在本发明的保护范围之内。
