一种基于蔬菜价格预测推荐的大数据系统
阅读：398发布：2020-05-16
专利汇可以提供一种基于蔬菜价格预测推荐的大数据系统专利检索，专利查询，专利分析的服务。并且本 发明 提供了一种基于蔬菜价格预测推荐的 大数据 系统，包括由底至上部署的 基础 设施层、数据资源层、 支撑 层、应用层、接入层。本发明能为极贫乡镇政府、上级政府提供农业产业管理决策支撑，满足农业产业发展和精准扶贫需求，实现大数据和实体经济融合的探索，为创新数据应用模式和精准扶贫事业发展提供支撑；为农户和涉农企业提供蔬菜扶贫大数据服务，满足农业产业带动贫困人口增收的需求，提高人民群众特别是贫困人口的获得感和满意度；使用大数据技术对蔬菜市场价格、需求趋势进行预测，指导农业生产，避免盲目种植；通过预测蔬菜价格，分析营收，辅助相关决策，实现带动农户增收。，下面是一种基于蔬菜价格预测推荐的大数据系统专利的具体信息内容。
1.一种基于蔬菜价格预测推荐的大数据系统，包括由底至上部署的基础设施层、数据资源层、支撑层、应用层、接入层，其特征在于：其中：
基础设施层提供硬件支持；
数据资源层基于基础设施层的硬件支持搭建多个数据存储库，数据存储库包括蔬菜行情态势主题库、蔬菜价格分析预测主题库、极贫乡镇人口项目主题库；
支撑层提供消息通信、任务调度、数据流操作的功能；
应用层提供可视化和算法支撑的功能；
接入层通过屏幕和PC端接口提供用户交互。
2.如权利要求1所述的基于蔬菜价格预测推荐的大数据系统，其特征在于：所述支撑层还提供分布式数据操作功能。
3.如权利要求1所述的基于蔬菜价格预测推荐的大数据系统，其特征在于：所述应用层在算法支撑方面，部署蔬菜舆情分析系统、蔬菜价格预测系统、推荐算法运行系统。
4.如权利要求1所述的基于蔬菜价格预测推荐的大数据系统，其特征在于：所述支撑层还提供商业智能系统，商业智能系统包括应用组件模块、看板引擎、应用支撑组件和数据适配组件，其中：
应用组件模块提供联机分析处理、数据抽取和多维分析展示的功能；
看板引擎提供网格布局、监控布局、时间轴布局的计算功能；
应用支撑组件提供数据源管理、数据集管理和权限管理功能；
数据适配组件提供数据源接入和性能调优管理功能。
5.如权利要求3所述的基于蔬菜价格预测推荐的大数据系统，其特征在于：所述蔬菜舆情分析系统基于蔬菜文本数据，进行信息抽取，筛选出蔬菜价格影响因素，并对影响因素进行权重打分，最终计算出各类蔬菜的情感态势，为蔬菜价格预测提供支撑。
6.如权利要求3所述的基于蔬菜价格预测推荐的大数据系统，其特征在于：所述蔬菜价格预测系统基于收集到的不同种类、不同地区和不同时段的蔬菜数据，运用文本和蔬菜特征属性两方面的数据，采用模型融合的方法，结合预测模型，实现对蔬菜价格的预测。
7.如权利要求6所述的基于蔬菜价格预测推荐的大数据系统，其特征在于：所述模型融合是指Stacking模型融合。
8.如权利要求1所述的基于蔬菜价格预测推荐的大数据系统，其特征在于：所述数据资源层底层有数据采集接口，数据采集接口接入蔬菜品类、平均价格、当天最高价格、当天最低价格、市场名称、市场舆情文本数据。
一种基于蔬菜价格预测推荐的大数据系统
技术领域
背景技术
[0002] 传统农业对市场的感知能力薄弱，实施春播秋种大多依据个人经验，盲目跟风种植养殖现象较为普遍，由于生产周期长，农产品生产面临着市场价格颠簸和自然灾害的双重风险，跟风种植造成的农产品收获后市场供大于求，销售渠道又不畅通，导致价格一路走低甚至无人收购。价格的大起大落不仅是对生产者不利，对消费者也不利。受限于地理环境、资源条件的限制，特别是部分极贫乡镇，完全依靠经验进行种植，缺少植策略和市场的感知。使用大数据技术对蔬菜市场价格、需求趋势进行预测，指导农业生产，避免盲目种植；通过预测蔬菜价格，分析营收，辅助相关决策，实现带动农户增收。
发明内容
[0003] 为解决上述技术问题，本发明提供了一种基于蔬菜价格预测推荐的大数据系统，该基于蔬菜价格预测推荐的大数据系统基于合理的架构设计，能有效提高蔬菜价格预测的准确性。
[0004] 本发明通过以下技术方案得以实现。
[0007] 数据资源层基于基础设施层的硬件支持搭建多个数据存储库，数据存储库包括蔬菜行情态势主题库、蔬菜价格分析预测主题库、极贫乡镇人口项目主题库；
[0008] 支撑层提供消息通信、任务调度、数据流操作的功能；
[0011] 所述支撑层还提供分布式数据操作功能。
[0012] 所述应用层在算法支撑方面，部署蔬菜舆情分析系统、蔬菜价格预测系统、推荐算法运行系统。
[0014] 应用组件模块提供联机分析处理、数据抽取和多维分析展示的功能；
[0015] 看板引擎提供网格布局、监控布局、时间轴布局的计算功能；
[0016] 应用支撑组件提供数据源管理、数据集管理和权限管理功能；
[0017] 数据适配组件提供数据源接入和性能调优管理功能。
[0018] 所述蔬菜舆情分析系统基于蔬菜文本数据，进行信息抽取，筛选出蔬菜价格影响因素，并对影响因素进行权重打分，最终计算出各类蔬菜的情感态势，为蔬菜价格预测提供支撑。
[0019] 所述蔬菜价格预测系统基于收集到的不同种类、不同地区和不同时段的蔬菜数据，运用文本和蔬菜特征属性两方面的数据，采用模型融合的方法，结合预测模型，实现对蔬菜价格的预测。
[0020] 所述模型融合是指Stacking模型融合。
[0021] 所述数据资源层底层有数据采集接口，数据采集接口接入蔬菜品类、平均价格、当天最高价格、当天最低价格、市场名称、市场舆情文本数据。
[0022] 本发明的有益效果在于：能为极贫乡镇政府、上级政府提供农业产业管理决策支撑，满足农业产业发展和精准扶贫需求，实现大数据和实体经济融合的探索，为创新数据应用模式和精准扶贫事业发展提供支撑；为农户和涉农企业提供蔬菜扶贫大数据服务，满足农业产业带动贫困人口增收的需求，提高人民群众特别是贫困人口的获得感和满意度；使用大数据技术对蔬菜市场价格、需求趋势进行预测，指导农业生产，避免盲目种植；通过预测蔬菜价格，分析营收，辅助相关决策，实现带动农户增收。附图说明
[0023] 图1是本发明的架构示意图；
[0024] 图2是本发明蔬菜价格预测的流程图。
具体实施方式
[0025] 下面进一步描述本发明的技术方案，但要求保护的范围并不局限于所述。
[0026] 如图1所示的一种基于蔬菜价格预测推荐的大数据系统，包括由底至上部署的基础设施层、数据资源层、支撑层、应用层、接入层；其中：
[0027] 基础设施层提供硬件支持；
[0028] 数据资源层基于基础设施层的硬件支持搭建多个数据存储库，数据存储库包括蔬菜行情态势主题库、蔬菜价格分析预测主题库、极贫乡镇人口项目主题库；
[0029] 支撑层提供消息通信、任务调度、数据流操作的功能；
[0030] 应用层提供可视化和算法支撑的功能；
[0031] 接入层通过屏幕和PC端接口提供用户交互。
[0032] 所述支撑层还提供分布式数据操作功能。
[0033] 所述应用层在算法支撑方面，部署蔬菜舆情分析系统、蔬菜价格预测系统、推荐算法运行系统。
[0034] 所述支撑层还提供商业智能系统，商业智能系统包括应用组件模块、看板引擎、应用支撑组件和数据适配组件，其中：
[0035] 应用组件模块提供联机分析处理、数据抽取和多维分析展示的功能；
[0036] 看板引擎提供网格布局、监控布局、时间轴布局的计算功能；
[0037] 应用支撑组件提供数据源管理、数据集管理和权限管理功能；
[0038] 数据适配组件提供数据源接入和性能调优管理功能。
[0039] 所述蔬菜舆情分析系统基于蔬菜文本数据，进行信息抽取，筛选出蔬菜价格影响因素，并对影响因素进行权重打分，最终计算出各类蔬菜的情感态势，为蔬菜价格预测提供支撑。
[0040] 所述蔬菜价格预测系统基于收集到的不同种类、不同地区和不同时段的蔬菜数据，运用文本和蔬菜特征属性两方面的数据，采用模型融合的方法，结合预测模型，实现对蔬菜价格的预测。
[0041] 所述模型融合是指Stacking模型融合。
[0042] 所述数据资源层底层有数据采集接口，数据采集接口接入蔬菜品类、平均价格、当天最高价格、当天最低价格、市场名称、市场舆情文本数据。
[0043] 具体的，本发明核心部分由以下模块组成：
[0044] ①可视化展示系统：可视化展示系统在充分整合、挖掘、利用信息技术与数据资源，对蔬菜全产业各环节数据进行深入分析和研究的基础上，实现对蔬菜产业扶贫工作的综合管控、各类数据的综合分析、农业扶贫效果直观展示等，为蔬菜产业的调控、管理、服务提供有价值的决策依据，科学的促进蔬菜产业转型升级健康发展；
[0045] ②智能BI系统：要实现交互式多维报表设计和数据分析的工具；
[0046] ③算法支撑系统：算法支撑系统包括蔬菜舆情分析模型、蔬菜价格预测模型、推荐算法；
[0047] ④数据采集系统：以蔬菜产业为着眼点，充分利用政府、互联网、自有数据、市场数据等大数据资源，周期性地对蔬菜价格数据和蔬菜行情数据进行采集，并对采集的信息进行数据清洗、集成、变换、归约等一系列数据预处理工作，以服务于蔬菜价格预测系统和情感态势分析系统。
[0048] 由此，构成基于“框架+组件”模式的统一技术架构，采用React.js的框架和Echarts组件的用户界面开发方式，使用Virtual DOM、ReactEcharts、AXIOS、Webpack等插件，根据农业扶贫的实际需要，通过可视化方法将数据分析结果展示在数据展示门户上。用户可在全景应用视图进行视图的灵活定制，满足政府、合作社、农户等不同人员的场景和应用需求。
[0049] 对于可视化展示系统而言：
[0051] (2)React组件被渲染时，向后端的数据服务接口请求数据，然后后端服务接口再向数据库进行请求，数据库和后端服务接口响应后向React进行数据传输；
[0052] (3)React将拼接好的配置项传给Echarts；
[0053] (4)Echarts则根据用户需求，实现相应的数据可视化内容；
[0054] (5)用户在View上交互时，比如点击，会触发React向服务器发送具体的数据请求，数据请求传输由步骤(2)到(4)依次进行，Echarts按照内容的需要更新它的状态，并按要求进行渲染。
[0055] 对于智能BI系统而言，后端采用Spring boot和MyBatis技术，前端采用React和ECharts开发。整个系统架构包括三部分，分为应用组件模块、应用支撑模块和数据适配器模块。应用组件主要包括OLAP分析、看板和定时任务，应用支撑包括配置管理、权限管理和数据管理，数据适配包括数据适配器：
[0056] (1)数据源获取，首先选择要添加的数据源类型，不同类型的数据源对应不同的连接信息，然后根据所选的数据源类型填写相关连接信息，连接数据源。
[0057] (2)配置数据集，选择已连接的数据源，基于该数据源创建数据集。首先编辑数据集的SQL查询语句，加载数据字段，然后根据数据集字段自定义维度列、指标列、聚合表达式和过滤器。
[0058] (3)设计图表，选择已有的数据集，也可以新建查询。首先根据数据集中配置的维度列等，定义图表的维度、指标、过滤条件等信息，然后根据定义条件选择对应的图表类型，创建图表。
[0059] (4)设计看板，首先选择看板布局格式，包括网格布局、时间轴布局、全屏监控布局，然后在看板中添加参数行和展示图表行，参数行设计整个看板的过滤条件，图表行添加已创建的图表，可设置图表大小等样式。
[0060] (5)展示看板，还可以将看板导出为指定格式的文件。在第二步配置完数据集后，可以将数据集接口提供给前端，前端通过该接口获取数据进行图表自定义设计，通过配置不同要求的数据集接口可以满足前端图表设计的灵活开发需求。
[0061] 对于算法支撑系统而言，蔬菜价格预测和蔬菜舆情分析分别用到的框架为:Stacking融合模型和“嵌入向量(Embedding)+分类模型(XGBoost、SVM)”。
[0062] (1)Stacking融合模型：通过一个模型来融合若干单模型的预测结果，目的是降低单模型的泛化误差。Stacking先从初始的训练集训练出若干单模型，然后把单模型的输出结果作为样本特征进行融合，并把原始样本标记作为新数据样本标记，生成新的训练集。再根据新的训练集训练一个新的模型，最后用新的模型对样本进行预测。通过一个模型来融合若干单模型的预测结果，目的是降低单模型的泛化误差。Stacking先从初始的训练集训练出若干单模型，然后把单模型的输出结果作为样本特征进行融合，并把原始样本标记作为新数据样本标记，生成新的训练集。再根据新的训练集训练一个新的模型，最后用新的模型对样本进行预测。
[0063] (2)Stacking融合模型：使用Word2vec(Word Embedding)和Doc2vec(Sentence/Document EMbedding)将文本转换为特征向量，并构建价格因素词、句词典，然后使用WMD(word mover’s distance)度量词句之间的相似度，根据相似度为文本内容打分，标注价格影响因子，最后通过分类模型XGBoost/SVM对每篇文章进行分类，打分总体价格影响因子。
[0064] 数据采集模块主要采集蔬菜品类、平均价格、当天最高价格、当天最低价格、市场名称以及市场舆情等信息，并对采集的信息进行数据清洗、集成、变换、归约等一系列数据预处理工作，以服务于蔬菜价格预测系统和情感态势分析系统。
[0065] (1)数据采集：数据主要来源于政府、互联网和市场等。
[0066] 政府数据主要来自扶贫办、商务、农委、国土、气象、生态委等部门。通过与各委办局的数据协调与采集，能够快速了解贵州省贫困情况、土地情况、天气情况、规划情况及各市场的蔬菜种类、数量、金额，为扶贫对象和蔬菜需求预测提供数据支撑。
[0067] 互联网数据主要针对全国性与区域性重要新闻网站、主流商业门户网站、蔬菜行业网站等，通过数据采集接口进行周期性采集。主要包括蔬菜品类、数量、历史价格、市场名称等价格信息和需求、供给、政策、市场情绪等行情信息。
[0068] 自有数据主要依托大数据国家工程实验室当前掌握的一系列相关数据作支撑，主要包括贵州省极贫乡镇地理信息、耕地情况、种植情况等数据。
[0069] 市场数据主要从商超和菜市通过人工采集获得。
[0070] (2)数据预处理：完成对不同源获得的杂乱、重复、不完整的原始数据的预处理工作，以改进数据质量，服务于蔬菜情感态势分析，最终提高蔬菜价格预测的准确度和精度。数据预处理主要包括数据清洗，数据集成，数据变换与数据归约等技术。
[0071] 就本发明整体架构而言，整体架构采用Java开发平台，各模块基于分布式场景使用spring boot技术和微服务架构设计，算法模块使用python实现高性能计算，前端采用React框架进行集成展示，HTML、CSS及javascript等技术，以及ECharts组件、数据库技术、多层B/S应用结构体系，使整个应用系统构建在先进、高效的技术架构之上，体现先进性、可扩展性、可维护性和可移植性。
[0072] 采用springcloud分布式开发环境，采用微服务架构，开发好上层应用后底层部署到docker容器中，便于集成和更新，将应用和服务分解成更小的、松散耦合的组件。
[0073] 循着这个设计思路，按照一体化、规模化、集约化建设要求，综合起来对总体架构进行规划。
[0074] (1)基础设施层：基础设施层是支撑信息系统运行的基础，包括硬件设施、网络环境及系统软件。硬件设施包括机房、主机、存储、灾备、网络、安全系统等硬件设备及环境。本项目将充分利用现有基础设施，统一提供计算、存储、安全等基础支撑。网络环境依托互联网实现安全接入。系统软件包括操作系统、数据库系统、中间件等通用工具软件。
[0075] (2)数据资源层：通过数据采集、资源整合、本单位自有数据等多种手段，围绕大数据精准扶贫项目需求，建设和完善BI系统业务数据库、蔬菜行情态势主题库、蔬菜价格分析预测主题库和极贫乡镇人口项目主题库，实现信息留存、集中、对称、共享、公开以及应用呈现，以此逐步建立大数据应用机制，支持大数据分析研判，助推创新发展。
[0076] (3)支撑层：通过Spring Cloud Bus、Spring Cloud Task、Spring Could DataFlow以及Spring Could Stream与数据资源层进行消息通信、对定义的任务集进行调度、执行大数据相关的操作以及进行数据流相关的操作。
[0077] (4)应用层：应用服务层构成了系统的核心业务系统，它表现了应用系统的逻辑边界和交互关系。主要包括“大数据精准扶贫可视化系统”、和“算法支撑系统”两大核心系统。
[0078] (5)系统接入层：系统接入层基于应用层之上。用户可在共享的身份认证和授权控制下访问信息平台各类应用功能。此外，可通过交换接口，数据同步技术，实现内部横向、纵向信息共享与业务协同，实现与其他部门和上级政务服务平台的数据交换。
[0079] 通过Zuul服务网关和Nginx负载均衡与系统接入层进行交互。Zuul服务网关可以可以提供服务路由、服务过滤等功能。nginx可以按照调度规则实现系统接入层动态、静态页面的分离，可以按照轮询、ip哈希、URL哈希、权重等多种方式对后端服务器做负载均衡。
[0080] 基于本发明，在实现蔬菜价格预测方面，一般采取如图2所示的步骤：
[0081] 1)数据采集：大数据精准扶贫系统通过数据采集系统利用政府机构、互联网、本单位和市场等多个信息源，周期性地对蔬菜价格数据和蔬菜行情数据进行采集；
[0082] 2)数据预处理：数据采集系统对采集的原始信息进行数据清洗、集成、变换、归约等一系列数据预处理工作；
[0083] 3)原始数据入库：将预处理后的蔬菜文本数据、属性数据、区域产量数据、成本数据、产地数据等，存入数据库；
[0084] 4)蔬菜情感态势分析：针对蔬菜文本数据(舆情)，运用人工智能技术(NLP情感态势分析)，对舆情信息进行信息抽取，筛选出蔬菜价格影响因素如：天气、物流、质量、供应量、需求量等，并对各类影响因素进行权重打分，最终感知出各类蔬菜的情感态势，为蔬菜价格预测提供支撑；
[0085] 5)蔬菜价格预测分析：围绕供求关系、季节、气候状况等多种影响蔬菜价格的因素，基于收集到的不同种类、不同地区和不同时段的蔬菜数据，充分运用文本和蔬菜特征属性两方面的数据，采用Stacking模型融合的方法，结合回归预测模型和NLP情感态势分析技术，实现蔬菜价格的超前预测，并提高预测的准确性；
[0086] 6)形成主题数据库：将蔬菜情感态势、价格预测分析结果数据、极贫乡镇人口项目数据等信息数据入库，形成蔬菜行情态势主题库、蔬菜价格分析预测主题库和极贫乡镇人口项目主题库；
[0087] 7)后端处理：通过后端数据服务接口完成可视化数据请求和响应；
[0088] 8)前端处理：根据用户需求，通过React、Echarts组件完成可视化内容的请求和响应；
[0089] 9)可视化展示：完成可视化内容的展示。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 远程诊断系统 | 2020-05-14 | 136 |
| 用于数据分析、风险管理和自动合规的分布式计算机框架 | 2020-05-16 | 120 |
| 一种职业环境与职业健康监测信息化平台系统 | 2020-05-08 | 185 |
| 一种基于抽取的商业智能分析平台自动分区方法及装置 | 2020-05-13 | 278 |
| 一种医疗信息查询方法 | 2020-05-17 | 890 |
| 用于减少贸易保险和融资中的欺骗的系统和方法 | 2020-05-18 | 637 |
| 一种项目管理系统及其工作方法 | 2020-05-14 | 765 |
| LED工业照明有线远程多通道智能调光控制系统 | 2020-05-08 | 495 |
| 一种口腔健康的智能化管理系统 | 2020-05-15 | 547 |
| 一种便携式的果蔬食品安全智能化检测装置 | 2020-05-11 | 103 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
商业智能热门专利
QQ群二维码
意见反馈
意见反馈