首页 / 专利库 / 人工智能 / 查询似然模型 / 一种面向海洋多维数据的可视分析系统及方法

一种面向海洋多维数据的可视分析系统及方法

阅读:435发布:2020-05-14

专利汇可以提供一种面向海洋多维数据的可视分析系统及方法专利检索,专利查询,专利分析的服务。并且本 发明 属于海洋多维数据的可视分析技术领域,公开了一种面向海洋多维数据的可视分析系统及方法,面向海洋多维数据的可视分析系统包括海洋 数据采集 模 块 、主控模块、数据校正模块、数据清洗模块、数据转化模块、 可视化 模块、分析模块、共享模块、 云 存储模块、显示模块。本发明通过数据清洗模块解决了批处理方式数据清洗 算法 无法适用于数据流的问题;通过共享模块采用全新的去中心化系统架构与计算范式设计海洋数据资源共享应用模式,基于 区块链 技术,构建海洋数据资源共享区块链,针对现存问题形成突破,实现海洋数据的自由发布、自主发现、灵活交付,交易过程安全可控、全面监管,为海洋 大数据 安全共享与交易提供坚实的保障。,下面是一种面向海洋多维数据的可视分析系统及方法专利的具体信息内容。

1.一种面向海洋多维数据的可视分析方法,其特征在于,所述面向海洋多维数据的可视分析方法包括:
第一步,通过海洋数据采集利用海洋监测设备采集海洋多维数据:
(1.1)从海洋多维数据集中随机选择第数据x=(2,2,2,4),计算x和海洋多维数据集中其他数据项的距离;并按照数据项分别对已计算出的距离值进行求和;第一次计算距离值和为本身;计算各个距离值和与其均值之差的平方和:
(12.40967-9.9436)2+(16.27882-9.9436)2+(0-9.9436)2+(1.414214-9.9436)2+
2 2
(13.34166-9.9436) +(16.21727-9.9436) =268.7479;
(1.2)根据距离值和从小到大对数据集海洋多维数据集进行排序,从排序结果中选择最后一项数据x=(4,16,3,12),计算x和海洋多维数据集中其他数据项的距离,然后按照数据项分别对已计算出的距离值进行求和,计算各个距离值和与其均值之差的平方和:
2 2 2 2
(23.22632-19.0037) +(16.27882-19.0037)+(16.27882-19.0037)+(17.5697-19.0037)+(22.00191-19.0037)2+(18.66676-19.0037)2=43.83961;由于43.83961小于之前均差平方和268.7479,继续进行聚类;
(1.3)再根据距离值和从小到大对数据集海洋多维数据集进行排序,从排序结果中选择最后一项数据x=(10,9,7,8),计算x和海洋多维数据集中其他数据项的距离,然后按照数据项分别对已计算出的距离值进行求和,计算各个距离值和与其均值之差的平方和:
(23.22632-26.9771)2+(27.09547-26.9771)2+(28.68849-26.9771)2+(28.97145-26.9771)2+(25.16419-26.9771)2+(26.71664-28.9771)2=27.30129;由于27.30129小于之前均差平方和43.83961,继续进行聚类;
(1.4)根据距离值之和从小到大对数据集海洋多维数据集进行排序,从排序结果中选择最后一项数据x=(3,2,3,4),计算x和海洋多维数据集中其他数据项的距离,然后按照数据项分别对已计算出的距离值进行求和,计算各个距离值和与其均值之差的平方和:
(34.62807-58.20246)2+(43.25096-58.20246)2+(30.102704-58.20246)2+(28.97145-
58.20246)2+(37.654192-58.20246)2+(44.68536-58.20246)2=16395.68393;
由于16395.68393大于之前均差平方和27.30129,停止进行聚类,得到的海洋聚类结果;
(1.5)选取若干个海洋聚类结果的特征参数CP,包括海洋聚类结果信号频率F、时间T、对于观测点空域度Θ、极化方向Γ、以及编码方式C,并将参数作为坐标轴建立海洋多维坐标系,对于坐标系的各个坐标轴,分别根据各个聚类特征参数的分辨率 确定对应坐标轴的单位量,基于坐标系建立多维特征参数的空间模型,定义为海洋聚类空间:HSI=SPACE(CP1,CP2…CPN),在此海洋聚类空间中的任意一个矢量 由坐标进行表示:
其中CPi为矢量 在海洋聚类空间中某一维度的坐标,是对于特征参量CPi的具体取值,对于单模的海洋聚类结果,在海洋聚类空间中表示为一个单一矢量:
对于多模的海洋聚类结果,即海洋聚类结果的一个或者数个特征参数表现为具有多值特性,在海洋聚类空间中使用聚类特征矢量的集合表示:
所述在选取的若干个海洋聚类结果特征参数之前需要确定海洋聚类结果和参照信号在海洋聚类结果领域上的物理参数,包括海洋聚类结果信号的频率F、时间T、对于观测点空域角度Θ、极化方向Γ、以及编码方式C;
用特征参数作为坐标轴建立空间坐标系,定义海洋聚类空间为:
HSI=SPACE(F,T,Θ,Γ,C);
海洋聚类空间中的任意一个矢量 由聚类特征空间中的坐标进行表示:
其中的f,t,θ,γ,c分别是对应于各个维度的坐标值;
第二步,主控模块通过数据校正模块利用校正程序对采集的海洋多维数据进行校正:
(2.1)对海洋聚类结果图像数据的每列数据做1维离散傅立叶变换,得到海洋多维数据频域图像Fcol_gray;
(2.2)然后对Fcol_gray进行funnel变换,即对Fcol_gray的每行图像数据Ri,进行如下的插值变换,得到图像fun_Fcol_gray:
H表示海洋聚类结果图像数据的高度,i表示行号,W表示gray的宽度,W(r)表示求第r行图像的宽度,Ri表示变换前的第i行图像,R′i表示变换后第i行图像;然后再对fun_Fcol_gray图像每行数据依次进行1维逆离散傅立叶变换,得到最终校正后的海洋多维数据图像IFrow_fun_Fcol_gray;
图像IFrow_fun_Fcol_gray中的峰值点代表原灰度图gray中的直线,直线形式y=kx+b,k为斜率,b为截距,在IFrow_fun_Fcol_gray图中找到的峰值点为p(xp,yp),则由峰值点到直线公式的映射为:k=1-2xp/W,b=yp。
2.如权利要求1所述的面向海洋多维数据的可视分析方法,其特征在,所述面向海洋多维数据的可视分析方法具体包括以下步骤:
步骤一,通过海洋数据采集模块利用海洋监测设备采集海洋多维数据;
步骤二,主控模块通过数据校正模块利用校正程序对采集的海洋多维数据进行校正;
步骤三,通过数据清洗模块利用数据清洗程序对采集的海洋多维数据进行清洗;通过数据转化模块利用转换程序对采集的海洋多维数据格式进行转化;
步骤四,通过可视化模块利用绘制程序将采集的海洋多维数据绘制可视化图形;通过分析模块利用分析程序对采集的海洋多维数据进行分析;
步骤五,通过共享模块共享采集的海洋多维数据;
步骤六,通过存储模块利用云服务器对采集的海洋多维数据进行云存储;
步骤七,通过显示模块利用显示器显示采集的海洋多维数据及可视化图形。
3.如权利要求2所述的面向海洋多维数据的可视分析方法,其特征在于,步骤三中,所述数据清洗模块清洗方法包括:
(1)数据源评价:给定传感器网络监测区域内的n个数据源S={s1,s2,…,Sn},从准确性、完整性、一致性三方面,对每个数据源的可靠性进行周期性地综合度量;
(2)数据源选择:根据步骤(1)得到的数据源可靠性和用户给定的任意精度要求,通过伯努利均匀抽样算法选择部分数据源进行数据传输;
(3)数据获取:基于步骤(2)选中的数据源,将其获取到的数据从传感器节点经由传感器网络端传送到服务器端,实现数据流的实时获取;
(4)数据清洗:对于获取到的包含大量异常点和缺失值的实时数据流,进行在线的、一体式的异常点检测、异常点修复和缺失值填补;
(5)查询处理:基于步骤(4)得到的清洗后的数据流,对用户的查询进行快速响应。
4.如权利要求3所述的面向海洋多维数据的可视分析方法,其特征在于,所述步骤(1)具体包括:
步骤a:t时刻,对来自n个数据源S={s1,s2,…,Sn}在t,t-1,…,t-L时刻的历史数据进行信息融合,对融合后的数据进行基于海洋多维数据集-S证据理论和灰色关联度分析,得到t,t-1,…,t-L时刻传感器网络监测区域内监测对象的所属分类C={C1,C2,…,CL},并将其作为分类结果的真实值;
步骤b:基于海洋多维数据集-S证据理论,根据单个数据源si在t,t-1,…,t-L时刻的感知数据得到每个数据源对监测对象的分类结果,表示为Ci={ci1,ci2,…,ciL};
步骤c:单个数据源si分类结果Ci中与真实值C中一致的结果占t,t-1,…,t-L时刻所有历史数据的比例表示为数据源si的准确性acci;
步骤海洋多维数据集:单个数据源si分类结果Ci中未知结果占t,t-1,…,t-L时刻所有历史数据的比例表示为数据源si的完整性inti;
步骤e:基于条件函数依赖规则,根据单个数据源si分类结果Ci中最大一致子集占t,t-
1,…,t-L时刻所有历史数据的比例表示为数据源si的一致性coni;
步骤f:对数据源si的准确性、完整性、一致性进行加权均值得到数据源si的可靠性。
5.如权利要求3所述的面向海洋多维数据的可视分析方法,其特征在于,所述步骤(2)具体包括:
根据n个数据源的可靠性,估计整个监测区域的平均数据质量
对整个监测区域的平均数据质量进行(ε,δ)-近似,求得抽样概率p;
基于伯努利均匀抽样选取pn个数据源进行数据采集。
6.如权利要求2所述的面向海洋多维数据的可视分析方法,其特征在于,步骤五中,所述共享模块共享方法包括:
1)数据拥有方将本次发布的海洋数据的描述信息广播至数据存储链上所有结点;
2)链上所有结点根据管理员预先配置的过滤规则选择是否参加本次存储竞争,分配数据存储权,竞争成为数据存储方;
3)数据存储方产生后,根据数据拥有方发布的描述信息中包含的数据拥有方地址,向数据拥有方发布一条存储请求信息;
4)数据拥有方接收到存储请求信息后,将设定数量的署名代币作为存储费用,并通过加密后的海洋数据采用点对点方式发送给数据存储方;
5)数据存储方完成海洋数据存储后,将海洋数据的描述信息扩充自身地址后作为区块数据发布到数据存储链上,生成新的区块链接至区块链尾部并打上时间戳,链上结点达成共识之后宣告此次存储成功,各用户结点可直接访问链上结点检索区块记录进行海洋数据检索。
7.如权利要求6所述的面向海洋多维数据的可视分析方法,其特征在于,所述共享方法还包括:
获海洋数据的描述信息后,数据请求方根据描述信息中维护的数据存储方地址向数据存储方发送数据交易请求信息和数据标价的署名代币;
数据拥有方接收到数据交易请求信息后,向数据拥有方发送交易鉴权请求;
数据拥有方确认后返回交易鉴权确认信息;
数据存储方接收到交易鉴权确认信息后,将海洋数据发送给数据请求方;
数据请求方根据自身私钥对接收到的海洋数据进行解密,获得真实海洋数据。
8.一种实现权利要求1~7任意一项所述的面向海洋多维数据的可视分析方法的信息数据处理终端。
9.一种计算机可读存储介质,包括指令,当其在计算机上运行时,使得计算机执行如权利要求1-7任意一项所述的的面向海洋多维数据的可视分析方法。
10.一种面向海洋多维数据的可视分析系统,其特征在于,所述面向海洋多维数据的可视分析系统包括:
海洋数据采集模块,与主控模块连接,用于通过海洋监测设备采集海洋多维数据;
主控模块,与海洋数据采集模块、数据校正模块、数据清洗模块、数据转化模块、可视化模块、分析模块、共享模块、云存储模块、显示模块连接,用于通过单片机控制各个模块正常工作;
数据校正模块,与主控模块连接,用于通过校正程序对采集的海洋多维数据进行校正;
数据清洗模块,与主控模块连接,用于通过数据清洗程序对采集的海洋多维数据进行清洗;
数据转化模块,与主控模块连接,用于通过转换程序对采集的海洋多维数据格式进行转化;
可视化模块,与主控模块连接,用于通过绘制程序将采集的海洋多维数据绘制可视化图形;
分析模块,与主控模块连接,用于通过分析程序对采集的海洋多维数据进行分析;
共享模块,与主控模块连接,用于共享采集的海洋多维数据;
云存储模块,与主控模块连接,用于通过云服务器对采集的海洋多维数据进行云存储;
显示模块,与主控模块连接,用于通过显示器显示采集的海洋多维数据及可视化图形。

说明书全文

一种面向海洋多维数据的可视分析系统及方法

技术领域

[0001] 本发明属于海洋多维数据的可视分析技术领域,尤其涉及一种面向海洋多维数据的可视分析系统及方法。

背景技术

[0002] 海洋数据资料浩如烟海.它涵盖了海底地形数据、海洋遥感资料、船测数据、浮标资料、模式同化资料等诸多方面。这些海洋数据资料具有海量性、多类性、模糊性及时空过程性等特点.原始的海洋数据资料不能直接用于分析和挖掘,因此在对数据进行挖掘前要预先对数据进行清洗、转换、选择等预处理。其后的海洋数据挖掘,常用的算法有回归算法、统计分析、聚类分析、关联规则挖掘等。关联数据挖掘是能够有效地发现数据潜在的规律;聚类分析是一种不依赖于预先定义的类和带类标号的训练数据的非监督学习,实现了在未知类别标签样本集的非监督学习.回归分析是一个统计预测模型.用以描述和评估应变量与一个或多个自变量之间的关系。本章主要介绍海洋数据特征和海洋数据处理及挖掘技术的基本原理和方法。然而,现有面向海洋多维数据的可视分析系统清洗数据时针对类型单一的静态数据提出,无法满足数据的实时性要求;对缺失值和异常点进行单独处理,最少需要扫描数据两遍,不适用于流数据;同时,海洋数据的共享服务存在着系统性能低下,平台间无法互通,安全性和可信性无法保证,共享记录无法追溯的问题。
[0003] 综上所述,现有技术存在的问题是:
[0004] 现有面向海洋多维数据的可视分析系统清洗数据时针对类型单一的静态数据提出,无法满足数据的实时性要求;对缺失值和异常点进行单独处理,最少需要扫描数据两遍,不适用于流数据。
[0005] 同时海洋数据的共享服务存在着系统性能低下,平台间无法互通,安全性和可信性无法保证,共享记录无法追溯的问题。

发明内容

[0006] 针对现有技术存在的问题,本发明提供了一种面向海洋多维数据的可视分析系统及方法。
[0007] 本发明是这样实现的,一种面向海洋多维数据的可视分析方法包括:
[0008] 第一步,通过海洋数据采集利用海洋监测设备采集海洋多维数据:
[0009] (1.1)从海洋多维数据集中随机选择第数据x=(2,2,2,4),计算x和海洋多维数据集中其他数据项的距离;并按照数据项分别对已计算出的距离值进行求和;第一次计算距离值和为本身;计算各个距离值和与其均值之差的平方和:
[0010] (12.40967-9.9436)2+(16.27882-9.9436)2+(0-9.9436)2+(1.414214-9.9436)2+(13.34166-9.9436)2+(16.21727-9.9436)2=268.7479;
[0011] (1.2)根据距离值和从小到大对数据集海洋多维数据集进行排序,从排序结果中选择最后一项数据x=(4,16,3,12),计算x和海洋多维数据集中其他数据项的距离,然后按照数据项分别对已计算出的距离值进行求和,计算各个距离值和与其均值之差的平方和:(23.22632-19.0037)2+(16.27882-19.0037)2+(16.27882-19.0037)2+(17.5697-19.0037)2+(22.00191-19.0037)2+(18.66676-19.0037)2=43.83961;由于43.83961小于之前均差平方和268.7479,继续进行聚类。
[0012] (1.3)再根据距离值和从小到大对数据集海洋多维数据集进行排序,从排序结果中选择最后一项数据x=(10,9,7,8),计算x和海洋多维数据集中其他数据项的距离,然后按照数据项分别对已计算出的距离值进行求和,计算各个距离值和与其均值之差的平方2 2 2
和:(23.22632-26.9771) +(27.09547-26.9771) +(28.68849-26.9771) +(28.97145-
26.9771)2+(25.16419-26.9771)2+(26.71664-28.9771)2=27.30129;由于27.30129小于之前均差平方和43.83961,继续进行聚类;
[0013] (1.4)根据距离值之和从小到大对数据集海洋多维数据集进行排序,从排序结果中选择最后一项数据x=(3,2,3,4),计算x和海洋多维数据集中其他数据项的距离,然后按照数据项分别对已计算出的距离值进行求和,计算各个距离值和与其均值之差的平方和:(34.62807-58.20246)2+(43.25096-58.20246)2+(30.102704-58.20246)2+(28.97145-
58.20246)2+(37.654192-58.20246)2+(44.68536-58.20246)2=16395.68393;
[0014] 由于16395.68393大于之前均差平方和27.30129,停止进行聚类,得到的海洋聚类结果;
[0015] (1.5)选取若干个海洋聚类结果的特征参数CP,包括海洋聚类结果信号频率F、时间T、对于观测点空域度Θ、极化方向Γ、以及编码方式C,并将参数作为坐标轴建立海洋多维坐标系,对于坐标系的各个坐标轴,分别根据各个聚类特征参数的分辨率 确定对应坐标轴的单位量,基于坐标系建立多维特征参数的空间模型,定义为海洋聚类空间:HSI=SPACE(CP1,CP2…CPN),在此海洋聚类空间中的任意一个矢量 由坐标进行表示:
[0016]
[0017] 其中CPi为矢量 在海洋聚类空间中某一维度的坐标,是对于特征参量CPi的具体取值,对于单模的海洋聚类结果,在海洋聚类空间中表示为一个单一矢量:
[0018]
[0019] 对于多模的海洋聚类结果,即海洋聚类结果的一个或者数个特征参数表现为具有多值特性,在海洋聚类空间中使用聚类特征矢量的集合表示:
[0020]
[0021] 所述在选取的若干个海洋聚类结果特征参数之前需要确定海洋聚类结果和参照信号在海洋聚类结果领域上的物理参数,包括海洋聚类结果信号的频率F、时间T、对于观测点空域角度Θ、极化方向Γ、以及编码方式C;
[0022] 用特征参数作为坐标轴建立空间坐标系,定义海洋聚类空间为:
[0023] HSI=SPACE(F,T,Θ,Γ,C);
[0024] 海洋聚类空间中的任意一个矢量 由聚类特征空间中的坐标进行表示:
[0025]
[0026] 其中的f,t,θ,γ,c分别是对应于各个维度的坐标值;
[0027] 第二步,主控模块通过数据校正模块利用校正程序对采集的海洋多维数据进行校正:
[0028] (2.1)对海洋聚类结果图像数据的每列数据做1维离散傅立叶变换,得到海洋多维数据频域图像Fcol_gray;
[0029] (2.2)然后对Fcol_gray进行funnel变换,即对Fcol_gray的每行图像数据Ri,进行如下的插值变换,得到图像fun_Fcol_gray:
[0030]
[0031] H表示海洋聚类结果图像数据的高度,i表示行号,W表示gray的宽度,W(r)表示求第r行图像的宽度,Ri表示变换前的第i行图像,R′i表示变换后第i行图像;然后再对fun_Fcol_gray图像每行数据依次进行1维逆离散傅立叶变换,得到最终校正后的海洋多维数据图像IFrow_fun_Fcol_gray;
[0032] 图像IFrow_fun_Fcol_gray中的峰值点代表原灰度图gray中的直线,直线形式y=kx+b,k为斜率,b为截距,在IFrow_fun_Fcol_gray图中找到的峰值点为p(xp,yp),则由峰值点到直线公式的映射为:k=1-2xp/W,b=yp。
[0033] 具体包括:
[0034] 步骤一,通过海洋数据采集模块利用海洋监测设备采集海洋多维数据;
[0035] 步骤二,主控模块通过数据校正模块利用校正程序对采集的海洋多维数据进行校正;
[0036] 步骤三,通过数据清洗模块利用数据清洗程序对采集的海洋多维数据进行清洗;通过数据转化模块利用转换程序对采集的海洋多维数据格式进行转化;
[0037] 步骤四,通过可视化模块利用绘制程序将采集的海洋多维数据绘制可视化图形;通过分析模块利用分析程序对采集的海洋多维数据进行分析;
[0038] 步骤五,通过共享模块共享采集的海洋多维数据;
[0039] 步骤六,通过存储模块利用云服务器对采集的海洋多维数据进行云存储;
[0040] 步骤七,通过显示模块利用显示器显示采集的海洋多维数据及可视化图形。
[0041] 进一步,所述数据清洗模块清洗方法包括:
[0042] (1)数据源评价:给定传感器网络监测区域内的n个数据源S={s1,s2,…,Sn},从准确性、完整性、一致性三方面,对每个数据源的可靠性进行周期性地综合度量;
[0043] (2)数据源选择:根据步骤(1)得到的数据源可靠性和用户给定的任意精度要求,通过伯努利均匀抽样算法选择部分数据源进行数据传输;
[0044] (3)数据获取:基于步骤(2)选中的数据源,将其获取到的数据从传感器节点经由传感器网络端传送到服务器端,实现数据流的实时获取;
[0045] (4)数据清洗:对于获取到的包含大量异常点和缺失值的实时数据流,进行在线的、一体式的异常点检测、异常点修复和缺失值填补;
[0046] (5)查询处理:基于步骤(4)得到的清洗后的数据流,对用户的查询进行快速响应。
[0047] 进一步,所述步骤(1)具体包括:
[0048] 步骤a:t时刻,对来自n个数据源S={s1,s2,…,Sn}在t,t-1,…,t-L时刻的历史数据进行信息融合,对融合后的数据进行基于海洋多维数据集-S证据理论和灰色关联度分析,得到t,t-1,…,t-L时刻传感器网络监测区域内监测对象的所属分类C={C1,C2,…,CL},并将其作为分类结果的真实值;
[0049] 步骤b:基于海洋多维数据集-S证据理论,根据单个数据源si在t,t-1,…,t-L时刻的感知数据得到每个数据源对监测对象的分类结果,表示为Ci={ci1,ci2,…,ciL};
[0050] 步骤c:单个数据源si分类结果Ci中与真实值C中一致的结果占t,t-1,…,t-L时刻所有历史数据的比例表示为数据源si的准确性acci;
[0051] 步骤海洋多维数据集:单个数据源si分类结果Ci中未知结果占t,t-1,…,t-L时刻所有历史数据的比例表示为数据源si的完整性inti;
[0052] 步骤e:基于条件函数依赖规则,根据单个数据源si分类结果Ci中最大一致子集占t,t-1,…,t-L时刻所有历史数据的比例表示为数据源si的一致性coni;
[0053] 步骤f:对数据源si的准确性、完整性、一致性进行加权均值得到数据源si的可靠性。
[0054] 进一步,所述步骤(2)具体包括:
[0055] 根据n个数据源的可靠性,估计整个监测区域的平均数据质量
[0056] 对整个监测区域的平均数据质量进行(ε,δ)-近似,求得抽样概率p;
[0057] 基于伯努利均匀抽样选取pn个数据源进行数据采集。
[0058] 进一步,所述共享模块共享方法包括:
[0059] 1)数据拥有方将本次发布的海洋数据的描述信息广播至数据存储链上所有结点;
[0060] 2)链上所有结点根据管理员预先配置的过滤规则选择是否参加本次存储竞争,分配数据存储权,竞争成为数据存储方;
[0061] 3)数据存储方产生后,根据数据拥有方发布的描述信息中包含的数据拥有方地址,向数据拥有方发布一条存储请求信息;
[0062] 4)数据拥有方接收到存储请求信息后,将设定数量的署名代币作为存储费用,并通过SHA256算法将加密后的海洋数据采用点对点方式发送给数据存储方;
[0063] 5)数据存储方完成海洋数据存储后,将海洋数据的描述信息扩充自身地址后作为区块数据发布到数据存储链上,生成新的区块链接至区块链尾部并打上时间戳,链上结点达成共识之后宣告此次存储成功,各用户结点可直接访问链上结点检索区块记录进行海洋数据检索。
[0064] 进一步,所述共享方法还包括:
[0065] 获海洋数据的描述信息后,数据请求方根据描述信息中维护的数据存储方地址向数据存储方发送数据交易请求信息和数据标价的署名代币;
[0066] 数据拥有方接收到数据交易请求信息后,向数据拥有方发送交易鉴权请求;
[0067] 数据拥有方确认后返回交易鉴权确认信息;
[0068] 数据存储方接收到交易鉴权确认信息后,将海洋数据发送给数据请求方;
[0069] 数据请求方根据自身私钥对接收到的海洋数据进行解密,获得真实海洋数据。
[0070] 本发明另一目的在于提供一种面向海洋多维数据的可视分析系统包括:
[0071] 海洋数据采集模块,与主控模块连接,用于通过海洋监测设备采集海洋多维数据;
[0072] 主控模块,与海洋数据采集模块、数据校正模块、数据清洗模块、数据转化模块、可视化模块、分析模块、共享模块、云存储模块、显示模块连接,用于通过单片机控制各个模块正常工作;
[0073] 数据校正模块,与主控模块连接,用于通过校正程序对采集的海洋多维数据进行校正;
[0074] 数据清洗模块,与主控模块连接,用于通过数据清洗程序对采集的海洋多维数据进行清洗;
[0075] 数据转化模块,与主控模块连接,用于通过转换程序对采集的海洋多维数据格式进行转化;
[0076] 可视化模块,与主控模块连接,用于通过绘制程序将采集的海洋多维数据绘制可视化图形;
[0077] 分析模块,与主控模块连接,用于通过分析程序对采集的海洋多维数据进行分析;
[0078] 共享模块,与主控模块连接,用于共享采集的海洋多维数据;
[0079] 云存储模块,与主控模块连接,用于通过云服务器对采集的海洋多维数据进行云存储;
[0080] 显示模块,与主控模块连接,用于通过显示器显示采集的海洋多维数据及可视化图形。
[0081] 本发明另一目的在于提供一种实现所述的面向海洋多维数据的可视分析方法的信息数据处理终端。
[0082] 本发明另一目的在于提供一种计算机可读存储介质,包括指令,当其在计算机上运行时,使得计算机执行所述的的面向海洋多维数据的可视分析方法。
[0083] 本发明的优点及积极效果为:
[0084] 本发明通过数据清洗模块解决了批处理方式数据清洗算法无法适用于数据流的问题;考虑了数据流的实时性、动态性以及低质量性,利用海洋多维数据集-S证据理论、灰色关联度分析、多元线性回归模型、RANSAC参数估计范例以及统计学相关知识创造性地完成海洋数据流清洗,使得进一步挖掘和分析海洋数据,构建高质量海洋知识库成为可能;同时,通过共享模块采用全新的去中心化系统架构与计算范式设计海洋数据资源共享应用模式,基于区块链技术,构建海洋数据资源共享区块链,针对现存问题形成突破,实现海洋数据的自由发布、自主发现、灵活交付,交易过程安全可控、全面监管,为海洋大数据安全共享与交易提供坚实的保障。
[0085] 本发明通过海洋数据采集模块利用海洋监测设备采集海洋多维数据,主控模块通过数据校正模块利用校正程序对采集的海洋多维数据进行校正,可获得准确的海洋多维图像数据,为面向海洋多维数据的可视化提供保证条件。附图说明
[0086] 图1是本发明实施例提供的面向海洋多维数据的可视分析方法流程图
[0087] 图2是本发明实施例提供的面向海洋多维数据的可视分析系统结构框图
[0088] 图中:1、海洋数据采集模块;2、主控模块;3、数据校正模块;4、数据清洗模块;5、数据转化模块;6、可视化模块;7、分析模块;8、共享模块;9、云存储模块;10、显示模块。
[0089] 图3是本发明实施例提供的通过海洋数据采集模块利用海洋监测设备采集海洋多维数据方法流程图。
[0090] 图4是本发明实施例提供的主控模块通过数据校正模块利用校正程序对采集的海洋多维数据进行校正方法流程图。

具体实施方式

[0091] 为能进一步了解本发明的发明内容、特点及功效,兹例举以下实施例,并配合附图详细说明包括。
[0092] 下面结合附图对本发明的结构作详细的描述。
[0093] 如图1所示,本发明提供的面向海洋多维数据的可视分析方法包括以下步骤:
[0094] S101,通过海洋数据采集模块利用海洋监测设备采集海洋多维数据。
[0095] S102,主控模块通过数据校正模块利用校正程序对采集的海洋多维数据进行校正。
[0096] S103,通过数据清洗模块利用数据清洗程序对采集的海洋多维数据进行清洗;通过数据转化模块利用转换程序对采集的海洋多维数据格式进行转化。
[0097] S104,通过可视化模块利用绘制程序将采集的海洋多维数据绘制可视化图形;通过分析模块利用分析程序对采集的海洋多维数据进行分析。
[0098] S105,通过共享模块共享采集的海洋多维数据。
[0099] S106,通过云存储模块利用云服务器对采集的海洋多维数据进行云存储。
[0100] S107,通过显示模块利用显示器显示采集的海洋多维数据及可视化图形。
[0101] 如图2所示,本发明实施例提供的面向海洋多维数据的可视分析系统包括:海洋数据采集模块1、主控模块2、数据校正模块3、数据清洗模块4、数据转化模块5、可视化模块6、分析模块7、共享模块8、云存储模块9、显示模块10。
[0102] 海洋数据采集模块1,与主控模块2连接,用于通过海洋监测设备采集海洋多维数据。
[0103] 主控模块2,与海洋数据采集模块1、数据校正模块3、数据清洗模块4、数据转化模块5、可视化模块6、分析模块7、共享模块8、云存储模块9、显示模块10连接,用于通过单片机控制各个模块正常工作。
[0104] 数据校正模块3,与主控模块2连接,用于通过校正程序对采集的海洋多维数据进行校正。
[0105] 数据清洗模块4,与主控模块2连接,用于通过数据清洗程序对采集的海洋多维数据进行清洗。
[0106] 数据转化模块5,与主控模块2连接,用于通过转换程序对采集的海洋多维数据格式进行转化。
[0107] 可视化模块6,与主控模块2连接,用于通过绘制程序将采集的海洋多维数据绘制可视化图形。
[0108] 分析模块7,与主控模块2连接,用于通过分析程序对采集的海洋多维数据进行分析。
[0109] 共享模块8,与主控模块2连接,用于共享采集的海洋多维数据。
[0110] 云存储模块9,与主控模块2连接,用于通过云服务器对采集的海洋多维数据进行云存储。
[0111] 显示模块10,与主控模块2连接,用于通过显示器显示采集的海洋多维数据及可视化图形。
[0112] 所述与主控模块2连接,用于通过海洋监测设备采集海洋多维数据的海洋数据采集模块1包括:
[0113] 数据采集终端,通过在海洋相应的位置固定多个检测信息的传感器。
[0114] 海洋数据增强处理模块,将采集的海洋数据信息进行滤波增强处理,对于图像数据信息进行增强、恢复、分割、识别、编码和重建;对于声音信号,对语音滤波增强、数据压缩
[0115] 数据转化模块,利用相应的程序将处理完成的数据信息转化成系统易于识别的形式。
[0116] 数据传输模块,通过相应的无线网络与云服务器连接,将采集的数据传递到云服务器中,实现数据的共享。
[0117] 所述用于通过云服务器对采集的海洋多维数据进行云存储的云存储模块9包括:
[0118] 储存模块,用于实现海洋数据信息的逻辑虚拟化管理、多链路冗余管理,以及硬件设备状态监测或者设备维护。
[0119] 基础管理模块,通过集群、分布式文件系统和网络计算等相应的技术,实现云储存中多个储存模块之间的协同工作,使多个储存模块对外提供同一种服务,并提供更强的数据访问。
[0120] 应用连接模块,根据实际业务类型,设置不同的应用服务接口,提供不同的应用服务。
[0121] 访问模块,通过设置的应用接口,登陆系统,享受云储存服务。
[0122] 所述与主控模块2连接,用于通过显示器显示采集的海洋多维数据及可视化图形的显示模块10显示可视化图像的具体过程,包括:
[0123] 主控模块在云服务器中选择多源数据,利用相应的程序分析海洋环境需要的各种属性变量或者变量的组合;
[0124] 主控模块根据海洋环境的属性变量和选择的显示方式相应的数据参数,利用的算法制作成多维数视图;
[0125] 主控模块根据工作人员的需求,通过在控制面板上调节属性变量的高度、大小、颜色等特征;通过利用显示器显示采集的海洋多维数图像数据。
[0126] 所述与主控模块2连接,用于通过校正程序对采集的海洋多维数据进行校正的数据校正模块3对数据进行校正的具体过程包括:
[0127] 将采集的海洋数据变量输入到相应的数据校正建模中,对海洋数据变量进行分类,并对检测模型进行降价;
[0128] 对测量的海洋数据值,求其方差;根据方差值数据,对过失误差进行诊断和辨识;
[0129] 利用辨识出来的过失误差值,调整测量值和估计未测值。
[0130] 如图3所示,本发明实施例提供的通过海洋数据采集模块利用海洋监测设备采集海洋多维数据的方法包括:
[0131] S201,从海洋多维数据集中随机选择第数据x=(2,2,2,4),计算x和海洋多维数据集中其他数据项的距离;并按照数据项分别对已计算出的距离值进行求和;第一次计算距离值和为本身;计算各个距离值和与其均值之差的平方和:
[0132] (12.40967-9.9436)2+(16.27882-9.9436)2+(0-9.9436)2+(1.414214-9.9436)2+(13.34166-9.9436)2+(16.21727-9.9436)2=268.7479。
[0133] S202,根据距离值和从小到大对数据集海洋多维数据集进行排序,从排序结果中选择最后一项数据x=(4,16,3,12),计算x和海洋多维数据集中其他数据项的距离,然后按照数据项分别对已计算出的距离值进行求和,计算各个距离值和与其均值之差的平方和:(23.22632-19.0037)2+(16.27882-19.0037)2+(16.27882-19.0037)2+(17.5697-19.0037)2
2 2
+(22.00191-19.0037) +(18.66676-19.0037) =43.83961;由于43.83961小于之前均差平方和268.7479,继续进行聚类。
[0134] S203,再根据距离值和从小到大对数据集海洋多维数据集进行排序,从排序结果中选择最后一项数据x=(10,9,7,8),计算x和海洋多维数据集中其他数据项的距离,然后按照数据项分别对已计算出的距离值进行求和,计算各个距离值和与其均值之差的平方和:(23.22632-26.9771)2+(27.09547-26.9771)2+(28.68849-26.9771)2+(28.97145-26.9771)2+(25.16419-26.9771)2+(26.71664-28.9771)2=27.30129;由于27.30129小于之前均差平方和43.83961,继续进行聚类。
[0135] S204,根据距离值之和从小到大对数据集海洋多维数据集进行排序,从排序结果中选择最后一项数据x=(3,2,3,4),计算x和海洋多维数据集中其他数据项的距离,然后按照数据项分别对已计算出的距离值进行求和,计算各个距离值和与其均值之差的平方和:(34.62807-58.20246)2+(43.25096-58.20246)2+(30.102704-58.20246)2+(28.97145-
58.20246)2+(37.654192-58.20246)2+(44.68536-58.20246)2=16395.68393;
[0136] 由于16395.68393大于之前均差平方和27.30129,停止进行聚类,得到的海洋聚类结果。
[0137] S205,选取若干个海洋聚类结果的特征参数CP,包括海洋聚类结果信号的频率F、时间T、对于观测点空域角度Θ、极化方向Γ、以及编码方式C,并将参数作为坐标轴建立海洋多维坐标系,对于坐标系的各个坐标轴,分别根据各个聚类特征参数的分辨率 确定对应坐标轴的单位量,基于坐标系建立多维特征参数的空间模型,定义为海洋聚类空间:HSI=SPACE(CP1,CP2…CPN),在此海洋聚类空间中的任意一个矢量 由坐标进行表示:
[0138]
[0139] 其中CPi为矢量 在海洋聚类空间中某一维度的坐标,是对于特征参量CPi的具体取值,对于单模的海洋聚类结果,在海洋聚类空间中表示为一个单一矢量:
[0140]
[0141] 对于多模的海洋聚类结果,即海洋聚类结果的一个或者数个特征参数表现为具有多值特性,在海洋聚类空间中使用聚类特征矢量的集合表示:
[0142]
[0143] 所述在选取的若干个海洋聚类结果特征参数之前需要确定海洋聚类结果和参照信号在海洋聚类结果领域上的物理参数,包括海洋聚类结果信号的频率F、时间T、对于观测点空域角度Θ、极化方向Γ、以及编码方式C;
[0144] 用特征参数作为坐标轴建立空间坐标系,定义海洋聚类空间为:
[0145] HSI=SPACE(F,T,Θ,Γ,C)。
[0146] 海洋聚类空间中的任意一个矢量 由聚类特征空间中的坐标进行表示:
[0147]
[0148] 其中的f,t,θ,γ,c分别是对应于各个维度的坐标值。
[0149] 如图4所示,本发明实施例提供的主控模块通过数据校正模块利用校正程序对采集的海洋多维数据进行校正方法包括:
[0150] S301,对海洋聚类结果图像数据的每列数据做1维离散傅立叶变换,得到海洋多维数据频域图像Fcol_gray。
[0151] S302,然后对Fcol_gray进行funnel变换,即对Fcol_gray的每行图像数据Ri,进行如下的插值变换,得到图像fun_Fcol_gray:
[0152]
[0153] H表示海洋聚类结果图像数据的高度,i表示行号,W表示gray的宽度,W(r)表示求第r行图像的宽度,Ri表示变换前的第i行图像,R′i表示变换后第i行图像;然后再对fun_Fcol_gray图像每行数据依次进行1维逆离散傅立叶变换,得到最终校正后的海洋多维数据图像IFrow_fun_Fcol_gray。
[0154] 图像IFrow_fun_Fcol_gray中的峰值点代表原灰度图gray中的直线,直线形式y=kx+b,k为斜率,b为截距,在IFrow_fun_Fcol_gray图中找到的峰值点为p(xp,yp),则由峰值点到直线公式的映射为:k=1-2xp/W,b=yp。
[0155] 下面结合具体实施例对本发明作进一步描述。
[0156] 实施例1
[0157] 本发明提供的数据清洗模块4清洗方法包括:
[0158] (1)数据源评价:给定传感器网络监测区域内的n个数据源S={s1,s2,…,Sn},从准确性、完整性、一致性三方面,对每个数据源的可靠性进行周期性地综合度量。
[0159] (2)数据源选择:根据步骤(1)得到的数据源可靠性和用户给定的任意精度要求,通过伯努利均匀抽样算法选择部分数据源进行数据传输。
[0160] (3)数据获取:基于步骤(2)选中的数据源,将其获取到的数据从传感器节点经由传感器网络端传送到服务器端,实现数据流的实时获取。
[0161] (4)数据清洗:对于获取到的包含大量异常点和缺失值的实时数据流,进行在线的、一体式的异常点检测、异常点修复和缺失值填补。
[0162] (5)查询处理:基于步骤(4)得到的清洗后的数据流,对用户的查询进行快速响应。
[0163] 实施例2
[0164] 本发明提供的步骤(1)具体包括:
[0165] 步骤a:t时刻,对来自n个数据源S={s1,s2,…,Sn}在t,t-1,…,t-L时刻的历史数据进行信息融合,对融合后的数据进行基于海洋多维数据集-S证据理论和灰色关联度分析,得到t,t-1,…,t-L时刻传感器网络监测区域内监测对象的所属分类C={C1,C2,…,CL},并将其作为分类结果的真实值。
[0166] 步骤b:基于海洋多维数据集-S证据理论,根据单个数据源si在t,t-1,…,t-L时刻的感知数据得到每个数据源对监测对象的分类结果,表示为Ci={ci1,ci2,…,ciL}。
[0167] 步骤c:单个数据源si分类结果Ci中与真实值C中一致的结果占t,t-1,…,t-L时刻所有历史数据的比例表示为数据源si的准确性acci。
[0168] 步骤海洋多维数据集:单个数据源si分类结果Ci中未知结果占t,t-1,…,t-L时刻所有历史数据的比例表示为数据源si的完整性inti。
[0169] 步骤e:基于条件函数依赖规则,根据单个数据源si分类结果Ci中最大一致子集占t,t-1,…,t-L时刻所有历史数据的比例表示为数据源si的一致性coni。
[0170] 步骤f:对数据源si的准确性、完整性、一致性进行加权均值得到数据源si的可靠性。
[0171] 本发明提供的步骤(2)具体包括:
[0172] 根据n个数据源的可靠性,估计整个监测区域的平均数据质量。
[0173] 对整个监测区域的平均数据质量进行(ε,δ)-近似,求得抽样概率p。
[0174] 基于伯努利均匀抽样选取pn个数据源进行数据采集。
[0175] 实施例3
[0176] 本发明提供的共享模块8共享方法包括:
[0177] 1)数据拥有方将本次发布的海洋数据的描述信息广播至数据存储链上所有结点。
[0178] 2)链上所有结点根据管理员预先配置的过滤规则选择是否参加本次存储竞争,分配数据存储权,竞争成为数据存储方。
[0179] 3)数据存储方产生后,根据数据拥有方发布的描述信息中包含的数据拥有方地址,向数据拥有方发布一条存储请求信息。
[0180] 4)数据拥有方接收到存储请求信息后,将设定数量的署名代币作为存储费用,并通过SHA256算法将加密后的海洋数据采用点对点方式发送给数据存储方。
[0181] 5)数据存储方完成海洋数据存储后,将海洋数据的描述信息扩充自身地址后作为区块数据发布到数据存储链上,生成新的区块链接至区块链尾部并打上时间戳,链上结点达成共识之后宣告此次存储成功,各用户结点可直接访问链上结点检索区块记录进行海洋数据检索。
[0182] 本发明提供的共享方法还包括:
[0183] 获海洋数据的描述信息后,数据请求方根据描述信息中维护的数据存储方地址向数据存储方发送数据交易请求信息和数据标价的署名代币。
[0184] 数据拥有方接收到数据交易请求信息后,向数据拥有方发送交易鉴权请求。
[0185] 数据拥有方确认后返回交易鉴权确认信息。
[0186] 数据存储方接收到交易鉴权确认信息后,将海洋数据发送给数据请求方。
[0187] 数据请求方根据自身私钥对接收到的海洋数据进行解密,获得真实海洋数据。
[0188] 在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现,所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(海洋多维数据集SL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘硬盘、磁带)、光介质(例如,海洋多维数据集V海洋多维数据集)、或者半导体介质(例如固态硬盘Soli海洋多维数据集State海洋多维数据集isk(SS海洋多维数据集))等。
[0189] 以上所述仅是对本发明的较佳实施例而已,并非对本发明作任何形式上的限制,凡是依据本发明的技术实质对以上实施例所做的任何简单修改,等同变化与修饰,均属于本发明技术方案的范围内。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈