一种基于流式处理框架的原位传感器观测接入方法专利检索-建模语言软件专利检索查询-专利查询网

一种基于流式处理 框架的原位 传感器观测接入方法

阅读：999发布：2020-05-14

专利汇可以提供一种基于流式处理框架的原位传感器观测接入方法专利检索，专利查询，专利分析的服务。并且本发明公开了一种基于流式处理框架的原位传感器观测接入方法，本发明将利用流式处理框架的特性，将定长记录的传感器观测接入过程分为接入、过滤、存储三个部分。观测接入部分，以观测属性与数据流的关联关系为指导解决了同类型网络单元异构接入问题；观测过滤部分，支持属性、时间、空间等过滤方法以及单个或多个传感器同时过滤，解决了按需接入观测数据问题；观测存储部分将传感器观测结果实时发布到传感器观测服务中，提升了传感器观测数据的实时性。此外，传感器接入单元以流式处理配置文档为依据，多种异构的传感器网络可在提供接入方法的基础上，更新观测接入组件库，并可直接复用过滤和存储组件形成原位传感器观测接入单元。，下面是一种基于流式处理框架的原位传感器观测接入方法专利的具体信息内容。

权利要求

1.一种基于流式处理框架的原位传感器观测接入方法，其特征在于，包括以下步骤：
步骤1：明确传感器网络结构，使用传感器建模语言，构建以传感器站点为中心的原位传感器网络结构模型，并注册传感器信息；
所述建以传感器站点为中心的传感器组网模型，在传感器数据接入过程中需要明确当前传感器平台所拥有的传感器列表与每个传感器所观测的属性列表，利用传感器建模语言，构建一组以站点为中心的原位传感器网络结构模型，其包含原位传感器模型与原位传感器站点模型；原位传感器模型包含如下部分：传感器标识、传感器所属平台标识、传感器空间位置、传感器观测属性标识和观测属性单位信息；原位传感器站点模型包括传感器站点标识、传感器标识、站点空间位置；
步骤2：传感器接入；
步骤2.1：基于传感器网络结构模型，建立传感器观测属性与数据流关联关系文件；
步骤2.2：通过解析传感器网络结构模型和观测属性与数据流的关联关系，获取接入参数，建立以传感器站点为中心的传感器统一接入模型，实现连续接入的数据流到传感器观测属性值的转换；
步骤2.3：在获取传感器观测结果后，形成以单个传感器为中心的传感器观测数据发送到过滤组件中；
步骤3：传感器过滤；
按接入需求构建传感器观测过滤编码文件，通过构建的过滤编码文件，解析获得传感器过滤规则件，获取由接入组件传来的传感器观测数据，并进行过滤，将满足过滤要求的传感器观测数据发送到传感器存储组件；
步骤4：传感器存储；
接收由传感器过滤组件传来的传感器观测数据，对其进行编码，实时发布到传感器观测服务中；
步骤5：传感器流式处理流程配置文档，依配置文档将传感器接入组件、过滤组件与传感器存储组件有机地组合，形成一个流式原位传感器站点数据接入单元；
具体实现过程是：
步骤5.1：传感器流式处理流程配置文档，其中包含该传感器流式处理流程的唯一标识、传感器接入组件配置参数、传感器过滤组件配置参数与传感器存储组件配置参数，各个组件包含组件标识、组件类名称、该组件的任务数参数，以此确定一个传感器接入单元处理流程；在传感器接入组件配置参数中声明传感器观测属性与数据流关联关系文件路径，在传感器过滤组件配置参数中声明传感器过滤规则件文件路径；
步骤5.2：传感器接入单元的各个组件继承运行组件运行模块的基础类，由传感器流式处理流程配置文档获取当前处理单元流式处理参数，从而实现传感器各个组件的初始化，实现流式框架下传感器单元观测数据接入。
2.根据权利要求1所述的基于流式处理框架的原位传感器观测接入方法，其特征在于，步骤2.1的具体实现过程是：传感器观测是一个在离散时刻或时期中把一个数字、术语或其他符号匹配到一个现象的过程；在传感器观测接入过程中，需要明确传感器数据流所对应的属性关系，这可以使得相同数据组织类型的异构传感器网络结构使用同一种方法接入，传感器数据流对应的属性关系采用数组的形式表达，主要包含传感器标识SensorID、该传感器下的观测属性标识PropertyID、该观测属性的在数据流中的位置DataPosition以及该观测属性在数据流中的长度DataLength；这一关联关系中通过传感器标识SensorID和观测属性标识PropertyID唯一确定一个观测对象，将数据流与观测对象相匹配，从而达到观测的目的。
3.根据权利要求1所述的基于流式处理框架的原位传感器观测接入方法，其特征在于，步骤2.2的具体实现过程是：以步骤1中所述原位传感器网络结构模型为基础，解析传感器网络结构，形成“站点标识-传感器-观测属性”的传感器统一接入模型；传感器统一接入模型包含观测时间以及站点下包含的所有传感器信息，而单个传感器观测属性集合又包含观测属性标识、观测属性名称、观测属性单位和预留的传感器观测值空位；以传感器统一接入模型数据结构模型为基础，结合传感器观测属性与数据流的关联关系，从而匹配传感器统一接入模型中的观测值空位，实现传感器观测。
4.根据权利要求1所述的基于流式处理框架的原位传感器观测接入方法，其特征在于，步骤2.3的具体实现过程是：以传感器统一接入模型为基础，根据采样时刻的迁移，传感器观测值不断变化；传感器统一接入阶段主要目的是将传感器信息与观测值相结合，同时形成以传感器为中心的传感器观测数据结构；传感器观测数据结构包括传感器标识sensorID、传感器空间位置position、传感器观测时间observationTime以及传感器观测属性信息及观测值；以此为一个数据传输单元，以数据流的形式发送给传感器过滤组件部分，为数据过滤部分做准备。
5.根据权利要求1所述的基于流式处理框架的原位传感器观测接入方法，其特征在于，步骤3的具体实现过程是：
步骤3.1：基于传感器观测数据结构中各要素，确定属性、时间、空间过滤条件，构建传感器过滤规则件；针对观测值的过滤规则是比较操作，时间过滤操作是针对观测时间点的比较，空间过滤操作是针对传感器空间位置的过滤；
步骤3.2：解析上述传感器过滤规则件，获得传感器观测数据过滤条件；传感器过滤组件接收传感器观测数据单元，将该观测数据单元转换为以空间位置为中心，观测属性与观测时间:信息作为空间位置附属信息，形成一个Feature矢量数据；进而依据传感器过滤条件判断当前观测结果是否满足过滤条件，若满足则将该传感器观测数据发送到下一组件中；否则，丢弃该传感器观测数据。

说明书全文

一种基于流式处理框架的原位 传感器观测接入方法

技术领域

[0001] 本发明属于智慧地球地理信息服务技术领域，尤其涉及一种基于流式处理框架的原位传感器观测接入方法。

背景技术

[0002] 随着地理空间传感网([文献1])的不断发展，以度量值为观测结果的标量观测原位传感器不断增多，其中包括RFID传感器、水文传感器、风力、风向传感器等。它们使用无线网络、串口设备等方法实现与计算机设备之间的通讯，将传感器观测值以数据包的形式发送到处理服务器上，经数据解析、属性关联、特征过滤、实时存储，将时间序列下的流式观测结果发布到传感器观测服务上，实现传感器数据的实时接入从而为环境灾害预警、资源勘测、设备管理监测等决策服务提供支持，因而研究基于流式处理框架的原位传感器观测接入方法具有重要意义。Storm作为一种分布式流数据处理系统，具有强大的分布式集群管理、便捷的流式数据编程模型、高容错非功能保障，在流式处理、连续计算方面表现突出([文献2])，符合传感器流式数据特征，因而考虑将其作为一种传感器实时接入处理工具。而传感网数据的实时接入必不可少地涉及传感器观测的实时发布问题。从2003年起，开放地理空间联盟(OGC:Open Geospatial Consortium)和国际标准化组织地理信息工作组(ISO/TC211)一直致力于推广传感网络整合框架(Sensor Web Enablement)([文献3])，其观测服务主要依据观测与测量(Observation and Measurement,O&M)([文献4])、传感器建模语言(Sensor Makeup Language,SensorML)([文献5])和传感器观测服务(Sensor Observation Service,SOS)([文献6])三个传感网标准实现，这一传感器观测服务在当前地理空间传感网中已经具有完善的运行机制。

[0003] 目前，围绕传感器数据的接入研究，国内外学者进行了相关研究。2006年，Karl Aberer等人([文献7])提出一种GSN方式的传感器接入中间件与传感网连接方法，采用虚拟的传感器描述方法，使用BridgeVirtualSensor中间件实现GSN与虚拟传感器模型间的互操作，从而达到获取和处理数据的目的。2008年，孙纪敏等人([文献8])研究了传感器网络接入Internet体系结构和服务提供方法，明确了无线传感器网络(WSN)接入Internet的过程。2009年，杨盘隆等人([文献9])论述了无线传感网与因特网的融合技术，就无线传感网的接入策略进行了分类。2012年，陈庆奎等人([文献10])提出了一个物联网异构数据接入系统，在Chukwa大型数据采集及分析系统基础上，通过传感网区域分块及传感网络接入代理的方法，与多种适配器协调，以层次结构系统实现传感器异构接入管理。传感器数据的接入过程，数据过滤是不可避免的。张明哲等人([文献11])对嵌入式RFID中间件数据过滤模型进行了研究，将RFID数据过滤器分为属性、冗余、行为、规则四个部分，提供了一套完善的数据过滤体系。易叶青等人([文献12])提出一种基于多重半脆弱水印的虚假数据过滤算法，其过滤工作主要是传感器端的数据真实性认证。

[0004] 但是，上述的传感网接入研究还存在诸多问题，主要表现如下三个方面：

[0005] (1)传感器接入过程缺乏统一的传感器接入模型。

[0006] 当前传感器接入过程呈现出各自为营的状态，传感器接入主要关注从传感器到网关再到Internet的协议转换过程，而缺乏统一的接入标准，尤其是针对传感网数据包到互联网数据格式之间转换协议数据流部分的描述。对传感器本身的数据接入建模部分缺失，主要原因是运用的传感网接入模型的不同，从而导致对传感器本身的描述无法统一。此外，原位传感器网络本身异构性特征明显，传感器端使用简单微型的电池元件传感器构成微型传感器网络，以传感器平台作为控制数据接收和发送的载体，其传感器平台的感知类型由传感器类型决定，而传感网结构随传感器数量改变，所以在传感器接入过程中，为实现异构传感器网络各个传感器观测结果的实时接入，需要明确传感器平台上数据流与各个观测属性间的对应关系，即在传感器接入模型中构建传感器观测属性与数据流的关联关系模型。

[0007] (2)传感器数据接入过程缺乏传感器数据的统一过滤方法。

[0008] 在实时地理信息系统中，用户关注的往往是某个或满足某种条件的地理对象的相关属性，如某时某地的天气、河流的水位等信息，因而传感器数据接入过滤规则需要满足其时间、空间、属性的过滤特征。上述传感器过滤研究多针对于某一种传感器需求或传感器端的数据包过滤，而非一体化的传感器接入数据过滤规则的构建。此外，传感器观测数据的过滤条件及过滤对象是多样的，在支持对特定传感器数据过滤的同时，又需要满足多个传感器或传感器网络统一规则过滤，而这一内容在上述研究中未能实现。同时，上述传感器观测数据过滤模型中，未明确传感器过滤编码及传感器过滤对象特征，即过滤的数据格式和该格式下的过滤条件编码未达到统一建模的标准。

[0009] (3)未考虑传感器数据实时接入。

[0010] 传感器数据是一种典型的流式数据，其接入过程包含数据处理、插入等一系列过程。其实时接入涉及到两方面，1)传感器数据接入与发布的快速高效。2)传感器接入需求的实时变化，即传感器的接入要求并不是一成不变的，其数据过滤是随需求变化的。可采用组件式的高效流式数据接入方法，以满足上述传感器接入的实时性，因而研究基于流式框架的原位传感器观测接入方法是解决这一问题的关键。

[0011] 文献1：陈能成,杨训亮,&王晓蕾.(2013).地理空间传感网信息公共服务平台的设计与实现.地球信息科学学报(6),887-894.

[0012] 文献2：丁维龙,赵卓峰,&韩燕波.(2015).Storm:大数据流式计算及应用实践.电子工业出版社.

[0013] 文献3：郑重,陈能成,王伟,杨士乐,&彭彩华.(2010).传感器观测服务原型系统的设计与实现.测绘地理信息,35(3),47-49.

[0014] 文献4：Cox,S.2007. and Measurements(version1.0)Open Geospatial Consortium(OGC),Inc.,Wayland,Mass.Report 07-022rl.

[0015] 文献5:：Botts,M.and A.Robin,2007. Sensor Model Language Implementation Specification(version 1.0.1).Open Geospatial Consortium(OGC),Inc.,Wayland,Mass.Report 07-000.

[0016] 文献6：Na,A.and M.Priest,2007.Sensor Observation Service(version 1.0).Open Geospatial Consortium(OGC),Inc.,Wayland,Mass.Report 06-009r6.[0017] 文献7：Aberer,K.,Hauswirth,M.,&Salehi,A.(2006).The global sensor networks middleware for efficient and flexible deployment and interconnection of sensor networks.Epfl.

[0018] 文献8：孙纪敏,沈玉龙,孙玉,&张思东.(2008).传感器网络接入internet体系结构和服务提供方法.通信学报,29(04),84-89.

[0019] 文献9：杨盘隆,&陈贵海.(2009).无线传感网与因特网融合技术.中兴通讯技术,15(05),24-27.

[0020] 文献10：陈庆奎,吕晓明,郝聚涛,张哲,&庄松林.(2012).一个物联网异构数据接入系统chukwax.计算机工程,38(17),12-15.

[0021] 文献11：张明哲,张强,袁巍,&刘威.(2010).嵌入式rfid中间件数据过滤模型研究.计算机工程与设计,31(17),3743-3746.

[0022] 文献12：易叶青,林亚平,彭舸,周四望,&羊四清.(2009).无线传感器网络中不依赖mac认证的虚假数据过滤算法.通信学报,30(06),53-63.

发明内容

[0023] 针对现有原位传感器观测接入问题，本发明采用流式处理框架，提出了一种接入、过滤和存储相分离的原位传感器观测数据接入方法，从而实现时间序列下数值型原位传感器定长记录的实时接入与过滤。

[0024] 本发明所所采用的技术方案是：一种基于流式处理框架的原位传感器观测接入方法，其特征在于，包括以下步骤：

[0025] 步骤1：明确传感器网络结构，使用传感器建模语言，构建以传感器站点为中心的原位传感器网络结构模型(这里的传感器网络结构模型指以传感器建模语言将传感器站点及包含的传感器实体计算机数字化建模)，并注册传感器信息；

[0026] 步骤2：传感器接入；

[0027] 步骤2.1：基于传感器网络结构模型，建立传感器观测属性与数据流关联关系文件；

[0028] 步骤2.2：通过解析传感器网络结构模型和观测属性与数据流的关联关系，获取接入参数，建立以传感器站点为中心的传感器统一接入模型，实现连续接入的数据流到传感器观测属性值的转换；

[0029] 步骤2.3：在获取传感器观测结果后，形成以单个传感器为中心的传感器观测数据发送到过滤组件中；

[0030] 步骤3：传感器过滤；

[0031] 按接入需求构建传感器观测过滤编码文件，解析获得传感器过滤规则件(通过构建的过滤编码文件，解析得到过滤规则件)，获取由接入组件传来的传感器观测数据，并进行过滤，将满足过滤要求的传感器观测数据发送到传感器存储组件；

[0032] 步骤4：传感器存储；

[0033] 接收由传感器过滤组件传来的传感器观测数据，对其进行编码，实时发布到传感器观测服务中；

[0034] 步骤5：传感器流式处理流程配置文档，依配置文档将传感器接入组件、过滤组件与传感器存储组件有机地组合，形成一个流式原位传感器站点数据接入单元。

[0035] 作为优选，步骤1中所述建以传感器站点为中心的传感器组网模型，在传感器数据接入过程中需要明确当前传感器平台所拥有的传感器列表与每个传感器所观测的属性列表，利用传感器建模语言，构建一组以站点为中心的原位传感器网络结构模型，其包含原位传感器模型与原位传感器站点模型；原位传感器模型包含如下部分：传感器标识、传感器所属平台标识、传感器空间位置、传感器观测属性标识和观测属性单位信息。原位传感器站点模型内容有传感器站点标识、包含的传感器标识、站点空间位置。

[0036] 作为优选，步骤2.1的具体实现过程是：传感器观测是一个在离散时刻或时期中把一个数字、术语或其他符号匹配到一个现象的过程；在传感器观测接入过程中，需要明确传感器数据流所对应的属性关系，这可以使得相同数据组织类型的异构传感器网络结构使用同一种方法接入，传感器数据流对应的属性关系采用数组的形式表达，主要包含传感器标识SensorID、该传感器下的观测属性标识PropertyID、该观测属性的在数据流中的位置DataPosition以及该观测属性在数据流中的长度DataLength；这一关联关系中通过传感器标识SensorID和观测属性标识PropertyID唯一确定一个观测对象，将数据流与观测对象相匹配，从而达到观测的目的。

[0037] 作为优选，步骤2.2的具体实现过程是：以步骤1中所述原位传感器网络结构模型为基础，解析传感器网络结构，形成“站点标识-传感器-观测属性”的传感器统一接入模型；传感器统一接入模型包含观测时间以及站点下包含的所有传感器信息(传感器标识、传感器空间位置、传感器观测属性标识和观测属性单位信息)，而单个传感器观测属性集合又包含观测属性标识、观测属性名称、观测属性单位和预留的传感器观测值空位；以传感器统一接入模型数据结构模型为基础，结合传感器观测属性与数据流的关联关系，从而匹配传感器统一接入模型中的观测值空位，实现传感器观测。

[0038] 作为优选，步骤2.3的具体实现过程是：以传感器统一接入模型为基础，根据采样时刻的迁移，传感器观测值不断变化；传感器统一接入阶段主要目的是将传感器信息与观测值相结合，同时形成以传感器为中心的传感器观测数据结构；传感器观测数据结构包括传感器标识sensorID、传感器空间位置position、传感器观测时间observationTime以及传感器观测属性信息及观测值；以此为一个数据传输单元，以数据流的形式发送给传感器过滤组件部分，为数据过滤部分做准备。

[0039] 作为优选，步骤3的具体实现过程是：

[0040] 步骤3.1：基于传感器观测数据结构中各要素，确定属性、时间、空间过滤条件，构建传感器过滤规则件；针对观测值的过滤规则是比较操作，时间过滤操作是针对观测时间点的比较，空间过滤操作是针对传感器空间位置的过滤；

[0041] 步骤3.2：解析上述传感器过滤规则件，获得传感器观测数据过滤条件；传感器过滤组件接收传感器观测数据单元，将该观测数据单元转换为以空间位置为中心，观测属性与观测时间:信息作为空间位置附属信息，形成一个Feature矢量数据；进而依据传感器过滤条件判断当前观测结果是否满足过滤条件，若满足则将该传感器观测数据发送到下一组件中；否则，丢弃该传感器观测数据。

[0042] 作为优选，步骤5的具体实现过程是：

[0043] 步骤5.1：传感器流式处理流程配置文档，其中包含该传感器流式处理流程的唯一标识、传感器接入组件配置参数、传感器过滤组件配置参数与传感器存储组件配置参数，各个组件包含组件标识、组件类名称、该组件的任务数参数，以此确定一个传感器接入单元处理流程；在传感器接入组件配置参数中声明传感器观测属性与数据流关联关系文件路径，在传感器过滤组件配置参数中声明传感器过滤规则件文件路径；

[0044] 步骤5.2：传感器接入单元的各个组件继承运行组件运行模块的基础类，由传感器流式处理流程配置文档获取当前处理单元流式处理参数，从而实现传感器各个组件的初始化，实现流式框架下传感器单元观测数据接入。

[0045] 与现有技术相比，本发明具有以下优点和积极特点：

[0046] 1.支持相同原位传感器协议下异构网络观测的统一接入。在传感器接入组件中，传感器针对接入数据流的特征，确定传感器观测属性与数据流之间的关联关系。对于站点下，数量及观测类型不同的传感器网络单元，在构建传感器观测属性与数据流的关联关系后，可实现同类型传感器网络单元的统一方法接入。这在一定程度上可以减少传感器单元的变革程度，从而减少在接入阶段针对特定传感器网络结构的观测数据接入工作，解决了传感器接入阶段对网络结构异构的传感器单元接入问题。

[0047] 2.为用户提供了多样的传感器观测过滤需求，提高了传感器接入观测结果的质量。在实际研究与工作中，用户对传感器观测数据是有需求的，因而需要对其进行过滤筛选。传统的传感器接入方法未有体系的考虑到传感器观测接入的过滤问题，而本发明提出一个特定的传感器观测模型(传感器观测模型是过滤对象)，将传感器观测过滤分为属性、时间、空间，并采用统一的过滤规则实现多种条件下的传感器观测过滤。此外，在传感器流式处理配置文档的设计上，以文件路径的方式指定传感器过滤规则件，一个过滤文件可支持单个或多个传感器过滤单元的使用，因而观测过滤部分既可以支持对单个传感器过滤，也可以支持对多个传感器过滤。

[0048] 3.传感器接入单元各组件独立，通过传感器观测模型相互衔接，提高组件可重用性和传感器观测服务的实时性。基于流式处理框架的传感器观测接入方法将观测接入划分为接入、过滤、存储三个独立的处理过程，彼此之间以传感器观测模型通信。各组件继承流式处理框架组件基础类，以传感器配置文档中声明的组件类名称，实现初始化，因而不同协议的传感器观测网络接入时，实现并在流式处理配置文档中声明接入组件名称即可构建一个传感器接入单元，而过滤与存储部分无需改变。此外，针对实时变更的过滤需求，修改传感器过滤规则件，可改变传感器观测过滤内容，在一定程度上满足传感器过滤需求的实时变更。同时，传感器接入单元在流式处理框架下实时运行，源源不断地将传感器观测数据发布到传感器观测服务中，实现传感器数据的实时发布。因而，采用流式处理框架既符合原位传感器异构特征，又能够有效提升传感器观测服务的实时性需求。附图说明

[0049] 图1是本发明实施例的流程图；

[0050] 图2是本发明实施例的传感器网络结构示意图；

[0051] 图3是本发明实施例的传感器统一接入模型的数据结构图；

[0052] 图4是本发明实施例的以单个传感器为中心的观测数据模型结构图；

[0053] 图5是本发明实施例的支持传感器过滤方法流程图；

[0054] 图6是本发明实施例的传感器单元观测数据空间对象数据结构图；

[0055] 图7是本发明实施例的传感器接入Storm统一配置模块描述示意图。

具体实施方式

[0056] 为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

[0057] 原位传感器具有网络结构和属性异构的特征，即相同通信协议下的传感器网络组成的传感器数量和类型不同，其观测结果为度量值的标量观测、观测位置固定且以站点为采样特征的点采样方式，观测结果在时间上离散分布。此外，传感器的观测是一个实时过程，数据以流式方式源源不断的发送到数据处理端，用户根据观测数据特征规定过滤需求，而这一需求并不是一成不变的，如在监测过程中，农作物在不同生长期所需要的土壤水份不同，其土壤湿度传感器的过滤阈值不同。针对上述原位传感器观测的异构性、实时性与观测位置固定特征，本发明提出一种基于流式处理框架的原位传感器观测接入方法。该方法的实现采用传感器网络整合框架SWE中的SensorML标准，将异构的原位传感器网络以站点为中心进行建模与SOS注册，同时构传感器观测属性与数据流关联关系和传感器观测过滤编码，以原位传感器接入配置文件为指导，组合传感器接入、过滤和SOS存储部分的Storm组件，其中过滤组件使用OGC Filter 1.0标准构建传感器观测过滤规则件，存储部分以O&M编码标准实现传感器观测值编码，最终生成原位传感器接入拓扑，上传到Storm集群中实现原位传感器SOS接入。

[0058] 请见图1，本发明提供的一种基于流式处理框架的原位传感器观测接入方法，具体包括步骤：

[0059] 步骤1：典型的传感器网络结构由传感器节点、接收发送器sink、Internet或卫星、任务管理节点等部分构成。传感器平台的概念更接近与接收发器，如图2所示，原位传感器建模是以站点为中心的传感器网络结构，原位传感器节点搭载在站点之上用于观测在传感器周围的区域物质属性，通过站点上的接收法器(GPRS设备等)实现观测结果的互联网接入。

[0060] 观测是一个在离散时刻或时段中把一个数字、术语或其他符号匹配到一个现象的过程。传感器数据接入是一个观测处理过程，因而对传感器的物理建模是观测值与观测现象关联的前提。本发明采用OGC传感器描述语言SensorML，而其中也规定传感器平台(站点)和传感器实体是分开的，传感器平台被建模成包含所有传感器的系统，因而对原位传感器站点与传感器建模，需要声明传感器间的关联关系。

[0061] 按照OGC的传感器建模语言预定义XML建模模板对传感器站点建模，其中必须标识的属性为传感器站点ID、传感器站点下关联的属性ID以及站点空间位置信息。采用SensorML1.0.1以sml:SensorML/sml:member/sml:System/sml:identification/sml:IdentifierList下声明传感器站点名称及与其关联的传感器名称，在其下使用sml:
identifier/sml:Term@definition＝”urn:ogc:def:identifier:OGC:1.0:uniqueID”/sml:value定义传感器站点名称，使用多个sml:identifier/sml:Term@definition＝"urn:
ogc:def:identifier:OGC:1.0:associatedSenso rName"/sml:value声明关联的原位传感器ID。在sml:Position下定义传感器站点的位置信息，以sml:Position/swe:postion中的referenceFrame＝”urn:ogc:def:crs:EPSG:4326”属性明确空间参考系为WGS84 坐标系，同时以经纬度明确具体空间位置。而对于传感器单元来说，建模中需要明确传感器ID，传感器站点ID、传感器空间位置以及传感器观测属性信息。同样地，使用sml:SensorML/sml:
member/sml:System/sml:identification/sml:IdentifierList单元声明传感器与站点之间的连接关系，在上述SensorML节点下，以sml:identifier/sml:Term@definition＝”urn:
ogc:def:identifier:OGC:1.0:uniqueID”/sml:value节点定义传感器ID,使用sml:
identifier/sml:Term@definition＝”urn:ogc:def:identifier:OGC:1.0:
parentSystemUniqueId”/sml:value定义传感器的所属站点ID。以上述sml:Position方法，定义传感器空间位置信息。传感器观测属性以sml:outputs模块进行定义在sml:SensorML/sml:member/sml:System/sml:outputs/sml:OutputList节点下定义观测属性，一般的观测属性为双精度浮点型数据使用swe:Quantity进行定义。

[0062] 使用传感器观测服务的RegisterSensor中间件注册定义的传感器站点与传感器模型，为传感器观测接入做准备，其中SOS服务版本为1.0。

[0063] 步骤2：建立Storm传感器数据接入组件。传感器接入组件的建立分为两个过程：1.基于站点的传感器观测属性与数据流关联关系的建立。2.解析传感器网络结构，根据观测属性与数据流关联关系模型，关联传感器观测数据。

[0064] 步骤2.1：建立传感器观测属性与数据流关联关系模型。原位传感器的接入是将互联网应用层获取的传感器数据包转化为数字并与传感器观测属性项关联的过程。传感器网络结构的差异与通信协议的差异导致了传感器数据包的不同。原位传感器接入中观测值在一定程度上可认为是传感器端数据包中数据段与传感器观测属性模型之间的关联关系。开放系统互连参考模型将网络模型分为物理层、数据链路层、网络层、传输层、会话层、表示层和应用层。SensorML中，基于开放互联参考模型扩展的Interface模块下的InterfaceDefinition将传感器物理连接和协议定义为机械层、物理层、数据连接层、网络层、传输层、会话层、表示层、应用层和服务层。而传感器数据接入中关键的数据连接部分主要在应用层协议获取数据时得以实现，使用应用层协议获取的数据包格式由传感器控制协议决定，所以本发明扩展传感器接口模型，将传感器观测属性与数据的连接关系部分位于此处进行描述，在传感器应用层中定义了传感器应用层获取数据的协议工具参数、原位传感器控制协议说明以及数据连接部分。

[0065] 以应用层Socket协议请求远程传感器上的GPRS数据为例，传感器控制协议为Modbus。本发明使用SensorML中的Interfaces模块明确传感器站点接入协议，在interfaces/InterfaceList下定义Modbus协议应用层实现参数。在interfaces/InterfaceList/interface@name＝”Modbus”/InterfaceDefinition节点下定义applicationLayer节点，以swe:DataRecord definition＝"urn:liesmars:def:protocol:LIESMARS:1.0.0:Modbus定义传感器接入协议，为保证模型的可读性和可用性将协议分为三个部分实现工具部分、控制协议说明部分、属性连接关系部分，具体节点编码定义详见表
1。

[0066] 表1：Modbus原位传感器接入协议编码含义

[0067]

[0068]

[0069] 步骤2.2：输入原位传感器站点名称，解析传感器数据模型，并获取原位传感器观测值。首先，根据输入的传感器站点标识StationID，使用传感器观测服务中的DescribeSensor中间件，根据传感器站点名称获取传感器网络结构SensorML编码(传感器站点与传感器编码)，并解析获取如图3所示的传感器站点-传感器-属性的传感器观测数据接入模型，构建传感器站点类。传感器观测数据接入模型以传感器站点为中心，站点包含传感器站点标示(StationID)属性；在站点下包含多个传感器单元，每个传感器单元包含传感器标识(sensorID)、传感器位置(position)、传感器观测时间(observationTime)；同时单个传感器下包含多个观测属性单元，每个观测属性由观测属性标识(PropertyID)、观测属性名称(PropertyName)、观测属性单位(PropertyUnit)以及预留的观测值(Value)组成。

[0070] Storm传感器数据接入组件继承BaseRichSpout类，其中传感器观测接入模型数据结构类需要继承java.io.Serializable接口。之后，解析传感器接入协议模型，形成传感器接入参数信息模型，将获取的原位传感器数据包，依据接入参数中的属性连接参数，进行解析，将传感器观测数据接入模型中预留的观测值单元(Value)与解析的观测结果关联。并在BaseRichSpout中的emit()方法发送该传感器观测数据模型，如图4所示，以传感器为中心的观测数据模型主要描述单个传感器中的观测值信息以及当时的观测条件。

[0071] 为了保证传感器接入的可扩展性，针对不同协议下的传感器，需要构建新的Spout数据接收部分，即适配器是可扩展的，在传感器数据与观测数据接入模型关联后，只需要保证发送的传感器观测数据模型一致即可。

[0072] 步骤3：建立Storm原位传感器观测过滤组件。同样地，Storm传感器过滤组件分为建立传感器观测过滤规则模型和传感器Storm过滤实现两部分。

[0073] 步骤3.1：建立原位传感器观测过滤规则模型。在OGCObservation&Measurement规范中，广义的观测模型中没有内置一个位置属性，相关的位置信息根据特定的情况。由于本发明关注的温度、水位、风速等地理现象的地理特征明显，本发明从狭义的观测角度出发，认为原位传感器观测结果由空间位置提供，其相关联的传感器ID、传感器属性与传感器属性单位、观测时间等信息均为该原位传感器地理位置的附属属性。所以，原位传感器的过滤规则分为三个部分：空间过滤、时间过滤和属性过滤，用于过滤在观测数据模型中形成的传感器观测结果空间对象。如图5所示，传感器观测数据过滤由逻辑操作和过滤操作两个部分组成。逻辑操作包括AND、OR、NOT，逻辑操作将时间、空间和属性三者的过滤条件相结合，以满足过滤条件。过滤操作中属性过滤包含属性值相等(PropertyIsEqualTo)、不等(PropertyIsNotEqualTo)、大于(PropertyIsGreaterThan)、小于(PropertyIsLessThan)、大于等于(PropertyIsGreaterOrEqualTo)和小于等于(PropertyIsLessOrEqualTo)；时间过滤是针对传感器观测时刻的过滤，因而只包含对时刻点的过滤方法，有在某个时刻之后(After)、在某个时刻之前(Before)、在某个时间段内(During)；空间过滤是对传感器空间位置的过滤，其针对空间点数据的过滤方法有在某个距离范围内(DWithin)，在某个空间范围内(Contains)，不包含在某个空间范围内(Disjoint)，在某个矩形范围内(BBOX)。本发明以OGC Filter1.0编码，针对步骤2.2中的，传感器观测数据模型，建立对传感器标识sensorID、观测属性值、观测地点position和观测时间observationTime的过滤条件。其中观测属性值的名称以传感器观测属性标识表示，每个传感器的观测属性名称不尽相同。传感器过滤的基础是空间、时间坐标系和观测属性单位相同，空间参考系以WGS84坐标系为基准，时间坐标系以格林威治时间为基准，属性单位需保证与步骤一传感器模型中定义的传感器观测属性相同。基于此，构建传感器过滤规则件。

[0074] 步骤3.2：构建Storm传感器过滤组件。首先，Storm过滤组件继承BaseRichBolt类，以execute()方法Tuple对象接收从Spout中发送过来的传感器观测数据模型结构类。之后，以站点为中心的数据模型，拆分成各个传感器数据模型，并构建如图6所示的以传感器为单元的观测数据空间对象图层。该传感器单元观测数据空间对象是一个Feature类型的数据，其以传感器位置(position)为中心，将传感器标识(sensorID)、传感器观测时间(observationTime)和各观测属性值(Value)作为该Feature属性，构建传感器观测过滤的目标单元。其中，观测属性以传感器观测属性标识(PropertyID)进行标识。由于在过滤中，传感器标识、观测地点和观测时间属性是由固定字段表示的，而观测属性具有不定性。过滤的目的是针对特定的传感器观测图层进行过滤，因而需要先进行传感器图层的属性判断，若过滤条件的传感器属性名称在该传感器图层中，则对该传感器观测图层进行过滤，以emit()方法发送该传感器观测结果；否则，不进行过滤，直接发送该传感器观测图层结果。

[0075] 步骤4：构建Storm传感器观测存储组件。Storm传感器观测存储组件继承BaseRichBolt抽象类，从Storm传感器过滤组件中接收传感器观测图层结果，利用OGCObservation&Measurement规范进行编码，使用传感器观测服务InsertObservation中间件实时插入SOS服务中。具体编码如表2所示：

[0076] 表2传感器观测结果O&M编码结点说明表

[0077]

[0078]

[0079] 步骤5：整合Storm传感器接入各组件，形成传感器接入拓扑。Storm运行以拓扑为单位，Spout和Bolt组件是传感器接入拓扑的组成部分，需要明确拓扑标识、组件标识、组件类名与并发数，实现传感器接入、过滤与存储组件的整合。因而，首先需要构建Storm传感器接入模式文件，明确接入拓扑的组成。其次，需要构建传感器接入拓扑，将拓扑上传到Storm集群中。

[0080] 步骤5.1：构建传感器接入XML模式，用以规范传感器接入过程，并确保传感器接入具有实时变更的可能性。Storm传感器接入拓扑配置如图7所示，传感器接入拓扑配置模式分为四个部分，拓扑标识TopologyID、传感器接入组件Receive、传感器过滤组件Filter和传感器观测存储组件部分Store。具体标签结点及含义如表3所示。

[0081] 表3Storm传感器接入配置编码说明表

[0082]

[0083]

[0084] 步骤5.2：构建传感器接入拓扑。首先，根据上述传感器接入配置模型构建的传感器接入拓扑配置文档，获取传感器接入拓扑配置参数。基于此，传感器各组件类使用java,lang.Class.forname()方法实现组件实例化，传感器接收组件转化为org.apache.storm.topology.IRichSpout接口类，传感器过滤及接入组件转换为org.apache.storm.topology.IRichBolt接口类，并依据组件预留的协议模型参数和过滤参数接口，加载各组件需要的参数信息。此外，传感器的接入处理流程是固化的且数据流之间的衔接是固定的。由于以传感器为单元的观测数据在O&M模型中具有均质性，即各个传感器的观测结果均看作由空间位置提供的属性信息，且传感器观测结果编码相同，所以在Storm中组件分流采用shuffleGrouping的分流方式。这种分流方式，表示Storm将数据均匀随机的发送到Bolt中的任务，数据分配比较均匀。以传感器接入拓扑使用Storm中org.apache.storm.topology.TopologyBuilder类实例，初始化传感器接入拓扑的各组件标识、并发数和组件连接关系，实现传感器接入拓扑创建工作。最后采用org.apahce.storm.StormSubmitter.submitToplogy()方法将拓扑上传到Storm集群中。

[0085] 针原位传感器实时接入，本发明给出了了传感器接入控制管理平台的设想，利用Storm UI中的Rest API服务，可以有效获取传感器拓扑的工作状态，实现传感器接入拓扑网络平台的运行、暂停、关闭和重构操作。此外，平台在传感器网络建模经RegisterSensor注册之后提供传感器接入协议模型与过滤模型构建，基于此，设定传感器接入拓扑参数，从而实现传感器拓扑上传，达到传感器接入的目的。其中，Storm集群中的传感器接入拓扑是实时处理数据程序，依据传感器配置参数的修改和拓扑重新上传，实现传感器接入的实时变更。从而达到传感器实时接入处理的目的。

[0086] 本发明通过对传感器站点及传感器SensorML建模，在此基础上，建立传感器接入协议模型，确定传感器观测结果与观测属性间的连接关系，形成Storm传感器接入组件；将观测结果视为由传感器空间位置提供，针对观测空间对象建立OGC Filter标准支持的空间过滤模型，形成Storm传感器过滤组件；在数据过滤的基础上，Storm存储组件接收过滤后的数据，基于SOS中的InsertObservation中间件实现传感器数据实时发布存储。最后，构建传感器接入拓扑配置模型，实现Storm中各传感器处理组件的初始化和衔接工作，形成可用拓扑上传到Storm集群中，实现传感器观测数据的实时接入处理发布过程。

[0087] 应当理解的是，本说明书未详细阐述的部分均属于现有技术。

[0088] 应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

标题	发布/更新时间	阅读量
一种软件复杂度计算系统	2020-05-14	705
一种快速构建信息系统软件的构架	2020-05-15	336
一种可穿戴设备风险评估和安全认证的方法	2020-05-12	131
核实网络意图	2020-05-13	441
一种基于SDN架构的BGP路由可信验证方法	2020-05-13	128
一种基于AMS监测数据的CTCS-3超时自动分析方法	2020-05-12	76
一种基于流式处理框架的原位传感器观测接入方法	2020-05-14	999
软件升级的兼容性管理方法、装置及设备、存储介质	2020-05-15	485
一种基于微服务架构的IMA配置生成方法	2020-05-11	1017
一种基于CityGML扩展的建筑物三维语义建模方法	2020-05-14	671

一种基于流式处理框架的原位传感器观测接入方法

一种基于流式处理框架的原位传感器观测接入方法

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：