技术领域
[0001] 本
发明涉及无线电
信号监测技术领域，尤其涉及一种基于
大数据实时处理技术和无线电联网监测的黑广播自动实时识别系统及其识别方法。
背景技术
[0002] 无线电
频谱资源是重要的国家战略资源，而黑广播未经广播管理部
门和无线电管理机构批准，擅自设置并利用广播
频率向社会进行播音宣传的广播电台。这些非法广播不仅内容低俗，严重污染社会
风气，造成不良的社会影响，而且非法广播还会占据无线电频谱资源，如干扰民航频段、造成正常的
广播信号无法发送等，有很大的安全的隐患。
[0003] 目前非法的广播电台的识别一般采用人工监听一定时间段的电台播放内容，来判断该广播电台是否为非法电台，或者采取人工举报的办法，发现非法电台。并且随着监测站
覆盖越来越多，监测厂家设备存在着差异，主要存在着下列
缺陷：
[0004] 1、人工发现这种方式耗时耗
力，且效率很低，且都属于事后补救的方法，没法做到前期积极的
预防。
[0005] 2、黑广播监测往往进行多
站点、多厂家的黑广播联合发现，数据量大，并且对实时性要求非常高，往往需要在监测中及时发现黑广播电台，工作量大运用传统的存储和处理方法已经无法满足这些需求。
发明内容
[0006] 本发明的目的在于提供一种基于联网监测的黑广播实时识别系统及其识别方法，利用
数字信号处理、信息处理技术和大数据实时处理技术，开发设计了一种基于联网监测和大数据实时处理技术的黑广播实时识别系统及其识别方法，以解决上述背景技术中遇到的问题。
[0007] 为实现上述目的，本发明的技术方案如下：
[0008] 一种基于联网监测的黑广播实时识别系统，包括网监测平台、大数据实时处理集群、MPP 实时电平库、信号提取模
块、实时信号库和合法信号库，所述无线电联网监测平台用于监测无线电设备的联网以及多站点黑广播实时发现任务的编排，并通过socket
接口的方式，将监测的二进制数据流传输给大数据实时处理集群；所述大数据实时处理集群用于与无线电联网监测平台中的socket接口对接，将对接的二进制流通过数据解
帧模块进行解帧，并写入MPP 实时电平库；所述MPP实时电平库将大数据实时处理集群解帧的数据进行保存，在任务结束时，则对数据进行删除；所述信号提取模块通过解帧聚合后的数据根据背噪形成每个任务的灰度图，根据灰度图提取信号，形成每个任务的信号集，并将信号写入到实时信号库中；所述非法信号比对模块将实时信号库中的信号集与对应监测站的合法信号库中的合法信号进行比对，发现非法信号并上报，经过人工确认后，进行黑广播处理。
[0009] 所述大数据实时处理集群根据黑广播扫频任务ID读取socket中相关数据，解帧后按每分钟进行聚合，对每分钟的频点形成一个完成的扫描周期，调用自动背噪
算法，形成分钟聚合数据。
[0010] 所述大数据实时处理集群按分钟级将聚合后的数据放入MPP实时电平库中。
[0011] 一种基于联网监测的黑广播实时识别方法，包括以下步骤：
[0012] 步骤一：无线电联网监测平台根据黑广播监测需求下达实时黑广播监测任务，无线电联网监测平台连接至相关监测设备开启任务后，将其监测的二进制数据流以socket接口的信息告知给大数据实时处理集群；
[0013] 步骤二：大数据实时处理集群根据收到的socket接口信息与无线电联网监测平台进行连接，大数据实时处理集群根据任务ID和IP地址启动一个task并启动一个slot资源,实时接受监测数据流；
[0014] 步骤三：大数据实时处理集群根据每个任务ID，调用自动背噪算法和解帧算法，对监测数据流进行解帧，并将解帧后数据放入slot资源中，同时大数据实时处理集群按分钟级对 slot中电平数据进行聚合，聚合后的数据放入MPP实时电平库中；
[0015] 步骤四：信号提取模块从MPP数据中获取当前正在执行任务的分钟聚合数据，根据背噪获得任务频率背噪灰度图，通过对灰度图的
腐蚀和膨胀，剔除异常点数据，并对灰度图的形成任务信号；
[0016] 步骤五：形成的任务信号和合法信号库中的合法信号进行比对，获取非法黑广播信号；
[0017] 步骤六：采用广播
定位模块根据对比获取的非法广播信号的带宽、中心频率下达测向任务，定位黑广播信号
位置。
[0018] 进一步的，步骤一中，所述无线电联网监测平台在统一无线电监测联网平台下达黑广播编排任务，任务参数主要包括站点、信号持续时间、信号带宽、信号背噪、
频率范围这些参数；所述无线电联网监测平台获取任务参数后，对设备下达扫频任务；所述无线电联网监测平台将socket接口的信息告知给大数据实时处理集群。
[0019] 进一步的，所述信号持续时间为半个小时，联网扫频监测任务持续时间大于信号持续时间；所述信号带宽为大于50kHz<带宽<300kHz；所述频率范围包含87MHZ～108MHZ广播频段的频段范围；所述信号背噪支持自动背噪与手动背噪。
[0020] 进一步的，步骤二中，所述大数据实时处理集群根据黑广播监测应用接口提供的socket 接口的IP地址、任务ID进行连接，所述大数据实时处理集群为每个任务启动一个task以及与之相对应的资源slot，实时接收数据流。
[0021] 进一步的，步骤三中，所述大数据实时处理集群利用无线
电解帧算法，对数据流的数据帧进行解帧，同时按分钟进行聚合，所述通过大数据实时处理集群对每分钟的聚合数据依次写入MPP实时电平库，数据按监测任务、站点为索引，存储监测数据。
[0022] 进一步的，步骤四中，所述信号提取模块通过分钟级聚合数据按下列步骤进行信号提取：
[0023] 首先：信号提取模块根据编排任务ID，从MPP中提取分钟级聚合数据，根据半个小时信号持续时间，提取任务最近1个小时的数据作为信号提取数据；
[0024] 然后：提取的最近1个小时的数据，根据时间、频点进行排序，形成以频点为列，时间为行，电平值为值的矩阵。
[0025] 其次：然后使用信号背噪对矩阵中每个点进行判断，形成灰度图。
[0026] 再次：根据灰度图矩阵进行闭操作，通过对灰度图的腐蚀和膨胀，剔除因偶尔信号抖动、设备误差造成的抖动、毛刺噪声，最终形成光滑无噪声数据的灰度图；
[0027] 最后：根据信号提取的持续时间、带宽提取信号。
[0028] 进一步的，步骤五中，将提取的信号和合法信号进行比对，比较方法如下：
[0029] 根据灰度矩阵得到的信号，提取其信号中频与信号带宽与合法信号的的中频进行比对，两者相似时，则认为是合法信号，不相同则认为是非法信号，并进行上报。
[0030] 与
现有技术相比，本发明的有益效果是：本发明一种大数据场景下基于联网监测的黑广播实时识别系统和识别方法支持在多站点多任务下的实时信号发现，在给任意联
网站点下达黑广播编排任务后，不需要等待数据累积到一定数量，而能自动发现识别信号，并将未知信号上报给监测人员，大大提升了查找黑广播的工作效率和时效性。
附图说明
[0031] 图1为本发明一种基于联网监测的黑广播实时识别系统的架构图；
[0032] 图2为本发明一种基于联网监测的黑广播实时识别方法的实时编排任务下达示意图；
[0033] 图3为本发明一种基于联网监测的黑广播实时识别方法的实时编排任务结束示意图；
[0034] 图4为本发明一种基于联网监测的黑广播实时识别方法中数据解帧模块结构示意图；
[0035] 图5为本发明一种基于联网监测的黑广播实时识别方法中信号提取模块结构示意图；
[0036] 图6为本发明一种基于联网监测的黑广播实时识别方法中socket数据流解帧聚合公式示意图。
具体实施方式
[0037] 下面结合附图和
实施例对本发明的技术方案做进一步的详细说明。
[0038] 如图1所示，一种基于联网监测的黑广播实时识别系统，包括无线电联网监测平台、大数据实时处理集群、MPP实时电平库、信号提取模块、实时信号库和合法信号库，无线电联网监测平台用于监测无线电设备的联网以及多站点黑广播实时发现任务的编排，并通过 socket接口的方式，将二进制数据流传输给大数据实时处理集群。多站点黑广播实时发现任务的编排指的是通过平台下达黑广播任务，比如，对于A站点，下达今晚8点到第二天早上 8点，87MHZ～108MHZ频段的任务(包含个各种任务参数)，发现黑广播后启动的侧向任务设备。
[0039] 大数据实时处理集群用于与无线电联网监测平台中的socket接口的对接，将对接的二进制流通过数据解帧模块进行解帧，并写入MPP实时电平库。
[0040] MPP实时电平库将大数据实时处理集群解帧的数据进行保存，在任务结束时，则对数据进行删除。
[0041] 信号提取模块通过解帧聚合后的数据根据背噪、持续时间形成每个任务的灰度图，根据灰度图提取信号，形成每个任务的信号集，并将信号写入到实时信号库中。
[0042] 非法信号比对模块将实时信号库中的信号集与对应监测站的合法信号库中的合法信号进行比对，发现非法信号并上报，经过人工确认后，进行黑广播处理。
[0043] 大数据实时处理集群采用包含但不限于flink、stream处理模块来实现数据流转换。大数据实时处理集群根据黑广播扫频任务ID读取socket中相关数据，解帧后按每分钟进行聚合，对每分钟的频点形成一个完成的扫描周期，调用自动背噪算法，形成分钟聚合数据。
[0044] 作为一种优选的方案，大数据实时处理集群按分钟级将聚合后的数据放入MPP实时电平库中。
[0045] 一种基于联网监测的黑广播实时识别方法，包括以下步骤：
[0046] 步骤一：无线电联网监测平台根据黑广播监测需求下达实时黑广播监测任务，无线电联网监测平台连接至相关监测设备开启任务后，将其监测的二进制数据流以socket接口的信息告知给大数据实时处理集群。
[0047] 步骤二：大数据实时处理集群根据收到的socket接口信息与无线电联网监测平台进行连接，大数据实时处理集群根据任务ID和IP地址启动一个task并启动一个资源slot,实时接受监测数据流。
[0048] 步骤三：大数据实时处理集群根据每个任务ID，调用自动背噪算法和解帧算法，对监测数据流进行解帧，并将解帧后数据放入slot资源中，同时大数据实时处理集群按分钟级对slot中电平数据进行聚合，聚合后的数据放入MPP实时电平库中。
[0049] 步骤四：信号提取模块从MPP实时电平库中的
数据库中获取当前正在执行任务的分钟聚合数据，根据背噪获得任务频率背噪灰度图，通过对灰度图的腐蚀和膨胀，剔除异常点数据，并对灰度图的形成任务信号。
[0050] 步骤五：形成的任务信号和合法信号库中的合法信号进行比对，获取非法黑广播信号。
[0051] 步骤六：采用广播定位模块根据对比获取的非法广播信号的带宽、中心频率下达测向任务，定位黑广播信号位置。
[0052] 无线电联网监测平台在统一无线电监测联网平台下达黑广播编排任务，任务参数主要包括站点、信号持续时间、信号带宽、信号背噪、频率范围这些参数；无线电联网监测平台获取任务参数后，对设备下达扫频任务；无线电联网监测平台将socket接口的信息告知给大数据实时处理集群。
[0053] 上述方案中，信号持续时间为半个小时，联网扫频监测任务持续时间大于信号持续时间，即为任务持续时间大于半个小时；信号带宽为大于50kHz<带宽<300kHz；频率范围包含 87MHZ～108MHZ广播频段的频段范围；信号背噪支持自动背噪与手动背噪。
[0054] 如图2所示,无线电联网监测平台模块主要用于黑广播发现任务的任务编排，无线电无线电联网监测平台实现了设备的联网互通，为统一多设备下达黑广播编排任务提供便利性。
[0055] 通过无线电无线电联网监测平台，选择黑广播编排站点，填写编排任务名称，信号持续时间，执行设备的开始结束频率(必须包含87HHZ～108MHZ)，频率扫描步进，背噪门限，信号带宽、任务结束条件，分别下达两个任务，其中任务1：
[0056] 黑广播编排任务名：监测1
[0057] 执行设备：XXX站
[0058] 监测持续时间：信号持续30分钟
[0059] 起始终止频率：87MHZ～1500MHZ
[0060] 步进：25KHZ
[0061] 背噪门限：35DBuV
[0062] 信号带宽：50kHZ
[0063] 任务结束条件：发现持续30分钟的未知信号
[0064] 通过无线电监测平台，下达任务2的编排任务：
[0065] 黑广播编排任务名：监测2
[0066] 执行设备：XXX站
[0067] 监测持续时间：信号持续30分钟
[0068] 起始终止频率：87MHZ～1500MHZ
[0069] 步进：25KHZ
[0070] 背噪门限：35DBuV
[0071] 信号带宽：50kHZ
[0072] 任务结束条件：发现持续30分钟的未知信号
[0073] 设备站点通过无线电联网监测平台接受任务后，发起监测任务，同时把监测任务socket 数据流的IP地址、任务ID通过接口层通知给大数据实时处理平台。
[0074] 大数据实时处理集群根据黑广播监测应用接口提供的socket接口的IP地址、任务ID进行连接，大数据实时处理集群为每个任务启动一个task以及与之相对应的资源slot，实时接收数据流。通过集群与监测平台的，实现多设备、多任务的数据实时处理功能。
[0075] 大数据实时处理集群利用无线电解帧算法，对数据流的数据帧进行解帧，同时按分钟进行聚合。这样在不影响信号提取的情况下，针对原始数据样本进行一定程度的聚合，可以有效减少计算量，节省计算时间，从而实现更快的信号提取和发现。
[0076] 通过大数据实时处理集群对每分钟的聚合数据依次写入MPP实时电平库，数据按监测任务、站点为索引，存储监测数据。
[0077] 从上述描述可知，本发明利用无线电无线电联网监测平台设备联网优势与大数据实时分析集群，实现了黑广播发现任务的多站点统一下发、执行以及信号的实时发现，为后续的多站点信号实时提取、实时处理以及提前发现奠定了
基础。
[0078] 如图3所示，所述黑广播实时编排任务结束流程实现任务结束后大数据实时处理平台处理流程：
[0079] 1、通过无线电无线电联网监测平台，选择需要停止的任务：
[0080] 黑广播编排任务名：监测1
[0081] 执行设备：XXX站
[0082] 操作：停止任务
[0083] 2、无线电联网监测平台停止相应的数据流，关闭socket连。
[0084] 3、无线电联网监测平台通知大数据大数据实时处理集群，的socket接口已经关闭。
[0085] 4、大数据大数据实时处理集群关闭与socket的连接，删除对应的实时任务task，并释放相应的slot资源。
[0086] 5、大数据大数据实时处理集群根据断开连接的任务ID，在MPP中删除相应的数据。
[0087] 如图4所示，所述数据解帧模块包括数据解帧、自动入库、以及分钟级聚合，主要将原始监测数据每一帧记录解帧后，并按分钟级进行聚合形成分钟级聚合数据，存入MPP实时电平库，用于信号提取。
[0088] 数据解帧模块根据黑广播编排任务从socket连接获取数据，由于socket数据流中每一帧文件并非一个完整的扫描周期，根据下列方法合成一个完整的扫描周期。
[0089] 在解帧后的原始数据中，按下列步骤进行解帧：
[0090] 首先，大数据实时处理平台解帧模块被实时平台的task调用，对连接的socket数据流按字节进行解帧，解帧完的数据按扫描周期进行拼接，将多帧合成一个完整的扫描周期。
[0091] 图6为socket数据流解帧聚合公式示意图，其中t1，t2,t3表示每一帧的监测时间，f1,fi 表示第i个频点，d1,di,dj表示第i,j频点对应的电平值。
[0092] 选取在原始数据中依次相连的帧Frame1,Frame2,Frame3(t1
[0093]
[0094] 其中n1，ni,nj表示第i,j个频点对应的自动背噪值。
[0095] 大数据存储模块找到对应的任务，并进行解帧，根据任务包含的原始数据的200M文件个数，为每个文件启动一个解帧container,实现多文件并行解帧。解帧后的文件按parquet 格式进行存储，有效减少解帧后文件的增长程度，同时增加查询速度。由于原始监测文件中每一帧并非一个完整的扫描周期，根据下列方法合成一个完整扫描周期。
[0096] 根据扫描周期内的数据，按频点顺序进行排序，根据每个频点的电平值，调用自动背噪算法，形成本次扫描周期的背噪。同时将这份数据写入MPP实时电平库中表中，解帧表的格式如下所示：
[0097]时间 频率 电平值 背噪 任务ID
[0098] 进一步地，在解帧后，按下列步骤进行聚合：
[0099] 联网解帧模块根据黑广播扫频任务ID读取原始解帧表中相关数据，按每分钟进行聚合，其中聚合规则为：对于每个频点的电平值取平均值为每分钟此频点的电平值。
[0100] 大数据实时处理集群对每分钟的频点形成一个完成的扫描周期，调用自动背噪算法，形成分钟聚合数据。聚合数据位于MPP实时电平库中，聚合数据在任务结束后，大数据实时处理模块会对这部分信号数据删除。
[0101] 根据黑广播的规律，一般来说，黑广播发射干扰，往往会持续一段时间(持续半个小时以上)，而原始扫描解帧数据往往是海量的，根据这一特点，对原始解帧数据按分钟级进行聚合，在不干扰最后结果准确度的基础上，可大大减少计算量，聚合算法规则如下：对于频点f每分钟内的的频点对应的电平值，取其平均值作为本次频率的电平值。
[0102] 信号提取模块通过分钟级聚合数据按下列步骤进行信号提取：
[0103] 首先信号提取模块根据编排任务ID，从MPP中提取分钟级聚合数据，根据半个小时信号持续时间，提取任务最近1个小时的数据作为信号提取数据。
[0104] 提取的最近1个小时的数据，根据时间、频点进行排序，形成以频点为列，时间为行，电平值为值的矩阵，如下所示：
[0105] f1 f2 f3 … fn
t1 d11 d12 d13 … d1n
t2 … … … … …
t3 … … … … …
… … … … … …
tm … … …… … dmn
[0106] 其中f1
[0107] 如图5所示，信号提取定位模块主要从大数据实时处理平台的MPP数据编排任务监控的分钟级聚合数据中形成灰度图，经过膨胀和腐蚀操作，形成信号，并对比合法信号。
[0108] 信号提取模块从分钟级聚合数据中提取数据，提取规则如下：
[0109] 提取87～108频段的监测扫频数据
[0110] 提取最近1小时的扫频数据
[0111] 对于提取的数据，每分钟的数据频点升序排列，形成以频点为列，时间为行的矩阵。
[0112] 然后使用信号背噪对矩阵中每个点进行判断，形成灰度图，判断规则如下：
[0113] 如果d(i,j)大于背噪，则矩阵对应的第i行j列则取值为1，否则取值为0，最终可得到灰度图矩阵，如下所示：
[0114] f1 f2 f3 … fn
t1 0 1 1 … 0
t2 … … … … …
t3 … … … … …
… … … … … …
tm 0 1 1 1 1
[0115] 对于矩阵中频点对应的电平值d(i,j),与背噪进行比对，如果电平值d(i,j)大于背噪，则灰度矩阵此单元取值为1，或者为0。
[0116] 对于灰度矩阵，根据灰度图矩阵进行闭操作，主要为先按1*3的矩阵单元进行先膨胀操作，后按1*3的矩阵单元进行腐蚀操作，剔除因偶尔信号抖动、设备误差造成的抖动、毛刺噪声，最终形成光滑无噪声数据的灰度图。
[0117] 根据信号提取的持续时间、带宽提取信号，提取方法如下：灰度图中提取值列大于2，行大于30的灰度矩形作为信号，信号包括的信息如下：
[0118] <信号中频，信号带宽，最大电平，最小电平、出现时间，结束时间>[0119] 其中提取信号的频率的平均值为中频信号带宽，灰度图中频点对应的最大电平值作为信号的最大电平值，灰度图所跨列为信号带宽，矩形灰度图所跨行为信号持续时间。
[0120] 例如：
[0121]
[0122] 将提取的信号和合法信号进行比对，比较方法如下：
[0123] 根据灰度矩阵得到的信号，提取其信号中频与信号带宽与合法信号的的中频进行比对，两者相似时，则认为是合法信号，不相同则认为是非法信号，并进行上报，其具体比较方法如下：
[0124] 中频信号相似度比较：
[0125] F_similar＝2*|ft-F|/channel_space
[0126] 其中，F_similar表示两者信号的相似度，F表示合法信号中频频率，ft表示任务提取的信号，channel_space表示信道间隔。
[0127] 带宽相似度比较：
[0128] W_similar＝|channel_width-F_width|/channel_width；
[0129] 其中，W_similar表示信号带宽相似度，channel_width表示合法信号的带宽，F_width 表示提取信号的带宽；
[0130] 当提取信号与合法信号比对时，如果提取的两者信号的相似度<50％且信号带宽相似度 <10％时，认为提取信号是合法信号，否则为非法信号。
[0131] 至此，一种在大数据场景下基于联网监测的黑广播实时识别方法的具体流程结束。
[0132] 经过试验计算，本发明一种大数据场景下基于联网监测的黑广播实时识别系统和识别方法支持在多站点多任务下的实时信号发现，在给任意联网站点下达黑广播编排任务后，不需要等待数据累积到一定数量，而能自动发现识别信号，并将未知信号上报给监测人员，大大提升了查找黑广播的工作效率和时效性。
[0133] 目前业界也进行了各种研究，包括故障的专家定位流程化、多设备无人机、信号频谱相似比对等等多种方案。但都是以离线为主，即需要等数据累计后，将数据取过来，进行信号发现，而基于实时性处理技术(flink、storm)等，是近几年技术，之前的
专利没用到此类技术，因此也无法实现实时对黑广播的监测。另外与目前的技术相比本系统的信号发现流程中信号的获取方法不同，之前的是通过类似背噪划定、或者拿此监测数据与监测进行信号频率相似性的比较，而在此专利中是采用图论进行信号形状的发现。还有就是联网多站点不同，之前的信号发现都是厂家对自有或者单一设备的信号发现，无法实现多厂家、多设备之间的。因此，利用监测站结合大数据实时处理技术进行黑广播编排，实时发现黑广播，是解决这一需求的有效方法。
[0134] 以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是，以上所述仅为本发明的具体实施方式，并不用于限定本发明保护范围，凡在本发明的精神和原则之内，所做的任何
修改、等同替换、改进等，均应含在本发明的保护范围之内。
