技术领域
[0001] 本
发明涉及工业网络安全态势感知的技术，具体而言，涉及一种基于工业控制网络流量的安全态势感知系统。
背景技术
[0002] 工业控制网络数据种类繁多，数据量庞大，网络中存在各类工业设备、上位机、
控制器等通讯流量，形成大量的冗余数据，难以挖掘关键流量，也对系统的性能造成很大影响。由于工控网络中可获取的数据绝大多数都为正常数据，只有极少量异常数据，存在严重的数据
不平衡问题，现有的
机器学习或
深度学习异常检测技术难以在工业网络中应用。
[0003]
现有技术中，常对已有网络流量进行建模，然而工控网络流量数据关联复杂，异常数据关联的分析能
力不足。此外，工控网络协议多样，协议字段数据含义多变，影响检测可靠性。具体的，使用传统的基于流量的安全态势感知系统，存在以下问题：
[0004] (1)性能低：难以转发、存储和查询超大规模的工控网络流量数据，系统吞吐量和性能极低；
[0005] (2)不准确：检测结果可信度浮动，难以应对未知异常数据，未知异常导致检测结果准确率下降；
[0006] (3)难更新：工控环境是一个不断演化的环境，现有的感知系统不能根据已有的检测结果进行异常检测自更新，且可自定义配置项不足。
发明内容
[0007] 本发明的目的在于：提供一种基于工控网络流量的安全态势感知系统的设计方式，提高态势感知性能和异常检测准确性，提高系统的配置能力和自更新能力。
[0008] 为实现上述目的，本发明的技术方案提供了一种基于工控网络流量的安全态势感知系统，其特征在于，所述安全态势感知系统包括：工控网络流量收集模
块，网络流量代理转发模块，流量数据存储模块，异常检测模块，配置管理模块，安全态势
可视化模块，建模与
算法更新模块；
[0009] 所述工控网络流量收集模块用于在上位机中收集、解析并发送待处理数据，其中，待处理数据从工控网络流量数据中提取，包括数据报文本身信息、报文协议信息和解析的协议字段信息；
[0010] 所述网络流量代理转发模块接收已解析的流量数据，筛选不需要的协议数据，将短时间内的流量数据聚合处理后发送给流量数据存储模块和异常解析模块，减少冗余数据，缓解存储模块负担；
[0011] 所述流量数据存储模块存储聚合处理后的工控网络流量数据，使用数据分片的方式搭建分布式存储集群，实现工控网络数据持久化和备份；
[0012] 所述异常检测模块使用不同分类的算法对数据特征进行异常检测计算，将异常结果上报报警
接口，并将计算结果反馈给流量数据存储模块以便数据持久化；
[0013] 所述配置管理模块定义需要使用的异常检测算法以及报警规则，其中异常检测算法需要配置数据源特征、使用的算法和算法参数规则；
[0014] 所述安全态势可视化模块读取数据流量存储模块的数据，综合展示已有流量数据和异常检测模块反馈的计算结果，可视化当前工控网络的安全态势；
[0015] 所述建模与算法更新模块对已收集的正常与异常工控网络流量数据建立高阶模型，通过训练高阶模型更新异常检测算法使用的参数，提高异常检测模块的识别准确率。
[0016] 进一步地，其特征在于，所述工控网络流量收集模块，具体还包括协议解析单元以及数据发送单元；
[0017] 所述协议解析单元用于提取并识别流量数据使用的协议，解析工业网络中的不同协议字段，将所有字段信息和流量本身的报文信息
整理为统一的标准数据格式；
[0018] 所述数据发送单元收集整理已解析的标准流量数据，定时将已处理的数据打包发送到网络流量代理转发模块。
[0019] 进一步地，所述网络流量代理转发模块用于缓存已解析的协议数据到缓冲池中，对协议数据进行预处理，即对短时间内大量重复数据进行聚合处理，防止对存储模块造成较大的写入压力；
[0020] 所述网络流量代理转发模块还会实现异步线程，将聚合处理后的数据转发到流量数据存储模块。
[0021] 进一步地，所述流量数据存储模块有以下特征：
[0022] 使用分片的方式存储网络流量数据块，每个分片保存固定大小的流量数据，且每个分片都存在备份，保留在不同的
服务器中；同时为新增流量数据建立倒排索引，支持对工控网络流量数据按字段快速检索和全文字段检索。
[0023] 进一步地，所述异常检测模块能够使用可配置的四类算法进行异常检测，四类方法包括基于
密度的异常检测方法、基于聚类的异常检测方法、基于邻接的异常检测方法、基于统计的异常检测方法。
[0024] 进一步地，所述配置管理模块包括数据配置单元和算法配置单元，其中：
[0025] 所述数据配置单元用来配置每次异常检测任务需要获取的数据项，包括数据源、数据类型、数据
时间窗口、使用的数据特征字段；
[0026] 所述算法配置单元用来配置每次异常检测使用的算法，包括算法分类、每个分类下具体使用的算法、算法本身的参数以及算法投票决定异常数据的
阈值。
[0027] 进一步地，所述安全态势可视化模块能够综合展示已存储的流量数据，使用自定义图表控制台的方式展示已存储的工控网络流量数据，对工控网络流量本身进行可视化监控；综合展示异常检测模块的检测结果，结合已有的流量数据展示和
定位检测出的异常数据，建立检测结果与流量数据间的可视化联系。
[0028] 进一步地，所述建模与算法更新模块，具体还包括复杂建模单元和参数更新单元，其中：复杂建模单元对已有的正常流量数据和异常流量数据集合建立高阶复杂模型，使用已有的流量数据和异常检测算法检测模型的适用性；参数更新单元利用已建立的高阶复杂模型异步更新异常检测模块各类算法的具体参数，更新过程不影响异常检测模块正常运转。
[0029] 本发明的有益效果在于：
[0030] (1)高性能：网络流量代理转发模块对原始流量数据进行了缓冲和整合，减少了流量数据写入压力，减轻了存储模块数据存储和索引负担。存储模块利用分布式模块和数据索引提高数据可用性和检索速度，提高安全态势感知性能；
[0031] (2)高
精度：异常检测过程有多个异常检测算法共同决策完成，包括四类方法，分别是基于密度的异常检测方法、基于聚类的异常检测方法、基于邻接的异常检测方法、基于统计的异常检测方法。通过设置方法投票阈值，可以满足避免异常漏检或是避免大量误报的不同需求；
[0032] (3)自更新：异常检测算法使用的检测模型由建模与算法更新模块提供，包括构建的超图模型、统计模型、深度模型等。这些模型和参数在获取更多数据后可以不断演变，提供更高的检测精度。演变后的模型由算法更新模块更新到异常检测模块中，实现系统整体的不断更新和演化。
附图说明
[0033] 本发明的上述和/或附加方面的优点在结合下面附图对
实施例的描述中将变得明显和容易理解，其中：
[0034] 图1是根据本发明的一个实施例的基于工控网络流量的安全态势感知系统的示意
框图；
[0035] 图2是根据本发明的一个实施例的数据存储模块进行分片存储数据的示意图；
[0036] 图3是根据本发明的一个实施例的基于工控网络流量的异常数据判定方法的示意
流程图；
[0037] 图4是根据本发明的一个实施例的异常检测模型更新方法的示意流程图。
具体实施方式
[0038] 为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互结合。
[0039] 如图1所示，本实施实例提供了一种基于工控网络流量的安全态势感知系统，包括：工控网络流量收集模块10，网络流量代理转发模块20，流量数据存储模块30，异常检测模块40，配置管理模块50，安全态势可视化模块60和建模与算法更新模块70，其中：
[0040] 工控网络流量收集模块10用于在上位机中收集、解析并发送待处理数据；
[0041] 具体的，如图2所示，在工业网络上位机中使用抓包工具获取工控网络流量数据，部署工控网络流量收集模块10。工控网络流量收集模块10，具体还包括协议解析单元11以及数据发送单元12；
[0042] 所述协议解析单元11用于提取并识别流量数据使用的协议，解析工业网络中的不同协议字段，将所有字段信息和流量本身的报文信息整理为统一的标准数据格式；
[0043] 所述数据发送单元12收集整理已解析的标准流量数据，定时将已处理的数据打包发送到网络流量代理转发模块。
[0044] 工作过程中，工控网络流量收集模块10首先识别获取流量数据中使用的协议，解析工业网络流量数据中的不同协议字段，将所有字段信息和流量本身的报文信息整理为统一的JSON格式，存入收集模块的缓冲池中。随后该模块使用异步多线程的方式读取流量数据缓冲池，并使用HTTP
请求将流量数据发送到工控网络流量收集模块20。
[0045] 工控网络流量收集模块20接收已解析的流量数据，筛选不需要的协议数据；
[0046] 工控网络流量收集模块20将收到的已解析流量数据缓存到缓冲队列中，对数据进行预处理。预处理包括两个方面：首先检查协议是否是态势感知所需的协议，如与态势感知检测项无关，则直接丢弃该流量数据；其次对于短时间内大量相似数据，使用平均值聚合等方式合并为少量数据，减少后续处理的数据量。所述代理转发模块还会实现异步线程，将聚合处理后的数据转发到流量数据存储模块30。如对异常检测实时性要求较高，可选转发到异常检测模块40。
[0047] 流量数据存储模块30存储聚合处理后的工控网络流量数据，使用数据分片的方式搭建分布式存储集群。
[0048] 流量数据存储模块30使用分片的方式存储网络流量数据块，每个分片保存固定大小的流量数据，且每个分片都存在备份，保留在不同的服务器中；
[0049] 为新增流量数据建立倒排索引，支持对工控网络流量数据按字段快速检索和全文字段检索。
[0050] 如图2所示，该模块接收到流量数据后，需要执行以下步骤：
[0051] 步骤1：接收请求；
[0052] 存储模块提供基于RESTful API的接口，当接收到流量代理转发模块的请求后，首先识别请求内容，如新增一条数据，随后主存储模块根据请求数据计算数据应该存储的分片编号；
[0053] 步骤2：转发主分片；
[0054] 在计算主分片编号后，将请求转发到存储模块3，因为该数据需要存储的主分片1目前被存储模块3中；
[0055] 步骤3：转发备分片；
[0056] 存储模块3首先执行存储请求，在存储成功后将请求并行转发到存储模块1和存储模块2，因为有主分片1的对应副本分片备分片1。在请求执行成功后，存储模块3向主存储模块报告执行结果。
[0057] 异常检测模块40使用不同分类的算法对特定数据的特定特征进行异常检测计算，将异常结果上报报警接口，并将计算结果反馈给流量数据存储模块30以便数据持久化；
[0058] 在定时检测任务被触发后，异常检测模块40从存储模块2读取数据，使用可配置的四类算法进行异常检测，使用多种算法投票、可配置票数阈值的方式选取数据异常范围。
[0059] 所述异常检测模块40使用可配置的四类算法进行异常检测，使用多种算法投票、可配置票数阈值的方式选取数据异常范围，四类方法包括基于密度的异常检测方法、基于聚类的异常检测方法、基于邻接的异常检测方法、基于统计的异常检测方法，其中：
[0060] 密度异常检测单元41实现一系列基于密度的异常检测方法，如比较到K个最近邻的平均距离的倒数。
[0061] 聚类异常检测单元42创建正常数据模型，检测是否有异常点单元扭曲、破坏该模型。
[0062] 邻接异常检测单元43检测每一个数据点与其他数据点的距离，远离大多数数据点的流量数据会被判定为异常数据。
[0063] 统计异常检测单元44使用一系列统计学方法，包括概率分布模型估计异常点范围。
[0064] 配置管理模块50定义需要使用的异常检测算法以及报警规则，其中异常检测算法需要配置数据源特征、使用的算法和算法参数规则；
[0065] 如图3所示，所述配置管理模块50包括数据配置单元51和算法配置单元52，其中：
[0066] 所述数据配置单元51用来配置每次异常检测任务需要获取的数据项，包括数据源、数据类型、数据时间窗口、使用的数据特征字段等；异常检测模块在接收到配置项之后根据数据配置从分布式集群中获取数据，并对数据项进行特征提取提取操作，随后根据算法配置发送到不同的算法检测单元。
[0067] 所述算法配置单元52用来配置每次异常检测使用的算法，包括算法分类、每个分类下具体使用的算法、算法本身的参数以及算法投票决定异常数据的阈值。
[0068] 四类异常检测方法包括基于密度的异常检测方法、基于聚类的异常检测方法、基于邻接的异常检测方法、基于统计的异常检测方法，其中密度异常检测单元实现一系列基于密度的异常检测方法，如比较到K个最近邻的平均距离的倒数；聚类异常检测单元创建正常数据模型，检测是否有异常点单元扭曲、破坏该模型；邻接异常检测单元检测每一个数据点与其他数据点的距离，远离大多数数据点的流量数据会被判定为异常数据；统计异常检测单元使用一系列统计学方法，包括概率分布模型估计异常点范围。
[0069] 在算法检测完成之后，异常检测模块会对算法检测结果进行整合，根据每种算法的结果生成检测报告，反馈给存储集群。若异常结果超出已定义阈值，则额外生成异常报告，描述可能异常值的来源和推测的异常原因。
[0070] 除此之外，建模与算法更新模块会定时、异步更新异常检测单元使用的参数和模型，随着收集的流量数据和反馈结果的增多提高系统的检测准确性。
[0071] 安全态势可视化模块60读取数据流量存储模块的数据，综合展示已有流量数据和异常检测模块40反馈的计算结果，可视化当前工控网络的安全态势；
[0072] 综合展示已存储的流量数据，使用自定义图表控制台的方式展示已存储的工控网络流量数据，对工控网络流量本身进行可视化监控；
[0073] 综合展示异常检测模块40的检测结果，结合已有的流量数据展示和定位检测出的异常数据，建立检测结果与流量数据间的可视化联系。
[0074] 建模与算法更新模块70对已收集的正常与异常工控网络流量数据建立高阶模型，包括超图模型、统计模型、深度模型等，通过训练这些模型更新各类异常检测算法使用的参数，提高异常检测模块40的识别准确率。
[0075] 具体的，如图4所示，建模与算法更新模块70包括复杂建模单元71和参数更新单元72；
[0076] 其中，复杂建模单元71对已有的正常流量数据和异常流量数据集合建立高阶复杂模型，使用已有的流量数据和异常检测算法检测模型的适用性；
[0077] 参数更新单元72利用已建立的高阶复杂模型异步更新异常检测模块40各类算法的具体参数，更新过程不影响异常检测模块40正常运转
[0078] 建模与算法更新模块70从分布式存储集群中读取已收集的历史流量数据和已反馈的检测结果，通过复杂建模单元进行训练，并将训练结果放入参数更新单元。参数更新单元定时将已有的更新模型同步到异常检测模块，通过多线程异步更新的方式确保正常的检测过程不受到影响。
[0079] 尽管参考附图详地公开了本发明，但应理解的是，这些描述仅仅是示例性的，并非用来限制本发明的应用。本发明的保护范围由附加
权利要求限定，并可包括在不脱离本发明保护范围和精神的情况下针对发明所作的各种变型、改型及等效方案。
