网络安全系统专利检索-图像互换格式图形技术专利检索查询-专利查询网

网络安全系统

阅读：1035发布：2020-05-24

专利汇可以提供网络安全系统专利检索，专利查询，专利分析的服务。并且一种网络安全系统，用于处理事件以产生分数、警报和缓解动作。该系统包括：用于接收和处理数据以形成事件的传感器，用于处理事件以形成分析工作流的分布式分析平台，以及使用分析工作流来处理事件以产生评分引擎消息的评分引擎。该系统还包括使用分析工作流以及分析工作流及事件处理规则来处理评分引擎消息和分布式分析平台消息以形成和发送威胁情报消息的实时分析引擎。威胁情报消息包括广播消息、缓解消息和模型更新消息。系统还包括与以下相关联的逻辑段：分析模型、一组分析模型或分析工作流；关于逻辑段内的活动的一个或多个输入源；以及用于缓解发生在逻辑段内的异常活动的影响的一组动作。，下面是网络安全系统专利的具体信息内容。

权利要求

1.一种用于处理事件以产生分数、警报和缓解动作的网络安全系统，该系统包括：
多个传感器，所述多个传感器中的每个传感器被配置为：
从网络接收传感器数据，
处理传感器数据以形成事件，以及
传递事件；
分布式分析平台，所述分布式分析平台被配置为：
从所述多个传感器接收事件，
处理事件以形成分析工作流和分布式分析平台消息，每个分布式分析平台消息与警报、对第一分析模型的更新、以及网络行为信息中的至少一个相关联，每个分析工作流：
与一个或多个逻辑段相关联，并且
包括第一分析模型、第二分析模型、规则、数据转换以及数据聚合中的至少一个，以及传递分析工作流和分布式分析平台消息；
多个评分引擎，所述多个评分引擎中的每个评分引擎被配置为：
从分布式分析平台接收分析工作流，
从所述多个传感器中的至少一个传感器接收事件，
使用分析工作流处理所接收的事件以产生评分引擎消息，以及
传递评分引擎消息；以及
实时分析引擎，所述实时分析引擎被配置为：
从分布式分析平台接收分析工作流，
接收分析工作流及事件处理规则，
从所述多个评分引擎接收评分引擎消息，
从分布式分析平台接收分布式分析平台消息，以及
使用来自分布式分析平台的分析工作流以及分析工作流及事件处理规则处理评分引擎消息和分布式分析平台消息以形成威胁情报消息，其中所述威胁情报消息包括以下中的至少一个：
广播消息，实时分析引擎被配置为传递所述广播消息，
缓解消息，实时分析引擎被配置为当实时分析引擎的处理指示缓解动作限制了异常活动的影响时将缓解消息传递到控制平面引擎以用于采取与所述一个或多个逻辑段中的第一逻辑段相关联的缓解动作，以及
模型更新消息，实时分析引擎被配置为当实时分析引擎的处理指示模型更新消息改善了异常活动的检测率和假阳性率的降低中的至少一个时传递模型更新消息以用于更新一个或多个分析工作流，
所述一个或多个逻辑段中的每个逻辑段与以下相关联：
第一分析模型、第二分析模型、第三分析模型、一组分析模型、以及分析工作流中的至少一个，
关于逻辑段内的活动的一个或多个输入源，以及
用于缓解发生在逻辑段内的异常活动的影响的一组动作。
2.如权利要求1所述的系统，其中，所述多个传感器、所述多个评分引擎、分布式分析平台、实时分析引擎和控制平面引擎使用带外网络来连接。
3.如权利要求1所述的系统，其中，所述多个传感器、所述多个评分引擎、分布式分析平台、实时分析引擎和控制平面引擎通过在企业系统总线上发送相关联的消息进行通信。
4.如权利要求2所述的系统，其中，所述多个传感器、所述多个评分引擎、分布式分析平台、实时分析引擎和控制平面引擎通过在企业系统总线上发送相关联的消息进行通信。
5.如权利要求1所述的系统，还包括摄取行动者模块，所述摄取行动者模块被配置为：
从第三方应用和第三方设备中的至少一个接收第三方应用数据，以及
传递所述第三方应用数据以便由所述多个评分引擎、分布式分析平台和实时分析引擎中的至少一个进一步处理。
6.如权利要求5所述的系统，其中，所述多个传感器、所述多个评分引擎、分布式分析平台、实时分析引擎、控制平面引擎和摄取行动者模块使用带外网络来连接。
7.如权利要求5所述的系统，其中，所述多个传感器、所述多个评分引擎、分布式分析平台、实时分析引擎、控制平面引擎和摄取行动者模块通过在企业系统总线上发送相关联的消息进行通信。
8.如权利要求1所述的系统，其中，评分引擎进一步被配置为：
接收模型更新消息，以及
与事件的处理同时地处理更新消息。
9.如权利要求1所述的系统，其中，为了形成广播消息、缓解消息和模型更新消息中的至少一个，实时分析引擎进一步被配置为：
在第一时间从所述多个评分引擎、所述多个传感器和分布式分析平台中的至少一个接收第一输出；
检索对应于第一输出的第一状态信息；
用第一输出数据更新第一状态信息；
通过与实时分析引擎相关联的分析工作流来处理更新后的第一状态信息以形成经处理的更新后的第一状态信息；
将经处理的更新后的第一状态信息存储在实时分析引擎中；
在第二时间从所述多个评分引擎、所述多个传感器和分布式分析平台中的至少一个接收第二输出；
检索对应于第二输出的第二状态信息；
用第二输出数据更新第二状态信息；
通过与实时分析引擎相关联的分析工作流来处理更新后的第二状态信息以形成经处理的更新后的第二状态信息；
基于经处理的更新后的第二状态信息形成广播消息、缓解消息和模型更新消息中的至少一个；以及
将经处理的更新后的第二状态信息存储在实时分析引擎中。
10.如权利要求9所述的系统，其中，实时分析引擎进一步被配置为：
在第三时间从所述多个评分引擎、所述多个传感器和分布式分析平台中的至少一个接收临时输出，其中第三时间在第一时间之后并在第二时间之前；
检索对应于临时输出的临时状态信息；
用临时输出数据更新临时状态信息；
通过与实时分析引擎相关联的分析工作流来处理更新后的临时状态信息以形成经处理的更新后的临时状态信息；以及
将经处理的更新后的临时状态信息存储在实时分析引擎中。
11.如权利要求1所述的系统，其中，分析工作流包括模型互换格式文档，其中所述模型互换格式文档支持：
分析模型的组合；
分析模型的分段；
分析模型的集合；
分析模型与规则的组合；
分析模型与预处理阶段、后处理阶段的组合，其中预处理阶段和后处理阶段包括数据转换和数据聚合；以及
分析工作流，每个分析工作流进一步包括分析模型、规则、数据转换、数据聚合、分段、和集合中的至少一个的组合。
12.如权利要求1所述的系统，其中，实时分析引擎进一步被配置为：
当对分析工作流中的一个或多个分析工作流的改变超过阈值时，将更新后的行为模型传递到所述多个评分引擎中的一个或多个评分引擎。
13.如权利要求1所述的系统，其中，事件包括以下中的至少一个：
关于网络流的数据、关于包的数据、关于实体的数据、关于用户的数据、关于工作站和服务器的数据、关于路由器和交换机的数据、关于外部网络实体的数据、以及关于与网络交互的内部设备和外部设备的数据。
14.如权利要求1所述的系统，其中，所述多个传感器和所述多个评分引擎中的一个或多个被集成到单个应用中。
15.如权利要求1所述的系统，其中，实时分析引擎与所述多个评分引擎中的一个或多个评分引擎集成。
16.如权利要求1所述的系统，其中，缓解动作包括以下中的至少一个：
关闭至少一个端口，
修改至少一个包数据，
控制包或流的传递，
阻止子网，
阻止一个或多个互联网协议(IP)或IP范围，以及
阻止一个或多个内部IP或外部IP。
17.如权利要求1所述的系统，其中，缓解动作包括以下中的至少一个：
使服务器和工作站中的至少一个离线；
根据保护的图像创建新的虚拟化服务器和新的虚拟化工作站中的至少一个；以及阻止与服务器和工作站中的至少一个相关联的动作。
18.如权利要求1所述的系统，其中，异常活动包括侦察、利用、入侵、损害、内部威胁和攻击中的至少一个。
19.如权利要求18所述的系统，其中，缓解动作包括以下中的至少一个：修改至少一个包数据、控制包或流的传递、以及移除与异常活动相关联的实体的授权和访问权限，其中移除授权和访问权限包括阻止网络访问、阻止对网络设备的访问、阻止对服务器的访问、阻止对工作站的访问以及阻止对其它计算设备的访问中的至少一个。
20.如权利要求18所述的系统，其中，异常活动与内部不良行动者和外部不良行动者中的至少一个相关联。
21.如权利要求1所述的系统，进一步包括可视化引擎，所述可视化引擎包括监测器，所述可视化引擎被配置为：
接收与实时分析引擎对评分引擎消息的处理相关联的统计和图形图像；以及在监测器上显示所述统计和图形图像。
22.如权利要求1所述的系统，被配置为与兼容的第三方系统交换外部威胁情报消息，其中：
所述外部威胁情报消息被加密以提供用于传递信息的安全机制；
外部威胁情报消息中的信息不暴露关于在传递所述外部威胁情报消息的系统的敏感的内部信息；并且
所述外部威胁情报消息按照通用的模型互换格式被格式化。
23.如权利要求1所述的系统，其中，分布式分析平台进一步被配置为：
接收评分引擎信息；以及
处理评分引擎信息以形成威胁情报消息。
24.如权利要求1所述的系统，其中，广播消息包括信息消息、网络事件消息和警报消息中的至少一个。
25.如权利要求1所述的系统，其中所述多个逻辑段中的每个逻辑段与以下中的至少一个相关联：网络的划分、网络上的业务的划分、网络上的用户的划分、网络上的设备的划分、基于第三方数据的划分、以及与网络的划分、网络上的业务的划分、网络上的用户的划分、网络上的设备的划分、基于第三方数据的划分中的至少一个相关联的数据。
26.如权利要求25所述的系统，其中，至少第一划分与至少第二划分重叠。
27.如权利要求26所述的系统，其中，所述多个传感器、所述多个评分引擎、分布式分析平台、实时分析引擎、控制平面引擎、和摄取行动者模块通过在企业系统总线上发送相关联的消息进行通信。
28.一种包括多个如权利要求1中所述的网络安全系统的网络安全网络，其中，所述多个网络安全系统中的每个网络安全系统被配置为与其它网络安全系统中的一个或多个网络安全系统交换经选择的威胁情报消息，其中：
所述经选择的威胁情报消息被加密以提供用于传递信息的安全机制，其中所述经选择的威胁情报消息中的信息不暴露关于在传递的网络安全系统的敏感的内部信息。
29.一种用于处理事件以产生分数、警报和缓解动作的网络安全系统，该系统包括：
多个传感器，所述多个传感器中的每个传感器被配置为：
从网络接收传感器数据，
处理传感器数据以形成事件，以及
传递事件；
分布式分析平台，所述分布式分析平台被配置为：
从所述多个传感器接收事件，
处理事件以形成分析工作流和分布式分析平台消息，每个分布式分析平台消息与警报、对第一分析模型的更新、以及网络行为信息中的至少一个相关联，每个分析工作流：
与一个或多个逻辑段相关联，并且
包括第一分析模型、第二分析模型、规则、数据转换、以及数据聚合中的至少一个，以及传递分析工作流和分布式分析平台消息；
评分引擎，所述评分引擎被配置为：
从分布式分析平台接收分析工作流，
从所述多个传感器中的至少一个传感器接收事件，
使用分析工作流来处理事件以产生评分引擎消息，以及
传递评分引擎消息；以及
实时分析引擎，所述实时分析引擎被配置为：
从分布式分析平台接收分析工作流，
接收分析工作流及事件处理规则，
接收评分引擎消息，
从分布式分析平台接收分布式分析平台消息，以及
使用来自分布式分析平台的分析工作流以及分析工作流及事件处理规则来处理评分引擎消息和分布式分析平台消息，以形成威胁情报消息，其中所述威胁情报消息包括以下中的至少一个：
广播消息，实时分析引擎被配置为传递所述广播消息，
缓解消息，实时分析引擎被配置为当实时分析引擎的处理指示缓解动作限制了异常活动的影响时将缓解消息传递到控制平面引擎以用于采取与所述一个或多个逻辑段的第一逻辑段相关联的缓解动作，以及
模型更新消息，实时分析引擎被配置为当实时分析引擎的处理指示模型更新消息改善了异常活动的检测率和假阳性率的降低中的至少一个时传递模型更新消息以用于更新一个或多个分析工作流，
所述一个或多个逻辑段中的每个逻辑段与以下相关联：
第一分析模型、第二分析模型、第三分析模型、一组分析模型、以及分析工作流中的至少一个，
关于逻辑段内的活动的一个或多个输入源，以及
用于缓解发生在逻辑段内的异常活动的影响的一组动作。

说明书全文

网络安全系统

[0001] 对相关申请的交叉引用

[0002] 本申请在35U.S.C.119(e)下要求于2014年10月21日提交的标题为“Cybersecurity System”的美国临时申请No.62/066769的优先权，其全文内容通过引用并入于此。

背景技术

[0003] 传统上，网络安全系统在其考虑大型网络中的设备差异以及执行实时处理的能力方面受到限制。在大型网络中，将会有许多设备并且它们的行为会非常不同。传统的方法是为网络或为网络中的每种类型的设备(网络中的工作站、服务器、交换机、路由器等)开发单个行为模型。这种方法的问题在于这种类型的方法不捕获个别设备之间的差异。传统的网络安全系统的另一个限制在于传统行为模型是在已经积累足够的数据、采用探索性数据分析进行调查并分析之后手动建立的。传统的系统往往需要：人手动地建立模型、关于感兴趣的实体的先前状态信息、以及可以处理多个关口(pass)中的数据并要求分布式或基于盘的数据的分布式/批量分析。因此，若有实时数据的话，实时数据未被有效地利用。发明内容

[0004] 虽然用于预测性建模的一些技术是已知的，但是本文中所描述的方法可以被用来将分段的分析建模与使得系统能够针对每个微段采取适当的缓解(mitigation)事件的类型的数据中心微分段相结合。换言之，根据一些实施例，大型的企业网络首先基于微段中的实体的行为、与实体交互的用户、以及微段中的包和流被划分成大量的同质(homogenous)数据中心微段。特别地，在其中放置有能够为一个或多个这样的段收集数据的传感器的企业中创建大量的段。然后为每个段建立模型，并用传感器和评分引擎来监测每个段，并且针对该特定的微段采取适当的缓解动作。换言之，基于事件的建模和多个模型的使用与实时评分引擎、数据中心微分段相结合，这允许针对每个微段有效地应用适当的缓解事件。

[0005] 虽然在实时系统的监测和警报的生成中，使用两个不同的应用来使分析模型(其特殊情况是行为模型)的建立和分析模型的评分分离是标准技术，但是相比于使用单个评分引擎处理单个数据流(其只能用新的模型互换格式文档替换模型互换格式文档)，以下所述中的每一项均具有明显的进步：使用经由高性能ESB通信的多个传感器和多个评分引擎；使用经由ESB发送的消息来更新模型互换格式(MIF)模型(诸如用于分析的便携式格式(PFA))的能力；逐事件地从多个评分引擎收集证据，其中每个评分引擎经由ESB使用威胁情报信息(TIM)与实时分析引擎(RTAE)通信；以及由RTAE对这些TIM进行处理从而经由ESB发送出适当的缓解事件(缓解TIM)。

[0006] 根据所公开的主题，系统、方法和非暂时性的计算机可读介质被提供，以便提供用于处理事件以产生分数、警报和缓解动作的网络安全系统。

[0007] 在一些实施例中，所公开的主题包括用于处理事件以产生分数、警报和缓解动作的网络安全系统。在一些实施例中，所述系统包括:多个传感器，所述多个传感器中的每个传感器被配置为：从网络接收传感器数据，处理传感器数据以形成事件，以及传递事件。在一些实施例中，所述系统包括分布式分析平台，所述分布式分析平台被配置为：从所述多个传感器接收事件，处理事件以形成分析工作流，每个分析工作流与一个或多个逻辑段相关联，以及传递分析工作流和分布式分析平台消息。在一些实施例中，所述系统包括多个评分引擎，所述多个评分引擎中的每个评分引擎被配置为：从分布式分析平台接收分析工作流，从所述多个传感器中的至少一个传感器接收事件，使用分析工作流处理所接收的事件以产生评分引擎消息，以及传递评分引擎消息。在一些实施例中，所述系统包括实时分析引擎，所述实时分析引擎被配置为：从分布式分析平台接收分析工作流，接收分析工作流及事件处理规则，从所述多个评分引擎接收评分引擎消息，从分布式分析平台接收分布式分析平台消息，以及使用来自分布式分析平台的分析工作流以及分析工作流及事件处理规则来处理评分引擎消息和分布式分析平台消息以形成威胁情报消息。在一些实施例中，所述威胁情报消息包括以下中的至少一个：广播消息，所述实时分析引擎被配置为传递该广播消息；缓解消息，所述实时分析引擎被配置为当实时分析引擎的处理指示缓解动作限制了异常活动的影响时将缓解消息传递到控制平面引擎以用于采取与一个或多个逻辑段中的第一逻辑段相关联的缓解动作；以及模型更新消息，所述实时分析引擎被配置为当实时分析引擎的处理指示模型更新消息改善了异常活动的检测率和假阳性率(false positive rate)的降低中的至少一个时传递模型更新消息以用于更新一个或多个分析工作流。在一些实施例中，一个或多个逻辑段中的每个逻辑段与以下相关联：分析模型、一组分析模型或分析工作流；关于逻辑段内的活动的一个或多个输入源；以及用于缓解发生在逻辑段内的异常活动的影响的一组动作。

[0008] 在一些实施例中，所述多个传感器、所述多个评分引擎、分布式分析平台、实时分析引擎和控制平面引擎使用带外网络(out of band network)来连接。

[0009] 在一些实施例中，所述多个传感器、所述多个评分引擎、分布式分析平台、实时分析引擎和控制平面引擎通过在企业系统总线上发送相关的消息进行通信。

[0010] 在一些实施例中，所述多个传感器、所述多个评分引擎、分布式分析平台、实时分析引擎和控制平面引擎使用带外网络来连接并且通过在企业系统总线上发送相关的消息进行通信。

[0011] 在一些实施例中，本文中所述的系统进一步包括摄取行动者(ingest actor)模块，所述摄取行动者模块被配置为：从第三方应用和第三方设备中的至少一个接收第三方应用数据，以及传递所述第三方应用数据以便由所述多个评分引擎、分布式分析平台和实时分析引擎中的至少一个进一步处理。

[0012] 在一些实施例中，所述多个传感器、所述多个评分引擎、分布式分析平台、实时分析引擎、控制平面引擎和摄取行动者模块使用带外网络来连接。

[0013] 在一些实施例中，所述多个传感器、所述多个评分引擎、分布式分析平台、实时分析引擎、控制平面引擎和摄取行动者模块通过在企业系统总线上发送相关的消息进行通信。

[0014] 在一些实施例中，评分引擎进一步被配置为：接收模型更新消息，以及与处理事件同时地处理更新消息。

[0015] 在一些实施例中，为了形成广播消息、缓解消息和模型更新消息中的至少一个，实时分析引擎进一步被配置为：在第一时间从所述多个评分引擎、所述多个传感器和分布式分析平台中的至少一个接收第一输出；检索对应于第一输出的第一状态信息；用第一输出数据更新第一状态信息；通过与实时分析引擎相关联的分析工作流来处理更新后的第一状态信息以形成经处理的更新后的第一状态信息；将经处理的更新后的第一状态信息存储在实时分析引擎中；在第二时间从所述多个评分引擎、所述多个传感器和分布式分析平台中的至少一个接收第二输出；检索对应于第二输出的第二状态信息；用第二输出数据更新第二状态信息；通过与实时分析引擎相关联的分析工作流来处理更新后的第二状态信息以形成经处理的更新后的第二状态信息；基于经处理的更新后的第二状态信息形成广播消息、缓解消息和模型更新消息中的至少一个；以及将经处理的更新后的第二状态信息存储在实时分析引擎中。

[0016] 在一些实施例中，实时分析引擎进一步被配置为：在第三时间从所述多个评分引擎、所述多个传感器和分布式分析平台中的至少一个接收临时输出，其中第三时间在第一时间之后并在第二时间之前；检索对应于临时输出的临时状态信息；用临时输出数据更新临时状态信息；通过与实时分析引擎相关联的分析工作流来处理更新后的临时状态信息以形成经处理的更新后的临时状态信息；以及将经处理的更新后的临时状态信息存储在实时分析引擎中。

[0017] 在一些实施例中，分析工作流包括模型互换格式文档，其中所述模型互换格式文档支持：分析模型的组合(composition)；分析模型的分段(segmentation)；分析模型的集合(ensemble)；分析模型与规则的组合；分析模型与预处理阶段、后处理阶段的组合，其中预处理阶段和后处理阶段包括数据转换和数据聚合；以及分析工作流，每个分析工作流包括分析模型、规则、数据转换、数据聚合中的至少一个以及分析模型、规则、数据转换、数据聚合、分段和集合的组合。

[0018] 在一些实施例中，实时分析引擎进一步被配置为：当对一个或多个分析工作流的改变超过阈值时，将更新后的行为模型传递到所述多个评分引擎中的一个或多个评分引擎。

[0019] 在一些实施例中，事件包括以下中的至少一个：关于网络流的数据，关于包的数据，关于实体的数据，关于用户的数据，关于工作站和服务器的数据，关于路由器和交换机的数据，关于外部网络实体的数据，以及关于与网络交互的内部设备和外部设备的数据。

[0020] 在一些实施例中，所述多个传感器和所述多个评分引擎中的一个或多个被集成到单个应用中。

[0021] 在一些实施例中，实时分析引擎与所述多个评分引擎中的一个或多个集成。

[0022] 在一些实施例中，缓解动作包括以下中的至少一个：关闭至少一个端口，修改至少一个包数据，控制包或流的传输，阻止子网，阻止一个或多个互联网协议(IP)或IP范围，以及阻止一个或多个内部或外部的IP。

[0023] 在一些实施例中，缓解动作包括以下中的至少一个：使服务器和工作站中的至少一个离线；根据保护的图像创建新的虚拟化服务器和新的虚拟化工作站中的至少一个；以及阻止与服务器和工作站中的至少一个相关联的动作。

[0024] 在一些实施例中，异常活动包括侦察、利用(exploit)、入侵、损害、内部威胁和攻击中的至少一个。

[0025] 在一些实施例中，缓解动作包括以下中的至少一个：修改至少一个包数据、控制包或流的传输、以及移除与异常活动相关联的实体的授权和访问权限，其中移除授权和访问权限包括阻止网络访问、阻止访问网络设备、阻止访问服务器、阻止访问工作站和阻止访问其它计算设备中的至少一个。

[0026] 在一些实施例中，异常活动与内部不良行动者和外部不良行动者中的至少一个相关联。

[0027] 在一些实施例中，所述系统进一步包括可视化引擎，所述可视化引擎包括监测器，所述可视化引擎被配置为：接收与通过实时分析引擎的评分引擎消息的处理相关联的统计和图形图像；以及在监测器上显示统计和图形图像。

[0028] 在一些实施例中，所公开的网络安全网络包括本文中所述的多个网络安全系统，其中，所述多个网络安全系统中的每个网络安全系统被配置为与一个或多个其它的网络安全系统交换选择的威胁情报消息，其中：选择的威胁情报消息被加密以提供用于传递信息的安全机制，其中选择的威胁情报消息中的信息不暴露关于传递的网络安全系统的敏感的内部信息。

[0029] 在一些实施例中，所述网络安全系统进一步被配置为与兼容的第三方系统交换外部威胁情报消息，其中：外部威胁情报消息被加密以提供用于传递信息的安全机制，外部威胁情报消息中的信息不公开发送外部威胁情报消息的系统的敏感的内部信息，并且外部威胁情报消息按照通用的模型互换格式被格式化。

[0030] 在一些实施例中，分布式分析平台进一步被配置为：接收评分引擎消息；以及处理评分引擎消息以形成威胁情报消息。

[0031] 在一些实施例中，广播消息包括信息消息、网络事件消息和警报消息中的至少一个。

[0032] 在一些实施例中，所述多个逻辑段中的每个逻辑段与以下中的至少一个相关联：网络的划分、网络上的业务的划分、网络上的用户的划分、网络上的设备的划分、基于第三方数据的划分、以及与网络、网络上的业务、网络上的用户、网络上的设备、基于第三方数据的划分中的至少一个相关联的数据。

[0033] 在一些实施例中，至少第一划分与至少第二划分重叠。

[0034] 在一些实施例中，至少第一划分与至少第二划分重叠，并且所述多个传感器、所述多个评分引擎、分布式分析平台、实时分析引擎、控制平面引擎、和摄取行动者模块通过在企业系统总线上发送相关联的消息进行通信。

[0035] 在一些实施例中，本文中公开的主题包括用于处理事件以产生分数、警报和缓解动作的网络安全系统。在一些实施例中，所述系统包括：多个传感器，所述多个传感器中的每个传感器被配置为：从网络接收传感器数据，处理传感器数据以形成事件，以及传递事件。在一些实施例中，所述系统包括分布式分析平台，所述分布式分析平台被配置为：从所述多个传感器接收事件，处理事件以形成分析工作流，每个分析工作流与一个或多个逻辑段相关联，以及传递分析工作流和分布式分析平台消息。在一些实施例中，所述系统包括评分引擎，所述评分引擎被配置为：从分布式分析平台接收分析工作流，从所述多个传感器中的至少一个接收事件，使用分析工作流处理事件以产生评分引擎消息，以及传递评分引擎消息。在一些实施例中，所述系统包括实时分析引擎，所述实时分析引擎被配置为：从分布式分析平台接收分析工作流，接收分析工作流及事件处理规则，从所述多个评分引擎接收评分引擎消息，从分布式分析平台接收分布式分析平台消息，以及使用来自分布式分析平台的分析工作流以及分析工作流及事件处理规则来处理评分引擎消息和分布式分析平台消息，以形成威胁情报消息。在一些实施例中，所述威胁情报消息包括以下中的至少一个：广播消息，所述实时分析引擎被配置为传递广播消息、缓解消息以及模型更新消息，实时分析引擎被配置为当实时分析引擎的处理指示缓解动作限制了异常活动的影响时将缓解消息传递到控制平面引擎以便采取与所述一个或多个逻辑段的第一逻辑段相关的缓解动作，实时分析引擎被配置为当实时分析引擎的处理指示模型更新消息改善了异常活动的检测率和假阳性率的降低中的至少一个时传递模型更新消息以用于更新一个或多个分析工作流。在一些实施例中，所述一个或多个逻辑段中的每个逻辑段与以下相关联：分析模型、一组分析模型、或分析工作流；关于逻辑段内的活动的一个或多个输入源；以及用于缓解发生在逻辑段内的异常活动的影响的一组动作。

[0036] 在看到下面的附图、详细描述和权利要求之后，所公开的主题的这些能力和其它能力将被更充分地理解。应当理解，本文中所采用的措辞和术语用于描述目的，而不应被视为限制。

附图说明

[0037] 当结合附图考虑时，参考以下对所公开的主题的详细描述，所公开的主题的各种目的、特征和优点可以被更完全地认识，其中相同的附图标记指代相同的元素。

[0038] 图1是示出了根据本公开的一些实施例的网络安全框架的系统图。

[0039] 图2是示出了根据本公开的一些实施例的在三个网络上实现的网络安全框架的系统图。

[0040] 图3是示出了根据本公开的一些实施例的插入在企业网络的不同部分处的网络分接头(tap)的系统图。

[0041] 图4是示出了根据本公开的一些实施例的评分引擎的框图。

[0042] 图5是示出了根据本公开的一些实施例的通过实时分析引擎处理和发送消息的方法的流程图。

[0043] 图6A是示出了根据本发明的一些实施例的直接处理输入或事件的流程图。

[0044] 图6B是示出了根据本公开的一些实施例的使一个或多个持久状态与每个事件相关联的流程图。

[0045] 图6C是示出了根据本公开的一些实施例的分析模型的预处理和后处理的流程图。

[0046] 图7是示出了根据本公开的一些实施例的为产生被导入到评分引擎中的分析模型而对网络业务进行的处理的系统图。

[0047] 图8A是示出了根据本公开的一些实施例的模型的集合的系统图。

[0048] 图8B是示出了根据本公开的一些实施例的模型的组合或链接的系统图。

[0049] 图8C是示出了根据本公开的一些实施例的经分段的模型的系统图。

[0050] 图9是描绘了根据本公开的一些实施例的数据在网络安全框架中的组件之间的流动的流程图。

[0051] 图10是示出了根据本公开的一些实施例的对网络安全框架的外部威胁的响应的系统图。

[0052] 图11是示出了根据本公开的一些实施例的对网络安全框架的内部威胁的响应的系统图。

具体实施方式

[0053] 在下面的描述中，阐述了关于所公开的主题的系统和方法的许多具体细节以及这种系统和方法可以工作的环境等，以提供对所公开的主题的透彻理解。然而，对本领域的技术人员来说显然的是，所公开的主题可以在没有这种具体细节的情况下被实践，并且在本领域中众所周知的某些特征没有被详细描述，以避免所公开的主题的不必要的复杂性。此外，要理解的是，下面提供的实施例是示例性的，并且，想到的是还有处于所公开的主题的范围之内的其它系统和方法。

[0054] 本公开的一些实施例涉及创建网络安全框架。网络安全框架跨分布式企业地、近乎实时地执行检测和缓解动作，同时简化监测、分析和部署。

[0055] 本文中描述的方法在一些实施例中使用带外ESB和带外网络，这使得能够处理大量的网络流数据、包文件(PCAP)数据、系统日志数据、外部威胁数据和分布式分析平台感兴趣的其它数据；近乎实时地评分；通过系统的各种组件来近乎实时地处理威胁情报消息(TIM)、缓解事件和模型更新；以及对仪表板进行近乎实时的分析可视化、监测和更新。

[0056] 网络环境中的代表性动作包括：对网络分析数据的分析、建立行为模型、行为模型评分、更新行为模型、发送警报、评估警报、发送命令、控制和缓解动作、实时的可视化、以及操作协同框架。

[0057] 系统架构

[0058] 图1是根据示出了本公开的一些实施例的网络安全框架的系统图。图1示出了传感器102(本文中又被称为网络传感器)、摄取行动者104、分布式分析平台106、评分引擎108、实时分析引擎(RTAE)110、可视化引擎112、控制平面引擎114和分布式的企业服务总线(ESB)116。在本公开的一些实施例中，传感器102和评分引擎108被结合成单个集成应用。图1还示出了附加的系统组件，包括端点120、数据平面122、服务器和工作站126、网络操作(ops)人员和网络分析员128、第三方应用、第三方应用、源和设备130以及防火墙、交换机和路由器132。

[0059] 下面更详细地描述图1中的每个元素。简而言之，传感器102捕获和处理来自企业数据平面122的数据并将数据传送到ESB 116，在ESB 116中数据被路由以便进一步处理。数据平面122传输来自和去往企业网络上的各种设备(包括端点设备120、服务器和工作站126以及防火墙、交换机和路由器132)的数据。控制平面引擎114从ESB116接收经处理的数据并监测、配置和重新配置网络设备(包括交换机、路由器和防火墙132)。评分引擎108从ESB 116接收数据并针对流(stream)中的每个事件，使用一个或多个分析模型来处理该事件，以产生输出，其中所述输出包括分数、警报和消息以及相关的信息。摄取行动者104捕获和处理来自第三方应用、源和设备的数据，并将数据发送到ESB 116，在ESB 116中数据被路由以便进一步处理。分布式分析平台106(也可以被称为分析云)是分布式计算平台，其可以被用于分析大量的数据并产生各种分析结果。分布式分析平台106从ESB 116、摄取行动者104、RTAE 110和可视化引擎112接收数据并将数据发送到这些设备。RTAE 110从ESB 116和分布式分析平台106接收数据并使用分布式存储器和专用处理器(诸如GPU)来执行近乎实时的计算，创建近乎实时的可视化，以及通过处理来自多个评分引擎108和其它源的数据来创建关于缓解动作的近乎实时的决定。可视化引擎、仪表板和监测器112从ESB 116、RTAE 110和分析平台106接收数据并将数据发送到这些设备，并且向网络操作人员和分析员128提供在图1中描述的其它元素的视觉表示。可视化引擎、仪表板和监测器112可以向用户提供能配置的仪表板，提供实时信息以及支持来自RTAE 110的实时查询，使用分布式分析平台106提供分析结果并对分析结果进行可视化，以及提供对于实体、警报、事件、PCAP数据、流数据、图的查询的交互能力。

[0060] 如图2所示，在本公开的一些实施例中，可以在三个网络上实现网络安全框架。图2示出了企业数据平面122、企业控制平面204和带外系统网络206。在本公开的一些实施例中，企业服务总线116被部署在带外系统网络上。带外系统网络206连接网络传感器102、分布式分析平台106、RTAE 110、评分引擎108、控制平面引擎114和缓解代理210。在一些实施例中，下列组件中的两个或更多个通过ESB116与带外网络中的其它组件通信：网络传感器102、分布式分析平台106、RTAE 110、评分引擎108、控制平面引擎114和缓解代理210。

[0061] 在一些实施例中，控制平面引擎114可以通过企业控制平面204将缓解消息发送到缓解代理210。缓解代理210可以被嵌入在控制平面引擎114中，或者可以被嵌入在系统的其它组件或企业的其它设备或组件中，或者与系统的其它组件或企业的其它设备或组件集成。例如，缓解代理210可以与控制平面引擎114集成并发送消息到企业控制平面以关闭端口或阻挡IP。缓解代理210发送缓解动作到控制平面，然后控制平面采取诸如修改路由器或交换机中的表之类的动作。缓解动作包括导致如下后果的修改：关闭端口，隔离终端设备、服务器或网络服务，隔离子网等。另一个示例是缓解代理210可以发送缓解动作到企业数据平面上的网络设备，其中缓解动作对包进行修改或者改变包或流的传输。

[0062] 在一些实施例中，传感器102(在本文中也被称为网络传感器)被定位在企业数据平面122上。如下面更详细地描述的，传感器102收集和处理企业数据平面122上的网络数据以将经处理的数据发送到带外系统网络206。在一些实施例中，网络传感器102可以直接连接到评分引擎108(例如，不通过ESB 116连接)或者与评分引擎108集成。

[0063] 如图2中所示，企业网络起到数据平面122的作用，并且承载了企业中在网络上传输的大部分数据。此外，一些企业可能会使用控制平面204来将控制信息传送到交换机、路由器、防火墙132和其它网络设备。控制平面204和数据平面122被逻辑地分开，并可以或可以不共享相同的物理网络。在本公开的一些实施例中，还存在系统组件用来通信的带外系统网络206。在本公开中，“带外”是指与企业数据平面122和控制平面204分开的物理网络。

[0064] 在本公开的一些实施例中，带外系统网络206具有比企业数据平面122高的容量。例如，如果企业数据平面是10G的网络，则带外系统网络可能是40G的网络。如果企业数据平面是40G的网络，则带外系统网络是100G的网络。

[0065] 在一些实施例中，在上面图1中描述的组件位于同一网络内。例如，在一些实施例中，企业平面122和控制平面204与分布式分析平台106、评分引擎108、实时分析引擎(RTAE)110、可视化引擎112和控制平面引擎114在相同的网络中。

[0066] 在本公开的一些实施例中，在本文中(例如图1中)描述的网络安全系统可以被部署在多个物理或逻辑位置中。所部署的每个网络安全系统可以被配置为与一个或多个网络安全系统交换选择的威胁情报消息。在一些实施例中，选择的威胁情报消息被加密以提供用于传输信息的安全机制。在一些实施例中，在选择的威胁情报消息中传输的信息不暴露关于传送方的网络安全系统的敏感的内部信息(诸如被损害的具体内部设备或受到攻击的具体内部IP)，而是包含关于攻击类型、外部IP等的信息。

[0067] 在本公开的一些实施例中，本文中所描述的网络安全系统可以被配置为与兼容的第三方系统交换外部威胁情报消息。外部威胁情报消息可以被加密以提供用于传输信息的安全机制。在一些实施例中，外部威胁情报消息中的信息不暴露关于第三方的敏感的内部信息(诸如被损害的具体内部设备或受到攻击的具体内部IP)，而是包含攻击类型、外部IP等的信息。外部威胁情报消息可以用评分引擎、分布式分析平台和实时分析引擎理解的、用于行为模型的通用模型互换格式来格式化。

[0068] 图1和图2一起在下面被更详细地描述。

[0069] 企业服务总线116、消息和话题

[0070] 在本公开的一些实施例中，带外系统网络使用分布式的企业服务总线(ESB)116来通信。分布式的ESB 116是与语言和平台无关的，并且可以包括任何企业服务总线，包括但不限于AMQP、NSQ、ZeroMQ、RabitMQ、Adeptia ESB套件、IBM WebSphere ESB、Microsoft BizTalk Server以及Oracle Enterprise Service Bus。ESB116可靠地传送消息，并且在大多数实施例中具有非常高的吞吐量。一般来说，企业服务总线监测、路由和解决来自各种设备的通信。设备可以包括端点120和数据平面122。端点包括终端用户设备120，诸如工作站服务器、个人计算机以及诸如手机和平板电脑之类的移动设备。数据平面122包括承载网络业务的设备，诸如防火墙、交换机和路由器132。此外，到防火墙、交换机、路由器132和作为控制平面的一部分的其它设备的控制平面业务也被传送到带外系统网络。

[0071] 在一些实施例中，ESB 116上的消息通常被划分为单独的流(常被称为话题(topic))，每个话题具有自己的队列，以使得与一个话题相关的消息不干扰与另一个话题相关的信息。本公开在示例性实现中使用话题来在ESB 116中创建单独的队列以使得由评分引擎处理的不同类型的事件、传送到不同系统组件的消息、不同类型的TIM等都有不同的队列。

[0072] 数据以如下两种主要方式被传送到带外系统网络以便进行处理、分析和可视化：经由传感器102和经由摄取行动者104。下面更详细地讨论传感器102和摄取行动者104。对数据的处理和分析导致创建被传送到带外ESB的进一步的记录和(威胁情报消息)TIM、以及创建实时可视化和各种报告，所有这些都在下面被更详细地描述。

[0073] 传感器102

[0074] 数据进入系统的一种方式是经由传感器。传感器102捕获和处理来自企业数据平面122和企业控制平面204的数据，并将数据传送到带外系统网络以便进一步处理。作为传感器102的一部分的网络分接头被插入对于网络可见性和网络业务的镜像而言的关键点处以支持实时处理。下面在伴随图7和图9的描述中更详细地描述传感器102。简单而言，传感器102对包进行处理并建立与经处理的包相关联的记录和流。

[0075] 在一些实施例中，存在至少三个端口：进入数据端口、外出数据端口和监测器端口。无论是由传感器确定的所有数据还是经选择的数据都被反映在监测器端口上。如在下面所描述的，监测器端口上的数据被处理以产生被传送到带外ESB 116的记录。在该系统的一些实施例中，还存在向传感器和分接头提供命令和控制信息的第四端口。第四端口可以被用来改变哪个数据正在被收集和处理，以及采取某些缓解动作，诸如不将某些包传送到外出端口。例如，与特定的IP、端口、提取出的数据或计算出的特征相关联的包可以被阻挡。

[0076] 图3是示出了根据本公开的某些实施例的被插入在企业网络的不同部分处的网络分接头的系统图。I0 302是在企业网络和外部互联网320之间的企业网关处的网络分接头314。I0 302是在防火墙312之前的网络分接头314上的可见点并且可以被定位在外部交换机310上。I0 302是客户基础设施的面向外部的接口，并且表示以下处理的第一个机会：用统计和分析模型以及其它技术来检测不良行动者的探测、入侵、网络侦察、对企业的攻击和其它行为；开始归因(attribution)处理(例如，识别威胁行为背后的行动者)；以及开发适当的响应以停止或限制该行为的影响。传统上，I0 302接口是信息基础设施的外部和内部之间的边界。通常这是整个企业的向外的接口，但出于这些目的，I0 302可以指任何信息基础设施、企业、容器、云或工作组的外部边界接口或向外的接口。I0 302是客户一般实施他们的第一阶段保护的点(通常通过使用路由器访问控制列表(ACL)或商业防火墙解决方案)。通常情况下，这些设备正在强制执行保守的(主要是限制性的)访问控制策略，并表示基础设施的主要保护点。对于许多站点(sites)，I0 302接口也是网络地址转换(NAT)点，其修改包地址以使得基础设施标识符到外部实体的暴露最小化。在I0处看到的不良行动者行为的类型包括：

[0077] 1)发现和穿透外部防御的远程尝试；

[0078] 2)穿透外部基础设施的外部但当地的策略；

[0079] 3)内部人介导的外部访问控制修改；

[0080] 4)内部便利的外部访问；

[0081] 5)传统的网络利用(exploitation)；和

[0082] 6)基于基础设施rootkit的利用。

[0083] I1 304和I2 306是企业内面向内部的接口并且企业内的异常网络活动在本文中被称为内部攻击。I1 304是被定位在企业防火墙312和内部企业网络的其余部分之间的网络分接头314。传感器装置I2 306使得能够看得见企业内的横向网络业务。I2网络分接头306被定位在内部交换机316上并且可以看到去往诸如网络服务器、企业服务器、工作站、台式机以及其它这种设备之类的设备的流。I3 308是可以对企业控制平面上的数据进行处理的网络设备。一般来说，在系统的许多部署中，除了最简单的网络之外，还有I2 306和I3 308类型的多个传感器。对于一些复杂的网络，可能有I0 302和I1 304类型的多个传感器。

[0084] 在一些实施例中，来自I0 302、I1 304、I2 306和I3 308的数据和活动被连续地关联和评分以通过控制平面接口命令和控制所有的企业网络和组件。传感器102结合评分引擎108和行为模型以及RTAE 110产生TIM，包括沿着ESB 116传送并由企业和网络组件消耗以支持实时的命令和控制动作的TIM缓解消息和TIM模型更新消息。在本公开的一些实施例中使用的缓解TIM和模型更新TIM的示例在下面进行描述。简单地说，在本公开的一些实施例中缓解TIM的示例是用于关闭特定端口或隔离特定设备的消息。在本公开的一些实施例中模型更新TIM的示例是基于企业网络中的行为降低行为模型工作流的后处理元素中警报的阈值。更详细地说，评分引擎108解析模型更新TIM以识别PFA文档的适当分量，以更新诸如本示例中的适当PFA元素中的阈值，并用在模型更新TIM中供应的新阈值替换当前阈值。在本公开的一些实施例中模型更新TIM的另一示例是改变分析模型中的系数或分析模型的预处理或后处理PFA分量的系数。

[0085] 摄取行动者104

[0086] 数据进入系统的第二种方式是经由摄取行动者104。摄取行动者104可以被设计成处理来自第三方应用(app)、源和设备130的数据。第三方应用(app)、源和设备130可以包括：其它系统组件；由企业网络上的工作站、服务器、网络设备和其它计算设备产生的日志文件；由包括基于主机的安全系统的其它安全应用产生的信息流；数据的外部第三方源，包括关于威胁的信息、IP声誉、响应政策区(RPZ)信息和相关信息；在同一企业的其它地理分布位置或与其它企业相关联的具有相同架构的其它系统；以及具有不同架构但是遵循用于交换信息的议定格式的其它系统。

[0087] 摄取行动者104从上述源之一或直接从ESB 116接收要处理的输入数据。经过处理后，摄取行动者104将经处理的事件传递回ESB 116以便由其它系统组件进一步处理。摄取行动者104从第三方应用(app)、源和设备的130接收要处理的输入数据，并执行数据处理和所需要的转换以使得输入数据可以被传输到ESB 116、RTAE 110或分布式分析平台106以用于进一步处理。在一些实施例中，摄取行动者104处的处理包含获取输入数据并将输入数据转换成适于被ESB 116、RTAE110或分布式分析平台106摄取的格式。

[0088] 评分引擎108。

[0089] 评分引擎108是可以导入分析模型(或分析工作流)并从网络和其它系统模块获取数据的模块。一旦导入分析模块，评分引擎可以读取数据流，并且针对流中的每个事件，使用一个或多个分析模型处理该事件以产生输出(包括分数、警报和消息以及相关的信息)。下面在伴随图7、图9和图4的描述中更详细地描述评分引擎108和与评分引擎108相关联的数据流。

[0090] 如上所述，评分引擎108是可以利用统计和行为模型以网络速度对数据进行评分的模块。模型可以根据历史数据或根据流传输的数据来离线建立。在一些实施例中，评分引擎108可以发出评分引擎消息，诸如包含元数据数据和分数的警报。如在下面更详细地描述的，在一些实施例中，评分引擎是PFA兼容的。评分引擎108可以使用统计模型、预测模型和数据挖掘模型(诸如聚类模型、基线模型、贝叶斯网络或回归与分类树)来对数据进行评分。模型可以基于历史数据来离线建立。如在下面更详细地描述的，模型也可以是流传输分析模型。

[0091] 图4是示出了根据本公开的一些实施例的评分引擎的框图。图4示出了到评分引擎的输入402、PFA文档404、PFA执行引擎406、所存储的用于分析模型408的状态信息、模型更新TIM 410和输出412。到评分引擎的输入402可以是事件的流或更一般的是数据记录。评分引擎108使用PFA执行引擎406来处理输入402。PFA是描述用于分析的输入如何被转换和聚合以产生分析输出的语言。PFA执行引擎获取到评分引擎的输入并经过处理和过程(在本文中又被称为分析工作流)之后在PFA文档404中产生输出。例如，PFA文档404可以描述分类与回归树；PFA执行引擎406获取到分类与回归树的输入并产生分类与回归树的输出。评分引擎108包含所存储的用于实体的状态信息，并如PFA文档404中指定的那样更新该状态信息。在一些实施例中，为了更新分析处理，评分引擎108导入新的PFA文档404。

[0092] 在本公开的一些实施例中，评分引擎108中的分析处理也可以通过向评分引擎108发送一个或多个模型更新TIM来更新，评分引擎108如模型更新TIM指定的那样更新PFA文档的适当组件。如上所述，更新可以包括改变阈值或改变作为分析模型的一部分的算法的系数。在本文中被称为小更新的这种类型的更新可以由评分引擎施加到数据中间流的流，而无需停止评分引擎对数据的处理。大更新也是可能的，诸如切换整个PFA文档404。

[0093] 更一般地说，在本公开的一些实施例中，评分引擎108可以基于其它模型互换格式。示例性模型互换格式基于允许在由模型对数据记录进行评分的同时更新模型信息的规范，诸如由PFA规范中的单元和池支持的读取-复制-更新策略提供的所规定的。读取-复制-更新策略允许PFA文档404被评分引擎在更新文档的一些成分的同时读取。如在本文中的一些实施例中所描述的，近乎实时的评分涉及支持在同时更新模型的情况下同时使用模型来对数据进行评分。更一般地，用于本公开的示例性模型互换格式基于用于描述分析模型和通过转换和聚合对数据进行分析处理的规范，其支持将分析模型、转换和聚合的输出传送到其它分析模型、转换和聚合的输入。

[0094] 分布式分析平台106

[0095] 分布式分析平台106或分析云是可用于分析大量数据并产生各种分析结果的分布式计算平台。分布式分析平台106可以通过使用诸如Hadoop或MapR之类的分布式文件系统或者使用诸如HBase、Accumulo、MapR-DB等之类的非关系型(例如NoSQL)数据库来保持用于分析的大量数据。在本发明的一些实施例中，分布式分析平台106是分布式计算平台，其包括对于MapReduce和迭代MapReduce计算的支持，诸如由Apark所支持的。在本公开的一些实施例中，分布式分析平台106还包括对于用盘上的数据、存储器中的数据或者盘上的数据和存储器中的数据这二者来执行迭代计算的支持，以及对于用于与诸如Hadoop、MapR、Spark或其它分布式计算平台之类的系统中的分布式数据一起工作的NoSQL数据库和其它专用应用和工具的支持。分布式分析平台106还包括基于REST的API，使得各个系统组件可以以统一的方式访问分布式分析平台106中的数据和信息，而与产生数据或信息的分布式分析平台内的特定分析、处理或组件无关。

[0096] 分布式分析平台106经由分布式ESB 116从传感器102和摄取行动者104接收数据。在本公开的一些实施例中，分布式分析平台106还直接从摄取行动者104接收数据。

[0097] 来自分布式分析平台106的输出有几种类型，包括：被发送到ESB 116并从ESB 116发送到控制平面引擎114的威胁情报消息(TIM)；描述被发送到RTAE 110(在下面更详细地描述)并且从RTAE 110发送到可视化引擎、仪表板和监测器112的数据的可视化的数据和数据结构；分析工作流，包括分析模型并且以用于分析的便携式格式(PFA)(在下面更详细地描述)以及可用于描述评分引擎108的分析模型的其它语言描述。

[0098] 分布式分析平台106根据大量的流数据(例如，网络流和数据文件)、包数据(例如，PACP文件)以及来自网络设备、服务器和其它设备的日志文件来收集、清理、整合和建立行为模型。为基于机器的学习算法设计环境，学习算法可能需要几分钟到几个小时或更长的时间来运行。输出是分析工作流，其可以包括行为模式和分布式分析平台TIM(在本文中又被称为分析平台消息)。在一些实施例中，分析工作流包含许多被分段的模型，每个被分段的模型与逻辑段相关联。在一些实施例中，分析工作流包含许多被分段的工作流，每个被分段的工作流与逻辑段相关联。在一些实施例中，这种环境被设计用于数据科学并支持新威胁的发现和用于其它环境的分析模型的产生。

[0099] 分布式分析平台106也可以包括虚拟机基础设施，该虚拟机基础设施可以包括用于遏制潜在恶意软件的虚拟机。恶意软件可以在与网络安全框架隔开的虚拟机中执行。在一些实施例中，虚拟机包括Linux容器。

[0100] 实时分析引擎110

[0101] RTAE 110从ESB 116和分布式分析平台106接收数据并执行几种功能，包括：使用分布式存储器和专用处理器(诸如GPU)来对推导、聚合和转换的数据执行近乎实时的计算；创建网络活动、企业实体、用户和流的行为、潜在的威胁、相关的行为等的近乎实时的可视化；以及通过处理来自多个评分引擎和其它源的数据来创建关于缓解动作的近乎实时的决定。在伴随图10和图11的描述中讨论了创建关于缓解动作的近乎实时的决定的一些示例。
在一些实施例中，从分布式分析平台106接收的数据包括分析工作流和分布式分析消息。在一些实施例中，RTAE 110还接收来自评分引擎的评分引擎消息和来自分布式分析平台、由用户配置的设置和第三方分析系统的结果中的至少一个的分析工作流及事件处理规则。近乎实时的可视化被传送到可视化引擎、仪表板和监测器112以用于显示。在一些实施例中，关于缓解事件的近乎实时的决定被构造成命令和控制(C2)消息(例如，TIM)，该消息被传送到ESB 116，它们由控制平面引擎114处理，控制平面引擎114转而采取各种缓解事件或动作，诸如关闭端口、修改包、阻止子网、阻止一个或多个互联网协议(IP)或IP范围、阻止一个或多个内部或外部的IP、控制包或流的传输、使服务器和工作站中的至少一个离线、根据受保护的图像创建新的虚拟化服务器和新的虚拟化工作站中的至少一个、阻止与服务器和工作站中的至少一个相关联的动作，等等。在一些实施例中，缓解动作还可以包括针对与异常活动相关联的实体移除授权和访问权限。移除授权和访问权限可以包括以下中的至少一个：阻止对网络的访问、阻止对网络设备的访问、阻止对服务器的访问、阻止对工作站的访问和阻止对其它计算设备的访问。在一些实施例中，RTAE 110与一个或多个评分引擎一起被集成到单个应用中。

[0102] 在一些实施例中，RTAE 110提供基于GPU的环境以便管理用于实时分析的非常大量的并行计算线程。RTAE数据库也可以被所有的计算行动者利用以近乎实时地运行用于复杂分析的大型数据处理任务。RTAE 110包括：实时统计引擎，用于在可视化引擎、仪表板和监测器112中总结企业的状况；以及实时引擎，用于处理来自多个传感器102的TIM、计算适当的缓解动作(如果有的话)、以及发送适当的TIM(包括分数、警报、更新、缓解动作等)。RTAE 110还包括基于REST的API，使得各种系统组件可以以统一的方式访问RTAE110中的数据和信息，而与RTAE 110内产生该数据或信息的特定分析、过程或组件无关。由于数据量和所需的近乎实时的计算，在RTAE110中使用可以并行处理大的数据块的专用处理器，诸如在本公开的一些实施例中使用的GPU。

[0103] RTAE 110还可以将被称为威胁情报消息(TIM)的命令和控制(C2)消息发送到网络安全框架中的其它组件。例如，RTAE 110执行范围广泛的基于事件的行动，诸如更新分析、可视化和警报、用于控制平面的缓解动作以及分布式传感器更新等。由RTAE 110管理的流代理类似地提供关于用于启用发布和订阅请求的各种代理以及哪些元通道与特定的主题、类型和概念相关的情报。

[0104] 在本公开的一些实施例中，RTAE 110产生从一个或多个行为模型发送来的缓解TIM。在一些实施例中，TIM被评分引擎108发送到ESB 116。各种TIM被RTAE110收集、处理、整合以及馈送到另一个模型中，根据新模型的结果，这可能导致缓解。在一些实施例中，RTAE 110经由ESB 116将缓解TIM传送到一个或多个缓解代理210，缓解TIM包括采取特定缓解动作(诸如关闭端口)的指令。

[0105] 图5是示出了根据本公开的一些实施例的实时分析引擎处理和发送消息的方法的流程图。

[0106] 参照步骤502，RTAE 110从一个或多个评分引擎、分布式分析平台或其它系统组件接收诸如TIM之类的一个或多个第一消息。如在本文中更详细地描述的，第一消息可以包括由评分引擎或分布式分析平台生成的TIM。TIM可以包括与警报相关联或与对PFA文档进行小修改相关联的数据。RTAE 110也可以接收来自分布式分析引擎的分析工作流以及分析工作流及事件处理规则。在一些实施例中，分析工作流及事件处理规则可以指定与分析模型或分析工作流相关联的阈值。例如，分析工作流及事件处理规则可以指定与分数超过某阈值的某分析工作流相关的所有活动被归类为异常活动。如本文中所述，异常活动可以包括侦察、利用、入侵、损害、内部人威胁和攻击。

[0107] 参照步骤504，RTAE 110使用分析工作流和分析工作流及事件处理规则来处理所接收的TIM。在一些实施例中，从TIM中检索实体信息，从RTAE 110中检索相关联的状态信息，并且用从接收的TIM提取的信息来更新状态信息。在一些实施例中，所存储的状态信息与先前从传感器、评分引擎和分布式分析平台中的至少一个接收的消息相关联。

[0108] 参照步骤506，RTAE 110可以基于处理采取以下行动：i)发送广播消息，ii)当RTAE 110确定更新后的模式很可能改善当前模型的检测速率或降低假阳性率时，向评分引擎发送模型更新；iii)当RTAE 110确定所接收的TIM指示侵入或可能侵入或其它异常活动时，使用控制平面引擎和缓解代理发送缓解动作；iv)当对分析工作流的改变超过阈值时，发送分析模型；以及v)等待接收额外的TIM。在一些实施例中，RTAE 110处理还包括分析更新后的状态信息以确定是否应采取任何动作。在一些实施例中，RTAE 110可以在第一时间从评分引擎、分布式分析平台和多个传感器接收到第一输出之后发送广播消息、缓解消息和模型更新消息中的一个。在一些实施例中，RTAE 110在发送广播消息、缓解消息和模型更新消息中的一个之前等待从评分引擎、分布式分析平台和多个传感器接收几个输出。

[0109] 如上所述，RTAE 110可以基于处理而发送缓解TIM、模型更新TIM和分析模型中的一个。例如，由RTAE 110接收的指示在端口处由传感器和与该端口相关联的评分引擎检测到可能侵入的TIM可以导致发送缓解TIM，这将关闭端口。与此同时，RTAE 110基于同样的接收到的TIM可以将改变评分引擎中的参数的模型更新发送到所有评分引擎，以便更好地考虑入侵或与入侵相关的影响。如果RTAE110确定评分引擎或其它系统组件需要比阈值改变量更显著的改变，则RTAE 110可以发送更新的行为模型而不是模型更新。在一些实施例中，RTAE 110也可以发送广播消息，该广播消息可以包括网络事件消息和警报消息中的至少一个。

[0110] 控制平面引擎114

[0111] 控制平面引擎114涉及监测、配置和重新配置网络设备(包括交换机、路由器和防火墙)。控制平面引擎114负责采取缓解动作、与缓解代理进行通信、发送与控制平面相关的警报以及供应数据以使得可视化引擎、仪表板和监测器112可以提供对于控制平面基础设施的情景认知。本上下文中的情景认知是指提供以下项的信息：控制平面中的实体的总结；控制平面上的当前业务；控制平面上的正常业务；当前业务和正常业务之间的偏差(如果有的话)；以及与不寻常的活动、和潜在的不良行动者关联的活动或相关行为有关的其它信息。在一些实施例中，控制平面引擎114从RTAE 110、评分引擎108和分布式分析平台106得到缓解TIM。

[0112] 控制平面引擎114包括生成实时的命令和控制消息的C2计算行动者。预先计划的动作在整个控制平面和数据平面被管理，诸如阻止特定的IP、隔离可疑工作站或重新定向包流。

[0113] 控制平面引擎114包括DNS、DHCP和IP地址管理(DDI)140。DDI模块140包括全局设备图，控制流内的信任协议ID以及设备和流指纹(fingerprint)。全局设备图包括所有网络设备和活动的视觉表示。控制流内的信任协议ID包括包内的加密字符串。设备和流指纹由控制平面进行管理并且利用动态主机连接协议(DHCP)来唯一地采得网络上的所有设备的指纹。

[0114] 其它系统组件

[0115] 其它系统组件包括可被所有组件访问的注册表(未示出)。在一些实施例中，注册表包括关于常用的服务、数据结构、消息格式和简化系统的开发和操作的其它信息的高度可用的数据。

[0116] 行为建模和实时评分

[0117] 在本发明的一些实施例中，行为模型被用来量化网络入侵的可能性、不良行动者的存在(是外部行动者还是“内部人”)以及批准(warrant)动作的其它行为(网络分析员的人工检测或缓解设备的自动动作)。

[0118] 在本公开中，行为模型是指获得输入(或“事件”)、处理该输入以计算特征、以及处理该特征以计算输出(或“得分”)的统计、数据挖掘或其它类型的算法。在本文中描述的事件通常是指被逐个地处理的、在时间上有序的输入流。

[0119] 图6A-图6C、图7和图8是示出了根据本公开的一些实施例的行为模型可以呈现事件的不同方式的系统图。

[0120] 对于实时的或近乎实时的分析，事件被逐个事件地呈现，并且可以被逐个事件地评分，从而以各种方式产生输出。图6A是示出了根据本发明的一些实施例的直接处理输入或事件的流程图。数据属性602被用来产生特征604。在一些实施例中，通过转换或聚合数据属性来形成特征604。例如，如果数据属性对应于流记录，则当流为持续时间短的流时，特征的示例可以包括等于1的二进制变量，否则为0。特征604转而被模型606处理以产生模型输出608。图6B是示出了根据本发明的一些实施例的使一个或多个特征向量(在本文中也称为状态向量)与每个事件相关联的流程图。事件被接收610，并且针对该事件确定数据属性612。数据属性被用来产生事件的特征614。当新的事件被处理时，相关联的所存储的一个或多个特征向量(其随着事件不同而是持久性的)被检索并用来自新事件的数据更新616。在特征向量被更新之后618，它被用作行为模型620的输入以产生输出622。随着每个事件而更新的特征向量的示例是在特定时间窗中(例如，10秒的移动时间窗内)的归一化数量的流。
图6C是示出了根据本公开的一些实施例的分析模型的预处理638和后处理640的流程图。数据预处理638在将数据传送到分析模型630之前对数据进行转换或聚合，创建特征向量并根据需要执行其它处理。后处理640转换和聚合，计算额外的输出，并根据需要执行其它处理。
作为后处理的示例，后处理模块可以编译和评价各种统计以确定模型是否已经发现被认为在统计上有效的足够的事件。如果在统计上有效，则将分数发送出去；否则，废止该分数。如在伴随图8A、图8B和图8C的描述中更详细地描述的，对于图6A、图6B和图6C中所示的方法，可以使用多个模型，其中一个或多个模型的输出被用作一个或多个其它模型的输入。

[0121] 对于分析中的数据的批量处理，输入被一起聚集在在一个或多个文件中，并且(一个或多个)文件被处理以产生与分析模型相关联的输出。如上所述，对于网络应用中典型的数据大小，分布式分析平台被用于分析处理。

[0122] 被用于处理事件以产生输出的模型本身也可以以不同的方式产生。如在下面的图7和图9中所示的，分布式分析平台106可用于处理模型的输入以产生分析模型。在本公开的一些实施例中，模型以模型互换格式(诸如PFA)表述，然后可以被用于利用分布式分析平台来批量地对事件进行评分，或者使用评分引擎以流动的方式对事件进行评分。在本公开的一个实施例中，也可以通过以下两个其它系统组件来产生PFA模型：RTAE和评分引擎本身。

[0123] 图7是示出了根据本公开的一些实施例的处理网络业务以产生分析模型的系统图。图7示出了网络业务702、事件记录和文件生成器704、PFA模型库706、包处理器708、分数710、来自事件数据的批量分析的见解712、事件720、导入的PFA模型、经丰富(enrich)的网络流和PCAP文件724、导出的PFA模型726、传感器102、分布式分析平台106和评分引擎108。

[0124] 网络业务702由传感器102收集。传感器102包括包处理器708，包处理器708被设计成以线速度(即，数据移动通过网络的速度)处理包数据。包处理器708能够使用高度优化的软件栈并且在本公开的一些实施例中还使用专门的硬件来以线速度处理包数据。在一些实施例中，零拷贝技术被用于改善包处理性能。包处理包括提取包的属性(诸如目的端口和IP以及源端口和IP、协议标志和TCP包、UDP包等的其它属性)，查看所提取的属性的组合以识别具体的协议，以及用诸如动态主机配置协议(DHCP)数据、地理位置数据等之类的其它数据来丰富信息。来自多个包的对应于相同的源和目的IP和端口的信息被处理以通过事件记录和文件生成器704产生流记录，该流记录经由ESB 116被传送到评分引擎108。在本公开的一些实施例中，来自单个或多个包的信息被处理以产生其它类型的事件，这些事件经由ESB 116被传送到评分引擎108。例如，在本公开的一些实施例中，每个包可以由评分引擎108单独地评分；选定的包(诸如对应于一个或多个协议类型或者其它属性或特征的包)可以被评分；或者包的其它组合可由评分引擎108处理。多个包也由事件记录和文件生成器704处理以产生被传送到布式分析平台106的包文件(PCAP文件)。在本公开的一些实施例中，传感器
102与实体引擎合作来处理数据。实体引擎的作用是用唯一的实体标识符来丰富流事件和PCAP文件，因为在使用DHCP的企业环境中IP地址经常改变。

[0125] 传感器102经由ESB 116将事件720传送到评分引擎108以用于实时评分。在一些实施例中，评分引擎108从PFA模型库706读取PFA文件722，PFA模型库706包含多个模型的描述、如何预处理模型的输入、如何后处理模型的输出、如何组合模型、如何将事件发送到被分段的模型，等等。在一些实施例中，导入的PFA文件722可以表述分析工作流。在一些实施例中,分析工作流包含多个被分段的分析工作流，每个被分段的分析工作流与逻辑段相关联。例如，图8A示出了多个分析模型的输出可以如何被组合以产生单个输出，而图8B示出了一个分析模型的输出可以如何被用作两个或更多个其它分析模型的输入。分析模型包括但不限于聚类模型、基线模型、分类与回归树、神经网络、随机森林、贝叶斯模型以及对本领域中的专家已知的任何其它统计和机器学习分析模型。评分引擎108对每个事件的分数进行变换，并且创建多个类型的TIM(包括含有分数、事件通知或警报通知的TIM、模型更新TIM以及缓解TIM 710)。在一些实施例中，评分引擎108可以根据所接收的事件信息来建立附加的事件特征。在一些实施例中，传感器102由RTAE 110控制，RTAE 110可以改变所收集的包和流的类型、传感器如何处理事件和流等等。

[0126] 传感器102还将网络流记录和PCAP文件724发送到分布式分析平台106。由传感器发送的数据可以通过添加以下中的至少一个来丰富：关于观察到的实体的数据和元数据，关于网络业务的数据和元数据，与用户相关联的数据和元数据，关于工作站和服务器的数据和元数据，关于路由器和交换机的数据和元数据，关于外部网络实体的数据和元数据，以及关于与网络交互的内部和外部设备的数据和元数据。分布式分析平台106以多种方式(包括使用统计算法、机器学习算法和其它算法)处理所接收的信息以建立可以由评分引擎执行的分析模型。如上所述以多种方式对所接收的信息的处理是对事件数据、流数据和在本公开其它地方提到的其它数据的批量处理的示例。以这种方式处理的数据的分析可以导致关于网络行为712的见解，诸如不寻常的或可疑的行为的存在。这些模型可以作为模型互换格式(例如PFA模型726)被导出到PFA模型库706。PFA模型被评分引擎108接收，被添加到PFA模型的现有集合，这改变了用于由处理事件的评分引擎108访问的PFA文档的集合。分布式分析平台106也可以批量地对事件进行评分712。

[0127] 在本公开的一些实施例中，输入可以是：由传感器102产生的网络流记录，由传感器102产生的包记录，由传感器102从网络设备、工作站、服务器或其它系统的日志文件提取的记录、或者经由一些其它机制提取的记录。

[0128] 在本公开的一些实施例中，输入是与诸如网络设备、用户等之类的实体相关联的事件，并且输入通过以下操作而被处理：检索存储该实体的持久性信息的一个或多个状态向量，使用来自该事件的消息更行状态向量，以及然后使用更新的状态向量作为模型的输入。

[0129] 在本公开的一些实施例中，以及如在上面关于图2所描述的，一个或多个传感器102收集并处理来自被保护的企业的数据、产生基于事件的记录、将基于事件的记录传送到系统的ESB 116，并且一个或多个评分引擎108从ESB 116读取基于事件的记录并且处理该基于事件的记录以产生各种输出。

[0130] 在本公开的一些实施例中，分析模型被部署在评分引擎108中，以便在处理网络数据时以线速度检测网络行为和网络行为的改变。部署在评分引擎中的分析模型可以被用于计算机网络(cyber-network)中的许多不同使用案例。例如，评分引擎108中的分析模型可被用于检测网络设备、工作站、服务器等中的意外改变。意外改变可以以多种方式来定义，包括例如通过在网络(“利益共同体”)上的设备的通信模式的改变来定义。在这种情况下，不同类型的模型(包括基线模型)可被用于检测改变。使用基线模型来检测改变也可以被用于检测内部人威胁或横向运动威胁。评分引擎108也可以被用于跨源积累可疑行为。例如，来自某些国家的流可能会出现在晚上。如果还发现这些流中的一些流与失败的登陆尝试相关联，则与所有这些流相关联的风险将被升高。当风险分数超过阈值时，发送警报。

[0131] 在本公开的一些实施例中，存在多个模型并且可以以不同的方式进行组合。图8A是示出了根据本公开的一些实施例的模型的集合的系统图。分析模型1 802至n 804被组合以得到单个输出分数806。分析模型可以使用求平均、表决(voting)或组合模型的任何其它方法来组合。例如，表决被用于组合来自多个模型的分类输出(对应于单个输入)，其中作为模型的输出出现得最频繁的分类被选择为集合的输出。图8B是示出了根据本公开的一些实施例的模型的组合或链接的系统图。分析模型1 810的输出可以作为输入被馈送到分析模型2a812和分析模型2b 814。分析模型2a 812和2b 814的输出可被用作分析模型3 816的输入。在一些实施例中，分析模型1 810、分析模型2a812、分析模型2b 814以及分析模型3 816可以是任何模型。例如，模型不局限于模型的特定子集。模型可以以任意的配置链接在一起。图8C是示出了根据本公开的一些实施例的被分段的模型的系统图。每个模型820，...，822与唯一的密钥相关联以便对段进行区分。由于模型一般将在不同段之间不同，因此相同的输入事件将创建对应于与各种段相关联的各种不同模型的多个不同输出。

[0132] 在本公开的一些实施例中，使用用于分析的便携式格式(PFA)，因为它支持上述三种类型的多个模型，而诸如预测模型标记语言(PMML)之类的其它的模型互换格式(MIF)仅支持有限类型的模型组合，而不是例如PFA支持的那样，支持将一个或多个模型的输出一起链接到一个或多个其它模型的输入中。

[0133] 在本公开的一些实施例中，使用导出MIF文档的模型生成器，所述MIF文档被导入到一个或多个评分引擎中。在本系统的一些实施例中，MIF文档经由ESB 116被发送到评分引擎108，并且在一些实施例中，MIF文档经由另一机制(包括将分布式分析平台106链接到评分引擎108的带外网络)被加载到评分引擎108中。在一些实施例中，MIF文档是PFA文档。

[0134] 在本公开的一些实施例中，存在几种不同类型的TIM，这些TIM是模型的输出。这些包括：i)与被存储以用于未来的潜在分析的输入事件相关联的分数；ii)与被发送以用于进一步处理的输入事件相关联的分数；iii)模型更新TIM；和iv)缓解TIM。

[0135] 更新行为模型

[0136] 图9是描绘了根据本公开的一些实施例的数据在网络安全框架中的组件之间的流动的流程图。

[0137] 如在上面简要描述以及在下面更详细地描述的，RTAE 110以及控制平面引擎模块和代理可以采取缓解动作。例如，评分引擎108中的分析模型可以以四种方式之一进行更新。第一，新的分析模型可以在批量分析作业中被创建并且以模型互换格式被导出902。在本公开的一些实施例中，批量分析作业在分布式分析平台106中运行并且被导出为PFA。批量分析作业使用来自传感器102的数据(诸如网络流数据、PCAP数据)以及来自其它系统和传感器的数据作为输入。第二，新的分析模型可以使用RTAE来近乎实时地创建并以模型互换格式被导出904。在本公开的一些实施例中，RTAE 110导出模型作为PFA。第三，可以通过模型更新TIM 410来对模型本身做出改变。模型更新TIM 410可以包括信息以使得PFA文档中特定的值、变量和PFA元素可以在不替换整个PFA文档的情况下被更新。因为PFA文档可以是大尺寸的，因此使用作为RTAE 110处理TIM和其它信息的结果的模型更新TIM来更新特定的值和元素的能力有助于处理数据的速度。第四，分析模型本身的参数可以在该模型是流传输模型的情况下被更新，在流传输模型中，模型的参数或其它组件914(相对于与实体相关联的状态信息)在处理事件908时被更新。本上下文中的流传输模型是根据如下数据建立的分析模型：该数据在其经过评分引擎时仅被处理过一次。这与如上所述的利用批量分析建立的分析模型相反，在批量分析中，数据记录被保存到盘(诸如与分布式分析平台106相关联的盘)，并且可以被读取和处理特定的算法或分析所需要的那么多次。

[0138] 如上所述，在一些实施例中，传感器102从网络业务接收输入事件。输入事件的类型可以包括来自网络包的事件、来自网络流的事件、来自监测系统的事件、来自日志文件的事件、以及来自其它系统和应用的事件。同样如上所述，评分引擎108的输出可以包括TIM。在一些实施例中，TIM可以包括与被存储用于未来的潜在分析的事件相关联的分数、与被发送用于进一步的动态处理的事件相关联的分数、模型更新TIM、以及缓解TIM。

[0139] 本公开的一个要素是：本系统的多个评分引擎108、多个传感器102或其它组件可以同时发送消息到ESB 116并且评分引擎102可以同时被更新。在本公开的一些实施例中，存在多个读取模型更新TIM的评分引擎108。换句话说，多个传感器102可与经由ESB 116发送的模型更新TIM一起使用以同时更新评分引擎108；单个传感器102可以经由ESB 116发送模型更新TIM以同时更新多个评分引擎；或者多个传感器和多个评分引擎可以发送模型更新TIM以使用多个传感器102来同时更新多个评分引擎108。在一些实施例中，本文中所描述的系统仅包括连接到多个传感器102的一个评分引擎108。

[0140] 在本公开的一些实施例中，评分引擎108被设计为使得模型更新TIM可以与评分引擎对事件的评分同时处理，以使得不需要为了用模型更新TIM更新评分引擎而停止该评分引擎。因为PFA标准包含如上所述的支持同时性的语言组件，所以在评分引擎108对事件进行评分的同时处理对PFA文档的改变的这种能力存在。在本公开的一些实施例中，评分引擎108的实现支持由PFA标准支持的各种同时性元素。

[0141] RTAE 110处理来自评分引擎102和其它系统模块的TIM和事件并确定缓解动作。含有缓解动作的TIM被发送到执行缓解动作的缓解代理，在一些实施例中，缓解代理使用控制平面来改变诸如路由器和交换机之类的控制网络设备。在一些实施例中，RTAE 110、评分引擎108和相关的系统模块是在带外系统网络上运行的ESB 116上。

[0142] 当前本发明的成分是对于如下分析框架的支持，该分析框架可以使用可以以不同方式组合的多个模型，包括以下：i)被分段的模型，其中输入被发送到一个或多个单独的模型，每个模型与一个或多个限制(诸如指定的时间段、指定的网络段，等等)相关联；ii)集合，其中到模型的输入是公共的，并且两个或更多个模型的输出被组合成单个输出；或者iii)模型的组合，其中一个或多个模型的输出被用作另一模型的输入。

[0143] 在一些实施例中，模型需要被周期性地重建或重新训练以考虑改变的情况，诸如新行为或建模技术的改进。当创建新模型时，新模型可以与当前的模型相比较以选择优胜者(例如，用冠军-挑战者方法)。

[0144] 在一些实施例中，该过程是人类可读和可审计(auditable)的。模型也可以逐渐地更新。这允许模型被移动到生产中并且根据活数据(live data)被建立而不是等待足够的有效且适当的历史训练数据。

[0145] 除了已经提到的TIM类型，本公开的重要成分是外部TIM的使用。如本公开中所述的外部TIM是指由其它企业在本企业的外部生成的TIM，其上所述其它企业采用本系统的实例或者采用生成可以与在本公开中描述的本系统使用的TIM互操作的TIM的其它系统的实例。

[0146] 外部TIM如上所述的那样工作，除了：与本公开中描述的系统的其它实例对应的外部TIM不包含生成它们的企业的任何标识信息，而是包含可以在运行本公开中描述的系统的两个更多的企业之间共享的信息(诸如关于外部IP的信息、用于PFA文档的新的阈值或成分、新的后处理规则等)。

[0147] 在本公开的一些实施例中，外部TIM：由第一企业的RTAE 110创建；在从第一企业传送到第二企业之前被加密；由第二企业解密；被传送到第二企业的RTAE 110。在被第二企业的RTAE 110接收之后，外部TIM以与内部TIM的处理方式类似的方式被处理。

[0148] 外部TIM可以被收到它们的企业的RTAE 110自动处理，而且不同于在企业之间共享的其它类型的威胁信息，外部TIM不设计成用于人工处理。

[0149] 在本公开的一些实施例中，外部TIM可以通过其它系统使用由共享外部TIM的各种企业制定的约定(convention)和标准来生成。例如，TIM可以包含改变某些类型的警报(诸如与企业内的横向运动或数据到企业外的漏出相关联的警报)阈值的信息。当接受和发送外部TIM的一个企业检测到这些类型之一的威胁时，它可以自动生成可发送到接受外部TIM的其它企业的外部TIM，所述其它企业转而可处理该外部TIM并采取动作以降低由第一企业观察到的攻击的阈值。

[0150] 流传输分析

[0151] 在本公开的一些实施例中，与仅更新与由模型评分的实体相关联的状态对比，流传输分析在评分引擎108内被使用以更新模型的参数、模型中使用的特征或者模型自身的结构。在本公开的一些实施例中，当在后处理处接收到第一分数时，各种统计被编译和评价以确定模型是否已经发现被认为在统计上有效的足够事件。如果统计有效，则评分被发送出；否则，废止该分数。

[0152] 例如,与模型中的一个或多个特征相关联的分布的方差或其它统计属性可以被计算并且当这些统计落到阈值以下时，分数可以被模型发出。

[0153] 用于网络分析的微段

[0154] 在一些实施例中，企业(包括与该企业交互的外部和内部实体)可以被划分成可被独立地建模、监测和缓解的逻辑段。逻辑段在本文中也被称为微网络段。如在下面所描述的，每个逻辑段可以与以下相关联：i)分析模型、一组分析模型、或者分析工作流中的至少一个；ii)关于逻辑段(例如分接点)内的活动的一个或多个输入源；以及用于缓解发生在逻辑段内的异常活动的影响的一组动作。

[0155] 在一些实施例中，本公开使用几千到几十万或更多的微网络段。在本公开的一些实施例中，取决于感兴趣的网络行为、正在使用的分析模型、以及正在使用的缓解，使用不同的方法将企业划分成微网络段。换句话说，在一些实施例中，不同的(通常是重叠的)微网络段被同时使用。

[0156] 微网络段通过使用一个或多个维度划分企业来限定。维度可以使用以下来限定：网络的属性，包括IP、网络段；正被建模的设备的属性，包括设备的类型等；网络或设备的特征，诸如指定时间窗期间的流的数量、当一个设备与另一设备通信时所创建的图形的基数(cardinality)等；与设备相关联的流的特征，诸如所使用的协议的类型等；与网络交互的内部和外部实体的属性和特征，包括用户的类型、用户的角色等；时间维度，诸如一天中的时间，星期几等。

[0157] 微网络段可以通过使用一个维度并且通过将维度划分成不同的区域而创建不同的段来创建；或者采用两个或更多个维度的乘积，并且分别对每个维进行划分以创建多维度的段。

[0158] 一旦完成了分区成不同的段，则计算用于与在段中的实体相关联的数据的单独的分析模型。为了完成这个，一些实施例使用如下的传感器：该传感器监测与该段相关联的实体、用户或流的相关数据并收集和处理该数据。

[0159] 除了对微网络段进行监测和建模，还为该段定义一个或多个缓解动作。缓解动作可以包括：将与该段相关联的实体加入黑名单以使得交换机和路由器不再将数据发送到在该段中的实体；将与该段中的实体相关联的某些端口加入黑名单；修改流入该段或流出该段的数据；将业务重新定向到该段或者从该段重新定向业务；从干净的安装重新启动与该段中的设备相关联的实体；使用虚拟化技术或移动目标技术来增加实体的安全性，等等。

[0160] 用于确定适当的分段的一个标准是创建如下的段：这些段在其网络分析行为方面是足够同质的，使得它们可以用分析模型来建模。例如，段可以被划分直到与该段中的模型的一个或多个特征或其它组件相关联的分布的方差或其它统计属性落在阈值之下并且随着时间稳定为止。在一些实施例中，划分可以包括：网络的划分、网络上的业务的划分、网络上的用户的划分、网络上的设备的划分、基于其它数据(包括第三方数据)的划分、以及与网络的划分、网络上的业务的划分、网络上的用户的划分、网路上的设备的划分和第三方数据的划分中的至少一个相关联的数据。在一些实施例中，一个或多个划分可以与另一划分重叠。

[0161] 在本公开的一些实施例中，与每个微网络段相关联的分析模型以模型互换格式(诸如PFA)被表述，并且评分引擎被使用以使得微网络段可以以线速度被监测并且缓解事件可以在评分引擎对事件进行评分时被近乎实时地发送出去。

[0162] 使用虚拟环境来移动目标防御

[0163] 在一些实施例中，RTAE 110包括与微网络段集成以用于创建、管理和拆除虚拟环境(包括其对应的虚拟网络)的虚拟防御模块(VDM)150。如上面图3中所述，与这些虚拟环境相关联的虚拟网络包括将信息从I0和I1路由到I2。虚拟防御模块150接收ID I0和ID I1。如上面所讨论的，ID I0包括从防火墙外部接收的数据，并且ID I1包括从防火墙内部接收的数据。在一些实施例中，ID对于网络安全框架内的所有网络和数据包是加密的、不可变的、全局唯一的ID(GUID)，这使得机器能够唯一地将“允许的”活动和“可疑的”的活动分开。ID可以使得并行的真实世界环境和虚拟世界环境同时操作，还有它们的管理、可视化分析、警报等。ID使得独特的基线和分析贯穿其处理和利用历史都基于进入网络安全框架的所有包的整个历史。在一些实施例中，当检测到ID包时(例如，横向移动、未授权的基础设施改变、未授权的VPN、欺骗等)，事件触发以机器速度启用预先计划的缓解。

[0164] 在一些实施例中，对于动态复杂性，虚拟防御模块150利用具有ID的安全虚拟机或虚拟容器来创建和管理“可信”和“不可信”的物理环境和虚拟环境这两者。以这种方式，“虚拟攻击面”可以被创建以用于识别可疑活动。这迫使攻击者从数百个到数万个虚拟环境(“不可信的”)区分真的(“可信的”)企业数据和过程，从而大幅降低攻击者成功的可能性并增加检测和缓解的概率。DDI基础设施也可以被用于在虚拟和现实世界网络和组件之内和之间操纵包流和互连。对于由评分引擎触发的预先计划的动作，虚拟防御模块150可以动态地从控制平面可疑活动重新指向指定的虚拟环境。可以在容器、容器的内容和框架之间启用信任关系，从而延伸身份访问管理(IDAM)和基于属性的访问控制(ABAC)的使用，以用于对网络安全架构内的所有数据和机器过程的基于策略的访问控制。

[0165] 示例性检测和缓解

[0166] 图10是示出了根据本公开的一些实施例的对于网络安全框架的外部威胁的响应的系统图。这个过程包括：外部不良行动者1006发起攻击，传感器102/评分引擎1 1002检测到威胁并发布TIM 1005，RTAE 110接收消息以及决定缓解并发布到ESB 116，控制平面引擎114接收缓解TIM 1008内的缓解动作(MA)1003，传感器102和评分引擎2 1004接收模型更新TIM 906并更新状态，以及控制平面引擎114采取关闭端口的动作。评分引擎1 1002和评分引擎2 1004具有与本文中描述的评分引擎108类似的功能。

[0167] 在步骤1011处，由外部不良行动者1006发起的攻击绕过IDS和防火墙访问控制列表(ACL)规则并通过防火墙132。

[0168] 在步骤1012处，传感器102处理来自外部威胁1006的包和流。当评分引擎1 1002检测到威胁事件时，它生成TIM 1005。评分引擎11002将威胁事件和TIM 1005发布到分布式的ESB 116。

[0169] 在步骤1013处，RTAE 110接收由ESB 116发送的威胁事件和TIM。RTAE 110处理来自评分引擎1 1002的TIM 1005，并且RTAE110基于TIM 1005决定缓解。

[0170] 在步骤1014处，RTAE 110决定缓解。RTAE 110将模型更新TIM 906和缓解TIM 1008中的一个发布到与ESB 116连接的所有元素。

[0171] 在步骤1015处，控制平面引擎114接收与IP声誉变化相关联的缓解TIM 1008，IP声誉变化导致诸如阻止IP或端口或者异常活动的警报分析之类的动作。控制平面引擎114通过关闭由外部行动者1006使用的端口来采取缓解动作1003。

[0172] 在步骤1016处，连接在ESB 116上的评分引擎2 1004和其它评分引擎从RTAE 110接收模型更新TIM 906，并改变它们的评分行为以更好地检测采用类似行为的不良行动者。

[0173] 图11是示出了根据本公开的一些实施例的对网络安全框架的内部威胁的响应的系统图。该过程包括：内部不良行动者1006发起攻击，传感器102/评分引擎1 1102检测到威胁并发布TIM 1005，RTAE 110接收消息，RTAE 110决定缓解并发布到ESB 116，控制平面引擎114接收缓解TIM 1008，传感器102/评分引擎2 1104接收模型更新TIM906并更新状态，以及控制平面引擎114采取关闭端口的动作。评分引擎1 1102和评分引擎2 1104具有与本文中描述的评分引擎108类似的功能。

[0174] 在步骤1111处，内部行动者1106在企业网络内发起网络侦察(例如，关键资产的侦察)。

[0175] 在步骤1112处，传感器102处理与内部威胁相关联的包和流。评分引擎1102根据包和流创建事件并发送TIM 1005到ESB 116。

[0176] 在步骤1113处，RTAE 110处理由ESB 116发送的TIM 1005。在步骤3中，RTAE 110基于TIM决定缓解。RTAE 110经由ESB 116将缓解TIM 1008发布到控制引擎平面114和数据平面122中与缓解动作有关的所有实体，诸如防火墙、路由器、交换机132或端点120(诸如工作站、服务器或移动设备)。

[0177] 在步骤1114处，缓解TIM被发送到ESB 116。

[0178] 在步骤1115处，控制平面引擎114接收缓解TIM 1008。控制平面引擎114通过关闭内部不良行动者1106所使用的端口来采取动作。

[0179] 在步骤1116处，评分引擎2 1104(和ESB 116上的任何其它评分引擎)从RTAE 110接收模型更新TIM 906并改变它们的评分行为以更好地检测具有类似的行为的不良行动者。

[0180] 本文所描述的主题可以在数字电子电路中、在计算机软件、固件或硬件中(包括在本说明书中公开的结构和它们的结构等同物)或者在它们的组合中实现。本文描述的主题可以被实现为一个或多个计算机程序产品，诸如切实地体现在信息载体中(例如，在机器可读的存储设备中)或体现在传播的信号中以便由数据处理装置(例如，可编程处理器、计算机、或多台计算机)执行或控制数据处理装置的操作的一个或多个计算机程序。计算机程序(也被称为程序、软件、软件应用或代码)可以用任何形式的编程语言编写，包括编译语言或解释语言，并且它可以以任何形式被部署，包括作为独立的程序或作为适合在计算环境中使用的模块、组件、子程序、或其它单位。计算机程序不一定对应于文件。程序可以存储在保存其它程序或数据的文件的一部分中、保存在专用于正被讨论的程序的单个文件中、或保存在多个协调的文件(例如，存储一个或多个模块、子程序或部分代码的文件)中。计算机程序可以被部署成在一台计算机上执行，或者在一个站点处的多台计算机上或在跨多个站点分布并通过通信网络互连的多台计算机上执行。

[0181] 在本说明书中描述的过程和逻辑流(包括本文中描述的主题的方法步骤)可以由执行一个或多个计算机程序的一个或多个可编程处理器来执行，以便通过对输入数据进行操作并生成输出来执行本文中描述的主题的功能。过程和逻辑流也可以由专用逻辑电路，例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)来执行，并且本文中所描述的主体的装置可以被实现为专用逻辑电路，例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)。

[0182] 适于执行计算机程序的处理器包括，例如，通用和专用微处理器这两者，包括多处理器(诸如GPU)和任何种类的数字计算机的任何一个或多个处理器。一般来说，处理器将从只读存储器或随机存取存储器或这两者接收指令和数据。计算机的基本要素是用于执行指令的处理器和用于存储指令和数据的一个或多个存储器设备。一般情况下，计算机也将包括用于存储数据的一个或多个大容量存储设备(例如，磁盘、磁光盘、或光盘)或者被可操作地耦接以从大容量存储设备接收数据或将数据传送到大容量存储设备或两者兼有。适合体现计算机程序指令和数据的信息载体包括各种形式的非易失性存储器，例如包括半导体存储器设备(如EPROM、EEPROM和闪存存储器设备)；磁盘(例如，内部硬盘或可移动盘)；磁光盘；以及光盘(例如，CD和DVD盘)。处理器和存储器可以由专用逻辑电路补充或结合在专用逻辑电路中。

[0183] 为了提供与用户的交互，本文中描述的主题可以在如下的计算机上实现：该计算机具有用于将信息显示给用户的显示装置以及键盘和定点设备(例如，鼠标或轨迹球)，显示装置例如是LCD(液晶示出屏)、LED(发光二极管)、OLED(有机发光二极管)、或CRT(阴极射线管)监测器，用户通过键盘和定点设备可以向计算机提供输入。其它种类的设备也可以用来提供与用户的交互。例如，向用户提供的反馈可以是任何形式的感觉反馈，(例如，视觉反馈、听觉反馈、或触觉反馈)，并且来自用户的输入可以以任何形式被接收，包括声学、语音、或触觉输入。

[0184] 本文中描述的主题可以在如下的计算系统中实现：在物理硬件上、在虚拟环境上、或通过使用用于部署应用的基于容器的技术(诸如Linux容器)，该计算系统包括一个或多个后端组件(例如，数据服务器)、中间件组件(例如，应用服务器)或前端组件(例如，具有通过其用户可以与本文中描述的主题的实现进行交互的图形用户界面或Web浏览器的客户端计算机)，或者这种后端组件、中间件组件和前端组件的任何组合。本系统的组件可以以任何形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)和广域网(“WAN”)，例如，互联网。

[0185] 应当理解，所公开的主题不限于被应用于在下面的描述中阐述的或在附图中示出的构造细节和组件布置。所公开的主题能够有其它实施例，并且能够以不同的方式实践和实施。而且，应当理解，本文中所采用的措辞和术语是用于描述的目的并且不应被视为限制。

[0186] 因此，本领域的技术人员将认识到，本公开所基于的构思可以容易地用作用于执行所公开的主题的几个目的其它结构、方法和系统的设计的基础。因此，重要的是权利要求被视为包括这种等同的构造，只要它们未脱离所公开的主题的精神和范围即可。

[0187] 虽然所公开的主题已经在前述的示例性实施例中进行了描述和说明，但是应当理解，本公开仅以示例的方式进行的，并且可以对所公开的主题的实施细节进行许多变化而不脱离本公开主题的精神和范围，本公开主题的精神和范围仅受所附权利要求限制。

标题	发布/更新时间	阅读量
一种生成图像互换格式文件的方法及装置	2020-05-14	448
一种视频信息处理方法及装置	2020-05-17	921
一种网页的处理方法及相关设备	2020-05-20	329
集成有相机系统和非电3D/多视频和静止帧观看器的用于3D和/或2D高质量摄像、摄影和自拍录制的多功能移动设备外壳/盖体	2020-05-23	849
视频的种子文件处理方法及装置	2020-05-26	31
阵列基板、液晶显示面板及其驱动方法	2020-05-18	628
图像处理方法、终端、计算机存储介质及计算机程序	2020-05-23	21
一种多终端兼容显示的方法	2020-05-20	633
一种混凝土骨料数值模型重建方法	2020-05-22	18
图像互换格式图的制作方法和装置	2020-05-23	329

网络安全系统

网络安全系统

背景技术

附图说明

具体实施方式

该功能需要专业版企业版VIP权限，您可以：