网络流量异常检测网络连接配置异常( 三 ) _网络流量

检测模型由算法组成，这些算法利用提取出来的特征向量学习到正常流量的规律或者正常流量和异常流量之间的差异。从总体上，这些模型可以分为统计模型、监督分类模型、无监督模型等，不同的数据量、数据类型及应用场景需要选择不同的检测模型。
2.1 统计模型
统计模型在异常检测领域被广泛使用，其主要应用场景是异常发生点的网络数据会发生急剧的变化。统计模型需要有一个学习期，在学习期内会记录下所提取到的流量数据，然后用来创建统计模型。
2.1.1 简单统计模型
Rousseeuw 等人利用 3σ 模型对网络流量中的各个指标进行建模。该模型首先计算历史数据的均值和方差，然后利用均值上下波动 3 个标准差的范围区间作为正常流量指标的取值区间，超出该区间的则判定为定位异常。该方法的主要思想来自正态分布的置信区间，其优点是计算简单，但只能应用在流量变化比较平稳的场景中，在其他复杂场景中会存在过高的误报，并且如果用来计算均值和方差的历史数据中存在极端异常值，则检测结果会出现较大偏差。
为了消除历史数据中存在的异常值所带来的影响，Vinutha 等人利用分位数进行异常检测。分位数是指将随机变量的概率分为几个等分的数值点，常见的有二分位（即中位数）、四分位、百分位，一个四分位数箱体如图 1 所示。

图 1 四分位数箱体
利用四分位数进行异常检测主要通过图基检验，以四分位数为例，异常检测的公式可以表示为：

式中：

分别为一分位点、二分位点、三分位点；x 为待检测数据；k 为异常系数，当 k = 3 时，表示极度异常；当 k =1.5 时，表示中度异常。
分位数方法采用的分位点和分位距具有对噪声不敏感的优点，相较于均值方差的方法具有更强的鲁棒性，但该方法也只适用于数据变化较为平稳的网络环境中。
2.1.2 基于协方差矩阵的模型
协方差矩阵是一个二阶统计量，可以找出哪些变量对网络异常影响最大。Yeung 等人使用协方差分析检测网络中的泛洪攻击。利用该方法对网络流量进行建模，形成协方差矩阵样本，以便利用时间序列样本中包含的统计信息来检测泛洪攻击。根据协方差矩阵的变化和关联特征的差异去揭示正常流量和泛洪攻击流量之间的差异。Xie 等人借助随机变量，利用空间可预测性处理相邻数据段集合，确定哪些数据段表现出了异常。为了降低计算复杂度，该方法使用与 Spearman 秩相关系数和差分压缩概念近似的样本协方差矩阵。
协方差矩阵的方法适用于特征维度较低的场景，如果维度过高，计算复杂度会呈指数级增加。
2.1.3 基于隐马尔可夫的模型
隐马尔可夫模型可以对序列数据进行建模，网络流量中采集的一部分数据是时间序列格式的，用隐马尔可夫模型可以实现对时间序列的异常检测。
Bang 等人提出了一种利用隐马尔可夫模型在无线传感器网络中检测长期演进（LongTerm Evolution，LTE）网络信号异常的方案。首先，利用隐马尔可夫模型对正常唤醒包生成过程的时空特征进行建模，并设置一个对数概率阈值。其次，将观测到的时空特征带入模型进行计算，如果得到的对数概率小于设置的对数概率阈值，则将其判定为异常。
Stefanidis 等人利用隐马尔可夫模型对工控网络中的命令交互进行建模来检测异常流量。首先，从正常工控流量中提取出关键的交互流程片段；其次，利用这些片段训练得到隐马尔可夫模型；最后，利用训练好的隐马尔可夫模型检测出异常的命令交互过程。