基于Hadoop的云端异常流量检测与分析平台

摘 要： Hadoop系统作为一种开源的分布式云计算平台已获得广泛应用，但其云端易受到各种威胁和攻击，基于此，开发了一种基于Hadoop的云端异常流量检查与分析平台。首先，使用Mapper周期性地从所有存储流量信息的文件中提取流量的部分信息；然后，通过Reducer将异常流量提取并保存。通过对流量数据的存储、检测与分析可成功地检测出有威胁的攻击，从而保障云端的安全。由于本平台基于开源的Hadoop实现，因此成本较低；同时，基于Java语言实现，可成功移植于各种主流操作系统，具有广泛适用性。基于局域网进行监控试验，结果表明本平台可成功地检测出异常流量，并输出友好的用户界面。

关键词： 云计算；Hadoop；分布式计算；异常流量；检测分析；网络攻击

0 引言

随着移动设备的普及，Internet网络的数据量呈爆炸式增长，服务端的数据流量随之增加。为了成功和有效地利用流量数据，需要对数据进行处理与分析。目前许多攻击(如DDoS、PDoS)可对云端及网络造成毁灭性打击[1]，因此对此类攻击的检测与阻止极为重要，通过异常流量检测来检测此类攻击是一个重要方法[2]。

Hadoop是一种应用极为广泛的大规模分布式数据处理系统[3]，其可有效地扩展数据存储空间，采用平行化计算提高了数据的计算处理能力，并实现了MapReduce的云计算编程模型[4]。尽管已有较多的异常流量分析方案，但极少有基于云计算云端的异常流量检查方案。

本文基于Hadoop平台设计并构建了云端流量监控平台，采用HDFS存储大量的流量信息与异常流量信息，使用MapReduce进行分布式处理，提高了处理能力，较好地实现了对云端异常流量的监控，从而可防止对云端的攻击行为，提高了贴片功率电感云端的安全性。

1 相关技术

基于随机自相似过程[5]的异常流量检测主要包括Hadoop、异常流量检测以及自相似随机过程三个部分。

1.1 Hadoop

Hadoop是一个开源的软件平台，支持分布式数据存储应用[6]。Hadoop主要由分布式存储(HDF：Hadoop分布式文件系统)和分布式处理(MapReduce)两部分组成。Hadoop框架分为MapReduce层和HDFS层[7]。

MapReduce是一种将大规模数据集并行运算的编程模型。指定一个Map（映射）函数，将一组键值对映射成一组新的键值对；指定并发的Reduce（归约）函数，以保证所有映射的键值对共享相同的键组。

1.2 异常流量检测(IDS)

IDS通过监控网络与目标系统(检测异常流量)来提高系统的安全性。异常流量检测主要分为两种类型：基于签名的异常流量检测系统(ST-IDS)[8]和基于异常的异常信息检测系统(AT-IDS)[9]。ST-IDS利用已知的攻击模型来检测攻击，通过预建立已知攻击的签名库寻找相应攻击；AT-ID通过检测超过预设阈值的不正常数据行为检测异常流量。ST-IDS仅对已有攻击有效，对一些新的攻击效果欠佳，因此本文采用AT-IDS方案。

1.3 自相似随机过程

许多自然与人造系统中均有LRD(Long-Range Dependence)的自相似过程，其中Internet网络中的数据流量即为一种自相似随机过程[10]。

目前，网络流量已被严格定义为离散时间上的二阶或近似二阶统计的自相似过程。设{X1，X2，…}表示广义平稳时间序列，其离散时间设为i=1，2，3…。设E[Xi]=EX，Var[Xi]=VarX，ρk=E[(Xi-EX)(Xi+k-EX)]/VarX分别表示该序列的均值、方差和滞后k偏自相关系数。

2 现有问题与本文方案

2.1 现有问题与本平台方案

(1)大数据存储：流量的实时监控将产生大量的流量数据，本方案采用HDFS和HBase将流量数据进行分布式存储。

(2)处理能力电感变压器：需要极强的处理能力。本方案采用平行架构MapReduce。

(3)数据的变化性：需要存储结构化的数据、非结构化的数据以及不同形式(文本、图像、视频等)的数据。本方案采用非关系数据库来存储各种数据，如NoSQL。

2.2 本异常流量检测与分析平台

2.2.1 本平台总体结构与程序设计

图1所示为LAN环境下的本监控平台总体框架图，主要模块包括：数据收集模块、存储模块、分析模块和GUI模块。本平台基于Java语言实现。

如何快速创建开关电源的PCB版图设计如今的开关稳压器和电源越来越紧凑，性能也日益强大，而越来越高的开关频率是设计人员面临的主要问题之一，正是它使得PCB的设计越来越困难。事实上，PCB版图已经成为区分好与差的开

[稳压电源]大师，大神指点一下，设想的这个NMOS高端 本帖最后由 xuling42530000 于 2021-9-15 17:37 编辑 这个电路图能不能实现电压的可调，0-30V左右。 Q2，Ug>Us4V,才导通阈值电压，我用一个运放OPA2188做一个加法电路（不知道对不对），在R6上端取一个电压和RP1相加，就得到一个+4V加R6的电压，就Ug始终>Us 4V左右，在微调RP1电位器实现调整Q2的导通电阻实现调压，也就是高端NMOS管驱动，大师没看看这个可行不。 这就是我的想法！能行得通吗？指点一下                         

新手使用硅动力6级能效芯片和苏州东微超级结MOS 一直在用SL的 平面MOS 5N65 做 5V 4.2A的 适配器，温升，效率都可以满足要求。


但2016年，6级能效开始实施，对温升和效率有了新的门槛，如果有COMOS，成本难以接受。 近来有供应商

 1/3    1 2 3 下一页 尾页