基于Hadoop的云端异常流量检测与分析平台

(1)数据收集模块：利用SNS(如微博)公开的API或分布式文件收集工具来收集网页数据、微博数据以及系统日志信息。

(2)存储模块：对流量数据进行管理，并将数据以文件形式或裸数据格式进行存储。

(3)分析模块：将分布式的数据进行分簇与聚类，对数据进行摘要提取、预测分析、自然语言处理、文本处理等，基于MapReduce实现AT-IDS来检测异常流量。

(4)GUI：将流量变化的实时状态、统计结果以及控制界面友好地向用户展示。

图2为本平台的详细结构图，其主要功能是检测与分析异常流量，同时也提供一些相关的附加功能，如网络攻击工具(可产生伪随机数量的异常流量)。使用Jpcap分析网络数据包，由于本平台基于Java语言开发，因此本平台是系统不相关的，可运行于Linux与Windows系统(只要安装JVM即可)。Jpcap将网络数据包的细节隐藏，将许多网络数据包的类型和协议等信息提取成Java的类。Jpcap内部实现了LibPcap系统库的API，本平台通过JNI来调用Jpcap，从而提高了JAVA的运行速度。目前广泛使用的AWT(窗口提取工具)和Swing的运行速度较慢，因此采用SWT(Standard Widget Toolkit)建立GUI控制界面，提高了系统的运行速度。

图3为本平台检测、分析、传输、显示异常流量的一体电感器工厂程序框图。

2.2.2 Map/Reduce设计

图4为本平台的Map/Reducer程序，其功能是利用Map/Reduce将每天的流量信息以文件形式存储于HDFS中。首先，使用Mapper周期性地从所有存储流量信息的文件中提取流量的部分信息(目录、数据包协议、数据包数量、数据包大小等)；然后通过Reducer提取异常流量并保存(可通过数据包大小来判断异常流量)。

3 试验与分析

3.1 流量变化界面展示

图5为软件实时流量监控的流量变化界面，图中所示曲线图是监控端口每秒钟流量的变化。通过协议获得每个数据包的大小与数据包总数量，然后进行统计计算获得每秒的总流量。将每秒的流量分为3种类型(正常流量、异常流量、混合流量)进行存储，将每天的统计结果存储于HDFS中。

3.2 对异常流量的监控性能量

将DDoS攻击注入局域网，用来测试本平台的异常流量检测性能。使用2个本监控平台对同一个局域网中的同一个端口进行监控(共监控10 h)，对其中一个监控平台的输入接口注入一段时间的DDoS攻击。

图6所示为10 h受攻击的端口流量变化统计结果。图中可明显看出受攻击端口的流量变化剧烈，可见本平台可实时反应出流量的状态，并可检测出异常流量。

4 结束语

本文基于Hadoop设计并建立了云端流量监控平台，采用HDFS存储大量的流量信息与异常流量信息，使用MapReduce进行分布式处理，提高了处理能力，较好地实现了云端的异常流量的监控，从而可防止对云端的攻击行为，提高了云端的安全性。通过对流量数据存储、检测与分析可成功检测出有威胁的攻击，保障了云端的安全。本平台基于开源的Hadoop实现，成本较低，并且基于Java语言实现，可成功移植于各种主流操作系统，因此具有广泛适用性。

参考文献

[1] 张永铮，肖军，云晓春，等.DDoS攻击检测和控制方法[J].软件学报，2012，23(8)：2058-2072.

[2] 陈鸿昶，程国振，伊鹏.基于多尺度特征融合的异常流量检测方法[J].计算机科学，2012，39(2)：42-46.

[3] 赵晓永，杨扬，孙莉莉，等.基于Hadoop的海量MP3文件存储架构研究[J].计算机应用，2012，32(6)：1724-1726.

[4] 李玉林，董晶.基于Hadoop的MapReduce模型的研究与改进[J].计算机工程与设计，2012，33(8)：3110-3116.

[5] 高茜，冯琦，李广侠.基于组合模型的自相似业务流量预测[J].计算机科学，2012，39(4)：123-126.

如何快速创建开关电源的PCB版图设计如今的开关稳压器和电源越来越紧凑，性能也日益强大，而越来越高的开关频率是设计人员面临的主要问题之一，正是它使得PCB的设计越来越困难。事实上，PCB版图已经成为区分好与差的开

[稳压电源]大师，大神指点一下，设想的这个NMOS高端 本帖最后由 xuling42530000 于 2021-9-15 17:37 编辑 这个电路图能不能实现电压的可调，0-30V左右。 Q2，Ug>Us4V,才导通阈值电压，我用一个运放OPA2188做一个加法电路（不知道对不对），在R6上端取一个电压和RP1相加，就得到一个+4V加R6的电压，就Ug始终>Us 4V左右，在微调RP1电位器实现调整Q2的导通电阻实现调压，也就是高端NMOS管驱动，大师没看看这个可行不。 这就是我的想法！能行得通吗？指点一下                         

新手使用硅动力6级能效芯片和苏州东微超级结MOS 一直在用SL的 平面MOS 5N65 做 5V 4.2A的 适配器，温升，效率都可以满足要求。


但2016年，6级能效开始实施，对温升和效率有了新的门槛，如果有COMOS，成本难以接受。 近来有供应商

 2/3   首页 上一页 1 2 3 下一页 尾页