文章阅读：基于大数据和机器学习的Web异常参数检测系统Demo实

2020/03/22 -
本片论文是基于大数据环境对Web检测的一个范例，代码的话，我简单看了一下， 有些没看懂，但是这个范例很又启发性。

1. 模型计算部分
   参数泛化，这个就跟我之前看到过的那篇《机器学习检测外联HTTP流量》一样，按照不同字符类型，替换为统一的字符。
2. 大数据框架

• 训练过程是一个批处理过程，而实时在线检测又是一个流处理过程。
• 典型的批+流式框架如Cisco的Opensoc使用开源大数据架构，kafka作为消息总线，Storm进行实时计算，Hadoop存储数据和批量计算。
• 本文中计算任务，全部使用sprak作为引擎，底层存储还用hadfs

spark承担了三个任务，1）利用streaming形式，从kafaka中提取输入，将数据写入hdfs 2）批处理模式，从hdfs中获取历史数据，然后进行训练 3）实时在线检测，利用streaming形式从hdfs中加载模型，实时读取kafaka中的数据，然后在线检测。

后面就是他的代码了。

我觉得这篇文章的干货很足，他从大数据的角度介绍了整体上的系统设计，同时涵盖了流处理和批处理，后面可以针对这种模式好好学习一下。
需要学习的知识有：

• spark streaming，一方面是写入数据，一方面是实时检测
• kafaka
• 写入报警到es

我看了一下（github上的源码），HMM是使用的一个专门的库。

我个人觉得，整体上这个系统的脉络很清晰，没有什么困难的东西，当然实现的时候，需要学习各方面知识，然后捋清楚各方面思路。

参考文献

[1]基于大数据和机器学习的Web异常参数检测系统Demo实现