大数据||日志文件数据存储、收集、预处理和分析
2018-02-27 本文已影响94人
明明德撩码
项目实战之四日志文件数据存储、收集、预处理和分析
日志文件：
每天的文件安装【日期】存放在对应的文件夹中
一天之内只产生一个文件，以每天零点为准
收集数据
&&程序
put hdfs
* flume
* shell 脚本
处理数据
&& 预处理
* mr
* hive
&& 处理 需要对结果集，进行处理，数据格式（json,导入到RDBMS）
* mr
* 时间格式
2015-09-12T17:23:45
* hive
展示数据
报表
Jfreechar
