Flume在企业大数据仓库中数据收集架构

数据仓库架构

• 文件数据和关系数据

  
  

• 企业大数据仓库之数据收集架构||linux

  
  

• 企业大数据仓库之数据收集架构||window

  
  

总结

• 实时收集文件框架有很多，但是其中Flume使用最广泛，主要由于其架构设计和使用简单清晰明了，又支持Hadoop存储。
• Flume是针对日志文件数据进行实时收集的框架，一个程序其实就是一个Flume Agent，包含三个部分Source、Channel及Sink。
• 在企业中针对实时分析统计要求高，通常使用Flume进行实时收集文件数据，再给Kafka类似的消息队列框架进行可靠性存储，最后又实时分布式框架进行计算；当然也是用Flume将数据收集以后放入HDFS中或检索框架Solr等中。