常见大数据技术架构

hadoop：大数据分布式架构，主要包括HDFS + MapReduce。

hive：面向统计计算的，供数据分析人员使用，具有类似sql的执行引擎（开源hue可用于执行sql），其本质是将sql转换为MapReduce任务，hive自身不存储数据，存储采用hdfs。

hbase：面向实时查询的，面向编程人员，是面向列的数据库，同时也是kv（NoSQL）型数据库。

----

Sqoop：一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。

hue：Hue是cdh专门的一套web管理器，它包括3个部分hue ui，hue server，hue db。hue提供所有的cdh组件的shell界面的接口。你可以在hue编写mr，查看修改hdfs的文件，管理hive的元数据，运行Sqoop，编写Oozie工作流等大量工作。