大数据生态圈技术整理
2018-09-10 本文已影响0人
非常强壮的蚂蚁
组件类型 (本文还未写完)
文件系统
- HDFS
调度系统
- Oozie
- Azkaban
- Airflow
管理系统
- Zookeeper
- YARN
- Ambari
- Cloudera Manager
- Hue
数据存储
- HDFS
- HBase
- CarbonData
- Accumulo
消息系统
- Kafka
- RabbitMQ
- ActiveMQ
数据收集
- Logstash
- Flume
- NIFI
- Fluentd
数据处理
- Spark
- Spark Streaming
- Storm
- Flink
数据同步
- Sqoop
- NIFI
- DataX
- Distcp
数据血缘
- Atlas
- Falcon
查询引擎
- Phoenix
- Hive
- Pig
- SparkSQL
- Solr
- Elasticsearch
- Impala (以下为实时查询引擎)
- Shark
- Druid
- Drill
- Presto
- Stinger
分析报告
- Kylin
- Zeppelin
- Superset
- Cboard
- Druid
机器学习
- Tensorflow
- Mahout
- Keras
- Theano
- DSSTNE
大数据集群安全
- Kerberos
- Ranger
- Sentry
- Knox
账号统一(多租户)
- FreeIPA
- OpenLdap
- ApacheAD
hadoop 组件.jpg
组件介绍
- HDFS
1、组件简介
Hadopp 分布式文件系统(HDFS)通常被认为是Hadoop 生态系统中其余部分的基础。
2、运行原理
3、适用场景
4、性能优化
5、坑与埋坑
- Oozie
- Azkaban
- Zookeeper
- YARN
集群资源调度器, 提供集群计算资源(CPU、内存) 资源的集中管控和调度, 提供任务进度的集中管控, 支持多种分布式计算框架, 含 Spark、MapReduce、Tez 、Impala等, 可以有效提升集群机器资料利用率。
1、组件介绍(RM、NM、JHS为缩写)
ResourceManager: RM 守护进程负责处理应用提交请求，分配ApplicationMaster任务，以及执行资源管理策略。
JobHistory Server：JHS 负责跟踪在Yarn上运行的所有作业历史，包括运行时间、任务数量、写入HDFS的数据量等作业的度量。
NodeManager： NM 守护进程负责执行Yarn容器(container) 中作业的各个任务，每个任务由虚拟内核(CPU资源)和RAM资源组成，并可以按照各自需要申请一定数量的虚拟内核和内存，其最小值，最大值和增幅有RM 定义。每个任务作为独立的进程在各自的JVM中运行。
NM 的一个重要作用是，启动名为ApplicationMaster的特殊任务，该任务负责管理指定应用的所有任务状态。Yarn将资源管理和任务管理区分开，这样每个作业都能执行各自的ApplicationMaster，从而能够在大型集群中更好的扩展Yarn应用。
- Ambari
- Cloudera Manager
- Hue
- HBase
- CarbonData
- Kafka
- RabbitMQ
- ActiveMQ
- Logstash
- Flume
- NIFI
- Fluentd
- Spark
- Spark Stream
- Storm
- Flink
- Sqoop
- NIFI
- DataX
- Distcp
- Phoenix
- Hive
Apache Hive 项目最早是由Facebook发起，其发现分析人员缺乏Java编程技能，导致MapReduce框架适用性大打折扣。但大部分分析人员具有SQL技能，因此Facebook发起了Hive项目，使用MapReduce作为执行引擎的SQL抽象层。Hive 主要由Metastore、HiveServer2、Metastore Server、HCatalog组成。
Metastore: Metastore 数据库是一个包含所有Hive元数据(如：表、库、列、数据类型等信息)的关系型数据库。这种信息在访问HDFS时将数据结构化，也被称为“读模式”(schema on read)。
Metastore Server: Hive Metastor Server 是处于Hive客户端和Metastore数据库之间的一个守护进程，它提供了一个安全层，用于防止客户端拥有HiveMetastore的数据凭证。
HiveServer2: HiveServer2 是客户端使用Hive的主入口。HiveServer2 兼容JDBC和ODBC客户端。
HCatalog: HCatalog 是一系列帮助非Hive框架访问Hive元数据的库，例如Pig用户可以用HCatalog读取与HDFS中给定目录相关的模式信息。WebHCat Server 是一个向客户端提供REST接口的守护进程，使客户端能够访问HCatalog的api。
- Pig
- SparkSQL
- Solr
- Elasticsearch
- Impala
- Shark
- Druid
- Drill
- Presto
- Stinger
- Kylin
- Zeppelin
- Superset
- Cboard
- Druid
- Tensorflow
- Mahout
- Keras
- Theano
- DSSTNE
