Hadoop - 1介绍、环境搭建及配置

2017-07-28 本文已影响38人 hongXkeX

big data介绍

bigdata:

0 分布式
由分布在不同主机上的进程协同在一起，才能构成整个应用。
（同一台主机上的不用进程，他们之间的交互也属于分布式）

1 海量数据

1 bit = 1 位
1 Byte = 8 bit
1 KB = 1024 B
1 M = 1024 K
1 G = 1024 M
1 T = 1024 G
1 P = 1024 T
1 E = 1024 P
1 Z = 1024 E
1 Y = 1024 Z

2 存储（大数据需要解决的问题1）

分布式存储（分割开来存储）
dfs (distributed file system 分布式文件系统）

3 计算（大数据需要解决的问题2）

分布式计算
mapreduce : map（映射） + reduce（化简）

4 hadoop （大象）

创始人Doug Cutting
Apache 下开源软件
是一个计算框架特点：
- 分布式（将众多计算机节点资源协同起来来完成计算工作）
- 可靠性（单个节点的故障不会影响整个系统的运行）
- 可伸缩（任何节点的增加和删除都不会影响整个系统的运行即可随时增加或减少节点）
hadoop擅长领域：搜索引擎、海量数据存储

Hadoop官网点我查看

Hadoop 里面的几个点：

介绍
是分布式计算大规模数据集框架，使用简单编程模型，可从单个服务器扩展到几千台主机，每台机器都提供了本地计算和存储，不需要使用硬件来获得高可用性，类库在应用层处理检测并处理故障，因此在集群之上获得HA服务

HDFS
hadoop distributed file system （GFS）
hadoop 分布式文件系统
去IOE
（IBM + Oracle + EMC）
（用廉价设备）
MapReduce
MR
（映射和化简，编程模型）

大数据广泛应用：

推荐系统
（爱奇艺推荐京东推荐 --> 精准营销）
大数据是为企业创造价值的，它不像其他的软件，是企业的成本、负担。

大数据 4V（4个特征）：

Volumn 题量大
（上P级的数据一般是日志数据）
Variaty 样式多
（结构化数据）
Velocity // 速度快
Valueless // 价值密度低

大数据面试考核考很多Java基础！！！

推荐看的书籍：

目前重点需要看的书：

Hadoop权威指南(第3版) 修订版(带目录书签) 中文PDF高清晰.png

书1.png

书2.png

书3.png

比较前沿的东西就别指望有中文版翻译过来之后可能就晚了而且翻译的质量有的很差！要去看英文原版
（要掌握计算机专业英语）

环境搭建

hadoop的安装：

安装jdk
- JAVA_HOME
- PATH
安装hadoop
- tar hadoop.tar.gz
- 配置HADOOP_HOME
- PATH

hadoop 包含4个模块：

Hadoop Common: The common utilities that support the other Hadoop modules.
（支持其他模块的工具模块为其他模块提供功能）
Hadoop Distributed File System (HDFS™):
A distributed file system that provides high-throughput access to application data.
（一个对应用层数据提供高吞吐量访问的分布式文件系统，解决存储问题）
Hadoop YARN:
（Yet Another Resource Negotiator，另一种资源协调者，是资源调度框架）
A framework for job scheduling and cluster resource management.
（作业调度和集群资源管理的框架，解决分布式计算问题）
Hadoop MapReduce:
A YARN-based system for parallel processing of large data sets.
（一个基于yarn系统的对大数据集进行并行处理的编程模型技术）
（编程模型 map阶段 + reduce阶段）

hadoop至少有5个进程：

HDFS对应的进程：

NameNode 名称结点（简称NN）
- 存放目录
- 是核心结点，最重要
- 要登录到远程机器上，把其进程启动起来
DataNode 数据结点（简称DN）
- 存放数据
SecondaryNameNode 辅助名称结点（简称2NN）
- 存放备份目录

NN-1

NN-2

NN-3

NN-4

YARN对应的进程：

ResourceManager 资源管理器（简称RM）
NodeManager 结点管理器（简称NM）

配置Hadoop：

Standalone (or local) mode 独立（本地）模式
- 默认就是本地模式（不用配置）
- 没启动任何java进程
- 所有的程序运行在一个jvm中，不需要启动hadoop进程，应用的文件系统就是本地文件系统（查看文件系统命令：hadoop fs -ls）
- There are no daemons running and everything runs in a single JVM. Standalone mode is suitable for running MapReduce programs during development, since it is easy to test and debug them.（用于测试和开发环境）
Pseudodistributed mode 伪分布式模式
完全类似于完全分布式，但是只有一个结点
- 配置SSH（安全登录）
  名称结点NN要登录到远程机器上要启动其进程无密登录-->方便
  - 安装ssh：sudo apt-get install ssh
  - 生成密钥对：ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
  - 查看生成的公私密钥：cd ~/.ssh
  - 导入公钥数据到授权库中：
  - cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
  - 登录到localhost：ssh localhost
  - 想从A机想登录到B机器上就要把A的公钥传给B：在B机上nc -l 8888 > id_rsa.pub.s100（其中s100是A机器的名字）在A机上：nc s101 8888 < id_rsa.pub（其中s101是B机器的名字）然后在B机器上查看id_rsa.pub.s100 已在B中在B中将id_rsa.pub.s100导入其授权库中：cat id_rsa.pub.s100 >> authorized_keys 然后在A机器中 ssh s101 登录成功！
  - 格式化hdfs文件系统（只格式化一次就好，不需要每次都格式化）：hadoop namenode -format
  - 启动所有进程：start-all.sh
  - 用jps命令查看下所有进程（RM NM NN DN 2NN 如果进程数不对，杀死所有进程：stop-all.sh )
  - 创建文件系统 hadoop fs -mkdir -p /user/ubuntu/data（ubuntu是用户名）然后查看文件夹：hadoop fs -ls -R（或 hadoop fs -ls）

伪分布式

安装ssh注意：
1 禁用wifi
2 关闭防火墙 (windows 控制面板中找）
3 client 能够访问外网 (ping www.baidu.com)
4 修改ubuntu的软件源 [/etc/apt/sources.list]
5 安装ssh：sudo apt-get install ssh
7 查看进程，是否启动了ssh服务：ps -Af | grep ssh
8 ...

其他注意：
在临时目录下别关机别重启重启必须重新格式化

启动所有进程：
start-all.sh 后用jps命令查看下所有进程若么没有5个进程（RM NM NN DN 2NN）则说明启动失败失败原因要去日志里面找 --> (路径：/hadoop/logs)

Fully distributed mode 完全分布式模式
Hadoop doesn’t actually distinguish between pseudodistributed and fully distributed modes
- 准备5台客户机
- 安装jdk
- 配置java相关环境变量（java_home、path）
- 安装hadoop
- 配置hadoop相关环境变量（hadoop_home、path）
- 安装ssh
- 配置文件
- 在集群上分发以上3个文件