Hadoop 总结 三 hadoop目录结构以及运行模式

Hadoop 总结 三 hadoop目录结构以及运行模式

3.1 hadoop目录结构

#查看目录
ll
总用量 52
drwxr-xr-x. 2 atguigu atguigu  4096 5月  22 2017 bin
drwxr-xr-x. 3 atguigu atguigu  4096 5月  22 2017 etc
drwxr-xr-x. 2 atguigu atguigu  4096 5月  22 2017 include
drwxr-xr-x. 3 atguigu atguigu  4096 5月  22 2017 lib
drwxr-xr-x. 2 atguigu atguigu  4096 5月  22 2017 libexec
-rw-r--r--. 1 atguigu atguigu 15429 5月  22 2017 LICENSE.txt
-rw-r--r--. 1 atguigu atguigu   101 5月  22 2017 NOTICE.txt
-rw-r--r--. 1 atguigu atguigu  1366 5月  22 2017 README.txt
drwxr-xr-x. 2 atguigu atguigu  4096 5月  22 2017 sbin
drwxr-xr-x. 4 atguigu atguigu  4096 5月  22 2017 share

3.2 重要目录

bin:存放Hadoop相关服务进行的脚本

etc:Hadoop配置文件目录,存放Hadoop配置文件

lib:存放Hadoop的本地库(对数据进行压缩解压缩功能)

sbin:存放启动或者停止Hadoop相关服务的脚本

share:存放Hadoop的依赖jar包,文档,官方案例

Hadoop的运行模式

Hadoop运行模式包括:本地模式,伪分布式,以及完全分布式模式

4.1 本地运行模式

以官方案例Wordcount为例

1. 在hadoop的安装目录下面创建一个wcinput文件夹

   mkdir wcinput
   

2. wcinput文件下创建一个word.txt文件

   touch word.txt
   

3. 编辑文件内容 增加任意单词

4. 回到hadoop的安装目录,执行命令

   hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount wcinput wcoutput
   

5. 查看结果

   cat wcinput/part-r-00000
   

   可以从结果中看到对单词出现次数的统计,并且按照但是字母的顺序进行排序过.