Hadoop2.6.0的安装部署(伪分布式)
2016-10-28 本文已影响1653人
Tiny_16
本教程提供了从VMware的安装开始到hadoop的伪分布式安装，再到eclipse的安装配置的所有步骤，适合所有想入门hadoop的初学者。需要的工具可以到http://pan.baidu.com/s/1hstGdCg 密码：8gfn下载。
环境
- 操作系统:Ubuntu-16.04
- Hadoop版本:2.6.0
- JDK版本:1.8
虚拟机的安装
-
安装好VMware，打开VMware主界面，点击”创建新的虚拟机”
-
选择”自定义”然后下一步
-
直接下一步
-
选择”稍后安装操作系统”
-
选择”Linux”系统版本选择”Ubuntu 64位”
-
选择合适的位置安装(尽量不要使用中文路径)
-
配置好的电脑可以多分配处理器，不过就这样也暂时能跑
-
下一步
-
下一步
-
下一步
-
下一步
-
这里要选”将虚拟磁盘储存为单个文件”
-
下一步
-
点击”自定义硬件”，使用ISO映像文件选择Ubuntu的ISO文件的位置
-
完成后打开虚拟机，选择”中文简体”然后”安装Ubuntu”(如果打不开虚拟机，可能是BIOS中设置问题，具体需要搜索自己的电脑的品牌设置)
-
勾上”安装Ubuntu时下载更新”
-
点击现在安装，接着点继续
-
点击继续
-
点击继续
-
取个名字，设置好密码，点继续（我的主机名是tiny，为了方便你可以改成和我一样）
-
等待安装
-
安装完毕，重启就OK了
下载配置hadoop需要的各种工具
- 右键打开终端，先设置ROOT账户的密码
sudo passwd root
- 更新下apt
sudo apt-get update
-
安装VIM，习惯VI的可以不用安装
-
转到VMware的菜单点击虚拟机，选择"安装VMware tools"，系统会跳出一个VMware的安装包，拉到Home下（第一次可以跳不出，可以找到左边光盘的图标右键弹出，然后再点一次"安装VMware tools"）
- 解压到当前用户目录下(VMwareTools的版本会变,以具体安装时为准,用)
tar zxvf VMwareTools-XXXX-3228253.tar.gz -C /home/tiny
-
切换到当前用户目录，开始安装，这里一直输yes和按回车就好了
- 安装完后重启生效,现在就可以往虚拟机中直接传输文件和复制黏贴了,然后打开Ubuntu把压缩包拉倒home中备用(相关压缩包下载地址：http://pan.baidu.com/s/1bpLCFIR 密码：cd9a)
安装SSH配置，配置SSH无密码登录
- 安装SSH服务
sudo apt-get install openssh-server
- 先登录下ssh，输入密码
ssh localhost
- 再退出
exit
- 这样就有.ssh文件夹了，然后按下图操作中间一直回车就行了
cd ~/.ssh
ssh-keygen -t rsa
cat ./id_rsa.pub >> ./authorized_keys
5.测试免密登陆
ssh localhost
安装JDK
- 先创建文件夹准备放JDK
sudo mkdir -p /usr/lib/jvm
- 解压JDK到/usr/lib/jvm
sudo tar zxvf jdk-8u101-linux-x64.tar.gz -C /usr/lib/jvm - 配置环境变量
sudo vim /etc/profile - 最下面添加内容然后保存（VIM按a键进入输入模式，按esc键再输入:wq保存，别的具体操作可以自行搜索)
#set java environment
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_101
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:{JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
5.使其生效
source /etc/profile
6.测试结果
java
安装hadoop
- 解压hadoop
sudo tar zxvf hadoop-2.6.0.tar.gz -C /usr/local
- 重命名下hadoop文件夹方便配置
sudo mv /usr/local/hadoop-2.6.0/ /usr/local/hadoop - 配置hadoop环境变量
#set hadoop path
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
4.使其生效
source /etc/profile
5.获取hadoop文件夹权限(这里我的主机名是tiny,改为自己的主机名)
sudo chown -R tiny /usr/local/hadoop/
6.修改hadoop-env.sh,找到这一栏，修改JAVA_HOME
cd /usr/local/hadoop/etc/hadoop/
vim hadoop-env.sh
7.修改core-site.xml(在<configuration>标签里添加)
vim core-site.xml
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop/tmp</value>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
8.修改hdfs-site.xml
vim hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/data</value>
</property>
9.修改mapred-site.xml
mv mapred-site.xml.template mapred-site.xml
vim mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
10.修改 yarn-site.xml
vim yarn-site.xml
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
11.配置完回到主文件夹
12.格式化
hadoop namenode -format
成功的话，会看到 “successfully formatted” 和 “Exitting with status 0” 的提示，若为 “Exitting with status 1” 则是出错
13.先启动start-dfs.sh
sbin/start-dfs.sh
14.再启动start-yarn.sh
sbin/start-yarn.sh
15.查看jps
jps
安装eclipse
-
在 Ubuntu 中安装 Eclipse，可从 Ubuntu 的软件中心直接搜索安装，在桌面左侧任务栏，点击“Ubuntu软件中心”
-
在右上角搜索栏中搜索 eclipse，在搜索结果中单击 eclipse，并点击安装
- 安装 Hadoop-Eclipse-Plugin
unzip -qo hadoop2x-eclipse-plugin-master.zip -d /home/tiny
sudo cp ~/hadoop2x-eclipse-plugin-master/release/hadoop-eclipse-plugin-2.6.0.jar /usr/lib/eclipse/plugins/
/usr/lib/eclipse/eclipse -clean
-
配置Hadoop-Eclipse-Plugin
在继续配置前请确保已经开启了 Hadoop。
第一步：选择 Window 菜单下的 Preference。
此时会弹出一个窗体，窗体的左侧会多出 Hadoop Map/Reduce 选项，点击此选项，选择 Hadoop 的安装目录
第二步：切换 Map/Reduce 开发视图，选择 Window 菜单下选择 Open Perspective -> Other（CentOS 是 Window -> Perspective -> Open Perspective -> Other），弹出一个窗体，从中选择 Map/Reduce 选项即可进行切换。
第三步：建立与 Hadoop 集群的连接，点击 Eclipse软件右下角的 Map/Reduce Locations 面板，在面板中单击右键，选择 New Hadoop Location。
在跳出来的面板里改成下图的设置
可以直接到看HDFS的文件结构了
