Hadoop伪分布式部署
2018-03-29 本文已影响0人
码戈
准备工具：CentOS-6.4-x86_64-bin-DVD1.iso；hadoop-2.7.3-src.tar.gz; jdk-8u151-linux-x64.tar.gz; apache-maven-3.0.5-bin.tar.gz; findbugs-1.3.9.tar.gz; protobuf-2.5.0.tar.gz
第一步：在虚拟机上安装Centos6.4系统，很简单，略过。
注意：配置网络使用桥接模式，与主机相同的网关和掩码，（Windows查询主机地址命令：ipconfig；Linux命令：ifconfig），红标位置可自行选择。curl命令查询是否联网成功，也可以用Windows命令行ping主机地址。
联网配置示例
curl查询语句示例
第二步：1.shell链接,Windows能ping通，基本设置一下就好。
2.关闭防火墙（一条命令的事：chkconfig iptables off）
3.禁用seLinux，如图
a
b
4.修改localhost，然后重启（reboot），如图
a
b
5.ssh免密登录，如图
示例代码
第三步：准备安装目录，在home目录下新建，tools，softwares，data目录
示例代码
第四步：在tools目录下，安装Windows上传资料的插件（yum install -y lrzsz）。然后输入命令（rz），可上传资料，上传JDK和Hadoop源码包
第五步：解压JDK到softwares目录下（tar -zxf jdk-8u151-linux-x64.tar.gz -C ../softwares/）,打开jdk目录，并打印路径（pwd），复制待用。（vim /etc/profile）修改环境变量，只需配置JAVA_HOME,如图（参考）。java -version 查看是否安装成功及版本
第六步：为了系统安全，需添加用户操作，不能一直使用root权限。(adduser)添加hadoop01，（chmod u+x /etc/sudoers）提升权限，（vim /etc/sudoers ）修改权限
示例代码
第七步：应该是进入Hadoop的正式安装了，根据官方文档按顺序进行安装http://hadoop.apache.org/docs/r2.7.5/hadoop-project-dist/hadoop-common/SingleCluster.html
（wget+下载地址）下载源码包或者直接上传可以。然后把 apache-maven-3.0.5-bin.tar.gz; findbugs-1.3.9.tar.gz; protobuf-2.5.0.tar.gz都上传到tools目录下。解压到softwares
安装MAVEM，FINDBUGS，步骤类似，配置环境变量，（source /etc/profile）刷新环境变量。
PROTOBUF安装较为方便（yum -y install autoconf automake libtool cmake ncurses-devel openss-devel lzo-devel zlib-devel gcc gcc-c++）直接自动安装
第八步：编译源码包（mvn package -Pdist,native, -DskipTests -Dstar）大约半小时
编译完成
第九步：修改hadoop的配置文件，可以一个个用vim改，也可以用notepad++远程连接方便修改
示例
hadoop-env.sh: export JAVA_HOME=/home/softwares/jdk1.8.0_151
core-site.xml: （记得在hadoop安装目录下新建 data/tmp存放数据）
hdfs-site.xml
mapred-site.xml
yarn-site.xml
第十步：你以为装好了吗？还是年轻啊。 （bin/hdfs namenode -format） 初始化hadoop
上面显示的都是没用的，要找到（18/03/29 06:07:54 INFO common.Storage: Storage directory /home/softwares/hadoop-2.7.3/data/tmp/dfs/name has been successfully formatted. ）这一句才算OK，一般在倒数几行。
启动Namenode和Datanode（ $ sbin/start-dfs.sh ）
登录125.221.225.201:50070界面管理器
125.221.225.201:8088 图形界面（要在Windows访问需在hosts文件添加主机地址）
