Hadoop源码编译

1、使用rz命令将软件包上传到software文件夹下面

2、使用tar -xzvf命令将hadoop源码包解压，切换到解压好的文件夹查看文件

3、查看里面的BUILDING.txt文件，里面有编译的要求

java的安装

1、使用rz命令将jdk上传到/usr/java目录下

2、输入tar  -xzvf将下载好的jdk文件进行解压

[root@hadoop000 java]# tar  -xzvf   jdk-8u45-linux-x64.gz

3、由于解压后的文件夹名字过长，可以使用mv命令将文件夹名字修改为jdk

4、修改配置文件/etc/profile，将JAVA_HOME和PATH添加进去，保存

export JAVA_HOME=/usr/java/jdk

export PATH=$JAVA_HOME/bin:$PATH

5、输入命令   [root@hadoop000 java]#source  /etc/profile   让配置文件生效

6、最后输入java  -version，出现下图信息则显示安装成功

Maven安装

1、使用rz命令将jdk上传到/opt/software目录下

2、输入unzip命令将下载好的jdk文件进行解压

3、修改配置文件/etc/profile，将MAVEN_HOME和PATH添加进去，保存

export MAVEN_HOME=/opt/software/apache-maven-3.3.9

export PATH=$MAVEN_HOME/bin:$JAVA_HOME/bin:$PATH

4、 输入命令   [root@hadoop000 software]#source  /etc/profile   让配置文件生效

5、切换到解压好的maven文件夹的conf目录下，查看setting.xml文件，设置maven的仓库地址，默认为家目录下面的.m2文件夹

6、mvn -version查看是否安装成功

[root@hadoop001 ~]# mvn -version

Apache Maven 3.3.9 (bb52d8502b132ec0a5a3f4c09453c07478323dc5; 2015-11-11T00:41:47+08:00)Maven home: /opt/software/apache-maven-3.3.9Java version: 1.8.0_45, vendor: Oracle CorporationJava home: /usr/java/jdk1.8.0_45/jreDefault locale: en_US, platform encoding: UTF-8OS name: "linux", version: "2.6.32-431.el6.x86_64", arch: "amd64", family: "unix"

Findbugs安装

1、rz将安装上传，unzip命令解压

2、修改配置文件/etc/profile，将FINDBUGS_HOME和PATH添加进去，保存

export FINDBUGS_HOME=/opt/software/findbugs-1.3.9

export PATH=$FINDBUGS_HOME/bin:$MAVEN_HOME/bin:$JAVA_HOME/bin:$PATH

3、输入命令   [root@hadoop000 software]#source  /etc/profile   让配置文件生效

4、输入findbugs -version查看安装是否成功

[root@hadoop000 software]# findbugs -version

1.3.9

Protobuf安装

1、rz将安装上传，使用tar -xzvf命令解压

2、使用[root@hadoop001 software]# cd protobuf-2.5.0切换到安装目录下

3、[root@hadoop001 protobuf-2.5.0]# yum install -y gcc gcc-c++ make cmake使用yum下载

4、[root@hadoop001 protobuf-2.5.0]# ./configure --prefix=/usr/local/protobuf

5、[root@hadoop001 protobuf-2.5.0]# make && make install

6、修改配置文件/etc/profile，将PROTOC_HOME和PATH添加进去，保存

export PROTOC_HOME=/usr/local/protobuf

export PATH=$PROTOC_HOME/bin:$FINDBUGS_HOME/bin:$MAVEN_HOME/bin:$JAVA_HOME/bin:$PATH  

下载其他依赖

yum install -y openssl openssl-devel svn ncurses-devel zlib-devel libtool

yum install -y snappy snappy-devel bzip2 bzip2-devel lzo lzo-devel lzop autoconf automake

编译

1、切换到Hadoop源码的文件夹下，然后执行编译命令，开始下载maven仓库

[root@hadoop001 sourcecode]# cd hadoop-2.8.1-src

[root@hadoop001 hadoop-2.8.1-src]# mvn clean package -Pdist,native -DskipTests -Dtar

clean是将之前的清楚，-DskipTests是跳过测试，-Dtar是将编译好的压缩tar.gz文件

如下图所示表示编译成功

编译好的文件在/opt/software/hadoop-2.8.1-src/hadoop-dist/target/hadoop-2.8.1.tar.gz，我们切换到这个目录下，使用ll命令查看hadoop-2.8.1.tar.gz文件