大数据组件编译命令
2018-12-29 本文已影响0人
_JiangXin
每次换一次电脑或虚拟机都要重新编译各个项目，很麻烦还总有坑，这里记录一下。
Hadoop
- 从git上clone代码到本地
- 按照hadoop下的buliding.txt文件安装相关的依赖和库
- 修改pb的版本(可能需要修改的步骤，若pb是2.5.0跳过这一步骤)
确定下linux 版本，在我们的虚拟机版本下被安装了pb，且pb版本不是2.5.0, 此时需要修改pb的版本，安装源码方式安装即可，相关链接：https://my.oschina.net/allman90/blog/486768
具体步骤:
wget https://[github.com/google](http://github.com/google)/protobuf/releases/download/v2.5.0/protobuf-2.5.0.tar.gz
tar -xzvf ./protobuf-2.5.0.tar.gz
cd protobuf-2.5.0
./configure
sudo su - （备注：切换到root下）
make
make install
- 替换 之前版本的protoc
在编译的proto包下，找到编译好的protoc，位置一般是在./protobuf-2.5.0/src/protoc，替换原先自带的protoc
5、编译hadoop源码
编译命令: mvn package -Pdist -DskipTests -Dzookeeper.version=3.4.6 -Djetty.version=6.1.26 -Dtar
Spark
Spark依赖的hive是自己维护的，所以要先编译hive包
进入项目 hive-1.2.1-spark2
mvn versions:set -DnewVersion=2.7.3
mvn versions:commit
${M2_HOME}/bin/mvn clean install -Pdist -Phadoop-2 -Dhadoop.version=2.7.3 -DskipTests -Dzookeeper.version=3.4.6 -Psources
检查.m2下面有对应版本的hive-exec.version.jar
然后再编译Spark
mvn clean install -Pyarn -Phadoop-2.7 -Dhadoop.version=$HADOOP_VERSION -Phive -Phive-thriftserver -DskipTests
Hive
mvn clean package -Pdist -Phadoop-2 -DskipTests -Dzookeeper.version=3.4.6
