Flink学习笔记之二编译源码

2019-03-18 本文已影响2人天火燎原_e548

1.git 下载源码

git clone https://github.com/apache/flink.git

公司目前使用的是1.5.0版本，所以切换到release-1.5.0

git checkout release-1.5.0

2.导入IDE

ItelliJ IDEA-> open

导入之后，Profile不要选（感觉会有这个红色xx），maven配置公司的仓库，或者外网阿里云，在~/.m2/setting.xml文件里面

3.编译

使用命令 mvn clean install -Dmaven.test.skip=true

3.1 com.mapr.hadoop:maprfs:5.2.1-mapr找不到

编译之后，会出现各种错误，首先碰到flink-mapr-fs模块下面的依赖jar包com.mapr.hadoop:maprfs:5.2.1-mapr找不到。

下载地址：

https://repository.mapr.com/nexus/content/groups/mapr-public/com/mapr/hadoop/maprfs/5.2.1-mapr/maprfs-5.2.1-mapr.jar

执行命令：

mvn install:install-file -DgroupId=com.mapr.hadoop -DartifactId=maprfs -Dversion=5.2.1-mapr -Dpackaging=jar -Dfile=maprfs-5.2.1-mapr.jar

导入本地仓库

重新执行

mvn clean install -Dmaven.test.skip=true -rf :flink-mapr-fs

会跳过前面，直接从flink-mapr-fs模块开始

3.2 mapr包下面的org.apache.hadoop.fs找不到

按道理不会找不到，但是报错，把依赖添加进去。

flink-filesystems/flink-mapr-fs/pom.xml里面添加依赖

<groupId>org.apache.hadoop</groupId>

<artifactId>hadoop-common</artifactId>

<version>${hadoop.version}</version>

</dependency>

3.3 kafka-schema-registry-client-3.3.1.jar找不到

下载地址

http://packages.confluent.io/maven/io/confluent/kafka-schema-registry-client/3.3.1/kafka-schema-registry-client-3.3.1.jar

执行命令

mvn install:install-file -DgroupId=io.confluent -DartifactId=kafka-schema-registry-client -Dversion=3.3.1 -Dpackaging=jar -Dfile=kafka-schema-registry-client-3.3.1.jar