程序员

初识Hadoop之HDFS - Java API篇

2018-12-18  本文已影响0人  名字想好没

原文地址: https://itweknow.cn/detail?id=55,欢迎大家访问。

准备工作

  • 一个maven项目
  • 一台运行着hadoop的linux机器或者虚拟机,当然了hadoop集群也可以,如果你还没有的话可以戳这里。

项目依赖

调用HDFS提供的Java API我们需要依赖hadoop-commonhadoop-hdfs两个包,junit是用方便我们测试使用的。

<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-common</artifactId>
    <version>2.8.5</version>
</dependency>

<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-hdfs</artifactId>
    <version>2.8.5</version>
</dependency>

<dependency>
   <groupId>junit</groupId>
   <artifactId>junit</artifactId>
   <version>4.12</version>
</dependency>

Java API

为了方便起见,我这里使用了Junit来进行测试,我们主要是通过org.apache.hadoop.fs.FileSystem这个类来操作HDFS,我们可以将获取FileSystem的代码放到@Before里面。

FileSystem fs = null;
Configuration configuration = null;

@Before
public void init() throws Exception {
    configuration = new Configuration();
    configuration.set("fs.defaultFS", "hdfs://192.168.142.9:9000");
    // hdfs也是有一套权限体系的。
    // 这边为了可以在windows环境下测试,设置一下用户。
    fs = FileSystem.get(new URI("hdfs://192.168.142.9:9000"), configuration, "root");
}
@Test
public void read() throws IOException {
    // 文件地址。
    URI uri = URI.create("/test/test.txt");
    // 用于接收读取的数据流。
    FSDataInputStream in = null;
    try {
        in = fs.open(new Path(uri));
        // 最后的一个boolean类型的参数是指是否在调用结束后关闭流,我们这里选择在finally里面手动关闭。
        IOUtils.copyBytes(in, System.out, 4096, false);
    } finally {
        IOUtils.closeStream(in);
    }
}

不出意外的话,你可以在控制台看到你指定文件的内容。在这一步我遇到一个问题,就是无法直接在windows下操作HDFS,具体的解决方法可以参照这篇文章FSDataInputStream.seek()方法可以实现从文件输入流的任意一个绝对位置读取文件内容,比如我们可以在上面代码中添加如下的内容来实现在控制台重复打印文件内容。

in.seek(0);
IOUtils.copyBytes(in, System.out, 4096, false);
@Test
public void mkdir() throws IOException {
    fs.mkdirs(new Path("/test/api"));
}
@Test
public void ls() throws IOException {
    FileStatus[] fileStatuses = fs.listStatus(new Path("/"));
    if (null == fileStatuses || fileStatuses.length == 0) {
        return;
    }
    for (FileStatus fileStatus : fileStatuses) {
        System.out.println(fileStatus.getPath() + "   " + fileStatus.getPermission());
    }
}
public abstract boolean delete(Path var1, boolean var2) throws IOException;

我们可以看到这个方法有两个参数,第一个参数很好理解,就是我们要删除的目录或者文件的地址。那么第二个Boolean类型的参数呢,如果删除的是文件或者空目录这个参数实际上是会被忽略的,如果删除的是非空目录,只有在这个参数值为true的时候才会成功删除。

@Test
public void delete() throws IOException {
    fs.delete(new Path("/test/api"), false);
}
@Test
public void deleteNonEmptyDir() throws IOException {
    fs.delete(new Path("/test"), true);
}
@Test
public void create() throws IOException {
    FSDataOutputStream out = null;
    try {
        out = fs.create(new Path("/test/api/test.txt"));
        out.writeChars("hello hdfs.");
    } finally {
        IOUtils.closeStream(out);
    }
}

文件创建好后,可以通过append()方法在文件末尾添加内容。

@Test
public void append() throws IOException {
    FSDataOutputStream out = null;
    try {
        out = fs.append(new Path("/test/api/test.txt"));
        out.writeChars("hello hdfs.");
    } finally {
        out.close();
    }
}
@Test
public void copyFromLocal() throws IOException {
    fs.copyFromLocalFile(new Path("d:/local.txt"), new Path("/test/api"));
}
@Test
public void copyToLocal() throws IOException {
    fs.copyToLocalFile(new Path("/test/api/local.txt"), new Path("E:/"));
}

通常情况下这些API基本上够我们使用了,如果后续我有使用到其他的API会及时的更新到本篇文章中。源码戳这里

上一篇 下一篇

猜你喜欢

热点阅读