webhdfs上传与读取文件

1. webhdfs服务

• 修改hdfs配置文件
  编辑hdfs-site.xml配置文件，添加下列属性配置。

<property>
     <name>dfs.webhdfs.enabled</name>
      <value>true</value>
</property>
<property>
    <name>dfs.permissions</name>
    <value>false</value>
</property>

Hadoop REST API -- WebHDFS(上)

2. 启动httpfs服务
   编辑core-site.xml配置文件，添加下列属性配置

<property>
   <name>hadoop.proxyuser.#HTTPFSUSER#.hosts</name>
   <value>*</value>
 </property>
 <property>
   <name>hadoop.proxyuser.#HTTPFSUSER#.groups</name>
   <value>*</value>
 </property>

其中，HTTPFSUSER为hdfs部署启动用户，根据实际修改，本次部署为root用户。

• 重启hdfs和启动httpfs服务
  httpfs.sh start
  参考：
  hadoop2.5.2配置httpfs服务

3. httpfs方式上传文件与下载文件

• 命令方式上传文件

curl -i -X PUT -T tif/3857t.tif "http://192.168.1.*:14000/webhdfs/v1/tmp/test.json?op=CREATE&data=true&user.name=root" -H "Content-Type:application/octet-stream"

其中，tif/3857t.tif，为当前文件夹下的文件夹与文件；
参数-i，表示显示response信息。

• 命令方式查看与下载文件

curl -i "http://192.168.1.*:14000/webhdfs/v1/tif/3857t.tif.ovr?op=open&user.name=root" --output 3857t.tif.ovr
curl "http://192.168.1.*:14000/webhdfs/v1/tif/3857t.tif?op=LISTSTATUS&user.name=root"

• 浏览器方式访问文件

http://192.168.1.47:14000/webhdfs/v1/tif/3857t.tif.ovr?op=open&user.name=root
http://192.168.1.47:14000/webhdfs/v1/tif/3857t.tif?op=LISTSTATUS&user.name=root