Hadoop学习笔记(2)-HDFS

2017-03-10 本文已影响20人丸蛋蟹

自行整理, 学习用途, 侵知删歉

NameNode内存分配

当一个NameNode运行的时候, 所有的metaData都储存在RAM中(快速响应);

item(150 - 200 bytes):
-文件名, 权限等
-每一个block的信息

为什么HDFS适合少却大的文件: 分出来的block比较少, 利于查找读取

HDFS中的文件有所有者, 组, 权限. [和linux类似]
文件权限

读	写	执行
r	w	x

对于路径, x意味着他的children可以访问
HDFS believes you are who you tell it you are
HDFS的安全性包括授权(authorization), 但是却比较基础, 如果要加强, 可以集成Kerberos

HDFS不是一个通用文件系统, 所以需要特殊的软件访问.
客户端用户一般可以用hadoop fs command指令访问HDFS.

$ hadoop fs -cat /usr/fred/sales.txt

$ hadoop fs -mkdir /reports

$ hadoop fs -put sale.txt /reports
$ hadoop fs -get /reports/sales.txt

$ hadoop fs -ls /

$ hadoop fs -rm /reports/sales.txt