HDFS配置
2018-10-22 本文已影响0人
GoofyWang
| 属性名 | 含义 | 默认配置 |
|---|---|---|
| dfs.nameservices | 为namenode集群定义一个services name | ns1 |
| dfs.ha.namenodes.ns1 | nameservice 包含哪些namenode，为各个namenode起名 | nn1,nn2 |
| dfs.namenode.rpc-address.ns1.nn1 | 名为nn1的namenode 的rpc地址和端口号，rpc用来和datanode通讯 | master:8020 |
| dfs.namenode.rpc-address.ns1.nn2 | 名为nn2的namenode 的rpc地址和端口号，rpc用来和datanode通讯 | slave1:8020 |
| dfs.namenode.http-address.ns1.nn1 | 名为nn1的namenode 的http地址和端口号，web客户端 | master:50070 |
| dfs.namenode.http-address.ns1.nn2 | 名为nn2的namenode 的http地址和端口号，web客户端 | slave1:50070 |
| dfs.namenode.shared.edits.dir | namenode间用于共享编辑日志的journal节点列表 | qjournal://master:8485;slave1:8485;slave2:8485/ns1 |
| dfs.journalnode.edits.dir | journalnode 上用于存放edits日志的目录 | /home/hadoop/xinjian/hadoop-2.9.0/tmp/data/dfs/jn |
| dfs.client.failover.proxy.provider.ns1 | 客户端连接可用状态的NameNode所用的代理类 | org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider |
| dfs.ha.fencing.methods | HDFS的HA功能的防脑裂方法。可以是内建的方法(例如shell和sshfence)或者用户定义的方法。 建议使用sshfence(hadoop:9922)，括号内的是用户名和端口，注意，这需要NN的2台机器之间能够免密码登陆 fences是防止脑裂的方法，保证NN中仅一个是Active的，如果2者都是Active的，新的会把旧的强制Kill。 | sshfence |
| dfs.ha.fencing.ssh.private-key-files | 密钥认证文件 | /home/hadoop/.ssh/id_rsa |
| dfs.ha.automatic-failover.enabled | 是否开启自动故障转移。建议开启 | true |
| dfs.replication | 配置系统自动数据备份数量 | 3 |
| dfs.webhdfs.enabled | 是否开启WEBHDFS | true |
| dfs.journalnode.http-address | JournalNode的HTTP地址和端口。端口设置为0表示随机选择。 | 0.0.0.0:8480 |
| dfs.journalnode.rpc-address | JournalNode RPC服务地址和端口 | 0.0.0.0:8485 |
| ha.zookeeper.quorum | ha使用的zk地址和端口信息 | master:2181,slave1:2181,slave2:2181 |
| dfs.permissions.enabled | 是否在HDFS中开启权限检查。 | true |
| dfs.namenode.acls.enabled | 是否在hdfs开启acl，默认为false | true |
