could only be replicated to 0 no

2021-07-19  本文已影响0人  邵红晓

问题详情

image.png

解决

此错误是由 HDFS 的块复制系统引起的,因为它无法在聚焦文件中制作特定块的任何副本。
本次错误就是原因4造成的
常见原因:
1、只有一个 NameNode 实例正在运行,并且它不处于安全模式
2、没有 DataNode 实例启动并运行,或者一些已经死了。(检查服务器)
3、Namenode 和 Datanode 实例都在运行,但是它们不能相互通信,这意味着 DataNode 和 NameNode 实例之间存在连接问题。
4、由于某些基于 hadoop 的网络问题,正在运行的 DataNode 实例无法与服务器通信(检查包含 datanode 信息的日志)
5、为DataNode实例配置的数据目录中没有指定硬盘空间或DataNode实例空间不足。(检查 dfs.data.dir // 删除旧文件(如果有)
6、dfs.datanode.du.reserved 中为DataNode 实例指定的预留空间大于空闲空间,这使得DataNode 实例知道没有足够的空闲空间。
7、DataNode 实例没有足够的线程(检查 datanode 日志和 dfs.datanode.handler.count=10 值)
8、数据权限传输问题,确保 dfs.data.transfer.protection 不等于“authentication”并且 dfs.encrypt.data.transfer 等于 true。

还请:
验证NameNode和DataNode服务的状态并查看相关日志
验证 core-site.xml 是否具有正确的 fs.defaultFS 值并且 hdfs-site.xml 是否具有有效值。
验证 hdfs-site.xml 具有 dfs.namenode.http-address.. 对于在 PHD HA 配置情况下指定的所有 NameNode 实例。
dfs.namenode.http-address.集群名称.nn1 hostname:50070
dfs.namenode.http-address.集群名称.nn2 hostname:50070
验证目录的权限是否正确

参考
https://stackoverflow.com/questions/36015864/hadoop-be-replicated-to-0-nodes-instead-of-minreplication-1-there-are-1

上一篇下一篇

猜你喜欢

热点阅读