记录hadoop一次奇怪的问题操作
2022-06-11 本文已影响0人
万事万物
今天早上,我启动Hadoop ,然后访问 9870端口,显示的却是这样的
image.png
刚开始,我以为我哪里配置有问题,于是查看日志,
例如出现这种错误,
image.png
我也尝试过去解决,这里并不是Linux 上 /tmp/logs 的目录 而是hadoop中的。
解决方式也很简单
hadoop fs -mkdir -p /tmp/logs
重新启动,即可。
注意:上面的错误还不是重点,错误确实不报了,但是重启之后,反问还是这样。
然后我将 namenode 进行了重新格式化
格式化方式可以参考:https://blog.csdn.net/xiaonuoyo/article/details/123602386
我也为我解决了,但是并没有,重启之后,还是无法正常显示。
最后我把集群上的Hadoop删了,重新装了一遍,启动起来依旧如此,我此时有点崩溃(这时候,到饭点了,我去吃了一个饭,然后回来打了一会游戏,然后睡了一会午觉,然后就下午四点了)。起来之后我又继续解决,我重新整理思路。
- 首先检查hdfs是否可以用
我这里使用命令的方式向hdfs里插入一些数据
hadoop fs -put 2022-06-03 /origin_data/gmall/log/topic_log/2022-06-03
进行查看
[atguigu@hadoop102 bin]$ hadoop fs -ls /origin_data/gmall/log/topic_log
Found 1 items
drwxr-xr-x - atguigu supergroup 0 2022-06-11 17:15 /origin_data/gmall/log/topic_log/2022-06-03
[atguigu@hadoop102 bin]$ hadoop fs -ls /origin_data/gmall/log/topic_log
发现能正常使用,我这里我确定hadoop确实没有问题。
- 检查yarn是否正常,
界面是正常的
image.png
hive 也能正常操作
image.png
创建一张表,并插入一些数据
image.png
数据是使用python 生成的,不建议大家这么插入数据,作为一个大数据,这种方式比较low。效率还低
image.png
已经生成一个 mr任务,说明hadoop集群本身也没有问题。
- 也许跟浏览器有关系
正常的界面
image.png
不正常界面
image.png
我也是突然想到,于是我用其他浏览器访问一下。
image.png
其他浏览器访问是正常的,我最开始用的是Chrome访问,说明Chrome才是问题的元凶。
image.png
我使用chrome 访客模式访问是正常的*(其他账号应该也是可以的),最后把问题排查又缩小了,说明是我这个账号的问题。
我也没发现我账号那里设置有问题,所以问题没有从根本上解决。
最后
除了使用以上方式排查问题外,我也使用过其他方式
- 检查端口是否正常访问(虽然是废话)
- 查看防火墙是否关闭
- ntp 是否正常