HDFS 源码调试
2022-10-31 本文已影响0人
wayyyy
hadoop源代码：https://archive.apache.org/dist/hadoop/core/hadoop-3.2.2/hadoop-3.2.2-src.tar.gz
hadoop部署文件：https://archive.apache.org/dist/hadoop/core/hadoop-3.2.2/hadoop-3.2.2.tar.gz
这里代码和部署文件要匹配，都以3.2.2为例。
编译 hadoop 代码
TODO
部署
然后按照 HDFS 单节点环境搭建 部署。
使用 idea 远程调试
修改 ${HADOOP_HOME}/etc/hadoop/hadoop-env.sh 配置文件，在最后面加上：
export HADOOP_NAMENODE_OPTS="-agentlib:jdwp=transport=dt_socket,address=8888,server=y,suspend=y"
上面是我只想调试 namenode 代码，如果我想调试其他的，那么可以：
export HADOOP_DATANODE_OPTS="-agentlib:jdwp=transport=dt_socket,address=9888,server=y,suspend=y"
export YARN_RESOURCEMANAGER_OPTS="-agentlib:jdwp=transport=dt_socket,address=10888,server=y,suspend=y"
export YARN_NODEMANAGER_OPTS="-agentlib:jdwp=transport=dt_socket,address=10888,server=y,suspend=y"
修改之后，正常使用 ${HADOOP_HOME}/etc/sbin/start-dfs.sh 启动服务。
然后，使用 将与服务器一致版本的的代码导入到idea中, 导入完成,，不编译，不管报错信息，只要导入到idea , 等idea自己构建完就可以了。
配置远程连接：
image.png
image.png
image.png
参考资料
1、https://blog.csdn.net/S1124654/article/details/125522613
2、https://www.w3cschool.cn/article/96367176.html
