2023-11-13 测试任务并发大小对HADOOP集群的性能影

集群使用CDH5.16.1版本。hadoop2.6.0 spark1.6 hive1.1
规模290节点 ，单台分配384G内存，48VCORE （内存:CORE比 8:1）
namenode的RPC队列拆分为对应客户端连接使用的RPC队列端口8020，和内部上报与心跳检测Service RPC队列端口8022。

涉及参数
dfs.namenode.handler.count = 200
dfs.namenode.service.handler.count = 120 有可能这里有问题，两个指标应该一样。

任务使用

spark.memory=32G
spark.cores=4
maxexecutor = 120
资源使用动态资源控制。

并发3个以上这类任务，集群8022端口RPC队列长度经常打满。 和其并行的还有很多规模小一些任务。