YARN-概览
| 指标名称 |
指标单位 |
指标含义 |
| NumActiveNMs |
个 |
Active的节点个数 |
| NumDecommissionedNMs |
个 |
Decommissioned的节点个数 |
| NumLostNMs |
个 |
Lost节点个数 |
| NumUnhealthyNMs |
个 |
Unhealthy节点个数 |
| AllocatedVCores |
核 |
已分配的CPU 核数 |
| ReservedVCores |
核 |
当前在virtual cores保留的CPU |
| AvailableVCores |
核 |
可用CPU 核数 |
| PendingVCores |
核 |
虚拟核中等待调度程序完成的当前CPU请求 |
| AppsSubmitted |
个 |
Submitted应用总数 |
| AppsRunning |
个 |
Running应用总数 |
| AppsPending |
个 |
Pending 应用总数 |
| AppsCompleted |
个 |
Completed应用总数 |
| AppsKilled |
个 |
Killed应用总数 |
| AppsFailed |
个 |
Failed应用总数 |
| ActiveApplications |
个 |
Active应用总数 |
| running_0 |
个 |
运行时间小于60分钟的当前运行应用程序的数量 |
| running_60 |
个 |
运行时间在60到300分钟之间的当前运行应用程序的数量 |
| running_300 |
个 |
运行时间在300到1440分钟之间的当前运行应用程序的数量的应用总数 |
| running_1440 |
个 |
当前运行的应用程序的数量运行时间超过了1440分钟的应用总数 |
| AllocatedMB |
MB |
Allocated内存大小 |
| AvailableMB |
MB |
Available内存大小 |
| PendingMB |
MB |
当前内存请求(MB)，等待调度程序完成 |
| ReservedMB |
MB |
当前保留内存(MB) |
| AllocatedContainers |
个 |
Allocated容器个数 |
| PendingContainers |
个 |
Pending容器个数 |
| ReservedContainers |
个 |
当前保留的容器数量 |
| AggregateContainersAllocated |
个 |
已分配容器的总数 |
| AggregateContainersReleased |
个 |
容器释放总数 |
| ActiveUsers |
个 |
用户数 |
YARN-ResourceManager
| 指标名称 |
指标单位 |
指标含义 |
| RpcAuthenticationFailures |
个 |
身份验证失败的总数 |
| RpcAuthenticationSuccesses |
个 |
RPC 认证授权数 |
| RpcAuthorizationFailures |
个 |
RPC 认证授权数 |
| RpcAuthorizationSuccesses |
个 |
RPC 认证授权数 |
| ReceivedBytes |
bytes/s |
RPC 接收数据量 |
| SentBytes |
bytes/s |
RPC 发送数据量 |
| NumOpenConnections |
个 |
RPC 连接数 |
| RpcProcessingTimeNumOps |
次 |
RPC请求的次数(与RpcQueueTimeNumOps相同) |
| RpcQueueTimeNumOps |
次 |
RPC队列请求的次数（不太确定是不是在queue中的数目） |
| CallQueueLength |
个 |
RPC 队列长度 |
| RpcProcessingTimeAvgTime |
s |
RPC 平均处理时间 |
| RpcQueueTimeAvgTime |
s |
平均在队列时间(毫秒) |
| RpcAuthenticationFailures |
个 |
RPC 认证授权数 |
| RpcAuthenticationSuccesses |
个 |
RPC 认证授权数 |
| RpcAuthorizationFailures |
个 |
RPC 认证授权数 |
| RpcAuthorizationSuccesses |
个 |
RPC 认证授权数 |
| ReceivedBytes |
bytes/s |
RPC 接收发送数据量 |
| SentBytes |
bytes/s |
RPC 接收发送数据量 |
| NumOpenConnections |
个 |
RPC 连接数 |
| RpcProcessingTimeNumOps |
次 |
RPC 请求次数 |
| RpcQueueTimeNumOps |
次 |
RPC 请求次数 |
| CallQueueLength |
个 |
RPC 队列长度 |
| RpcProcessingTimeAvgTime |
s |
请求处理平均时间 |
| RpcQueueTimeAvgTime |
s |
平均队列处理时间 |
| YGC |
次 |
GC 次数 |
| FGC |
次 |
GC 次数 |
| FGCT |
s |
GC 时间 |
| GCT |
s |
GC 时间 |
| YGCT |
s |
GC 时间 |
| S0 |
% |
内存区域占比 |
| E |
% |
内存区域占比 |
| CCS |
% |
内存区域占比 |
| S1 |
% |
内存区域占比 |
| O |
% |
内存区域占比 |
| M |
% |
内存区域占比 |
| ThreadsNew |
个 |
JVM 线程数量 |
| ThreadsRunnable |
个 |
JVM 线程数量 |
| ThreadsBlocked |
个 |
JVM 线程数量 |
| ThreadsWaiting |
个 |
JVM 线程数量 |
| ThreadsTimedWaiting |
个 |
JVM 线程数量 |
| ThreadsTerminated |
个 |
JVM 线程数量 |
| LogFatal |
次 |
JVM 日志数量 |
| LogError |
次 |
JVM 日志数量 |
| LogWarn |
次 |
JVM 日志数量 |
| LogInfo |
次 |
JVM 日志数量 |
| MemNonHeapUsedM |
MB |
当前使用的非堆内存，单位为MB |
| MemNonHeapCommittedM |
MB |
当前提交的非堆内存(MB) |
| MemNonHeapMaxM |
MB |
最大非堆内存大小(MB) |
| MemHeapUsedM |
MB |
JVM 内存 |
| MemHeapCommittedM |
MB |
JVM 内存 |
| MemHeapMaxM |
MB |
JVM 内存 |
| MemMaxM |
MB |
最大内存大小(MB) |
| ProcessCpuLoad |
% |
CPU 利用率 |
| ProcessCpuTime |
ms |
CPU 累计使用时间 |
| MaxFileDescriptorCount |
个 |
文件描述符数 |
| OpenFileDescriptorCount |
个 |
文件描述符数 |
| Uptime |
s |
进程运行时长 |
| DaemonThreadCount |
个 |
工作线程数 |
| ThreadCount |
个 |
工作线程数 |
YARN-JobHistoryServer
| 指标名称 |
指标单位 |
指标含义 |
| ThreadsNew |
个 |
JVM 线程数量 |
| ThreadsRunnable |
个 |
JVM 线程数量 |
| ThreadsBlocked |
个 |
JVM 线程数量 |
| ThreadsWaiting |
个 |
JVM 线程数量 |
| ThreadsTimedWaiting |
个 |
JVM 线程数量 |
| ThreadsTerminated |
个 |
JVM 线程数量 |
| LogFatal |
次 |
JVM 日志数量 |
| LogError |
次 |
JVM 日志数量 |
| LogWarn |
次 |
JVM 日志数量 |
| LogInfo |
次 |
JVM 日志数量 |
| MemNonHeapUsedM |
MB |
JVM 内存 |
| MemNonHeapCommittedM |
MB |
JVM 内存 |
| MemNonHeapMaxM |
MB |
JVM 内存 |
| MemHeapUsedM |
MB |
JVM 内存 |
| MemHeapCommittedM |
MB |
JVM 内存 |
| MemHeapMaxM |
MB |
JVM 内存 |
| MemMaxM |
MB |
JVM 内存 |
| YGC |
次 |
GC 次数 |
| FGC |
次 |
GC 次数 |
| FGCT |
s |
GC 时间 |
| GCT |
s |
GC 时间 |
| YGCT |
s |
GC 时间 |
| S0 |
% |
内存区域占比 |
| E |
% |
内存区域占比 |
| CCS |
% |
内存区域占比 |
| S1 |
% |
内存区域占比 |
| O |
% |
内存区域占比 |
| M |
% |
内存区域占比 |
| ProcessCpuLoad |
% |
CPU 利用率 |
| ProcessCpuTime |
ms |
CPU 累计使用时间 |
| MaxFileDescriptorCount |
个 |
文件描述符数 |
| OpenFileDescriptorCount |
个 |
文件描述符数 |
| Uptime |
s |
进程运行时长 |
| DaemonThreadCount |
个 |
工作线程数 |
| ThreadCount |
个 |
工作线程数 |
YARN-NodeManager
| 指标名称 |
指标单位 |
指标含义 |
| YGC |
次 |
GC 次数 |
| FGC |
次 |
GC 次数 |
| FGCT |
s |
GC 时间 |
| GCT |
s |
GC 时间 |
| YGCT |
s |
GC 时间 |
| S0 |
% |
内存区域占比 |
| E |
% |
内存区域占比 |
| CCS |
% |
内存区域占比 |
| S1 |
% |
内存区域占比 |
| O |
% |
内存区域占比 |
| M |
% |
内存区域占比 |
| ThreadsNew |
个 |
JVM 线程数量 |
| ThreadsRunnable |
个 |
JVM 线程数量 |
| ThreadsBlocked |
个 |
JVM 线程数量 |
| ThreadsWaiting |
个 |
JVM 线程数量 |
| ThreadsTimedWaiting |
个 |
JVM 线程数量 |
| ThreadsTerminated |
个 |
JVM 线程数量 |
| LogFatal |
次 |
JVM 日志数量 |
| LogError |
次 |
JVM 日志数量 |
| LogWarn |
次 |
JVM 日志数量 |
| LogInfo |
次 |
JVM 日志数量 |
| MemNonHeapUsedM |
MB |
JVM 内存 |
| MemNonHeapCommittedM |
MB |
JVM 内存 |
| MemNonHeapMaxM |
MB |
JVM 内存 |
| MemHeapUsedM |
MB |
JVM 内存 |
| MemHeapCommittedM |
MB |
JVM 内存 |
| MemHeapMaxM |
MB |
JVM 内存 |
| MemMaxM |
MB |
JVM 内存 |
| ContainersLaunched |
个 |
运行容器总数 |
| ContainersCompleted |
个 |
容器总数 |
| ContainersFailed |
个 |
容器总数 |
| ContainersKilled |
个 |
容器总数 |
| ContainersIniting |
个 |
容器总数 |
| ContainersRunning |
个 |
容器总数 |
| AllocatedContainers |
个 |
已经分配容器总数 |
| ContainerLaunchDurationAvgTime |
ms |
启动一个容器所需的平均时间(以毫秒为单位) |
| ContainerLaunchDurationNumOps |
个 |
容器启动操作数 |
| AvailableVCores |
核 |
CPU 核数 |
| AllocatedVCores |
核 |
CPU 核数 |
| AllocatedGB |
GB |
内存大小 |
| AvailableGB |
GB |
内存大小 |
| ProcessCpuLoad |
% |
CPU 利用率 |
| ProcessCpuTime |
ms |
CPU 累计使用时间 |
| MaxFileDescriptorCount |
个 |
文件描述符数 |
| OpenFileDescriptorCount |
个 |
文件描述符数 |
| Uptime |
s |
进程运行时长 |
| DaemonThreadCount |
个 |
工作线程数 |
| ThreadCount |
个 |
工作线程数 |
https://cloud.tencent.com/document/product/589/45639
https://hadoop.apache.org/docs/r2.10.1/hadoop-project-dist/hadoop-common/Metrics.html
http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.16.1/hadoop-project-dist/hadoop-common/Metrics.html
