grafana + prometheus告警配置

grafana支持界面化操作告警规则及路由，告警支持推送到email、webhook（钉钉、飞书或自定义的web端点）等连接点，简单易用且功能强大。
prometheus + grafana安装配置看这里。

1682041922892.png

添加钉钉机器人

配置钉钉群聊机器人，获取webhook地址,参考钉钉开发者文档;

image.png

配置连接点

选择Alerting -> Contract Points，添加钉钉webhook连接点。

image.png

测试消息如图：

image.png

通知策略配置

1. 根策略连接点配置为钉钉

image.png

2. 添加静默策略（例如特定日期不告警）

image.png

3. 配置标签用于策略路由(可选，不配置直接路由到根策略)

image.png

告警配置示例

以Node Exporter中的Memory Basic面板为例，配置一个告警规则，当内存占用大于80%时触发告警。

1. 编辑面板，选择Alert -> Create alert rule from this panel.
2. 为规则命名，例如： Memory Basic
3. 设置查询和告警条件

4. 添加一些额外信息，提升告警消息可读性

image.png

5. 选择路由标签

image.png

6. 保存并退出。

限制条件

截止2023/4/21，grafana最新版9.4.7 Alerting功能还不支持动态参数查询，也就是说查询参数都是写死的。
比如要查询192.168.0.1~192.168.0.3的监控指标，就只能建立3条告警配置项。
好在告警规则有copy选项，copy之后改改ip就能用了。期待grafana后续版本能解决这个问题。