prometheus是一套系统和服务监控系统。它以给定的时间间隔从已配置的目标收集指标，评估规则表达式，显示结果，并在发现某些情况为真时触发警报。[prometheus官网]
grafana 是一款采用 go 语言编写的开源应用，主要用于大规模指标数据的可视化展现，是网络架构和应用分析中最流行的时序数据展示工具。[grafana官网]

下面我们将使用prometheus强大的数据采集分析功能，grafana优秀的前端展示能力，搭建一套监控系统。

准备工作

在每台机器上都需要先安装并启动docker。

1. 安装docker

yum install docker

2. 启动docker

service docker start

安装prometheus

1. 安装采集器

采集器有多种类型，比如采集系统数据，采集nginx数据，采集mysql数据等等。可以根据需要在目标主机上安装需要的采集器。可以根据自己的需要安装一个或多个。

安装linux指标采集器

docker run -d -p 9100:9100 -v "/proc:/host/proc:ro" -v "/sys:/host/sys:ro" -v "/:/rootfs:ro" prom/node-exporter

安装nginx指标采集器

docker run -d -p 9113:9113 --net="host" nginx/nginx-prometheus-exporter -nginx.scrape-uri http://localhost:8080/nginx_status

注意：nginx.scrape-uri后面的地址，可以通过curl 访问并返回指标数据。
如果不能正常访问则需要在nginx.conf配置文件中增加以下一段内容。

server {
    listen 8080
    location = /nginx_status {
        stub_status on;
                allow 127.0.0.1;
                deny all;
    }
}

安装cadvisor指标采集器
cadvisor可以监控docker容器的各种指标。

docker run   --volume=/:/rootfs:ro   --volume=/var/run:/var/run:ro   --volume=/sys:/sys:ro   --volume=/var/lib/docker/:/var/lib/docker:ro   --volume=/dev/disk/:/dev/disk:ro   --publish=8090:8080   --detach=true   --name=cadvisor   google/cadvisor

如果出现重名错误则执行以下语句后重新启动docker。

docker rm $(docker ps -a -q)

可能有些机器上会出现/sys/fs/cgroup/cpuacct,cpu: no such file or directory报错，执行以下语句后，重新启动docker。

ln -s /sys/fs/cgroup/cpu,cpuacct /sys/fs/cgroup/cpuacct,cpu

然后在prometheus.yml文件中进行相应配置即可。

使用docker-compose安装采集器

version: "2"
services:
  node_export:
    image: prom/node-exporter
    ports:
    - 8091:9100
    volumes:
    - /:/rootfs:ro

  cadvisor:
    image: google/cadvisor
    ports:
    - 8090:8080
    volumes:
    - /:/rootfs:ro
    - /var/run:/var/run:ro
    - /sys:/sys:ro
    - /var/lib/docker/:/var/lib/docker:ro

使用以下命令启动

docker-compose -f monitor-metrics.yaml up -d

2. 安装prometheus

创建prometheus配置文件。

mkdir /opt/prometheus
cd /opt/prometheus/
vi /opt/prometheus/prometheus.yml

文件内容如下，需要根据自己的实际情况进行修改

# Prometheus全局配置项
global:
  scrape_interval:     15s # 设定抓取数据的周期，默认为1min
  evaluation_interval: 15s # 设定更新rules文件的周期，默认为1min
  scrape_timeout: 15s # 设定抓取数据的超时时间，默认为10s
  external_labels: # 额外的属性，会添加到拉取得数据并存到数据库中
    monitor: 'codelab_monitor'


# Alertmanager配置
alerting:
  alertmanagers:
  - static_configs:
    - targets: ["localhost:9093"] # 设定alertmanager和prometheus交互的接口，即alertmanager监听的ip地址和端口
     
# rule配置，首次读取默认加载，之后根据evaluation_interval设定的周期加载
rule_files:
  - "alertmanager_rules.yml"
  - "prometheus_rules.yml"

# scape配置
scrape_configs:
- job_name: 'prometheus' # job_name默认写入timeseries的labels中，可以用于查询使用
  scrape_interval: 15s # 抓取周期，默认采用global配置
  static_configs: # 静态配置
  - targets: ['localhost:9100'] # prometheus所要抓取数据的地址，即instance实例项

- job_name: 'example-random' #个人测试用接口
  static_configs:
  - targets: ['localhost:8080']

主要是 scrape_configs 的配置，根据每一台要监控的机器，添加一组描述，targets里面填写采集器的ip和端口。job_name每个都不能相同。

这是一个配置的例子

global:
  scrape_interval:     60s
  evaluation_interval: 60s
 
scrape_configs:
  - job_name: prometheus
    static_configs:
      - targets: ['localhost:9090']
        labels:
          instance: prometheus
 
  - job_name: linux2
    static_configs:
      - targets: ['123.45.2.34:9100']
        labels:
          instance: order
          
  - job_name: linux3
    static_configs:
      - targets: ['123.45.2.39:9113']
        labels:
          instance: login

启动prometheus

docker run -d -p 9090:9090 --net=host -v /opt/prometheus/prometheus.yml:/etc/prometheus/prometheus.yml prom/prometheus

安装grafana

准备本地保存数据的目录。

mkdir /opt/grafana-storage
chmod 777 -R /opt/grafana-storage

启动grafana

docker run -d -p 3000:3000 --name=grafana --net=host -v /opt/grafana-storage:/var/lib/grafana grafana/grafana

接下来打开 http://localhost:3000
输入用户名 admin 密码 admin

配置prometheus数据源后，可以开始使用了。

使用docker-compose安装

准备本地保存数据的目录。

mkdir /opt/grafana-storage
chmod 777 -R /opt/grafana-storage
mkdir /opt/prometheus/storage
chmod 777 -R /opt/prometheus/storage

准备promethues.yaml文件

version: '2'
services:
  prometheus:
    image: prom/prometheus
    ports:
    - '9090:9090'
    volumes:
    - /opt/prometheus/prometheus.yml:/etc/prometheus/prometheus.yml
    - /opt/prometheus/storage:/prometheus
    - /usr/share/zoneinfo/Asia/Shanghai:/etc/localtime
    network_mode: "host"

  grafana:
    image: grafana/grafana
    ports:
    - '3000:3000'
    volumes:
    - /opt/grafana-storage:/var/lib/grafana
    - /usr/share/zoneinfo/Asia/Shanghai:/etc/localtime
    network_mode: "host"

启动prometheus

docker-compose -f promethues.yaml up -d

参考资料

https://prometheus.io/docs/prometheus/latest/querying/basics/
https://grafana.com/grafana/dashboards
https://www.cnblogs.com/Leslieblog/p/11157958.html
https://www.cnblogs.com/xiao987334176/p/9930517.html
Grafana 的一些使用技巧