什么是Prometheus?

Prometheus是由SoundCloud开发的开源监控报警系统和时序数据库(TSDB)。Prometheus使用Go语言开发，是的Google BorgMon开源版监控系统。 2016年由Google发起Linux基金会旗下的原云基金会(Cloud Native Computing Foundation), 将Prometheus纳入以下第二大开源项目。 Prometheus目前，开源社区相当活跃。 Prometheus和Heapster(Heapster是K8S用于获取集群性能数据的子项目。)比功能更完善、更全面。Prometheus性能也足以支持数万个集群。

Prometheus的特点

多维数据模型。
灵活查询语言。
单个服务器节点是独立的，不依赖分布式存储。
通过基于HTTP的pull方式采集时序数据。
时序列数据可以通过中间网关推送。
目标服务对象通过服务发现或静态配置发现。
支持各种图表和界面显示，如Grafana等。

官网地址：Prometheus - Monitoring system & time series database

架构图

基本原理

Prometheus基本原理是通过HTTP协议定期捕获被监控组件的状态，只要任何组件提供相应的状态HTTP接口可接入监控。不需要任何SDK或其它集成过程。非常适合虚拟环境监测系统，如VM、Docker、Kubernetes等。输出监控组件信息HTTP接口被叫做exporter 。目前，互联网公司常用的大件大多是exporter可直接使用，如Varnish、Haproxy、Nginx、MySQL、Linux系统信息(包括磁盘、内存)CPU、网络等)。

服务过程

Prometheus Daemon负责定期抓取目标metrics(指标)数据，每个抓取目标都需要暴露一个http定期抓取服务界面。Prometheus支持文件、文本文件的配置，Zookeeper、Consul、DNS SRV Lookup指定目标等。Prometheus采用PULL监控的方式，即服务器可以直接通过目标PULL数据或者间接地通过中间网关来Push数据。
Prometheus将所有数据存储在本地，并通过一定的规则清理和整理数据，并将结果存储在新的时间序列中。
Prometheus通过PromQL和其他API可视化显示收集的数据。Prometheus支持多种图表可视化方式，如Grafana、自带的Promdash以及自己提供的模板引擎。Prometheus还提供HTTP API自定义所需输出的查询方法。
PushGateway支持Client主动推送metrics到PushGateway，而Prometheus只是定时去Gateway抓取数据。
Alertmanager是独立于Prometheus可以支持的组件Prometheus查询非常灵活的报警方式。

套件">三大套件

Server 主要负责数据采集和存储，提供PromQL支持语言查询。
Alertmanager 用于报警的警告管理器。
Push Gateway 支持临时性Job中间网关主动推送指标。

下面将解释以下五点

1.演示安装Prometheus Server
2.演示通过golang和node-exporter提供metrics接口
3.演示pushgateway的使用
4.演示grafana的使用
5.演示alertmanager的使用

安装准备

我的服务器在这里IP是10.211.55.25.登录并建立相应的文件夹

mkdir -p /home/chenqionghe/promethues mkdir -p /home/chenqionghe/promethues/server mkdir -p /home/chenqionghe/promethues/client touch /home/chenqionghe/promethues/server/rules.yml chmod 777 /home/chenqionghe/promethues/server/rules.yml

以下是三套学习的开始。

一.安装Prometheus Server

通过docker方式首先，创建配置文件/home/chenqionghe/test/prometheus/prometheus.yml 挂载前需要将文件权限改为777，否则会导致宿主机上文件内容修改不同步的问题

global:   scrape_interval:     15s # 默认抓取间隔， 15秒抓取目标数据。   external_labels:     monitor: 'codelab-monitor' # 这里表示抓取对象的配置 scrape_configs:     #此配置表示在此配置中的时间序例，每一个都会自动添加这个{job_name:"prometheus"}的标签  - job_name: 'prometheus'     scrape_interval: 5s # 重写全局抓取间隔时间，从15秒重写成5秒     static_configs:       - targets: ['localhost:9090']

运行

docker rm -f prometheus docker run --name=prometheus -d \ -p 9090:9090 \ -v /home/chenqionghe/promethues/server/prometheus.yml:/etc/prometheus/prometheus.yml \ -v /home/chenqionghe/promethues/server/rules.yml:/etc/prometheus/rules.yml \ prom/prometheus:v2.7.2 \ --config.file=/etc/prometheus/prometheus.yml \ --web.enable-lifecycle

启动时加上--web.enable-lifecycle远程热加载配置文件启用调用指令是curl -X POSThttp://localhost:9090/-/reload

访问http://10.211.55.25:9090 我们将看到以下l界面

访问http://10.211.55.25:9090/metrics

默认配置9090端口prometheus会抓自己的/metrics接口在Graph监控数据监控数据的选项

二.提供安装客户端metrics接口

1.通过golang客户端提供metrics

mkdir -p /home/chenqionghe/promethues/client/golang/src cd !$ export GOPATH=/home/chenqionghe/promethues/client/golang/ #克隆项目 git clone https://github.com/prometheus/client_golang.git #安装需要FQ的第三方包 mkdir -p $GOPATH/src/golang.org/x/ cd !$ git clone https://github.com/golang/net.git git clone https://github.com/golang/sys.git git clone https://github.com/golang/tools.git #安装必要的软件包 go get -u -v github.com/prometheus/client_golang/prometheus #编译 cd $GOPATH/src/client_golang/examples/random go build -o random main.go

运行3个示例metrics接口

./random -listen-address=:8080 & ./random -listen-address=:8081 & ./random -listen-address=:8082 &

2.通过noe exporter提供metrics

docker run -d \
--name=node-exporter \
-p 9100:9100 \
prom/node-exporter

然后把接口再次配置到prometheus.yml, 重新载入配置curl -X POST http://localhost:9090/-/reload

global:
  scrape_interval:     15s # 默认抓取间隔, 15秒向目标抓取一次数据。
  external_labels:
    monitor: 'codelab-monitor'
rule_files:
  #- 'prometheus.rules'
# 这里表示抓取对象的配置
scrape_configs:
  #这个配置是表示在这个配置内的时间序例，每一条都会自动添加上这个{job_name:"prometheus"}的标签  - job_name: 'prometheus'
  - job_name: 'prometheus'
    scrape_interval: 5s # 重写了全局抓取间隔时间，由15秒重写成5秒
    static_configs:
      - targets: ['localhost:9090']
      - targets: ['http://10.211.55.25:8080', 'http://10.211.55.25:8081','http://10.211.55.25:8082']
        labels:
          group: 'client-golang'
      - targets: ['http://10.211.55.25:9100']
        labels:
          group: 'client-node-exporter'

可以看到接口都生效了

prometheus还提供了各种exporter工具，感兴趣小伙伴可以去研究一下

三.安装pushgateway

pushgateway是为了允许临时作业和批处理作业向普罗米修斯公开他们的指标。由于这类作业的存在时间可能不够长, 无法抓取到, 因此它们可以将指标推送到推网关中。 Prometheus采集数据是用的pull也就是拉模型，这从我们刚才设置的5秒参数就能看出来。但是有些数据并不适合采用这样的方式，对这样的数据可以使用Push Gateway服务。它就相当于一个缓存，当数据采集完成之后，就上传到这里，由Prometheus稍后再pull过来。我们来试一下，首先启动Push Gateway

mkdir -p /home/chenqionghe/promethues/pushgateway
cd !$
docker run -d -p 9091:9091 --name pushgateway prom/pushgateway

访问http://10.211.55.25:9091 可以看到pushgateway已经运行起来了

接下来我们就可以往pushgateway推送数据了，prometheus提供了多种语言的sdk，最简单的方式就是通过shell

推送一个指标

echo "cqh_metric 100" | curl --data-binary @- http://ubuntu-linux:9091/metrics/job/cqh

推送多个指标

cat <<EOF | curl --data-binary @- http://10.211.55.25:9091/metrics/job/cqh/instance/test
# 锻炼场所价格
muscle_metric{label="gym"} 8800
# 三大项数据 kg
bench_press 100
dead_lift 160
deep_squal 160
EOF

然后我们再将pushgateway配置到prometheus.yml里边,重载配置看到已经可以搜索出刚刚推送的指标了

四.安装Grafana展示

Grafana是用于可视化大型测量数据的开源程序，它提供了强大和优雅的方式去创建、共享、浏览数据。 Dashboard中显示了你不同metric数据源中的数据。 Grafana最常用于因特网基础设施和应用分析，但在其他领域也有用到，比如：工业传感器、家庭自动化、过程控制等等。 Grafana支持热插拔控制面板和可扩展的数据源，目前已经支持Graphite、InfluxDB、OpenTSDB、Elasticsearch、Prometheus等。

我们使用docker安装

docker run -d -p 3000:3000 --name grafana grafana/grafana

默认登录账户和密码都是admin，进入后界面如下

我们添加一个数据源

把Prometheus的地址填上

导入prometheus的模板

打开左上角选择已经导入的模板会看到已经有各种图

我们来添加一个自己的图表

指定自己想看的指标和关键字，右上角保存

看到如下数据

到这里我们就已经实现了数据的自动收集和展示，下面来说下prometheus如何自动报警

五.安装AlertManager

Pormetheus的警告由独立的两部分组成。 Prometheus服务中的警告规则发送警告到Alertmanager。然后这个Alertmanager管理这些警告。包括silencing, inhibition, aggregation，以及通过一些方法发送通知，例如：email，PagerDuty和HipChat。建立警告和通知的主要步骤：

创建和配置Alertmanager
启动Prometheus服务时，通过-alertmanager.url标志配置Alermanager地址，以便Prometheus服务能和Alertmanager建立连接。

创建和配置Alertmanager

mkdir -p /home/chenqionghe/promethues/alertmanager
cd !$

创建配置文件alertmanager.yml

global:
  resolve_timeout: 5m
route:
  group_by: ['cqh']
  group_wait: 10s #组报警等待时间
  group_interval: 10s #组报警间隔时间
  repeat_interval: 1m #重复报警间隔时间
  receiver: 'web.hook'
receivers:
  - name: 'web.hook'
    webhook_configs:
      - url: 'http://10.211.55.2:8888/open/test'
inhibit_rules:
  - source_match:
      severity: 'critical'
    target_match:
      severity: 'warning'
    equal: ['alertname', 'dev', 'instance']

这里配置成了web.hook的方式，当server通知alertmanager会自动调用webhook http://10.211.55.2:8888/open/test

下面运行altermanager

docker rm -f alertmanager
docker run -d -p 9093:9093 \
--name alertmanager \
-v /home/chenqionghe/promethues/alertmanager/alertmanager.yml:/etc/alertmanager/alertmanager.yml \
prom/alertmanager

访问http://10.211.55.25:9093

接下来修改Server端配置报警规则和altermanager地址修改规则/home/chenqionghe/promethues/server/rules.yml

groups:
  - name: cqh
    rules:
      - alert: cqh测试
        expr: dead_lift > 150
        for: 1m
        labels:
          status: warning
        annotations:
          summary: "{
    
      {$labels.instance}}:硬拉超标！lightweight baby!!!"
          description: "{
    
      {$labels.instance}}:硬拉超标！lightweight baby!!!"

这条规则的意思是，硬拉超过150公斤，持续一分钟，就报警通知然后再修改prometheus添加altermanager配置

global:
  scrape_interval:     15s # 默认抓取间隔, 15秒向目标抓取一次数据。
  external_labels:
    monitor: 'codelab-monitor'
rule_files:
  - /etc/prometheus/rules.yml
# 这里表示抓取对象的配置
scrape_configs:
  #这个配置是表示在这个配置内的时间序例，每一条都会自动添加上这个{job_name:"prometheus"}的标签  - job_name: 'prometheus'
  - job_name: 'prometheus'
    scrape_interval: 5s # 重写了全局抓取间隔时间，由15秒重写成5秒
    static_configs:
      - targets: ['localhost:9090']
      - targets: ['10.211.55.25:8080', '10.211.55.25:8081','10.211.55.25:8082']
        labels:
          group: 'client-golang'
      - targets: ['10.211.55.25:9100']
        labels:
          group: 'client-node-exporter'
      - targets: ['10.211.55.25:9091']
        labels:
          group: 'pushgateway'
alerting:
  alertmanagers:
    - static_configs:
        - targets: ["10.211.55.25:9093"]

重载prometheus配置，规则就已经生效接下来我们观察grafana中数据的变化

然后我们点击prometheus的Alert模块，会看到已经由绿->黄-红，触发了报警

然后我们再来看看提供的webhook接口，这里的接口我是用的golang写的，接到数据后将body内容报警到钉钉

钉钉收到报警内容如下

到这里，从零开始搭建Prometheus实现自动监控报警就说介绍完了，一条龙服务，自动抓取接口+自动报警+优雅的图表展示，你还在等什么，赶紧high起来！

资讯详情

从零开始搭建Prometheus自动监控报警系统

什么是Prometheus?

Prometheus的特点

架构图

基本原理

服务过程

套件">三大套件

下面将解释以下五点

安装准备

一.安装Prometheus Server

二.提供安装客户端metrics接口

1.通过golang客户端提供metrics

2.通过noe exporter提供metrics

三.安装pushgateway

四.安装Grafana展示

五.安装AlertManager

亚马逊云科技宣布基于自研Amazon Graviton4的Amazon EC2 R8g实例正式可用

从零开始搭建Prometheus自动监控报警系统

什么是Prometheus?

Prometheus的特点

架构图

基本原理

服务过程

套件">三大套件

下面将解释以下五点

安装准备

一.安装Prometheus Server

二.提供安装客户端metrics接口

1.通过golang客户端提供metrics

2.通过noe exporter提供metrics

三.安装pushgateway

四.安装Grafana展示

五.安装AlertManager

亚马逊云科技宣布基于自研Amazon Graviton4的Amazon EC2 R8g实例正式可用

最近热搜

历史搜索 清除历史记录

历史搜索清除历史记录