Prometheus+Grafana监控MySQL

  • Prometheus(由go语言(golang)开发)是一套开源的监控&报警&时间序列数据库的组合。适合监控docker容器。因为kubernetes(俗称k8s)的流行带动了prometheus的发展。被很多人称为下一代监控系统。
  • Grafana是一个开源的图表可视化系统,简单说图表配置比较方便、生成的图表比较漂亮,并能实现报警。支持五十多种数据源,Prometheus就是其中支持的一种。
  • 下面就介绍了利用Prometheus与Grafana对Mysql服务器性能监控的方法。

1 架构图

祖传老图,修一修拿来用

下面是本次部署的架构图2625d444dedd3ad4ba541a80b0479371.png0a84f1a0cc1ff9f878ece12ff13afc66.png

2 实验环境准备

  • grafana服务器:10.0.3.112
  • Prometheus服务器:10.0.3.112
  • 被监控服务器:10.0.3.105/115

1.时间同步(时间同步一定要确认一下)
2.关闭防火墙,selinux

3 安装prometheus server

从 https://prometheus.io/download/ 下载相应版本,安装到服务器上 官网提供的是二进制版,解压就能用,不需要编译

3.1 安装

# 解压安装包
tar -xf prometheus-2.23.0.linux-amd64.tar.gz -C /opt

# 创建链接目录
cd /opt
ln -s prometheus-2.23.0.linux-amd64 prometheus

# 直接使用默认配置文件启动
/opt/prometheus/prometheus --config.file="/opt/prometheus/prometheus.yml" &

# 确认是否正常启动(默认端口9090)
[root@server ~]# netstat -lnptu | grep 9090
tcp6       0      0 :::9090                 :::*                    LISTEN      103006/prometheus 

3.2 prometheus界面

通过浏览器访问http://服务器IP:9090就可以访问到prometheus的主界面
503828ca95dd7a8c47ae27721a9f7037.png
image
点Status-->Targets-->就可以看到监控的本机
c47459e1dffc2ea9c7ab3f6cf7fcaf30.png
image

3.3 监控本机数据展示

通过http://服务器IP:9090/metrics可以查看到监控的数据
f8a45c6ffffe1a6775100160203bc5a4.png
image
在web主界面可以通过关键字查询监控项
9d48ca27e23f644e400d01b97905be19.png
image

4 监控远程Linux主机

4.1 在被监控端上安装node_exporter组件

下载地址: https://prometheus.io/download/

# 解压安装包
tar -xf node_exporter-1.0.1.linux-amd64.tar.gz -C /opt

# 创建链接目录
cd /opt
ln -s node_exporter-1.0.1.linux-amd64 node_exporter

# 使用nohup后台运行
nohup /opt/node_exporter/node_exporter &

# 确认是否正常启动(默认端口9100)
[root@mysql01 ~]# netstat -lnptu | grep 9100
tcp6       0      0 :::9100                 :::*                    LISTEN      20716/node_exporter 

扩展: nohup命令: 如果把启动node_exporter的终端给关闭,那么进程也会
随之关闭。nohup命令会帮你解决这个问题。
同样操作,将所有需要被监控主机安装node_exporter组件

4.2 通过浏览器访问http://被监控端IP:9100/metrics就可以查看到node_exporter在被监控端收集的监控信息

2a1a0ca894ac1c4d79c26ed4aaa8bfe3.png
image

4.3  回到prometheus服务器的配置文件里添加被监控机器的配置段

在主配置文件最后面添加被监控主机信息
[root@server ~]# vim /opt/prometheus/prometheus.yml 

  - job_name: '10.0.3.105'      # 给被监控主机取个名字,我这里直接填的IP
    static_configs:
    - targets: ['10.0.3.105:9100']      # 这里填写被监控主机的IP和端口

  - job_name: '10.0.3.115'
    static_configs:
    - targets: ['10.0.3.115:9100']

有多少台被监控主机就照格式添加在后面好了,我这里监控了105/115两台主机
改完配置文件后,重启服务
[root@server ~]# pkill prometheus 
[root@server ~]# /opt/prometheus/prometheus --config.file="/opt/prometheus/prometheus.yml" &
[root@server ~]# netstat -lnptu | grep 9090

4.4 回到web管理界面,可以看到多了两台监控主机

5d92029f492283d6996b2b3f6190cdaa.png
image

5 监控远程MySQL

5.1  在被管理MySQL服务器上安装mysqld_exporter组件

下载地址: https://prometheus.io/download/

# 解压安装包
tar -xf mysqld_exporter-0.12.1.linux-amd64.tar.gz -C /opt

# 创建链接目录
cd /opt
ln -s mysqld_exporter-0.12.1.linux-amd64 mysqld_exporter

# 在MySQL服务器上创建监控用户
mysql> grant select,replication client, process on *.* to 'mysql_monitor'@'localhost' identified by '123';
Query OK, 0 rows affected, 1 warning (0.00 sec)

mysql> flush privileges;
Query OK, 0 rows affected (0.03 sec)

mysql> exit
Bye

# 将上面创建的mysql用户信息写入mysqld_exporter配置文件(新创建一个)
[root@mysql01 ~]# vim /opt/mysqld_exporter/.my.cnf
[client]
user=mysql_monitor
password=123

# 启动mysqld_exporter
nohup /opt/mysqld_exporter/mysqld_exporter --config.my-cnf=/opt/mysqld_exporter/.my.cnf &

# 确认是否正常启动(默认端口9104)
[root@mysql01 ~]# netstat -lnptu | grep 9104
tcp6       0      0 :::9104                 :::*                    LISTEN      32688/mysqld_export 

5.2  回到prometheus服务器的配置文件里添加被监控的mariadb的配置段

在主配置文件最后面添加被监控主机信息
[root@server ~]# vim /opt/prometheus/prometheus.yml 

  - job_name: 'mysql-105'      # 给被监控主机取个名字
    static_configs:
    - targets: ['10.0.3.105:9104']      # 这里填写被监控主机的IP和端口

  - job_name: 'mysql-115'
    static_configs:
    - targets: ['10.0.3.115:9104']

有多少台被监控MySQL服务器就照格式添加在后面好了,我这里监控了105/115两台MySQL服务器
改完配置文件后,重启服务
[root@server ~]# pkill prometheus 
[root@server ~]# /opt/prometheus/prometheus --config.file="/opt/prometheus/prometheus.yml" &
[root@server ~]# netstat -lnptu | grep 9090

5.3 回到web管理界面点Status-->Targets-->就可以看到监控的MySQL服务器了

6782509b700620b225665906183bdc4c.png
image
回到主界面搜索mysql相关参数
2ee2d75a73e6363eec8e70b1b5db91f9.png
image

6 Grafana可视化图形工具

6.1 什么是Grafana

开头已经讲过了,官网:https://grafana.com/

6.2 安装grafana服务器

下载地址:https://grafana.com/grafana/download

我这是使用的是CentOS系统,直接下载rpm包就好
yum localinstall grafana-7.3.5-1.x86_64.rpm 

启动服务并加入开机启动
systemctl start grafana-server.service 
systemctl enable grafana-server.service 

检查服务状态(默认使用3000端口)
systemctl status grafana-server.service 

netstat -lnptu | grep 3000
tcp6       0      0 :::3000                 :::*                    LISTEN      112219/grafana-serv 

6.3 登陆grafana WEB界面

通过浏览器访问 http:// grafana服务器IP:3000就到了登录界面,使用默认用户名admin,密码admin
c8b379cc52c58eb0b28e2f1b9e1d0c91.png
image
  • 登陆后会提示你修改密码,暂时不想修改话可以先跳过
至此,我们就可以看到grafana主界面了
68599db1933a22f13b4a80eed403a25c.png
image

7 在Grafana上添加Prometheus数据源

我们把prometheus服务器收集的数据做为一个数据源添加到grafana,让grafana可以得到prometheus的数据

57cb9a0f0972f84ca2bc682bf9537cd2.pnge0d144e38e024c7830b1c1ea2190edf5.png182fc9859ce3592d490aa1242adf8cf6.png

8 Grafana图形显示Linux硬件信息

  • Grafana官方提供模板地址:https://grafana.com/grafana/dashboards
  • 本次要导入的模板:https://grafana.com/grafana/dashboards/11074
07902d8b03bd706a289b37399fc2396d.png
image

8.1 Grafana导入监控模板

a673e82e656f6e8c10d26fd1cc5e3575.png0381e7a5d7629f77ae19cb09fecc8295.png

8.2 选择导入成功的模板查看

2924a39dd3d549d16d44065a8ceb838b.png82fc1f5b7c83807d613fa5c688fe7f49.png

8.3 即可看到逼格非常高的系统主机节点监控信息

8f6900ee97667a0449624bdc9d7666a0.png44a26beb9425dbf54a27ebd55e6e8492.png

9 Grafana图形显示MySQL监控数据

方式一:通过Grafana官网导入模板

  • MySQL监控做的最好当属percona公司的了
  • Grafana官网地址:https://grafana.com/grafana/dashboards/7362cf165a2ac10bb3c90a0a97f5526f14d9.png
当然,这个更新的不及时,要体验最新的我们直接去项目地址下载安装mysql监控的dashboard(包含相关json文件,这些json文件可以看作是开发人员开发的一个监控模板)
下载网址: https://github.com/percona/grafana-dashboards

方式二:导入最新的json文件

9.2.1 下载最新json文件包
3de39ee8205c825482eb99c8f3f6f962.png
image
9.2.2 解压得到相关JSON文件
a78c8b710134520fea04ac72df5b2492.png
image
9.2.3 在grafana图形界面导入MySQL相关json文件

fa393d1421b8387206aa7cbb6acd4174.pngfd4cfb4520f156521dc5f9149537a28e.pngb90a8b01b00cdf99a06b184c4d6116ff.png

9.2.4 grafana展示MySQL相关数据
  1. 没数据可能是需要等一会,让数据传过来。
  2. 有些可能是Prometheus没有采集相关指标。
  3. 还有就是需要安装percona公司插件解决6d12eaa061b2a26d4a6103b8fc061bd6.png

10 监控报警

具体方案有很多

  • prometheus配合alertmanager这个组件报警,报警规则需要手动编写,这需要对prometheus+alertmanager有一定的了解
  • grafana配合SaaS模式的云告警平台onealert报警,onealert也是需要时间熟悉的
  • 这里演示最传统的grafana+email报警

10.1 修改grafana配置文件,添加发件邮箱

vim /etc/grafana/grafana.ini    # 找到smtp关键字
#################################### SMTP / Emailing ##########################
[smtp]
enabled = true  # 改成true
host = smtp.exmail.qq.com:465   # 发送服务器地址和端口
user =  # 这里填写发件邮箱
# If the password contains # or ; you have to wrap it with triple quotes. Ex """#password;"""
password =  # 这里填写发件邮箱密码或授权密码
;cert_file =
;key_file =
skip_verify = true  # 改成true
from_address =  # 这里填写发件邮箱
;from_name = Grafana
# EHLO identity in SMTP dialog (defaults to instance_name)
;ehlo_identity = dashboard.example.com
# SMTP startTLS policy (defaults to 'OpportunisticStartTLS')
;startTLS_policy = NoStartTLS

10.2 在通知渠道创建收件人组

0b7050ba7e29a59cd58ecea7907f1d0c.pngc1ea12acdfd11cb8565a280923e61443.png

刚才操作都没问题话将测试邮件
2a99152f0dc4768cf86831812f59fd6c.png
image

10.3 测试触发报警

这里我们以监控mysql连接数来做测试

f7dc14ad2885942144a4ae55862b8421.png420942a8f8747c5393e84b499dda5ae6.png8edb52563f0a2256de5a9767d64e301c.png021f48d6e52b23d6fc34a28ff160b4c3.png0471ff7319ac68c2511b9d7657c14d9e.png

10.4 报警效果

beeb7fa843345be36ce29d8eee0cc39c.png
image

10.5 报警不成功的可能原因

  • 各服务器之间时间不同步,这样时序数据会出问题,也会造成报警出问题
  • 必须写通知内容,留空内容是不会发报警的
  • 修改完报警配置后,记得要点右上角的保存
  • 保存配置后,需要由OK状态变为alerting状态才会报警(也就是说,你配置保存后,就已经是alerting状态是不会报警的)
  • grafana与邮箱通信有问题
easydb.neteasydb