本文内容纲要：

- 前言

- 相关软件

- 监控架构

- 安装配置

- 监控配置

- 告警配置

- 总结

- 参考文档

Image

前言

前一段时间自家养的几只猫经常出问题，由于没有有效的监控预警手段，以至于问题出现或者许久一段时间才会被通知到。凌晨一点这个锅可谁都不想背，为此基于目前的情况搭建了以下这么一套监控预警系统。

相关软件

  • Nginx：代理访问 Grafana
  • Grafana： 可视化面板(Dashboard)，有着非常漂亮的图表和布局展示
  • Influxdb：开源的时间序列数据库，适用于记录度量，事件及执行分析
  • Telegraf：收集系统和服务的统计数据
  • Docker：开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的容器中

监控架构

Image

GTI监控预警系统，架构流程说明：

  • 第一步：数据采集，Telegraf 采集 Tomcat 相关参数数据
  • 第二步：数据存储，Influxdb 存储 Telegraf 采集的数据
  • 第三步：数据可视化，Grafana 配置 Tomcat 监控面板
  • 第四步：预警通知，配置钉钉、邮件等预警

安装配置

这里只对Grafana、Telegraf、Influxdb、Tomcat 做相应的安装说明，Nginx 以及 Docker 请自行查阅资料。

Grafana

Grafana只是一个接入数据源的可视化面板，这里为了方便，我们选择Docker安装。

mkdir grafana
ID=$(id -u)
docker run -d --user $ID --name=grafana  --volume "$PWD/grafana:/var/lib/grafana" -p 3000:3000 grafana/grafana
# 如果生产环境配置，最好提前配置好域名
docker run -d --user $ID --name=grafana --volume "$PWD/data:/var/lib/grafana" -p 3000:3000 -e "GF_SERVER_ROOT_URL=http://monitor.52itstyle.com" grafana/grafana

执行成功以后，执行以下命令：

docker ps

如果出现grafana运行容器说明安装成功。

查看容器相关参数：

docker inspect docker.io/grafana/grafana

进入：

docker exec -it grafana /bin/sh

Grafana的默认配置文件grafana.ini位于容器中的/etc/grafana，这个文件是映射不出来的。不过可以先创建并运行一个容器，拷贝出来重新创建运行容器。

参数说明(这里截取了部分重点参数)：

##################### Grafana 几个重要的参数(参考一下) #####################
[paths]
# 存放临时文件、session以及sqlite3数据库的目录
;data = /var/lib/grafana

# 存放日志的地方
;logs = /var/log/grafana

# 存放相关插件的地方
;plugins = /var/lib/grafana/plugins

#################################### Server ####################################
[server]
# 默认协议 支持(http, https, socket)
;protocol = http

# 默认端口
;http_port = 3000

# 这里配置访问地址，如果使用了反向代理请配置域名，发送告警通知的时候作为访问地址
root_url = http://grafana.52itstyle.com

#################################### Database ####################################
[database]

# 默认使用的数据库sqlite3，位于/var/lib/grafana目录下面
;path = grafana.db

#################################### Session ####################################
[session]
# session 存储方式，默认是file即可  Either "memory", "file", "redis", "mysql", "postgres", default is "file"
;provider = file

#################################### SMTP / Emailing ##########################
[smtp]
# 邮件服务器配置，自行修改配置
enabled = true
host = smtp.mxhichina.com:465
user = admin@52itstyle.com
# If the password contains # or ; you have to wrap it with trippel quotes. Ex """#password;"""
password = 123456
;cert_file =
;key_file =
;skip_verify = false
from_address = admin@52itstyle.com
# 这里不要设置中文，否则会发送失败
from_name = Grafana

Influxdb

创建并运行容器

docker run -d -p 8083:8083 -p 8086:8086 -e ADMIN_USER="root" -e INFLUXDB_INIT_PWD="root" -e PRE_CREATE_DB="telegraf" --name influxdb tutum/influxdb:latest

各个参数含义：

-d：容器在后台运行

--name：容器名称

-e：指定环境变量，容器中可以使用该环境变量 

-p：将容器内端口映射到宿主机端口，格式为 宿主机端口:容器内端口；8083是influxdb的web管理工具端口，8086是influxdb的HTTP API端口

执行成功以后，执行以下命令：

docker ps

如果出现influxdb运行容器说明安装成功。

访问地址：http://ip:8083/

Image

Telegraf

docker pull telegraf

把telegraf相关配置拷贝到宿机

docker cp telegraf:/etc/telegraf/telegraf.conf ./telegraf

采集Tomcat数据：

如果想监控多个Tomcat，这里配置多个[[inputs.tomcat]]即可，但是一定要配置不同的tags标识。

[[inputs.tomcat]]
url = "http://192.168.1.190:8080/manager/status/all?XML=true"
# Tomcat访问账号密码 必须配置
username = "tomcat"
password = "tomcat"
timeout = "5s"
# 标识Tomcat名称、根据实际项目部署情况而定
[inputs.tomcat.tags]
host = "blog"

[[inputs.tomcat]]
url = "http://192.168.1.190:8081/manager/status/all?XML=true"
# Tomcat访问账号密码 必须配置
username = "tomcat"
password = "tomcat"
timeout = "5s"
# 标识Tomcat名称、根据实际项目部署情况而定
[inputs.tomcat.tags]
host = "bbs"

采集数据到influxdb：

[[outputs.influxdb]]
      # urls = ["udp://localhost:8089"] # UDP endpoint example
      urls = ["http://localhost:8086"] # required，这个url改成自己host
      ## The target database for metrics (telegraf will create it if not exists).
      database = "telegraf" # 这个会在influx库创建一个库

把配置文件复制到容器：

docker cp telegraf.conf telegraf:/etc/telegraf/telegraf.conf

重启telegraf服务：

docker restart docker

Tomcat

由于telegraf收集Tomcat相关数据需要配置访问权限，这里我们选择Tomcat7做配置说明。

修改位于conf下的tomcat-users.xml文件：

<tomcat-users>
<user username="tomcat" password="tomcat" roles="manager-gui,manager-script,manager-jmx,manager-status"/>
</tomcat-users>

重启Tomcat容器，访问以下地址：

http://ip:8080/manager/status/all?XML=true

Image

如果出现以上界面，说明配置成功。

监控配置

依次启动Tomcat、Influxdb、Telegraf、Grafana完成后，我们进入Grafana后台管理进行相关配置。

配置Influxdb数据源：

选择 datasources/Add datasource

Image

输入正确的HTTP地址以及数据库账号密码，点击保存，如果出现绿色提示框，说明配置成功。

配置Tomcat仪表盘：

选择 dashboard/import

Image

这里有三种方式导入面板：

  • 选择输入官方面板ID或者URL
  • 直接复制黏贴JSON格式代码
  • 导入第三方面板JSON格式文件

这里我们导入事先自己定制保存的Tomcat监控面板，最后点击导入保存。

Image

如果不出意外，将会是下图的样子。

Image

告警配置

前期做了这么多，我们的最终目的是为了提前预警通知，在系统即将发生灾难之前作出相应的准备调整。这里我们以Tomcat的线程数量阈值作为预警通知。

Image

配置相关参数：

Image

1、Alert名称，可以自定义。
2、执行的频率，这里我选择每60s检测一次。
3、判断标准，默认是avg，这里是下拉框，自己按需求选择。
4、query（A,5m,now），字母A代表选择的metrics中设置的sql，也可以选择其它在metrics中设置的，但这里是单选。5m代表从现在起往之前的五分钟，即5m之前的那个点为时间的起始点，now为时间的结束点，此外这里可以自己手动输入时间。
5、设置的预警临界点，这里手动输入，和6是同样功能，6可以手动移动，两种操作是等同的。

配置预警信息以及通知方式：

ImageImage

这里我们选择的是邮件预警通知，但是要提前进行配置，详见一开始grafana.ini中 SMTP / Emailing 相关参数配置。

点击发送测试，提示成功会发送一份告警Demo到指定邮箱：

Image

总结

讲道理，这一套东西还是挺强大的。特别是对于中小公司来说，各种成熟的开源组间一整合完美搭建出一套监控系统，时间成本、人力成本、技术成本可以降到最低。

参考文档

大家安装过程中，版本可能不尽相同，相关页面展示会不一致，但是不会影响最终功能呈现。

本文内容总结：前言，相关软件，监控架构，安装配置，监控配置，告警配置，总结，参考文档，