MySQL Server Exporter
本页内容
简介
以下快速入门提供 MySQL Exporter 的设置说明以及预配置的仪表盘、警报规则和记录规则。按照本快速入门中的步骤操作后，您将
设置并配置 MySQL Exporter 以收集诸如每秒查询数 (QPS) 和 InnoDB 缓冲池大小等 MySQL 指标。MySQL Exporter 将以 Prometheus 格式暴露这些指标。
配置 Prometheus 以抓取 MySQL Exporter 指标，并可选择将其发送到 Grafana Cloud。
设置一套预配置和精选的记录规则来缓存频繁查询。
导入 Grafana 仪表盘以可视化您的指标数据。
设置 Prometheus 警报规则，根据您的指标数据进行警报。
指标使用
此 Exporter 默认发布大约 1000 个 Prometheus 时间序列。要查看此 Exporter 默认发布的指标列表，请此处下载示例指标抓取。
请注意，根据其配置，MySQL Exporter 收集和发布的指标可能远多于默认集合。要了解有关配置 MySQL Exporter 和切换其收集器的更多信息，请参阅 MySQL Exporter GitHub 仓库。
除了切换 MySQL Exporter 的设置外，您还可以通过删除不需要存储在 Prometheus 或 Grafana Cloud 中的时间序列来减少指标使用。要了解如何做到这一点，请参阅 Grafana Cloud 文档中的通过 relabeling 减少 Prometheus 指标使用。
Grafana Cloud 的 Linux Node 集成
如果您使用 Grafana Cloud，可以通过安装 MySQL 集成跳过本指南中的所有步骤。MySQL 集成旨在帮助您通过几个命令和点击快速启动并运行。免费注册。
要了解如何使用 MySQL 集成获取 MySQL 指标，请参阅 Grafana Cloud 文档中的MySQL 集成。
本页内容
MySQL Exporter 快速入门
在本指南中，您将学习如何设置和配置 MySQL Server Exporter，以收集诸如每秒查询数 (QPS) 和 InnoDB 缓冲池大小等 MySQL 指标，并以 Prometheus 格式暴露它们。然后，您将配置 Prometheus 来抓取 MySQL 指标，并可选择将其发送到 Grafana Cloud。最后，您将设置一套预配置和精选的记录规则、Grafana 仪表盘和警报规则。本指南结束时，您将拥有可用于可视化 MySQL Server 指标的仪表盘，以及一套预配置的警报。
如果您正在使用Grafana Cloud，MySQL 集成可以帮助您快速启动并运行。MySQL 集成将 MySQL Exporter 嵌入到 Grafana Cloud Agent 中，并自动提供警报规则和仪表盘，因此您无需执行本指南中的步骤。要了解如何使用 MySQL 集成设置 MySQL Exporter，请参阅 Grafana Cloud 文档中的MySQL 集成。
先决条件
在开始之前，您应该准备好以下各项
- 一台兼容 MySQL Server Exporter 发行版本的机器。要查看可用发行版本列表，请参阅发行版本。
- 在您的机器上运行的 MySQL。要了解有关安装和运行 MySQL 的更多信息，请参阅MySQL 安装指南。
- 在您的环境或直接在机器上运行的 Prometheus。要了解如何安装 Prometheus，请参阅 Prometheus 文档中的安装。
- 在您的环境或直接在机器上运行的 Grafana。要了解如何安装 Grafana，请参阅 Grafana 文档中的安装 Grafana。
- (可选) 一个 Grafana Cloud 账户。Grafana Cloud 托管 Grafana 和基于 Mimir 的 Prometheus 指标端点。您仍然需要使用在您环境中安装的 Prometheus 或 Grafana Cloud Agent 来抓取指标。要了解有关 Grafana Cloud 的更多信息，请参阅Grafana Cloud。
步骤 1：设置 MySQL Server Exporter
在此步骤中，您将在您的机器上设置 MySQL Server Exporter，以收集和暴露 Prometheus 格式的 MySQL 指标。本指南使用 Ubuntu 20.04 系统和 MySQL 8.0.23。具体步骤可能因您的操作系统和 MySQL 版本略有不同。
首先，登录您的机器并下载相应的 MySQL Exporter 二进制文件。本指南使用 linux-amd64 二进制文件，但您应该选择与您的系统操作系统和架构相对应的文件。
wget https://github.com/prometheus/mysqld_exporter/releases/download/v0.12.1/mysqld_exporter-0.12.1.linux-amd64.tar.gz将 v0.12.1.linux-amd64 替换为您要安装的版本。本指南可能过时，因此最好查看 MySQL Exporter 发行版本页面以获取最新的稳定版本。
解压 tarball 并 cd 进入目录
tar xvfz mysqld_exporter-*.*-amd64.tar.gz
cd mysqld_exporter-*.*-amd64在运行 MySQL Exporter 之前，您首先需要创建一个 MySQL 用户，该用户将用于获取数据库指标。以管理员权限用户身份登录您的 MySQL 数据库并运行以下命令
CREATE USER 'exporter'@'localhost' IDENTIFIED BY 'enter_password_here' WITH MAX_USER_CONNECTIONS 3;Query OK, 0 rows affected (0.03 sec)注意：建议为 Exporter 用户设置最大连接数限制，以避免在高负载下用监控抓取请求使服务器过载。并非所有 MySQL/MariaDB 版本都支持此功能；例如，MariaDB 10.1（Ubuntu 18.04 提供）不支持此功能。
接下来，授予此新用户获取数据库指标的相应权限
GRANT PROCESS, REPLICATION CLIENT, SELECT ON *.* TO 'exporter'@'localhost';Query OK, 0 rows affected (0.02 sec)现在您已经创建了 Exporter MySQL 用户，可以测试 Exporter 了。
设置以下环境变量
export DATA_SOURCE_NAME='exporter:enter_password_here@(mysql_hostname:3306)/'务必将 exporter 替换为您上面创建的用户，将 enter_password_here 替换为您定义的密码，并将 mysql_hostname 替换为 MySQL 实例的主机名（如果您在同一台机器上，则为 localhost）。
最后，运行 Exporter
./mysqld_exporterINFO[0000] Starting mysqld_exporter (version=0.12.1, branch=HEAD, revision=48667bf7c3b438b5e93b259f3d17b70a7c9aff96) source="mysqld_exporter.go:257"
INFO[0000] Build context (go=go1.12.7, user=root@0b3e56a7bc0a, date=20190729-12:35:58) source="mysqld_exporter.go:258"
INFO[0000] Enabled scrapers: source="mysqld_exporter.go:269"
INFO[0000] --collect.slave_status source="mysqld_exporter.go:273"
INFO[0000] --collect.global_status source="mysqld_exporter.go:273"
INFO[0000] --collect.global_variables source="mysqld_exporter.go:273"
INFO[0000] --collect.info_schema.query_response_time source="mysqld_exporter.go:273"
INFO[0000] --collect.info_schema.innodb_cmp source="mysqld_exporter.go:273"
INFO[0000] --collect.info_schema.innodb_cmpmem source="mysqld_exporter.go:273"
INFO[0000] Listening on :9104 source="mysqld_exporter.go:283"如果您看到上述输出，则表示您已成功运行 MySQL Server Exporter。
MySQL Exporter 在端口 9104 上以 Prometheus 格式发布 MySQL 指标。您可以使用 curl 进行测试。您需要打开一个新的 SSH 会话或将 MySQL Exporter 进程置于后台才能使用 curl。
curl https://:9104/metrics. . .
process_resident_memory_bytes 1.2079104e+07
# HELP process_start_time_seconds Start time of the process since unix epoch in seconds.
# TYPE process_start_time_seconds gauge
process_start_time_seconds 1.61377616023e+09
# HELP process_virtual_memory_bytes Virtual memory size in bytes.
# TYPE process_virtual_memory_bytes gauge
process_virtual_memory_bytes 1.16355072e+08
# HELP process_virtual_memory_max_bytes Maximum amount of virtual memory available in bytes.
# TYPE process_virtual_memory_max_bytes gauge
process_virtual_memory_max_bytes -1
# HELP promhttp_metric_handler_requests_in_flight Current number of scrapes being served.
# TYPE promhttp_metric_handler_requests_in_flight gauge
promhttp_metric_handler_requests_in_flight 1
# HELP promhttp_metric_handler_requests_total Total number of scrapes by HTTP status code.
# TYPE promhttp_metric_handler_requests_total counter
promhttp_metric_handler_requests_total{code="200"} 1
promhttp_metric_handler_requests_total{code="500"} 0
promhttp_metric_handler_requests_total{code="503"} 0如果您看到上述输出，则表示您已准备好使用 Prometheus 抓取 MySQL 指标。
为了避免从命令行运行和管理 MySQL Exporter，您可以创建一个 systemd 服务。要了解如何执行此操作，请参阅创建 systemd 服务来管理 Agent。将 Agent 二进制文件的路径替换为 MySQL Exporter 的路径。
您可以使用 my.cnf 文件设置 MySQL Exporter 将使用的用户名和密码。此外，Exporter 提供了许多标志来配置要抓取的指标以及发布位置。要了解有关这些功能的更多信息，请参阅MySQL Exporter GitHub 仓库。
步骤 2：使用 Prometheus 抓取 MySQL Exporter
现在 MySQL Exporter 已在您的机器上运行，您可以配置一个 Prometheus 抓取作业来收集和存储 MySQL Exporter 指标。
将以下抓取作业配置添加到您的 prometheus.yml 配置文件中的 scrape_configs 部分
- job_name: mysql
static_configs:
- targets: ['mysql_exporter_machine_IP_address:9104']将 mysql_exporter_machine_IP_address 替换为运行 MySQL Exporter 的机器的 IP 地址。如果您在同一台机器上运行 Prometheus，则此地址将是 localhost。要了解有关配置 Prometheus 的更多信息，请参阅 Prometheus 文档中的配置。
如果您没有 prometheus.yml 配置文件，请使用您喜欢的文本编辑器创建一个简单的文件。打开您首选的文本编辑器并粘贴以下 Prometheus 配置
global:
scrape_interval: 15s
scrape_configs:
- job_name: mysql
static_configs:
- targets: ['mysql_exporter_machine_IP_address:9104']此配置告诉 Prometheus 每 15 秒抓取所有作业。唯一配置的抓取作业名为 mysql，并定义了一个 mysql_exporter_machine_IP_address:9104 目标。默认情况下，Prometheus 将使用 HTTP 抓取 /metrics 端点。
保存并关闭文件。然后您可以使用以下命令通过该文件运行 Prometheus
./prometheus --config.file=./prometheus.yml将指标发送到 Grafana Cloud
要从 Prometheus 将 MySQL Exporter 指标发送到 Grafana Cloud，请在您的 prometheus.yml 配置文件中配置 remote_write 参数。要了解更多信息，请参阅 Grafana Cloud 文档中的指标 — Prometheus。要了解有关 remote_write 参数的更多信息，请参阅 Prometheus 文档中的remote_write。
步骤 3：配置记录规则
使用记录规则，您可以预计算和缓存频繁查询的指标。例如，如果仪表盘面板使用诸如 rate() 之类计算量大的查询，您可以创建一个以固定间隔（降低频率）运行并将在新时间序列中保存密集查询结果的记录规则。这样可以避免每次仪表盘刷新时都抓取和计算数据。要了解有关 Prometheus 记录规则的更多信息，请参阅 Prometheus 文档中的记录规则。
在加载本指南中的仪表盘之前，您应该先加载以下记录规则。仪表盘查询和警报规则使用记录规则来减少 Prometheus 或 Grafana Cloud 指标服务器的负载，具体取决于您评估规则的位置。
您可以在此处获取记录规则 YAML 文件。
此记录规则 YAML 文件是使用 MySQL Exporter mixin 生成的。
将记录规则载入 Prometheus
要将记录规则载入 Prometheus，请将以下内容添加到您的 prometheus.yml 配置文件中
rule_files:
- "mysql_exporter_recording_rules.yml"务必将 mysql_exporter_recording_rules.yml 替换为您的 MySQL Exporter 记录规则 YAML 文件的路径。
将记录规则载入 Grafana Cloud
要了解如何将记录规则载入 Grafana Cloud，请参阅使用 cortextool 的 Prometheus 和 Loki 规则。
步骤 4：配置仪表盘
本快速入门包含一个仪表盘：MySQL 概述。
要了解如何将此仪表盘导入 Grafana，请参阅 Grafana 文档中的导入仪表盘。
仪表盘查询依赖于上一步中定义的记录规则。务必在导入仪表盘之前导入这些规则。
您可以在此处获取仪表盘。
步骤 5：配置警报
使用 Prometheus 警报规则，您可以定义在 PromQL 表达式超出某个阈值或在一段时间内满足指定条件时触发的警报。例如，您可以定义一个 HighRequestLatency 警报，当请求延迟指标在一段时间内大于某个阈值时触发。警报条件一经触发，警报即进入 Pending（待处理）状态。在满足 for 参数定义的时间段条件后，警报进入 Firing（触发）状态。您可以使用 Alertmanager 等工具配置触发警报的路由和通知。Alertmanager 也内置于 Grafana Cloud 中。
您可以在此处获取警报规则 YAML 文件。
将警报规则载入 Prometheus
要将警报规则载入 Prometheus，请将以下内容添加到您的 prometheus.yml 配置文件中
rule_files:
- "mysql_exporter_alerting_rules.yml"务必将 mysql_exporter_alerting_rules.yml 替换为您的 MySQL 警报规则 YAML 文件的路径。
将警报规则载入 Grafana Cloud
要了解如何将警报规则载入 Grafana Cloud，请参阅使用 cortextool 的 Prometheus 和 Loki 规则。
结论
在本快速入门中，您在 Linux 机器上安装并运行了 MySQL Exporter。然后，您配置了 Prometheus 来抓取由 MySQL Exporter 暴露的数据库和 MySQL 集群指标。您将记录规则和警报规则载入 Prometheus，最后导入 Grafana 仪表盘以可视化您的 MySQL 指标。
如果您正在使用 Grafana Cloud，可以通过安装带有 Grafana Cloud Agent 的 MySQL 集成来跳过本指南中的所有步骤。此集成将预配置的 MySQL Exporter 嵌入到 Agent 中，并自动提供 Grafana 仪表盘以及 Prometheus 警报和记录规则，因此您无需手动导入它们。要了解如何设置 MySQL 集成，请参阅Grafana Cloud 集成。
仪表盘、记录规则和警报规则是使用 MySQL Exporter Mixin 生成的。Mixins 是由主题专家策划和设计的仪表盘、记录规则和警报的可重用模板。要了解更多信息，请参阅MySQL Mixin 仓库。
本页内容
在加载本指南中的仪表盘之前，您应该先加载以下记录规则。仪表盘查询使用记录规则来减少 Prometheus 或 Grafana Cloud 指标服务器的负载，具体取决于您评估规则的位置。
本快速入门包含以下记录规则
record: instance:mysql_slave_lag_seconds- PromQL:
mysql_slave_status_seconds_behind_master - mysql_slave_status_sql_delay
- PromQL:
instance:mysql_heartbeat_lag_seconds- PromQL:
mysql_heartbeat_now_timestamp_seconds - mysql_heartbeat_stored_timestamp_seconds
- PromQL:
job:mysql_transactions:rate5m- PromQL:
sum without (command) (rate(mysql_global_status_commands_total{command=~"(commit|rollback)"}[5m]))
- PromQL:
groups:
- name: mysqld_rules
rules:
- expr: mysql_slave_status_seconds_behind_master - mysql_slave_status_sql_delay
record: instance:mysql_slave_lag_seconds
- expr: mysql_heartbeat_now_timestamp_seconds - mysql_heartbeat_stored_timestamp_seconds
record: instance:mysql_heartbeat_lag_seconds
- expr: sum without (command) (rate(mysql_global_status_commands_total{command=~"(commit|rollback)"}[5m]))
record: job:mysql_transactions:rate5m此记录规则 YAML 文件是使用 MySQL Exporter mixin 生成的。
本页内容
注意：这些仪表盘可能依赖于前一个选项卡中的记录规则。务必在导入仪表盘之前导入这些规则。
MySQL 概述仪表盘
此仪表盘包含以下指标的面板
- 运行时间
- 当前 QPS
- InnoDB 缓冲池
- MySQL 连接数
- MySQL 客户端线程活动
- MySQL 问题数
- MySQL 线程缓存
- MySQL 临时对象
- MySQL Select 类型
- MySQL 排序次数
- MySQL 慢查询
- MySQL 中断连接
- MySQL 表锁
- MySQL 网络流量
- MySQL 内部内存概述
- 顶级命令计数器
- MySQL Handlers
- MySQL 事务 Handlers
- 进程状态
- 每小时顶级进程状态
- MySQL 查询缓存内存
- MySQL 查询缓存活动
- MySQL 文件打开次数
- MySQL 打开文件数
- MySQL 表打开缓存状态
- MySQL 打开表数
- MySQL 表定义缓存
您可以使用以下仪表盘 ID 直接导入仪表盘：14057。
您可以在此处获取仪表盘 JSON。
此仪表盘是使用 MySQL Exporter mixin 生成的。
本页内容
本快速入门包含以下警报规则
MySQLDownMySQL [job] 在 [instance] 上未运行。
MySQLGaleraNotReady[job] 在 [instance] 上未就绪。
MySQLGaleraOutOfSync[job] 在 [instance] 上未同步。
MySQLGaleraDonorFallingBehind[job] 在 [instance] 上是捐赠者 (hotbackup) 并且正在落后 (队列大小 [value])。
MySQLReplicationNotRunning从属复制 (IO 或 SQL) 已停止超过 2 分钟。
MySQLReplicationLagMySQL 从属复制已落后且未恢复。
MySQLInnoDBLogWaitsinnodb 日志正以 [value] / 秒的速度等待磁盘。
###
# Sample prometheus rules/alerts for mysqld.
#
# NOTE: Please review these carefully as thresholds and behavior may not meet
# your SLOs or labels.
#
###
groups:
- name: MySQLdAlerts
rules:
- alert: MySQLDown
annotations:
description: MySQL {{$labels.job}} on {{$labels.instance}} is not up.
summary: MySQL not up
expr: mysql_up != 1
for: 5m
labels:
severity: critical
- name: GaleraAlerts
rules:
- alert: MySQLGaleraNotReady
annotations:
description: '{{$labels.job}} on {{$labels.instance}} is not ready.'
summary: Galera cluster node not ready
expr: mysql_global_status_wsrep_ready != 1
for: 5m
labels:
severity: warning
- alert: MySQLGaleraOutOfSync
annotations:
description: '{{$labels.job}} on {{$labels.instance}} is not in sync ({{$value}} != 4).'
summary: Galera cluster node out of sync
expr: (mysql_global_status_wsrep_local_state != 4 and mysql_global_variables_wsrep_desync == 0)
for: 5m
labels:
severity: warning
- alert: MySQLGaleraDonorFallingBehind
annotations:
description: '{{$labels.job}} on {{$labels.instance}} is a donor (hotbackup) and is falling behind (queue size {{$value}}).'
summary: xtradb cluster donor node falling behind
expr: (mysql_global_status_wsrep_local_state == 2 and mysql_global_status_wsrep_local_recv_queue > 100)
for: 5m
labels:
severity: warning
- alert: MySQLReplicationNotRunning
annotations:
description: Slave replication (IO or SQL) has been down for more than 2 minutes.
summary: Slave replication is not running
expr: mysql_slave_status_slave_io_running == 0 or mysql_slave_status_slave_sql_running == 0
for: 2m
labels:
severity: critical
- alert: MySQLReplicationLag
annotations:
description: The mysql slave replication has fallen behind and is not recovering
summary: MySQL slave replication is lagging
expr: (instance:mysql_slave_lag_seconds > 30) and on(instance) (predict_linear(instance:mysql_slave_lag_seconds[5m], 60 * 2) > 0)
for: 1m
labels:
severity: critical
- alert: MySQLReplicationLag
annotations:
description: The mysql slave replication has fallen behind and is not recovering
summary: MySQL slave replication is lagging
expr: (instance:mysql_heartbeat_lag_seconds > 30) and on(instance) (predict_linear(instance:mysql_heartbeat_lag_seconds[5m], 60 * 2) > 0)
for: 1m
labels:
severity: critical
- alert: MySQLInnoDBLogWaits
annotations:
description: The innodb logs are waiting for disk at a rate of {{$value}} / second
summary: MySQL innodb log writes stalling
expr: rate(mysql_global_status_innodb_log_waits[15m]) > 10
labels:
severity: warning此警报规则 YAML 文件是使用 MySQL Exporter mixin 生成的。
本页内容
Grafana Cloud 带有不断扩展的集成集，可在几分钟内快速启动并运行可观测性技术栈。内置于 Grafana Cloud Agent 中的 MySQL 集成暴露和抓取关键 MySQL 指标，并将它们推送到 Grafana Cloud。Agent 将使用嵌入式 MySQL Exporter 抓取指标，而 Grafana Cloud 将自动提供定制的 Grafana 仪表盘和警报，用于可视化和处理这些数据。
要了解更多信息，请查阅Grafana Cloud 文档。
工作原理
配置、安装、连接和维护 Prometheus 监控组件通常需要大量的领域知识。从设置到仪表盘和警报可能需要相当长的时间。作为 Grafana 的创建者以及 Prometheus 和 Cortex 的核心贡献者，我们构建了简单的集成来抽象掉一部分工作，以便快速上手。工作原理
- 注册（或登录）免费 Grafana Cloud 账户。
- 选择您要观测的目标（持续扩展的目录）。
- 运行一行命令安装 Grafana Cloud Agent。该 Agent 嵌入并预配置 Exporters 以暴露默认指标，并将它们推送到 Grafana Cloud 指标后端。
- 瞧！您将看到定制的 Grafana 仪表盘，并受益于合理的默认警报设置。
正在寻找不同的 Exporter 或集成？查看我们不断增长的针对常用组件的集成库，如 MySQL、Postgres、Redis、Memcached 等。