TDinsight for 3.x
监控 TDengine
TDinsight - 使用 Grafana 监控 TDengine 的解决方案
TDinsight v3.x 是一个使用内置原生监控数据库和 Grafana 监控 TDengine 的解决方案。
TDengine 通过 taosKeeper 将监控数据写入一个特殊数据库。指标可能包括服务器的 CPU、内存、硬盘空间、网络带宽、请求数量、磁盘读写速度、慢查询、其他重要系统操作信息(如用户登录、数据库创建、数据库删除等)以及错误告警。借助 Grafana 和 TDengine Data Source Plugin,TDinsight 可以可视化集群状态、节点信息、插入和查询请求、资源使用情况、vnode、dnode 和 mnode 状态、异常告警以及许多其他指标。这对于想要实时监控 TDengine 集群状态的开发者来说非常方便。
本文将指导用户安装 Grafana 服务器和 TDengine 数据源插件,并部署 TDinsight v3.x。
要求
- 需要一个单节点 TDengine 服务器或多节点 TDengine 集群以及一个 Grafana 服务器。此仪表盘需要 TDengine 3.0.1.0 及以上版本,且已启用监控功能。有关详细配置,请参阅 TDengine 监控配置。
- taosAdapter 已安装并运行,请参阅 taosAdapter。
- taosKeeper 已安装并运行,请参阅 taosKeeper。
安装 Grafana
我们建议使用最新的 Grafana 版本 8 或 9。你可以按照官方 Grafana 文档说明在任何支持的操作系统上安装 Grafana。
在 Debian 或 Ubuntu 上安装 Grafana
对于 Debian 或 Ubuntu 操作系统,我们推荐使用 Grafana 镜像仓库并通过以下命令全新安装。
sudo apt-get install -y apt-transport-https
sudo apt-get install -y software-properties-common wget
wget -q -O - https://packages.grafana.com/gpg.key |\
sudo apt-key add -
echo "deb https://packages.grafana.com/oss/deb stable main" |\
sudo tee -a /etc/apt/sources.list.d/grafana.list
sudo apt-get update
sudo apt-get install grafana
在 CentOS / RHEL 上安装 Grafana
你可以从其官方 YUM 仓库安装。
sudo tee /etc/yum.repos.d/grafana.repo << EOF
[grafana]
name=grafana
baseurl=https://packages.grafana.com/oss/rpm
repo_gpgcheck=1
enabled=1
gpgcheck=1
gpgkey=https://packages.grafana.com/gpg.key
sslverify=1
sslcacert=/etc/pki/tls/certs/ca-bundle.crt
EOF
sudo yum install grafana
或者使用 RPM 包安装。
wget https://dl.grafana.com/oss/release/grafana-7.5.11-1.x86_64.rpm
sudo yum install grafana-7.5.11-1.x86_64.rpm
# or
sudo yum install \
https://dl.grafana.com/oss/release/grafana-7.5.11-1.x86_64.rpm
设置 TDinsight v3.x
安装 TDengine 数据源插件
从 GitHub 安装最新版本的 TDengine Data Source 插件
get_latest_release() {
curl --silent "https://api.github.com/repos/taosdata/grafanaplugin/releases/latest" |
grep '"tag_name":' |
sed -E 's/.*"v([^"]+)".*/\1/'
}
TDENGINE_PLUGIN_VERSION=$(get_latest_release)
sudo grafana-cli \
--pluginUrl https://github.com/taosdata/grafanaplugin/releases/download/v$TDENGINE_PLUGIN_VERSION/tdengine-datasource-$TDENGINE_PLUGIN_VERSION.zip \
plugins install tdengine-datasource
注意:3.1.6 及更早版本的插件需要在配置文件 /etc/grafana/grafana.ini
中进行以下设置以启用未签名插件。
[plugins]
allow_loading_unsigned_plugins = tdengine-datasource
从 Grafana 插件页面安装 TDengine Data Source 插件
指向 Configurations -> Plugins(或访问“/plugins” URL),然后搜索“TDengine”。
点击“TDengine Datasource”,然后点击“安装”。
启动 Grafana 服务
sudo systemctl start grafana-server
sudo systemctl enable grafana-server
登录 Grafana
在网页浏览器中打开默认的 Grafana URL:https://:3000
。默认的用户名/密码是 admin
。Grafana 会在首次登录后要求修改密码。
添加 TDengine 数据源
指向 Configurations -> Data Sources 菜单,然后点击 Add data source 按钮。
搜索并选择 TDengine。
配置 TDengine 数据源。
保存并测试。正常情况下会报告“TDengine Data source is working”。
导入仪表盘
从数据源配置页面导入仪表盘。
在 TDengine 数据源配置页面点击 Dashboard 标签页。
点击“TDinsight for 3.x”的“导入”按钮,然后导入仪表盘。
从导入页面导入仪表盘
指向 + / Create - import(或访问 /dashboard/import
URL)。
在 Import via grafana.com 中输入仪表盘 ID 18180
并点击 Load。
导入后,TDinsight v3.x 仪表盘如下所示。
TDinsight v3.x 仪表盘详情
TDinsight 仪表盘旨在提供 TDengine 相关资源的用量和状态,例如 dnodes、mnodes、vnodes 和数据库。
各项指标详情如下。
集群状态
此部分包含集群的当前信息和状态(从左到右,从上到下)。
- First EP:当前 TDengine 集群中的 firstEp 设置。
- 版本:TDengine 服务器版本(leader mnode)。
- Master 运行时长:当前 Leader MNode 被选为 Leader 后经过的时间。
- 到期时间:企业版到期时间。
- 已用测点:企业版使用的测点数量。
- 数据库数量:数据库数量。
- 表数量:表数量。
- 连接数:当前连接数量。
- DNodes/MNodes/VGroups/VNodes:每种资源的总数和存活数。
- 分类连接计数:当前活跃连接数量,按用户、应用和 IP 分类。
- DNodes/MNodes/VGroups/VNodes 存活百分比:每种资源的存活数/总数比例。
- 已用测点:测点数量(社区版无数据,默认为健康)。
- 授权到期时间:企业版到期时间(社区版无数据,默认为健康)。
- 错误率:已启用警报的集群的总体错误率(每秒平均错误数)。
DNodes 状态
- DNodes 状态:
show dnodes
的简单表格视图。 - DNodes 运行时长:dnode 创建后经过的时间。
- DNodes 数量:DNodes 数量趋势。
MNode 概览
- MNodes 状态:
show mnodes
的简单表格视图。 - MNodes 数量:类似于
DNodes 数量
,MNodes 数量趋势。
请求
- 请求速率(每秒插入数):每秒平均插入数量。
- 请求(查询):查询请求数量和变化率(每秒计数)。
数据库
数据库用量,对变量 $database
的每个值重复一行,每个数据库占一行。
- 超级表数量:超级表数量。
- 总表数量:所有表数量。
- 表数量:普通表数量。
- 每个 VGroup 的表数量:每个 vgroup 的表数量。
DNode 资源使用情况
数据节点资源使用情况展示,对变量 $fqdn
即每个数据节点进行重复多行展示。包括:
数据节点资源使用情况展示,对变量 $fqdn
重复多行展示,每个数据节点占一行。
- 运行时长:dnode 创建后经过的时间。
- 是否为 MNode?:当前 dnode 是否为 mnode。
- CPU 核数:CPU 核数量。
- VNodes 数量:当前 dnode 中的 VNodes 数量。
- VNodes Master 数量:处于 leader 角色的 vnodes 数量。
- taosd 当前 CPU 用量:taosd 进程的 CPU 使用率。
- taosd 当前内存用量:taosd 进程的内存使用量。
- 磁盘已用:taosd 数据目录的总磁盘使用百分比。
- CPU 用量:进程和系统 CPU 用量。
- 内存用量:内存使用指标的时序视图。
- 磁盘已用:多级存储中各级别(默认为 level0)的磁盘用量。
- 磁盘 IO:磁盘 IO 速率。
- 网络 IO:网络 IO,除本地网络外的总体网络 IO 速率。
登录历史
目前只报告每分钟的登录次数。
taosAdapter
支持监控 taosAdapter 的 rest 和 websocket 请求统计。包括:
- 总数:总请求数量。
- 成功:总成功请求数量。
- 失败:总失败请求数量。
- 查询:总查询数量。
- 写入:总插入或更新数量。
- 其他:总其他请求数量。
还提供详细维度的折线图。
升级
你可以通过重新安装来更新 TDengine Grafana 数据源插件和 TDinsight for 3.x。
卸载
要在手动安装时完全卸载 TDinsight,你需要清除以下内容。
- Grafana 中的 TDinsight v3.x 仪表盘。
- Grafana 中的数据源。
- Grafana 中的
tdengine-datasource
插件。