TDinsight for 3.x

监控 TDengine

TDinsight for 3.x screenshot 1

TDinsight - 使用 Grafana 监控 TDengine 的解决方案

TDinsight v3.x 是一个使用内置原生监控数据库和 Grafana 监控 TDengine 的解决方案。

TDengine 通过 taosKeeper 将监控数据写入一个特殊数据库。指标可能包括服务器的 CPU、内存、硬盘空间、网络带宽、请求数量、磁盘读写速度、慢查询、其他重要系统操作信息(如用户登录、数据库创建、数据库删除等)以及错误告警。借助 GrafanaTDengine Data Source Plugin,TDinsight 可以可视化集群状态、节点信息、插入和查询请求、资源使用情况、vnode、dnode 和 mnode 状态、异常告警以及许多其他指标。这对于想要实时监控 TDengine 集群状态的开发者来说非常方便。

本文将指导用户安装 Grafana 服务器和 TDengine 数据源插件,并部署 TDinsight v3.x。

要求

  • 需要一个单节点 TDengine 服务器或多节点 TDengine 集群以及一个 Grafana 服务器。此仪表盘需要 TDengine 3.0.1.0 及以上版本,且已启用监控功能。有关详细配置,请参阅 TDengine 监控配置
  • taosAdapter 已安装并运行,请参阅 taosAdapter
  • taosKeeper 已安装并运行,请参阅 taosKeeper

安装 Grafana

我们建议使用最新的 Grafana 版本 8 或 9。你可以按照官方 Grafana 文档说明在任何支持的操作系统上安装 Grafana。

在 Debian 或 Ubuntu 上安装 Grafana

对于 Debian 或 Ubuntu 操作系统,我们推荐使用 Grafana 镜像仓库并通过以下命令全新安装。

bash
sudo apt-get install -y apt-transport-https
sudo apt-get install -y software-properties-common wget
wget -q -O - https://packages.grafana.com/gpg.key |\
  sudo apt-key add -
echo "deb https://packages.grafana.com/oss/deb stable main" |\
  sudo tee -a /etc/apt/sources.list.d/grafana.list
sudo apt-get update
sudo apt-get install grafana

在 CentOS / RHEL 上安装 Grafana

你可以从其官方 YUM 仓库安装。

bash
sudo tee /etc/yum.repos.d/grafana.repo << EOF
[grafana]
name=grafana
baseurl=https://packages.grafana.com/oss/rpm
repo_gpgcheck=1
enabled=1
gpgcheck=1
gpgkey=https://packages.grafana.com/gpg.key
sslverify=1
sslcacert=/etc/pki/tls/certs/ca-bundle.crt
EOF
sudo yum install grafana

或者使用 RPM 包安装。

bash
wget https://dl.grafana.com/oss/release/grafana-7.5.11-1.x86_64.rpm
sudo yum install grafana-7.5.11-1.x86_64.rpm
# or
sudo yum install \
  https://dl.grafana.com/oss/release/grafana-7.5.11-1.x86_64.rpm

设置 TDinsight v3.x

安装 TDengine 数据源插件

从 GitHub 安装最新版本的 TDengine Data Source 插件

bash
get_latest_release() {
  curl --silent "https://api.github.com/repos/taosdata/grafanaplugin/releases/latest" |
    grep '"tag_name":' |
    sed -E 's/.*"v([^"]+)".*/\1/'
}
TDENGINE_PLUGIN_VERSION=$(get_latest_release)
sudo grafana-cli \
  --pluginUrl https://github.com/taosdata/grafanaplugin/releases/download/v$TDENGINE_PLUGIN_VERSION/tdengine-datasource-$TDENGINE_PLUGIN_VERSION.zip \
  plugins install tdengine-datasource

注意:3.1.6 及更早版本的插件需要在配置文件 /etc/grafana/grafana.ini 中进行以下设置以启用未签名插件。

ini
[plugins]
allow_loading_unsigned_plugins = tdengine-datasource

从 Grafana 插件页面安装 TDengine Data Source 插件

指向 Configurations -> Plugins(或访问“/plugins” URL),然后搜索“TDengine”。

install datasource plugin

点击“TDengine Datasource”,然后点击“安装”。

install datasource plugin

启动 Grafana 服务

bash
sudo systemctl start grafana-server
sudo systemctl enable grafana-server

登录 Grafana

在网页浏览器中打开默认的 Grafana URL:https://:3000。默认的用户名/密码是 admin。Grafana 会在首次登录后要求修改密码。

添加 TDengine 数据源

指向 Configurations -> Data Sources 菜单,然后点击 Add data source 按钮。

add datasource

搜索并选择 TDengine

add datasource

配置 TDengine 数据源。

datasource config

保存并测试。正常情况下会报告“TDengine Data source is working”。

datasource testing

导入仪表盘

从数据源配置页面导入仪表盘。

在 TDengine 数据源配置页面点击 Dashboard 标签页。

import dashboard and config

点击“TDinsight for 3.x”的“导入”按钮,然后导入仪表盘。

从导入页面导入仪表盘

指向 + / Create - import(或访问 /dashboard/import URL)。

import dashboard and config

Import via grafana.com 中输入仪表盘 ID 18180 并点击 Load

import by grafana.com

导入后,TDinsight v3.x 仪表盘如下所示。

dashboard

TDinsight v3.x 仪表盘详情

TDinsight 仪表盘旨在提供 TDengine 相关资源的用量和状态,例如 dnodes、mnodes、vnodes 和数据库。

各项指标详情如下。

集群状态

tdinsight-mnodes-overview

此部分包含集群的当前信息和状态(从左到右,从上到下)。

  • First EP:当前 TDengine 集群中的 firstEp 设置。
  • 版本:TDengine 服务器版本(leader mnode)。
  • Master 运行时长:当前 Leader MNode 被选为 Leader 后经过的时间。
  • 到期时间:企业版到期时间。
  • 已用测点:企业版使用的测点数量。
  • 数据库数量:数据库数量。
  • 表数量:表数量。
  • 连接数:当前连接数量。
  • DNodes/MNodes/VGroups/VNodes:每种资源的总数和存活数。
  • 分类连接计数:当前活跃连接数量,按用户、应用和 IP 分类。
  • DNodes/MNodes/VGroups/VNodes 存活百分比:每种资源的存活数/总数比例。
  • 已用测点:测点数量(社区版无数据,默认为健康)。
  • 授权到期时间:企业版到期时间(社区版无数据,默认为健康)。
  • 错误率:已启用警报的集群的总体错误率(每秒平均错误数)。

DNodes 状态

tdinsight-mnodes-overview

  • DNodes 状态show dnodes 的简单表格视图。
  • DNodes 运行时长:dnode 创建后经过的时间。
  • DNodes 数量:DNodes 数量趋势。

MNode 概览

tdinsight-mnodes-overview

  1. MNodes 状态show mnodes 的简单表格视图。
  2. MNodes 数量:类似于 DNodes 数量,MNodes 数量趋势。

请求

tdinsight-requests

  1. 请求速率(每秒插入数):每秒平均插入数量。
  2. 请求(查询):查询请求数量和变化率(每秒计数)。

数据库

tdinsight-database

数据库用量,对变量 $database 的每个值重复一行,每个数据库占一行。

  1. 超级表数量:超级表数量。
  2. 总表数量:所有表数量。
  3. 表数量:普通表数量。
  4. 每个 VGroup 的表数量:每个 vgroup 的表数量。

DNode 资源使用情况

dnode-usage

数据节点资源使用情况展示,对变量 $fqdn 即每个数据节点进行重复多行展示。包括:

数据节点资源使用情况展示,对变量 $fqdn 重复多行展示,每个数据节点占一行。

  1. 运行时长:dnode 创建后经过的时间。
  2. 是否为 MNode?:当前 dnode 是否为 mnode。
  3. CPU 核数:CPU 核数量。
  4. VNodes 数量:当前 dnode 中的 VNodes 数量。
  5. VNodes Master 数量:处于 leader 角色的 vnodes 数量。
  6. taosd 当前 CPU 用量:taosd 进程的 CPU 使用率。
  7. taosd 当前内存用量:taosd 进程的内存使用量。
  8. 磁盘已用:taosd 数据目录的总磁盘使用百分比。
  9. CPU 用量:进程和系统 CPU 用量。
  10. 内存用量:内存使用指标的时序视图。
  11. 磁盘已用:多级存储中各级别(默认为 level0)的磁盘用量。
  12. 磁盘 IO:磁盘 IO 速率。
  13. 网络 IO:网络 IO,除本地网络外的总体网络 IO 速率。

登录历史

login history

目前只报告每分钟的登录次数。

taosAdapter

taosadapter

支持监控 taosAdapter 的 rest 和 websocket 请求统计。包括:

  1. 总数:总请求数量。
  2. 成功:总成功请求数量。
  3. 失败:总失败请求数量。
  4. 查询:总查询数量。
  5. 写入:总插入或更新数量。
  6. 其他:总其他请求数量。

还提供详细维度的折线图。

升级

你可以通过重新安装来更新 TDengine Grafana 数据源插件和 TDinsight for 3.x。

卸载

要在手动安装时完全卸载 TDinsight,你需要清除以下内容。

  1. Grafana 中的 TDinsight v3.x 仪表盘。
  2. Grafana 中的数据源。
  3. Grafana 中的 tdengine-datasource 插件。
修订版本
修订版本描述创建时间

获取此仪表盘

导入仪表盘模板

下载 JSON

数据源
依赖项