Grafana 中的追踪
Grafana 内置了 Tempo 数据源,可用于查询 Tempo 并可视化追踪。本页面介绍其主要功能和可用性。请使用最新版本以获得最佳兼容性和稳定性。
查询你的数据
在 Grafana 和 Grafana Cloud Traces 中使用追踪数据,你可以搜索追踪,从 Span 生成指标,并将你的追踪数据与日志、指标和性能分析关联起来。
使用 Traces Drilldown 调查追踪数据
注意
Traces Drilldown 目前处于公开预览阶段。Grafana Labs 提供有限支持,且在正式发布之前可能会出现重大变更。
Grafana Traces Drilldown 帮助你可视化 Tempo 追踪数据中的洞察。使用该应用,你可以:
- 使用从追踪中派生的 Rate(速率)、Errors(错误)和 Duration(持续时间)(RED) 指标来调查问题
- 发现相关问题并监控随时间的变化
- 根据数据特征浏览数据的自动可视化
- 无需编写 TraceQL 查询即可完成所有这些操作
扩展你的可观测性之旅,了解Drilldown 应用套件。
搜索追踪
使用常用维度(例如时间范围、持续时间、Span 标签、服务名称等)搜索追踪。使用 Explore 追踪视图快速诊断系统中的错误和高延迟事件。
将追踪搜索结果用作仪表盘中的面板
你可以在仪表盘中嵌入追踪面板和可视化。你还可以将查询保存为面板。更多信息,请参考追踪可视化文档。
有关仪表盘示例,请访问 play.grafana.org
。
使用 TraceQL 查询数据和生成指标
TraceQL 受 PromQL 和 LogQL 启发,是一种专门为选择追踪设计的查询语言。
使用 Grafana Explore,你可以搜索追踪。默认的追踪搜索会审查整个追踪。TraceQL 提供了一种构建精确查询的方法,以便你可以聚焦所需数据。由于查询限制了搜索范围,查询结果返回更快。
你可以使用TraceQL 查询编辑器或使用搜索查询类型来构建查询。
有关构建查询的详细信息,请参考TraceQL 文档。
TraceQL 指标查询
注意
TraceQL 指标是一个实验性功能。工程和 On-call 支持不可用。除了代码注释外,文档有限或未提供。不提供 SLA。请在 Grafana 中启用功能开关以使用此功能。请联系 Grafana Support 在 Grafana Cloud 中启用此功能。
TraceQL 语言将指标查询作为一项实验性功能提供。指标查询通过将聚合函数应用于追踪查询结果来扩展追踪查询。例如:{ span:name = "foo" } | rate() by (span:status)
。这项强大的功能可以从追踪创建指标,其方式与 LogQL 指标查询从日志创建指标的方式类似。
Grafana Traces Drilldown 由指标查询提供支持。
有关可用查询的更多信息,请参考TraceQL 指标查询。
从 Span 生成指标
RED 指标可以驱动服务图和其他现成的 Span 数据可视化。RED 指标代表:
- 速率(Rate),每秒请求数
- 错误(Errors),失败的请求数
- 持续时间(Duration),这些请求花费的时间
有关 RED 方法的更多信息,请参考RED 方法:如何为你的服务插桩。
若要在 Grafana Cloud 中启用 metrics-generator,请参考启用 metrics-generator。
若要为 Tempo 启用 metrics-generator,请参考配置 metrics-generator。
这些指标存在于你的 Hosted Metrics 实例中,也可以轻松用于生成强大的自定义仪表盘。
指标也会自动生成 Exemplar,这使得指标和追踪之间的关联变得容易。
服务图视图
服务图视图显示根据你的入站 Span 计算得出的请求速率、错误率和持续时间指标 (RED) 表格。它还包括根据你的 Span 构建的节点图视图。
若要使用服务图视图,你需要启用服务图和Span 指标。启用后,此预配置视图将立即在 Explore > Service Graphs 中可用。
有关更多信息,请参考服务图视图文档。
集成其他遥测信号
关联追踪和日志
如果你已经在使用追踪 ID 进行请求/响应日志记录,则可以轻松地从日志中提取它们,直接跳转到你的追踪。
另一方面,你可以配置 Grafana 和 Grafana Cloud,从单个 Span 创建到你的 Loki 日志的链接。如果你看到一个长时间运行的 Span 或带有错误的 Span,你可以立即跳转到导致错误的进程的日志。
注意
Cloud Traces 仅支持由 Grafana Support 添加的自定义标签。Cloud Traces 支持以下默认标签:
cluster
、hostname
、namespace
和pod
。请联系 Support 添加自定义标签。
关联追踪和指标
Grafana 可以通过添加追踪和指标之间的关联功能来关联不同的信号。Trace to metrics 允许你从追踪 Span 导航到选定的数据源。使用 Trace to metrics,你可以快速查看与每个 Span 相关的趋势或聚合数据。
例如,你可以使用 $__tags
关键字将 Span 属性转换为指标标签,从而将 Span 属性用作指标标签。
若要为你的数据源设置 Trace to metrics,请参考Trace to metric 配置。
关联追踪和性能分析
使用 Trace to profiles,你可以通过添加追踪和性能分析之间的关联功能来关联不同的信号。
Trace to profiles 允许你将你的 Grafana Pyroscope 数据源关联到 Grafana 或 Grafana Cloud 中的追踪数据。配置后,此连接允许你从追踪 Span 运行查询以获取性能分析数据。
更多信息,请参考Trace to profiles 文档和Grafana Pyroscope 数据源文档。
对于 Cloud Traces,请参考Trace to profiles 文档以获取配置说明。