文档 Grafana Alloy 参考 组件 otelcol otelcol.receiver.filelog

otelcol.receiver.filelog

公开预览：这是一个公开预览组件。公开预览组件可能会有重大变更，并可能被涵盖相同用例的等效功能取代。必须将 stability.level 标志设置为 public-preview 或更低才能使用此组件。

otelcol.receiver.filelog 从文件中读取日志条目，并将其转发给其他 otelcol.* 组件。

您可以通过为 otelcol.receiver.filelog 组件指定不同的标签来创建多个实例。

用法

alloy 复制

otelcol.receiver.filelog "<LABEL>" {
  include = [...]
  output {
    logs    = [...]
  }
}

参数

您可以在 otelcol.receiver.filelog 中使用以下参数

encoding 必须是 utf-8、utf-16le、utf-16be、ascii、big5 或 nop 中的一个。请参考上游 receiver 文档了解更多详情。

start_at 必须是 beginning 或 end 中的一个。只有当 start_at 设置为 beginning 时，才能使用 header 块。

compression 必须是 或 gzip。

operators

operators 列表是 stanza Operator 列表，用于在读取日志条目后对其进行转换。

例如，如果正在收集容器日志，您可能希望利用 stanza container parser operator 向日志条目添加相关属性。

alloy 复制

otelcol.receiver.filelog "default" {
    ...
    operators = [
      {
        type = "container"
      }
    ]
}

块

otelcol.receiver.filelog 的定义中支持以下块

> 符号表示更深的嵌套层级。例如，ordering_criteria > sort_by 指的是在 ordering_criteria 块内定义的 sort_by 块。

output

必需

output 块配置一组组件，用于转发生成的遥测数据。

支持以下参数

您必须指定 output 块，但其所有参数都是可选的。默认情况下，遥测数据会被丢弃。请相应地配置 metrics、logs 和 traces 参数，以将遥测数据发送到其他组件。

debug_metrics

debug_metrics 块配置此组件用于监控其状态的指标。

支持以下参数

disable_high_cardinality_metrics 是 Grafana Alloy 中相当于 OpenTelemetry Collector 中 telemetry.disableHighCardinalityMetrics 功能开关的功能。它会移除可能导致高基数指标的属性。例如，关于 HTTP 和 gRPC 连接的指标中带有 IP 地址和端口号的属性会被移除。

header

header 块配置用于将日志头行解析为添加到每个日志条目的额外属性的逻辑。它只能在 start_at 设置为 beginning 时使用。支持以下参数

如果未设置 header 块，则不会将任何日志行视为头元数据。

metadata_operators 列表是 stanza Operator 列表，用于从头解析元数据。从嵌入的 Operator pipeline 创建的任何属性将应用于文件中的所有日志条目。

例如，您可以使用 regex_parser 来处理由 pattern 表达式标识的头行。以下示例展示了一个虚构的头行，以及将从中解析 environment 属性的 header 块。

text 复制

HEADER_IDENTIFIER env="production"
...

alloy 复制

otelcol.receiver.filelog "default" {
    ...
    header {
      pattern = '^HEADER_IDENTIFIER .*$'
      metadata_operators = [
        {
          type = "regex_parser"
          regex = 'env="(?P<environment>.+)"'
        }
      ]
    }
}

multiline

multiline 块配置用于拆分传入日志条目的逻辑。支持以下参数

multiline 块必须包含 line_start_pattern 或 line_end_pattern 之一。

如果未设置 multiline 块，日志条目将不会被拆分。

ordering_criteria

ordering_criteria 块配置发现的日志文件的处理顺序。支持以下参数

sort_by

sort_by 可重复块配置 ordering_criteria 块中解析的字段应用于排序发现的日志文件的方式。支持以下参数

sort_type 必须是 numeric、lexicographic、timestamp 或 mtime 中的一个。使用 numeric、lexicographic 或 timestamp sort_type 时，必须在 regex_key 中提供 ordering_criteria 中 regex 属性定义的命名捕获组。使用 mtime sort_type 时，将使用文件的修改时间进行排序。

location 和 layout 参数仅在 sort_type 为 timestamp 时适用。

location 参数指定一个时区标识符。可用位置取决于本地 IANA 时区数据库。请参考维基百科中的 tz database 时区列表获取非详尽列表。

retry_on_failure

retry_on_failure 块配置 receiver 在 pipeline 下游遇到错误时的重试行为。失败后会使用退避算法延迟重试。支持以下参数

如果 max_elapsed_time 设置为 0，数据将永远不会被丢弃。

导出的字段

otelcol.receiver.filelog 不导出任何字段。

组件健康状况

只有在配置无效时，才会报告 otelcol.receiver.filelog 的健康状况为不健康。

Debug 指标

otelcol.receiver.filelog 不暴露任何组件特定的 debug 指标。

示例

此示例使用 otelcol.receiver.filelog receiver 读取日志条目，并通过 otelcol.exporter.debug 组件将其记录。它期望日志以 ISO8601 兼容的时间戳开头，并使用 regex_parser operator 从日志中解析它。

alloy 复制

otelcol.receiver.filelog "default" {
  include = ["/var/log/*.log"]
  operators = [{
    type = "regex_parser",
    regex = "^(?P<timestamp>\\d{4}-\\d{2}-\\d{2}T\\d{2}:\\d{2}:\\d{2}\\.\\d{3,6}Z)",
    timestamp = {
      parse_from = "attributes.timestamp",
      layout = "%Y-%m-%dT%H:%M:%S.%fZ",
      location = "UTC",
    },
  }]
  output {
      logs = [otelcol.exporter.debug.default.input]
  }
}

otelcol.exporter.debug "default" {}

兼容组件

otelcol.receiver.filelog 可以接受来自以下组件的参数

• 导出 OpenTelemetry otelcol.Consumer 的组件