loki.source.cloudflare

loki.source.cloudflare 从 Cloudflare Logpull API 拉取日志并将其转发到其他 loki.* 组件。

这些日志包含与连接客户端、通过 Cloudflare 网络的请求路径以及来自源 web 服务器的响应相关的数据，可用于丰富源服务器上现有的日志。

您可以通过不同的标签指定多个 loki.source.cloudflare 组件。

用法

loki.source.cloudflare "LABEL" {
  zone_id   = "ZONE_ID"
  api_token = "API_TOKEN"

  forward_to = RECEIVER_LIST
}

参数

loki.source.cloudflare 支持以下参数

名称	类型	描述	默认值	必需
`forward_to`	`list(LogsReceiver)`	要发送日志条目的接收器列表。		yes
`api_token`	`字符串`	用于验证的 API 令牌。		yes
`zone_id`	`字符串`	使用 Cloudflare 区域 ID。		yes
`labels`	`map(string)`	与传入日志条目关联的标签。	`{}`	no
`workers`	`int`	用于解析日志的工作线程数量。	`3`	no
`pull_range`	`duration`	每次拉取请求获取的时间范围。	`"1m"`	no
`fields_type`	`字符串`	要获取日志条目的字段集合。	`"default"`	no
`additional_fields`	`list(string)`	补充通过 `fields_type` 提供的字段的附加字段列表。		no

默认情况下，loki.source.cloudflare 使用 default 字段集获取日志。以下是可供选择的不同的 fields_type 集合，以及它们包含的字段

default 包括

"ClientIP", "ClientRequestHost", "ClientRequestMethod", "ClientRequestURI", "EdgeEndTimestamp", "EdgeResponseBytes", "EdgeRequestHost", "EdgeResponseStatus", "EdgeStartTimestamp", "RayID"

以及通过 additional_fields 参数提供的任何额外字段。

minimal 包括所有 default 字段，并添加

"ZoneID", "ClientSSLProtocol", "ClientRequestProtocol", "ClientRequestPath", "ClientRequestUserAgent", "ClientRequestReferer", "EdgeColoCode", "ClientCountry", "CacheCacheStatus", "CacheResponseStatus", "EdgeResponseContentType"

以及通过 additional_fields 参数提供的任何额外字段。

extended 包括所有 minimal 字段，并添加

"ClientSSLCipher", "ClientASN", "ClientIPClass", "CacheResponseBytes", "EdgePathingOp", "EdgePathingSrc", "EdgePathingStatus", "ParentRayID", "WorkerCPUTime", "WorkerStatus", "WorkerSubrequest", "WorkerSubrequestCount", "OriginIP", "OriginResponseStatus", "OriginSSLProtocol", "OriginResponseHTTPExpires", "OriginResponseHTTPLastModified"

以及通过 additional_fields 参数提供的任何额外字段。

all 包括所有 extended 字段，并添加

 "BotScore", "BotScoreSrc", "BotTags", "ClientRequestBytes", "ClientSrcPort", "ClientXRequestedWith", "CacheTieredFill", "EdgeResponseCompressionRatio", "EdgeServerIP", "FirewallMatchesSources", "FirewallMatchesActions", "FirewallMatchesRuleIDs", "OriginResponseBytes", "OriginResponseTime", "ClientDeviceType", "WAFFlags", "WAFMatchedVar", "EdgeColoID", "RequestHeaders", "ResponseHeaders", "ClientRequestSource"`

以及通过 additional_fields 参数提供的任何额外字段。如果通过 Cloudflare API 提供了新的字段但尚未包含在 all 中，这也适用。

custom 仅包括在 additional_fields 中定义的字段。

组件将其最后成功获取的时间戳保存在其位置文件中。如果文件中找到了给定区域 ID 的位置，组件将从这个时间戳重新开始拉取日志。如果没有找到位置，组件将从当前时间开始拉取日志。

使用多个 workers 获取日志，这些 workers 重复请求最后一个可用的 pull_range。由于每个拉取的日志行太多而需要处理，可能会落后。增加工作线程数量、减少拉取范围或减少获取的字段数量可以减轻此性能问题。

组件最后获取的时间戳记录在 loki_source_cloudflare_target_last_requested_end_timestamp 调试指标中。

所有传入的 Cloudflare 日志条目都是 JSON 格式。您可以使用 loki.process 组件和 JSON 处理阶段提取更多标签或更改日志行格式。示例日志如下

{
    "CacheCacheStatus": "miss",
    "CacheResponseBytes": 8377,
    "CacheResponseStatus": 200,
    "CacheTieredFill": false,
    "ClientASN": 786,
    "ClientCountry": "gb",
    "ClientDeviceType": "desktop",
    "ClientIP": "100.100.5.5",
    "ClientIPClass": "noRecord",
    "ClientRequestBytes": 2691,
    "ClientRequestHost": "www.foo.com",
    "ClientRequestMethod": "GET",
    "ClientRequestPath": "/comments/foo/",
    "ClientRequestProtocol": "HTTP/1.0",
    "ClientRequestReferer": "https://www.foo.com/foo/168855/?offset=8625",
    "ClientRequestURI": "/foo/15248108/",
    "ClientRequestUserAgent": "some bot",
    "ClientRequestSource": "1"
    "ClientSSLCipher": "ECDHE-ECDSA-AES128-GCM-SHA256",
    "ClientSSLProtocol": "TLSv1.2",
    "ClientSrcPort": 39816,
    "ClientXRequestedWith": "",
    "EdgeColoCode": "MAN",
    "EdgeColoID": 341,
    "EdgeEndTimestamp": 1637336610671000000,
    "EdgePathingOp": "wl",
    "EdgePathingSrc": "macro",
    "EdgePathingStatus": "nr",
    "EdgeRateLimitAction": "",
    "EdgeRateLimitID": 0,
    "EdgeRequestHost": "www.foo.com",
    "EdgeResponseBytes": 14878,
    "EdgeResponseCompressionRatio": 1,
    "EdgeResponseContentType": "text/html",
    "EdgeResponseStatus": 200,
    "EdgeServerIP": "8.8.8.8",
    "EdgeStartTimestamp": 1637336610517000000,
    "FirewallMatchesActions": [],
    "FirewallMatchesRuleIDs": [],
    "FirewallMatchesSources": [],
    "OriginIP": "8.8.8.8",
    "OriginResponseBytes": 0,
    "OriginResponseHTTPExpires": "",
    "OriginResponseHTTPLastModified": "",
    "OriginResponseStatus": 200,
    "OriginResponseTime": 123000000,
    "OriginSSLProtocol": "TLSv1.2",
    "ParentRayID": "00",
    "RayID": "6b0a...",
    "RequestHeaders": [],
    "ResponseHeaders": [
      "x-foo": "bar"
    ],
    "SecurityLevel": "med",
    "WAFAction": "unknown",
    "WAFFlags": "0",
    "WAFMatchedVar": "",
    "WAFProfile": "unknown",
    "WAFRuleID": "",
    "WAFRuleMessage": "",
    "WorkerCPUTime": 0,
    "WorkerStatus": "unknown",
    "WorkerSubrequest": false,
    "WorkerSubrequestCount": 0,
    "ZoneID": 1234
}

导出字段

loki.source.cloudflare 不导出任何字段。

组件健康

loki.source.cloudflare 仅在提供无效配置时报告为不健康。

调试信息

loki.source.cloudflare 提供以下调试信息

目标是否已准备好并从 API 读取日志。
Cloudflare 区域 ID。
如果有，报告的最后错误。
存储的位置文件条目，作为 zone_id、标签和最后获取时间戳的组合。
最后获取的时间戳。
正在获取的字段集。

调试指标

loki_source_cloudflare_target_entries_total（计数器）：通过 cloudflare 目标发送的成功条目的总数。
loki_source_cloudflare_target_last_requested_end_timestamp（仪表）：获取的最后 Cloudflare 请求结束时间戳，用于计算目标落后多少。

示例

此示例从 Cloudflare API 拉取日志并将其转发到 loki.write 组件。

loki.source.cloudflare "dev" {
  zone_id   = sys.env("CF_ZONE_ID")
  api_token = local.file.api.content

  forward_to = [loki.write.local.receiver]
}

loki.write "local" {
  endpoint {
    url = "loki:3100/api/v1/push"
  }
}