文档 Grafana Loki 设置 迁移 迁移到 Thanos 存储客户端

迁移到 Thanos 存储客户端

Loki 3.4 版本引入了基于 Thanos 对象存储客户端 Go 模块的新对象存储客户端。

进行此更改的原因之一是使 Grafana Loki、Mimir 以及 Grafana Labs 其他遥测数据库的存储配置保持一致。如果您已经在使用 Grafana Mimir 或 Pyroscope，则可以重复使用存储配置来设置 Loki。

在 Loki 3.4 版本中，这是一项可选功能。在未来的版本中，Thanos 将成为配置存储的默认方式，现有存储客户端将被弃用。

启用新的存储客户端

1. 通过在 storage_config 部分设置 use_thanos_objstore 为 true，或通过将 -use-thanos-objstore 标志设置为 true 来启用 Thanos 存储客户端。启用后，storage_config.object_store 下的配置将生效，而不是现有的存储配置。

   yaml 复制

   # Uses the new storage clients for connecting to gcs backend
   storage_config:
     use_thanos_objstore: true # enable the new storage clients
     object_store:
       gcs:
         bucket_name: "example-bucket"

2. 作为替代方案，如果您更喜欢使用 common 配置部分，也可以在公共的 storage 部分配置新客户端。

   yaml 复制

   storage_config:
      use_thanos_objstore: true # enable the new storage clients
   common:
     storage:
       object_store:
         gcs:
           bucket_name: "example-bucket"

3. 使用新的存储客户端时，Ruler 存储应配置在 ruler_storage 部分下。

   yaml 复制

   storage_config:
      use_thanos_objstore: true # enable the new storage clients
   ruler_storage:
      backend: gcs
      gcs:
         bucket_name: "example-bucket"

4. 如果您使用的是 store.object-prefix 标志或相应的 object_prefix YAML 设置，您需要更新配置以使用新的 object_store.storage-prefix 标志或相应的 storage_prefix YAML 设置。

   yaml 复制

   # Example configuration to prefix all objects with "prefix"
   storage_config:
      use_thanos_objstore: true # enable the new storage clients
      object_store:
         storage_prefix: "prefix"

GCS 存储迁移

从现有 Google Cloud Storage (GCS) 存储客户端迁移到新的基于 Thanos 的客户端时，您需要按如下方式更新配置参数

配置迁移示例 (GCS)

现有配置

yaml 复制

storage_config:
  gcs:
    bucket_name: example-bucket
    chunk_buffer_size: 10MB
    enable_retries: true

新配置 (基于 Thanos)

yaml 复制

storage_config:
  use_thanos_objstore: true
  object_store:
    gcs:
      bucket_name: example-bucket
      chunk_buffer_size: 10MB
      max_retries: 5

Amazon S3 存储迁移

从现有 Amazon S3 存储客户端迁移到新的基于 Thanos 的客户端时，请按如下方式更新或移除参数

配置迁移示例 (S3)

现有配置

yaml 复制

storage_config:
  aws:
    bucket_names: my-bucket1,my-bucket2   # multiple buckets no longer supported
    endpoint: s3.amazonaws.com
    region: us-west-2
    access_key_id: example-key
    secret_access_key: example-secret
    signature_version: v4
    disable_dualstack: true
    storage_class: STANDARD
    http_config:
      timeout: 1m
      insecure_skip_verify: false
    # ...
    backoff_config:
      max_retries: 5
    sse:
      type: SSE-KMS
      kms_key_id: mySSEKey

新配置 (基于 Thanos)

yaml 复制

storage_config:
  use_thanos_objstore: true
  object_store:
    s3:
      bucket_name: my-bucket1                       # single bucket
      endpoint: s3.amazonaws.com
      region: us-west-2
      access_key_id: example-key
      secret_access_key: example-secret
      dualstack_enabled: false                        # was disable_dualstack: true
      storage_class: STANDARD
      max_retries: 5
      http:
        insecure_skip_verify: false
      sse:
        type: SSE-KMS
        kms_key_id: mySSEKey

有关更多高级配置选项（例如 list_objects_version、bucket_lookup_type 等），请参阅Thanos S3 配置参考。

Azure 存储迁移

从现有 Azure 存储客户端迁移到新的基于 Thanos 的客户端时，如果您使用以下参数，则无需更改

如果您使用的身份验证方法不是存储帐户密钥或用户分配的托管身份，则必须使用环境变量传递必要的凭据。有关更多详细信息，请参阅 Azure Identity Client Module for Go。

文件系统存储迁移

从现有 文件系统存储 客户端迁移到新的基于 Thanos 的客户端时，请按如下方式更新或移除参数

配置迁移示例 (文件系统)

现有配置 (FSConfig)

yaml 复制

storage_config:
  filesystem:
    directory: /var/loki/chunks

新配置 (基于 Thanos)

yaml 复制

storage_config:
  use_thanos_objstore: true
  object_store:
    filesystem:
      dir: /var/loki/chunks