Google BigQuery

状态：生产就绪

用于 Grafana 的 BigQuery 数据源

BigQuery 数据源插件支持将 BigQuery 作为后端数据库。

快速入门

安装 bigquery-grafana 有多种方式。详情请参阅 INSTALL。

功能

• 查询设置
• 原生 SQL 编辑器
• 查询构建器
• 支持宏
• 附加函数
• 表格视图
• 注解
• 变量中的 BQ 查询
• 分片表 (tablename_YYYYMMDD)
• 分区表
• 细粒度槽位分配（在采用固定费率的项目中运行查询）

插件演示

将数据源添加到 Grafana

1. 单击顶部标题中的 Grafana 图标打开侧边菜单。
2. 在侧边菜单的 Dashboards 下，您应该找到名为 Data Sources 的链接。
3. 点击顶部标题中的 + Add data source 按钮。
4. 从类型下拉菜单中选择 BigQuery。
5. 上传或粘贴服务账户密钥文件。有关如何创建服务账户密钥文件的步骤，请参见下文。

注意：如果您在侧边菜单中没有看到 Data Sources 链接，这意味着您当前的用户没有当前组织的 Admin 角色。

设置查询优先级

您现在可以按数据源设置查询优先级为 "INTERACTIVE" 或 "BATCH"

配置文件的示例

您可以通过配置系统管理数据源。下面是一个配置文件的示例。

apiVersion: 1
datasources:

name: <Datasource Name>
type: doitintl-bigquery-datasource
access: proxy
isDefault: true
jsonData:
authenticationType: jwt
clientEmail: <Service Account Email>
defaultProject: <Default Project Name>
tokenUri: 
https://oauth2.googleapis.com/token
secureJsonData:
privateKey: |
—–BEGIN PRIVATE KEY—–
<Content of the Private Key>
—–END PRIVATE KEY—–
version: 2
readOnly: false

认证

BigQuery 插件有两种认证方式 - 上传 Google JWT 文件，或从 Google 的元数据服务器自动检索凭据。后一种方式仅在 Grafana 运行在 GCE 虚拟机上时可用。

使用 Google 服务账户密钥文件

要使用 BigQuery API 进行认证，您需要为您希望显示数据的项目创建一个 Google Cloud Platform (GCP) 服务账户。一个 Grafana 数据源集成一个 GCP 项目。如果您想可视化来自多个 GCP 项目的数据，您可以在每个项目中授予服务账户权限，或为每个 GCP 项目创建一个数据源。

启用 API

前往 BigQuery API 并 Enable API。

为项目创建 GCP 服务账户

1. 导航至 API 和服务凭据页面。

2. 点击 Create credentials 并选择 Service account key。

   

3. 在 Create service account key 页面上，选择密钥类型 JSON。然后在 Service Account 下拉菜单中，选择 New service account 选项。

   

4. 将出现一些新字段。在 Service account name 字段中填写服务账户名称，然后在 Role 下拉菜单中选择 BigQuery Data Viewer 和 BigQuery Job User 角色。

   

5. 点击 Create 按钮。将创建一个 JSON 密钥文件并下载到您的计算机上。请将此文件安全保存，因为它允许访问您的 BigQuery 数据。

6. 在数据源配置页面将其上传到 Grafana。您可以上传文件或粘贴文件内容。

   

7. 文件内容将被加密并保存在 Grafana 数据库中。上传文件后别忘了保存！

   

使用 GCE 默认服务账户

如果 Grafana 运行在 Google Compute Engine (GCE) 虚拟机上，Grafana 可以从元数据服务器自动检索默认凭据。这样做的好处是无需为服务账户生成私钥文件，也无需将文件上传到 Grafana。但是，要实现这一点，需要满足一些前提条件。

1. 首先，您需要创建一个服务账户，供 GCE 虚拟机使用。有关详细说明，请参阅此处。
2. 确保 GCE 虚拟机实例正在以您刚创建的服务账户身份运行。有关说明，请参阅此处。
3. 允许访问 BigQuery API 范围。有关说明，请参阅此处。

阅读更多关于为 GCE VM 实例创建和启用服务账户的信息，请参阅此处。

使用查询构建器

查询构建器提供了一个简单易用的界面，帮助您快速编写查询。构建器使您能够定义查询的基本部分，常见部分包括

1. 您要查询的表

2. 时间字段和指标字段

3. WHERE 子句 - 可以使用预定义的宏来加快编写速度，或者设置自己的表达式。现有支持的宏有

   a. 宏 $__timeFiler，例如最近 7 天

  WHERE `createDate` BETWEEN TIMESTAMP_MILLIS (1592147699012) AND TIMESTAMP_MILLIS (1592752499012) AND _PARTITIONTIME >= '2020-06-14 18:14:59' AND _PARTITIONTIME < '2020-06-21 18:14:59'

b. 宏 $__timeFrom，例如最近 7 天

  WHERE `createDate` > TIMESTAMP_MILLIS (1592223758609)  AND _PARTITIONTIME >= '2020-06-15 15:22:38' AND _PARTITIONTIME < '2020-06-22 15:22:38'

c. 宏 $__timeTo，例如最近 7 天

  WHERE `createDate` < TIMESTAMP_MILLIS (1592828659681)  AND _PARTITIONTIME >= '2020-06-15 15:24:19' AND _PARTITIONTIME < '2020-06-22 15:24:19'

您现在可以在原生 SQL 模式下使用 timeFilter 宏

4. GROUP BY 选项 - 您可以使用预定义的宏或使用查询中的某个字段 a. time ($__interval,none)
5. ORDER BY 选项

注意：如果您的处理位置不是默认的美国位置，请在查询构建器右上角的处理位置下拉菜单中设置您的位置

故障排除

查看您的查询

1. 使用位于查询构建器顶部的查询检查器
2. 查询检查器使您可以查看清晰的查询并排除 SQL 错误
   查询构建器带有一组默认设置，这些设置可以在查询构建器顶部控制

构建

构建使用 Yarn

开发构建

yarn run build:dev

生产构建

yarn run build:prod

可以使用 Jest 运行测试

yarn run test

贡献

请参阅贡献指南。

许可证

请参阅许可证文件。