设置将服务日志导出至 BigQuery 的功能

支持此功能的版本：一线员工标准版和一线员工 Plus 版；企业标准版和企业 Plus 版；教育标准版和教育 Plus 版；企业基本功能 Plus 版。 对比版本

如要将活动日志事件（用户执行的单项操作）和使用情况报告（应用的汇总报告）导出到 Google BigQuery，您需要在 Google 管理控制台中设置 BigQuery Export 配置。

关于 BigQuery 数据和 Reports API 数据

BigQuery 数据集中的可用数据与通过 Reports API 检索到的数据不同。BigQuery 数据仅包含未经过滤的数据集。您仍然可以使用 SQL 过滤数据，但并非所有 Reports API 参数都受支持。

您可以通过在 API 请求中添加参数来过滤 Reports API 数据。

示例：某个网域中有两个组织部门：A 和 B。借助 Reports API 和 BigQuery，您可以访问整个网域（A 和 B）的所有事件。

• 不过，借助 Reports API，您可以使用 API 请求通过 orgUnitID 参数来检索 A 的事件。
• 使用 SQL 和 BigQuery 时，您无法按组织部门过滤事件，因为没有与 orgUnitIDorgUnitID 参数对应的列。

重要提示：

• BigQuery 数据包含历史数据（活动数据会保留 180 天，使用情况数据则保留 450 天）。您还可以通过 Reports API 检索历史数据。
• 如果您停用了将 Google Workspace 数据导出至 BigQuery 的功能，则 BigQuery Export 中不会包含新数据。不过，您可以通过其他来源（例如 Reports API）获取现有数据。
• BigQuery 表通过伪列 (_PARTITIONTIME) 使用天级分区。这些分区是根据 Activity 表的 time_usec 列和 Usage 表的 date 列生成的。值得注意的是，Workspace 会替换默认的 BigQuery UTC 边界，让分区改用太平洋时间 (PT)。为了优化 BigQuery 查询费用，Google 建议结合使用 _PARTITIONTIME 与 time_usec 或 date 进行过滤。
• BigQuery Export 仅提供部分服务报告数据。如需查看支持的服务的列表，请参阅本页面上的 BigQuery Export 支持哪些服务？。
• 如需查看查询示例，请参阅在 BigQuery 中查询报告日志的示例。

数据的传播和保留方式

• 政策可能需要一小时才会生效。之后，系统会在数据集中创建日常表格（太平洋时间）。
• 系统会根据其他日志和报告的准则保存数据。有关详情，请参阅数据保留时间和延迟时间。
• 系统不会自动删除数据表格。如要删除使用中的项目，请参阅删除 BigQuery Export 配置。
• 系统会在 10 分钟内提供活动日志事件。初次配置时，使用情况日志事件会延迟 48 小时，但之后通常会延迟 1-3 天。

准备工作

重要提示：如果您在 Google Cloud 中使用网域限定共享组织政策，请务必将 Google 客户 ID C02h8e9nw 添加到许可名单。

您首先需要在 Google Cloud 控制台中设置一个 BigQuery 项目。创建项目时，请执行以下操作：

• 将 Google Workspace 管理员账号添加为：
  • BigQuery Admin (roles/bigquery.admin) 或等效的身份和访问权限管理 (IAM) 角色
  • Project IAM Admin (roles/resourcemanager.projectIamAdmin)
• 将 gapps-reports@system.gserviceaccount.comgapps-reports@system.gserviceaccount.com 服务账号添加为项目编辑者（或等效的 IAM 编辑者角色）。您需要使用它来写入日志、更新架构和完成稍后的第 5 步。

有关说明，请参阅设置用于报告日志的 BigQuery 项目。

第 1 步：设置 BigQuery Export 配置

1. 在 Google 管理控制台中，依次点击“菜单”图标 报告 数据集成（对于教育机构管理员，请点击 BigQuery Export，这会打开“数据集成”页面）。

   前往“数据集成”

   需要拥有“报告”管理员权限。

2. 将光标指向 BigQuery Export 卡片，然后点击“修改”图标 。
3. 如需启用 BigQuery 日志，请勾选允许将 Google Workspace 数据导出至 Google BigQuery 复选框。
4. （可选）如要导出 DLP 规则的敏感参数，请勾选允许从 DLP 规则日志中导出敏感内容复选框。有关详情，请参阅查看触发数据泄露防护规则的内容。
5. 在 BigQuery 项目 ID 下，选择您要在用于存储日志的项目。选择 gapps-reports@system.gserviceaccount.comgapps-reports@system.gserviceaccount.com 对其拥有编辑者角色或等效 IAM 编辑者角色的项目。如果您未看到项目，则需要在 BigQuery 中创建。如需了解详情，请参阅有关使用 Google Cloud 控制台的快速入门。
6. 在项目中的新数据集下方，输入要用来在项目中存储日志的数据集的名称。各个项目的数据集名称不得重复。如需了解详情，请参阅创建数据集。
7. （可选）选中将数据集限定在特定的地理位置复选框 从菜单中选择位置。 如需了解详情，请参阅多区域。
8. 点击保存。注意：如果您无法保存项目，请前往 Google Cloud 控制台删除该新数据集，然后在管理控制台中重新保存。

数据集会在触发导出操作后的次日创建。除项目所有者、编辑者和查看者外，系统还会将 gapps-reports@system.gserviceaccount.com 服务账号添加为编辑者。写入日志和更新架构时需要使用该服务账号。

第 2 步：更改 BigQuery Export 数据集并回填到新数据集（可选）

您可以更改 BigQuery Export 设置，以开始将数据导出到与当前数据集不同的数据集。您也可以将上一个数据集中的现有数据移至新选择的数据集（审核 180 天，使用 450 天）。例如，您可以将 BigQuery Export 数据集的位置从美国更改为欧盟。借助回填功能，您可以将已存储在美国区域的数据转移到欧盟区域。如果您选择回填，BigQuery 会在指定位置创建一个新数据集。

注意事项

• 如果您选择一个新位置并更改项目 ID 或更改数据集 ID，系统会将现有数据导出到新数据集。
• 导出的数据也会保留在旧数据集中。
• 所有新数据以及回填的数据都将存储在新数据集中。
• 现有数据（180 天用于审核，450 天用于使用）会导出至新数据集，但不会从现有位置删除，因此您将在 2 个位置拥有 BigQuery Export 数据集。

如需将现有数据回填到新位置，请执行以下操作：

1. 在 Google 管理控制台中，依次点击“菜单”图标 报告 数据集成（对于教育机构管理员，请点击 BigQuery Export，这会打开“数据集成”页面）。

   前往“数据集成”

   需要拥有“报告”管理员权限。

2. 输入新数据集名称。
3. 如果您想要将现有数据回填到新位置，请勾选将过去 180 天的现有 BigQuery 数据回填到新数据集复选框。
4. 依次点击确认 保存。

日志数据导出要求

日志数据通过 insertAll API 导出，因此您需要为 BigQuery Export 项目启用结算功能。如果未启用结算功能，您的项目将处于沙盒模式，并且日志数据不会导出到您的数据集。如需了解详情，请参阅限制。

注意：沙盒模式项目仍会启用使用情况报告导出功能。

延迟时间

在大多数情况下，在您将数据导出至 BigQuery 后，系统会在 10 分钟内提供活动日志事件。初次配置时，使用情况日志事件会延迟 48 小时，但之后通常会延迟 1-3 天。有关详情，请参阅数据保留时间和延迟时间。

常见问题解答

相关主题

BigQuery 文档