Настройте экспорт журналов обслуживания в BigQuery.

Supported editions for this feature: Frontline Standard and Frontline Plus; Enterprise Standard and Enterprise Plus; Education Standard and Education Plus; Enterprise Essentials Plus. Compare your edition

To export activity log events (single actions taken by a user) and usage reports (aggregate reports for an app) to Google BigQuery, you need to set up a BigQuery Export configuration in the Google Admin console.

О данных BigQuery и Reports API

The data available in the BigQuery dataset differs from the data retrieved from the Reports API. The BigQuery data includes only the unfiltered dataset. You can still filter the data using SQL, but not all Reports API parameters are supported.

Вы можете фильтровать данные в API отчетов, добавляя параметры в запрос API.

Пример : В домене находятся два организационных подразделения, A и B. Используя Reports API и BigQuery, вы можете получить доступ ко всем событиям для всего домена ( A и B ).

• Однако, с помощью API отчетов вы можете получить события типа A , используя параметр orgUnitID в запросе к API.
• В SQL и BigQuery невозможно фильтровать события по организационному подразделению, поскольку для параметра orgUnitID отсутствует соответствующий столбец.

Важный :

• Данные BigQuery включают исторические данные (180 дней для данных об активности и 450 дней для данных об использовании). Вы также можете получить исторические данные через API отчетов.
• Если отключить экспорт данных из Google Workspace в BigQuery, новые данные не будут включены в экспорт BigQuery. Однако существующие данные доступны в других источниках, например, в API отчетов .
  • В таблицах BigQuery используются секции по дням на основе псевдостолбца (_PARTITIONTIME). Эти секции формируются на основе столбца time_usec для таблиц Activity и столбца date для таблиц Usage. Важно отметить, что Workspace переопределяет границы UTC по умолчанию в BigQuery, чтобы согласовать секции с тихоокеанским временем (PT). Для оптимизации стоимости запросов BigQuery Google рекомендует фильтровать по _PARTITIONTIME в сочетании с time_usec или date.
• Не все данные отчетов по сервисам доступны в BigQuery Export. Список поддерживаемых сервисов см. в разделе «Какие сервисы поддерживает BigQuery Export?» на этой странице.
• Примеры запросов можно найти в разделе «Примеры запросов для создания отчетов в BigQuery» .

Как данные распространяются и сохраняются

• Распространение политик может занять час. После этого в вашем наборе данных создаются ежедневные таблицы (по тихоокеанскому времени).
• Сохранение данных осуществляется в соответствии с рекомендациями для других журналов и отчетов. Подробности см. в разделе «Срок хранения данных и задержки» .
• Таблицы данных не удаляются автоматически. Чтобы удалить активный проект, перейдите в раздел «Удаление конфигурации экспорта BigQuery» .
• События журнала активности становятся доступны в течение 10 минут. События журнала использования имеют задержку в 48 часов при первоначальной настройке, но впоследствии обычная задержка составляет 1-3 дня.

Прежде чем начать

Важно: Если вы используете корпоративную политику Google Cloud с ограниченным доступом к доменным данным , обязательно добавьте идентификатор клиента Google C02h8e9nw в список разрешенных пользователей.

Сначала необходимо настроить проект BigQuery в консоли Google Cloud. При создании проекта выполните следующие действия:

• Добавить учетную запись администратора Google Workspace в качестве:
  • Администратор BigQuery (roles/bigquery.admin) или эквивалентная роль в управлении идентификацией и доступом (IAM).
  • Администратор IAM проекта (roles/resourcemanager.projectIamAdmin)
• Add the gapps-reports@system.gserviceaccount.com service account as a project editor (or equivalent IAM editor role). You need this to write logs, update the schema, and to complete step 5 later.

Инструкции см. в разделе «Настройка проекта BigQuery для создания отчетов» .

Шаг 1: Настройка конфигурации экспорта BigQuery

1. В консоли администратора Google перейдите в меню. Отчетность Интеграция данных (или экспорт в Big Query для администраторов образовательных учреждений, который открывает страницу интеграции данных).

   Перейдите в раздел «Интеграция данных».

   Для этого требуются права администратора отчетов .

2. Наведите указатель мыши на карточку «Экспорт BigQuery» и нажмите «Редактировать». .
3. Чтобы активировать журналы BigQuery, установите флажок « Включить экспорт данных из Google Workspace в Google BigQuery» .
4. (Optional) To export sensitive parameters of data protection rules, check the Allow export of sensitive content from data protection rule logs box. For details, go to View content that triggers data protection rules .
5. Under BigQuery project ID , select the project where you want to store the logs. Choose a project for which gapps-reports@system.gserviceaccount.com has an editor role or an equivalent IAM editor role. If you don't see the project, you need to set it up in BigQuery. For details, go to Quickstart using the Google Cloud console .
6. Under New dataset within project , enter the name of the dataset to use for storing the logs in the project. Dataset names must be completely new and unique, and must not already exist under Google Cloud. For details, go to Creating datasets .
7. (Необязательно) Установите флажок « Ограничить набор данных определенным географическим местоположением». Выберите местоположение из меню. Для получения дополнительной информации перейдите в раздел «Многорегиональные регионы» .
   1. Нажмите «Сохранить» . Примечание : Если вам не удается сохранить проект, перейдите в консоль Google Cloud, удалите новый набор данных, а затем сохраните его снова в консоли администратора.

When the export is triggered, the dataset is created the next day. In addition to project owners, editors, and viewers, the gapps-reports@system.gserviceaccount.com service account is added as editor. The service account is required to write logs and update the schema.

Шаг 2: Измените набор данных для экспорта в BigQuery и заполните его новым набором данных (необязательно).

Вы можете изменить настройки экспорта BigQuery, чтобы начать экспорт данных в другой набор данных, отличный от текущего. Вы также можете переместить существующие данные из предыдущего набора данных в новый выбранный (180 дней для аудита и 450 дней для использования). Например, вы можете изменить местоположение набора данных для экспорта BigQuery с США на ЕС. Функция «Заполнение» позволяет перенести данные, уже хранящиеся в регионе США, в регион ЕС. При выборе этой функции BigQuery создаст новый набор данных в указанном местоположении.

Соображения

• При выборе нового местоположения, изменении идентификатора проекта или изменении идентификатора набора данных существующие данные экспортируются в новый набор данных.
• Экспортированные данные также сохраняются в предыдущем наборе данных.
• Все новые данные, наряду с заполненными ранее данными, сохраняются в новом наборе данных.
• The existing data (180 days for audit and 450 days for usage) is exported to the new dataset, but not deleted from the existing location, so you'll have BigQuery Export datasets in 2 locations.

Для переноса существующих данных в новое местоположение:

1. В консоли администратора Google перейдите в меню. Отчетность Интеграция данных (или экспорт в Big Query для администраторов образовательных учреждений, который открывает страницу интеграции данных).

   Перейдите в раздел «Интеграция данных».

   Для этого требуются права администратора отчетов .

2. Введите название нового набора данных.
3. Если вы хотите заполнить существующие данные в новом месте, установите флажок « Заполнить существующие данные BigQuery за последние 180 дней в новый набор данных» .
4. Нажмите «Подтвердить». Сохранять .

Требования к экспорту данных журнала

Log data is exported through the insertAll API , which requires you to have billing enabled for your BigQuery export project. If billing is not enabled, your project will be in sandbox mode, and the log data isn't exported to your dataset. For more details, go to Limitations .

Примечание: Экспорт отчетов об использовании по-прежнему доступен для проектов в режиме песочницы.

Задержка времени

In most cases, after you turn on data export to BigQuery, activity log events are available within 10 minutes. Usage log events have a delay of 48 hours on initial configuration, but afterwards the usual lag is 1-3 days. For details, go to Data retention and lag times .

Часто задаваемые вопросы

Связанная тема

Документация BigQuery