Как настроить экспорт служебных журналов в BigQuery

Эта функция доступна в версиях Frontline Standard, Frontline Plus, Enterprise Standard, Enterprise Plus, Education Standard, Education Plus и Enterprise Essentials Plus. Сравнение версий

Чтобы экспортировать события журнала активности (отдельных действий, выполненных пользователем) и отчеты об использовании (сводные отчеты о приложении) в Google BigQuery, настройте конфигурацию BigQuery Export в консоли администратора Google.

О данных BigQuery и Reports API

Данные в наборе данных BigQuery отличаются от полученных из Reports API. В BigQuery содержится только неотфильтрованный набор данных. Для фильтрации можно использовать SQL, но поддерживаются не все параметры, доступные при использовании Reports API.

Вы можете отфильтровать данные, полученные с помощью Reports API, включив нужные параметры в запрос к API.

Пример. В домене два организационных подразделения – A и B. С помощью Reports API и функции BigQuery вы можете получить доступ ко всем событиям домена (включая A и B).

• Reports API также позволяет получить события из организационного подразделения A, используя параметр orgUnitID в запросе к API.
• С помощью SQL и BigQuery отфильтровать события по организационному подразделению нельзя, так как отсутствует столбец, соответствующий параметру orgUnitID.

Важно!

• В BigQuery доступна статистика (данные об активности за 180 дней и данные об использовании за 450 дней). Статистику также можно получить с помощью Reports API.
• Если вы отключите экспорт данных Google Workspace в BigQuery, новые данные не будут экспортироваться с помощью функции BigQuery Export. Однако существующие данные, как и прежде, будут доступны в Reports API.
  • Таблицы BigQuery имеют секции на уровне дня в псевдостолбце _PARTITIONTIME. Эти разделы создаются на основе столбца time_usec для таблиц действий и столбца date для таблиц использования. Важно отметить, что Workspace корректирует стандартные границы UTC в BigQuery, чтобы разделы соответствовали тихоокеанскому времени. Чтобы оптимизировать стоимость запросов BigQuery, Google рекомендует фильтровать данные по параметру _PARTITIONTIME вместе с time_usec или date.
• С помощью функции BigQuery Export можно получить не все данные отчетов о сервисах. Список поддерживаемых сервисов приведен в разделе Какие сервисы поддерживает BigQuery Export?
• Примеры запросов приведены в статье Примеры запросов для журналов отчетов в BigQuery.

Как сохраняются данные

• Правила вступают в силу в течение часа. После этого в вашем наборе данных будут создаваться ежедневные таблицы (по стандартному тихоокеанскому времени).
• Данные сохраняются согласно правилам, заданным для журналов и отчетов. Подробнее о сроках хранения данных и задержках…
• Таблицы данных не удаляются автоматически. Чтобы удалить активный проект, удалите конфигурацию BigQuery Export.
• События журнала активности станут доступны в течение 10 минут. При первоначальной настройке события журнала использования становятся доступны через 48 часов, а в остальных случаях – через 1–3 дня.

Подготовка

Важно! Если у вас в Google Cloud действует политика Доступ к файлам только для пользователей домена, добавьте идентификатор клиента Google C02h8e9nw в белый список.

Прежде всего вам необходимо настроить проект BigQuery в консоли Google Cloud. Когда вы создадите проект, выполните следующие действия:

• Добавьте аккаунт администратора Google Workspace в качестве:
  • администратора BigQuery (roles/bigquery.admin) или пользователя с эквивалентной ролью IAM (управление учетными данными и доступом);
  • Администратор IAM проекта (roles/resourcemanager.projectIamAdmin)
• Добавьте сервисный аккаунт gapps-reports@system.gserviceaccount.com в качестве редактора проекта (или используя аналогичную роль редактора IAM). Это необходимо для записи журналов, обновления схемы и выполнения шага 5.

Инструкции приведены в статье Как настроить журналы отчетов в BigQuery.

Шаг 1. Настройте конфигурацию BigQuery Export

1. В консоли администратора Google нажмите на значок меню Отчеты Интеграция данных (или Экспорт в BigQuery для администраторов Education, после чего откроется страница "Интеграция данных").

   Перейти в раздел "Интеграция данных"

   Вам потребуется аккаунт администратора с доступом к отчетам.

2. Наведите указатель мыши на карточку BigQuery Export и нажмите на значок "Изменить".
3. Чтобы активировать журналы BigQuery, установите флажок Разрешить экспорт данных Google Workspace в Google BigQuery.
4. Если вы хотите экспортировать конфиденциальные параметры правил защиты данных, установите флажок Разрешить экспорт конфиденциальных данных из журналов с событиями, связанными с правилом защиты данных. Подробнее о том, как просматривать контент, который активирует правила защиты данных…
5. В разделе Идентификатор проекта BigQuery выберите проект, в котором нужно сохранять журналы. Выберите проект, для которого у gapps-reports@system.gserviceaccount.com есть роль редактора или эквивалентная роль редактора IAM. Если нужный проект не виден, настройте его в BigQuery. Подробные сведения изложены в кратком руководстве по использованию консоли Google Cloud.
6. В разделе Новый набор данных в проекте введите название набора данных для журналов. Названия наборов данных должны быть уникальными и не должны совпадать с названиями, которые уже используются в Google Cloud. Подробнее о создании наборов данных…
7. При необходимости установите флажок Предоставить доступ к набору данных только пользователям из определенного географического местоположения выберите местоположение в меню. Подробнее о мультирегионах…
   1. Нажмите Сохранить. Примечание. Если проект не удается сохранить, откройте консоль Google Cloud, удалите новый набор данных, а затем сохраните его заново в консоли администратора.

Набор данных создается на следующий день после запуска экспорта. Кроме аккаунта владельца проекта и аккаунтов пользователей с правами редактирования или просмотра, добавляется ещё один сервисный аккаунт gapps-reports@system.gserviceaccount.com с правами редактора. Он нужен для записи журналов и обновления набора атрибутов.

Шаг 2. Измените набор данных BigQuery Export и добавьте данные из него в новый набор данных (необязательно)

Вы можете изменить настройки BigQuery Export, чтобы начать экспорт данных в набор данных, отличный от текущего. Кроме того, вы можете переместить существующие данные (данные аудита за 180 дней и данные об использовании за 450 дней) из предыдущего набора данных в новый. Например, вы можете изменить расположение набора данных BigQuery Export с США на ЕС, передав данные между регионами. Если вы решите добавить собранные ранее данные, BigQuery создаст новый набор данных в указанном расположении.

Примечания

• Существующие данные будут экспортированы в новый набор данных, если вы выберете новое расположение, измените идентификатор проекта или идентификатор набора данных.
• Экспортированные данные также останутся в предыдущем наборе данных.
• Все новые данные будут записываться в новый набор данных к добавленным ранее.
• Существующие данные (данные аудита за 180 дней и данные об использовании за 450 дней) экспортируются в новый набор данных, но не удаляются из текущего расположения, поэтому наборы данных BigQuery Export будут храниться в двух расположениях.

Чтобы добавить существующие данные в новое расположение:

1. В консоли администратора Google нажмите на значок меню Отчеты Интеграция данных (или Экспорт в BigQuery для администраторов Education, после чего откроется страница "Интеграция данных").

   Перейти в раздел "Интеграция данных"

   Вам потребуется аккаунт администратора с доступом к отчетам.

2. Введите название нового набора данных.
3. Установите флажок Добавить существующие данные BigQuery за последние 180 дней в новый набор данных.
4. Нажмите Подтвердить Сохранить.

Требования для экспорта данных журналов

Данные журналов экспортируются через insertAll API. При этом необходимо, чтобы для проекта BigQuery Export была включена оплата. В противном случае проект будет находиться в режиме изолированной среды, и данные журналов не будут экспортироваться в ваш набор данных. Дополнительная информация приведена в разделе Ограничения.

Примечание. Экспорт отчетов об использовании по-прежнему включен для проектов в режиме изолированной среды.

Задержки

В большинстве случаев события журнала активности становятся доступны в течение 10 минут после включения экспорта данных в BigQuery. При первоначальной настройке события журнала использования становятся доступны через 48 часов, а в остальных случаях – через 1–3 дня. Подробнее о сроках хранения данных и задержках…

Часто задаваемые вопросы

Статьи по теме

Документация по BigQuery