Настройте экспорт журналов обслуживания в BigQuery.

Поддерживаемые версии для этой функции: Frontline Standard и Frontline Plus; Enterprise Standard и Enterprise Plus; Education Standard и Education Plus; Enterprise Essentials Plus. Сравните вашу версию .

Для экспорта событий журнала активности (отдельных действий пользователя) и отчетов об использовании (сводных отчетов по приложению) в Google BigQuery необходимо настроить параметры экспорта BigQuery в консоли администратора Google.

О данных BigQuery и Reports API

Данные, доступные в наборе данных BigQuery, отличаются от данных, полученных через API отчетов. Данные BigQuery включают только неотфильтрованный набор данных. Вы по-прежнему можете фильтровать данные с помощью SQL, но не все параметры API отчетов поддерживаются.

Вы можете фильтровать данные в API отчетов, добавляя параметры в запрос API.

Пример : В домене находятся два организационных подразделения, A и B. Используя Reports API и BigQuery, вы можете получить доступ ко всем событиям для всего домена ( A и B ).

• Однако, с помощью API отчетов вы можете получить события типа A , используя параметр orgUnitID в запросе к API.
• В SQL и BigQuery невозможно фильтровать события по организационному подразделению, поскольку для параметра orgUnitID отсутствует соответствующий столбец.

Важный :

• Данные BigQuery включают исторические данные (180 дней для данных об активности и 450 дней для данных об использовании). Вы также можете получить исторические данные через API отчетов.
• Если отключить экспорт данных из Google Workspace в BigQuery, новые данные не будут включены в экспорт BigQuery. Однако существующие данные доступны в других источниках, например, в API отчетов .
• В таблицах BigQuery используются секции по дням на основе псевдостолбца (_PARTITIONTIME). Эти секции формируются на основе столбца time_usec для таблиц Activity и столбца date для таблиц Usage. Важно отметить, что Workspace переопределяет границы UTC по умолчанию в BigQuery, чтобы согласовать секции с тихоокеанским временем (PT). Для оптимизации стоимости запросов BigQuery Google рекомендует фильтровать по _PARTITIONTIME в сочетании с time_usec или date.
• Не все данные отчетов по сервисам доступны в BigQuery Export. Список поддерживаемых сервисов см. в разделе «Какие сервисы поддерживает BigQuery Export?» на этой странице.
• Примеры запросов можно найти в разделе «Примеры запросов для создания отчетов в BigQuery» .

Как данные распространяются и сохраняются

• Распространение политик может занять час. После этого в вашем наборе данных создаются ежедневные таблицы (по тихоокеанскому времени).
• Сохранение данных осуществляется в соответствии с рекомендациями для других журналов и отчетов. Подробности см. в разделе «Срок хранения данных и задержки» .
• Таблицы данных не удаляются автоматически. Чтобы удалить активный проект, перейдите в раздел «Удаление конфигурации экспорта BigQuery» .
• События журнала активности становятся доступны в течение 10 минут. События журнала использования имеют задержку в 48 часов при первоначальной настройке, но впоследствии обычная задержка составляет 1-3 дня.

Прежде чем начать

Важно: Если вы используете корпоративную политику Google Cloud с ограниченным доступом к доменным данным , обязательно добавьте идентификатор клиента Google C02h8e9nw в список разрешенных пользователей.

Сначала необходимо настроить проект BigQuery в консоли Google Cloud. При создании проекта выполните следующие действия:

• Добавить учетную запись администратора Google Workspace в качестве:
  • Администратор BigQuery (roles/bigquery.admin) или эквивалентная роль в управлении идентификацией и доступом (IAM).
  • Администратор IAM проекта (roles/resourcemanager.projectIamAdmin)
• Добавьте учетную запись службы gapps-reports@system.gserviceaccount.com в качестве редактора проекта (или эквивалентной роли редактора IAM). Это необходимо для записи логов, обновления схемы и для выполнения шага 5 позже.

Инструкции см. в разделе «Настройка проекта BigQuery для создания отчетов» .

Шаг 1: Настройка конфигурации экспорта BigQuery

1. В консоли администратора Google перейдите в меню. Отчетность Интеграция данных (или экспорт в Big Query для администраторов образовательных учреждений, который открывает страницу интеграции данных).

   Перейдите в раздел «Интеграция данных».

   Для этого требуются права администратора отчетов .

2. Наведите указатель мыши на карточку «Экспорт BigQuery» и нажмите «Редактировать». .
3. Чтобы активировать журналы BigQuery, установите флажок « Включить экспорт данных из Google Workspace в Google BigQuery» .
4. (Необязательно) Чтобы экспортировать конфиденциальные параметры правил DLP, установите флажок « Разрешить экспорт конфиденциального содержимого из журналов правил DLP» . Для получения подробной информации перейдите в раздел «Просмотр содержимого, запускающего правила DLP» .
5. В поле «Идентификатор проекта BigQuery» выберите проект, в котором вы хотите хранить журналы. Выберите проект, для которого gapps-reports@system.gserviceaccount.com имеет роль редактора или эквивалентную роль редактора IAM. Если вы не видите проект, вам необходимо настроить его в BigQuery. Для получения подробной информации перейдите к разделу «Быстрый старт с использованием консоли Google Cloud» .
6. В разделе «Создать новый набор данных в проекте» введите имя набора данных, который будет использоваться для хранения журналов в проекте. Имена наборов данных должны быть уникальными для каждого проекта. Для получения более подробной информации перейдите в раздел «Создание наборов данных» .
7. (Необязательно) Установите флажок « Ограничить набор данных определенным географическим местоположением». Выберите местоположение из меню. Для получения дополнительной информации перейдите в раздел «Многорегиональные регионы» .
8. Нажмите «Сохранить» . Примечание : Если вам не удается сохранить проект, перейдите в консоль Google Cloud, удалите новый набор данных, а затем сохраните его снова в консоли администратора.

При запуске экспорта набор данных создается на следующий день. В дополнение к владельцам проектов, редакторам и пользователям, просматривающим отчеты, в качестве редактора добавляется учетная запись службы gapps-reports@system.gserviceaccount.com . Эта учетная запись службы необходима для записи журналов и обновления схемы.

Шаг 2: Измените набор данных для экспорта в BigQuery и заполните его новым набором данных (необязательно).

Вы можете изменить настройки экспорта BigQuery, чтобы начать экспорт данных в другой набор данных, отличный от текущего. Вы также можете переместить существующие данные из предыдущего набора данных в новый выбранный (180 дней для аудита и 450 дней для использования). Например, вы можете изменить местоположение набора данных для экспорта BigQuery с США на ЕС. Функция «Заполнение» позволяет перенести данные, уже хранящиеся в регионе США, в регион ЕС. При выборе этой функции BigQuery создаст новый набор данных в указанном местоположении.

Соображения

• При выборе нового местоположения, изменении идентификатора проекта или изменении идентификатора набора данных существующие данные экспортируются в новый набор данных.
• Экспортированные данные также сохраняются в предыдущем наборе данных.
• Все новые данные, наряду с заполненными ранее данными, сохраняются в новом наборе данных.
• Существующие данные (180 дней для аудита и 450 дней для использования) экспортируются в новый набор данных, но не удаляются из существующего местоположения, поэтому у вас будут наборы данных BigQuery Export в двух местах.

Для переноса существующих данных в новое местоположение:

1. В консоли администратора Google перейдите в меню. Отчетность Интеграция данных (или экспорт в Big Query для администраторов образовательных учреждений, который открывает страницу интеграции данных).

   Перейдите в раздел «Интеграция данных».

   Для этого требуются права администратора отчетов .

2. Введите название нового набора данных.
3. Если вы хотите заполнить существующие данные в новом месте, установите флажок « Заполнить существующие данные BigQuery за последние 180 дней в новый набор данных» .
4. Нажмите «Подтвердить». Сохранять .

Требования к экспорту данных журнала

Данные журнала экспортируются через API insertAll , для чего необходимо включить оплату для вашего проекта экспорта BigQuery. Если оплата не включена, ваш проект будет находиться в режиме песочницы, и данные журнала не будут экспортированы в ваш набор данных. Для получения более подробной информации перейдите в раздел «Ограничения» .

Примечание: Экспорт отчетов об использовании по-прежнему доступен для проектов в режиме песочницы.

Задержка времени

В большинстве случаев после включения экспорта данных в BigQuery события журнала активности становятся доступны в течение 10 минут. При первоначальной настройке события журнала использования имеют задержку в 48 часов, но впоследствии обычная задержка составляет 1-3 дня. Для получения более подробной информации перейдите в раздел «Сохранение данных и время задержки» .

Часто задаваемые вопросы

Связанная тема

Документация BigQuery