Configurer les exportations de journaux de service vers BigQuery

Éditions compatibles avec cette fonctionnalité : Frontline Standard et Frontline Plus ; Enterprise Standard et Enterprise Plus ; Education Standard et Education Plus ; Enterprise Essentials Plus. Comparer votre édition

Pour exporter des événements de journaux d'activité (actions uniques effectuées par un utilisateur) et des rapports d'utilisation (rapports globaux pour une application) vers Google BigQuery, vous devez configurer BigQuery Export dans la console d'administration Google.

À propos des données de BigQuery et de l'API Reports

Les données disponibles dans l'ensemble de données BigQuery sont différentes de celles extraites de l'API Reports. Les données BigQuery n'incluent que l'ensemble de données non filtré. Vous pouvez toujours filtrer les données à l'aide de SQL, mais les paramètres de l'API Reports ne sont pas tous compatibles.

Vous pouvez filtrer les données de l'API Reports en incluant des paramètres dans la requête API.

Exemple : Il existe deux unités organisationnelles dans un domaine, A et B. À l'aide de l'API Reports et de BigQuery, vous pouvez accéder à tous les événements de l'ensemble du domaine (A et B).

• Toutefois, avec l'API Reports, vous pouvez récupérer les événements A en appliquant le paramètre orgUnitID dans la requête API.
• Avec SQL et BigQuery, vous ne pouvez pas filtrer les événements par unité organisationnelle, car il n'existe pas de colonne correspondant au paramètre orgUnitID.

Important :

• Les données BigQuery incluent des données historiques (180 jours pour les données d'activité et 450 jours pour les données d'utilisation). Vous pouvez également récupérer les données historiques à partir de l'API Reports.
• Si vous désactivez l'exportation des données Google Workspace vers BigQuery, aucune nouvelle donnée n'est incluse dans BigQuery Export. Cependant, les données existantes sont disponibles dans d'autres sources, telles que l'API Reports.
• Les tables BigQuery comportent des partitions par jour dans la pseudo-colonne (_PARTITIONTIME). Ces partitions sont dérivées de la colonne "time_usec" pour les tables d'activité et de la colonne "date" pour les tables d'utilisation. Workspace remplace notamment les limites UTC par défaut de BigQuery pour aligner les partitions sur l'heure du Pacifique (PT). Pour optimiser les coûts des requêtes BigQuery, Google recommande de filtrer par _PARTITIONTIME avec "time_usec" ou "date".
• Remarque : Les données du rapport sur les services ne sont pas toutes disponibles dans BigQuery Export. Pour obtenir la liste des services compatibles, consultez la section Quels sont les services compatibles avec BigQuery Export ? sur cette page.
• Pour obtenir des exemples de requêtes, consultez Exemples de requêtes pour les journaux de données de rapports dans BigQuery.

Comment les données sont diffusées et conservées

• Un délai d'une heure peut être nécessaire pour que les règles soient appliquées. Les tables quotidiennes sont ensuite créées dans votre ensemble de données (heure du Pacifique).
• Les données sont enregistrées en fonction des instructions des autres journaux et rapports. Pour en savoir plus, consultez Conservation des données et temps de latence.
• Les tables de données ne sont pas automatiquement supprimées. Pour supprimer un projet actif, consultez Supprimer une configuration BigQuery Export.
• Les événements de journaux d'activité sont disponibles sous 10 minutes. Lors de la configuration initiale, les événements des journaux d'utilisation s'affichent sous 48 heures. Ensuite, le délai habituel est d'un à trois jours.

Avant de commencer

Important : Si vous utilisez la règle d'administration Partage restreint au domaine dans Google Cloud, veillez à ajouter le numéro client Google C02h8e9nw à la liste d'autorisation.

Vous devez d'abord configurer un projet BigQuery dans la console Google Cloud. Lorsque vous créez le projet, procédez comme suit :

• Ajoutez un compte administrateur Google Workspace :
  • en tant qu'administrateur BigQuery (roles/bigquery.admin) ou rôle IAM (Identity and Access Management) équivalent ;
  • Administrateur de projet IAM (roles/resourcemanager.projectIamAdmin)
• Ajoutez le compte de service gapps-reports@system.gserviceaccount.com en tant qu'éditeur de projet (ou rôle IAM équivalent). (vous en aurez besoin pour écrire des journaux, mettre à jour le schéma et effectuer l'étape 5 ci-dessous).

Pour obtenir des instructions, consultez Configurer un projet BigQuery pour vos journaux de données de rapports.

Étape 1 : Configurez BigQuery Export

1. Dans la console d'administration Google, accédez à Menu  Rapports Intégrations de données (ou Exportation BigQuery pour les administrateurs Education, ce qui ouvre la page "Intégrations de données").

   Accéder à la page "Intégrations de données"

   Vous devez disposer du droit d'administrateur Rapports.

2. Pointez sur la fiche BigQuery Export, puis cliquez sur Modifier  .
3. Pour activer les journaux BigQuery, cochez la case Activer l'exportation des données Google Workspace vers Google BigQuery.
4. (Facultatif) Pour exporter les paramètres sensibles des règles de protection contre la perte de données, cochez la case Autoriser l'exportation de contenu sensible à partir des journaux de la règle de protection contre la perte de données. Pour en savoir plus, consultez Afficher les contenus qui déclenchent les règles de protection contre la perte de données.
5. Sous ID de projet BigQuery, sélectionnez le projet dans lequel vous souhaitez stocker les journaux. Choisissez un projet pour lequel gapps-reports@system.gserviceaccount.com dispose d'un rôle d'éditeur ou d'un rôle IAM équivalent. Si vous ne voyez pas le projet, vous devez le configurer dans BigQuery. Pour en savoir plus, consultez le guide de démarrage rapide sur l'utilisation de la console Google Cloud.
6. Sous Nouvel ensemble de données dans le projet, saisissez le nom de l'ensemble de données à utiliser pour stocker les journaux dans le projet. Les noms d'ensembles de données doivent être uniques pour chaque projet. Pour en savoir plus, consultez Créer des ensembles de données.
7. (Facultatif) Cochez la case Restreindre l'ensemble de données à un emplacement géographique spécifique  sélectionnez l'emplacement dans le menu. Pour en savoir plus, consultez Emplacements multirégionaux.
8. Cliquez sur Enregistrer. Remarque : Si vous ne pouvez pas enregistrer le projet, accédez à la console Google Cloud, supprimez le nouvel ensemble de données, puis enregistrez-le à nouveau dans la console d'administration.

Lorsque l'exportation est déclenchée, l'ensemble de données est créé le lendemain. En plus des propriétaires, éditeurs et lecteurs de projet, le compte de service gapps-reports@system.gserviceaccount.com est ajouté en tant qu'éditeur. Ce compte est nécessaire pour écrire des journaux et mettre à jour le schéma.

Étape 2 : Modifiez l'ensemble de données BigQuery Export et remplissez le nouvel ensemble de données (facultatif)

Vous pouvez modifier les paramètres BigQuery Export pour commencer à exporter des données vers un ensemble de données différent de l'ensemble actuel. Vous pouvez également déplacer des données existantes de l'ensemble de données précédent vers le nouvel ensemble sélectionné (180 jours pour l'audit et 450 jours pour l'utilisation). Par exemple, vous pouvez modifier l'emplacement de l'ensemble de données BigQuery Export des États-Unis vers l'Union européenne. Le remplissage vous permet de transférer les données déjà stockées dans la région États-Unis vers la région UE. Si vous choisissez de procéder au remplissage, BigQuery crée un ensemble de données à l'emplacement spécifié.

Remarques

• Les données existantes sont exportées vers un nouvel ensemble de données si vous sélectionnez un nouvel emplacement, ou modifiez l'ID du projet ou de l'ensemble de données.
• Les données exportées sont également conservées dans l'ensemble de données précédent.
• Toutes les nouvelles données, ainsi que les données de remplissage, sont stockées dans le nouvel ensemble de données.
• Les données existantes (180 jours pour l'audit et 450 jours pour l'utilisation) sont exportées vers le nouvel ensemble de données, mais elles ne sont pas supprimées de l'emplacement existant. Vos ensembles de données BigQuery Export se trouveront donc dans deux emplacements.

Pour remplir les données existantes dans le nouvel emplacement :

1. Dans la console d'administration Google, accédez à Menu  Rapports Intégrations de données (ou Exportation BigQuery pour les administrateurs Education, ce qui ouvre la page "Intégrations de données").

   Accéder à la page "Intégrations de données"

   Vous devez disposer du droit d'administrateur Rapports.

2. Saisissez le nom du nouvel ensemble de données.
3. Si vous souhaitez remplir les données existantes dans le nouvel emplacement, cochez la case Remplir les données BigQuery des 180 derniers jours dans le nouvel ensemble de données.
4. Cliquez sur Confirmer.  Enregistrer.

Conditions requises pour exporter des données de journaux

Les données des journaux sont exportées via l'API insertAll, ce qui nécessite l'activation de la facturation pour votre projet d'exportation BigQuery. Si la facturation n'est pas activée, votre projet est en mode bac à sable et les données des journaux ne sont pas exportées vers votre ensemble de données. Pour en savoir plus, consultez Limites.

Remarque : Les exportations des rapports d'utilisation sont toujours activées pour les projets en mode bac à sable.

Temps de latence

Dans la plupart des cas, une fois l'exportation des données vers BigQuery activée, les événements des journaux d'activité sont disponibles sous 10 minutes. Lors de la configuration initiale, les événements des journaux d'utilisation s'affichent sous 48 heures. Ensuite, le délai habituel est d'un à trois jours. Pour en savoir plus, consultez Conservation des données et temps de latence.

Questions fréquentes

Article associé

Documentation BigQuery