Configureer de export van servicelogboeken naar BigQuery.

Ondersteunde edities voor deze functie: Frontline Standard en Frontline Plus; Enterprise Standard en Enterprise Plus; Education Standard en Education Plus; Enterprise Essentials Plus. Vergelijk uw editie

Om gebeurtenissen uit het activiteitenlogboek (individuele acties van een gebruiker) en gebruiksrapporten (samenvattende rapporten voor een app) naar Google BigQuery te exporteren, moet u een BigQuery-exportconfiguratie instellen in de Google-beheerconsole.

Over BigQuery en gegevens uit de Reports API

De gegevens in de BigQuery-dataset verschillen van de gegevens die via de Reports API worden opgehaald. De BigQuery-dataset bevat alleen de ongefilterde gegevens. U kunt de gegevens nog steeds filteren met SQL, maar niet alle parameters van de Reports API worden ondersteund.

Je kunt de gegevens van de Reports API filteren door parameters in het API-verzoek op te nemen.

Voorbeeld : Twee organisatie-eenheden, A en B, bevinden zich in een domein. Met behulp van de Reports API en BigQuery kunt u alle gebeurtenissen voor het gehele domein ( A en B ) bekijken.

• Met de Reports API kunt u echter de A- gebeurtenissen ophalen door de parameter orgUnitID in het API-verzoek te gebruiken.
• Met SQL en BigQuery is het niet mogelijk om gebeurtenissen te filteren op organisatie-eenheid, omdat er geen overeenkomstige kolom is voor de parameter orgUnitID .

Belangrijk :

• De BigQuery-gegevens bevatten historische gegevens (180 dagen voor activiteitsgegevens en 450 dagen voor gebruiksgegevens). U kunt ook historische gegevens ophalen via de Reports API.
• Als u het exporteren van Google Workspace-gegevens naar BigQuery uitschakelt, worden er geen nieuwe gegevens opgenomen in de BigQuery-export. Bestaande gegevens zijn echter wel beschikbaar in andere bronnen, zoals de Reports API .
  • De BigQuery-tabellen hebben partities op dagniveau op basis van de pseudokolom (_PARTITIONTIME). Deze partities zijn afgeleid van de kolom time_usec voor activiteitentabellen en de kolom date voor gebruikstabellen. Opvallend is dat Workspace de standaard UTC-grenzen van BigQuery overschrijft om partities af te stemmen op de Pacific Time (PT). Om de querykosten van BigQuery te optimaliseren, raadt Google aan om te filteren op _PARTITIONTIME in combinatie met time_usec of date.
• Niet alle servicerapportagegegevens zijn beschikbaar in BigQuery Export. Voor een lijst met ondersteunde services, ga naar Welke services ondersteunt BigQuery Export? op deze pagina.
• Voor voorbeelden van query's ga je naar Voorbeeldquery's voor het rapporteren van logboeken in BigQuery .

Hoe gegevens worden verspreid en bewaard.

• Het kan een uur duren voordat beleidsregels zijn doorgevoerd. Daarna worden er dagelijks tabellen in uw dataset aangemaakt (Pacific Time).
• Gegevens worden opgeslagen volgens de richtlijnen voor andere logboeken en rapporten. Zie Gegevensbewaring en vertragingstijden voor meer informatie .
• Gegevenstabellen worden niet automatisch verwijderd. Om een ​​actief project te verwijderen, ga naar Een BigQuery-exportconfiguratie verwijderen .
• Gebeurtenissen in het activiteitenlogboek zijn binnen 10 minuten beschikbaar. Gebeurtenissen in het gebruikslogboek hebben een vertraging van 48 uur bij de eerste configuratie, maar daarna is de gebruikelijke vertraging 1-3 dagen.

Voordat je begint

Belangrijk: Als u het organisatiebeleid 'Delen met beperking' in Google Cloud gebruikt, moet u ervoor zorgen dat u de Google-klant-ID C02h8e9nw toevoegt aan de lijst met toegestane gebruikers.

Je moet eerst een BigQuery-project instellen in de Google Cloud-console. Doe daarbij het volgende:

• Voeg een Google Workspace-beheerdersaccount toe als:
  • BigQuery-beheerder (rollen/bigquery.admin) of een gelijkwaardige rol voor identiteits- en toegangsbeheer (IAM).
  • Project IAM-beheerder (rollen/resourcemanager.projectIamAdmin)
• Voeg het serviceaccount gapps-reports@system.gserviceaccount.com toe als projecteditor (of een gelijkwaardige IAM-editorrol). Dit is nodig om logboeken te schrijven, het schema bij te werken en stap 5 later te voltooien.

Voor instructies ga naar Een BigQuery-project instellen voor het rapporteren van logboeken .

Stap 1: Een BigQuery-exportconfiguratie instellen

1. Ga in de Google Admin-console naar Menu. Rapportage Gegevensintegraties (of Big Query-export voor beheerders in het onderwijs, waarmee de pagina Gegevensintegraties wordt geopend).

   Ga naar Gegevensintegraties

   Hiervoor is beheerdersrechten voor rapporten vereist.

2. Wijs de kaart BigQuery Export aan en klik op Bewerken. .
3. Om BigQuery-logboeken te activeren, vinkt u het vakje 'Google Workspace-gegevensexport naar Google BigQuery inschakelen ' aan.
4. (Optioneel) Om gevoelige parameters van DLP-regels te exporteren, vinkt u het vakje ' Exporteren van gevoelige inhoud uit DLP-regellogboeken toestaan' aan. Zie 'Inhoud bekijken die DLP-regels activeert' voor meer informatie.
5. Selecteer onder BigQuery-project-ID het project waarin u de logboeken wilt opslaan. Kies een project waarvoor gapps-reports@system.gserviceaccount.com een ​​editorrol of een gelijkwaardige IAM-editorrol heeft. Als u het project niet ziet, moet u het in BigQuery instellen. Ga voor meer informatie naar Snelstartgids in de Google Cloud-console .
6. Voer onder 'Nieuwe dataset binnen project' de naam in van de dataset die u wilt gebruiken voor het opslaan van de logboeken in het project. Datasetnamen moeten volledig nieuw en uniek zijn en mogen nog niet bestaan ​​in Google Cloud. Zie ' Datasets maken' voor meer informatie.
7. (Optioneel) Vink het vakje 'Beperk de dataset tot een specifieke geografische locatie' aan. Selecteer de locatie in het menu. Ga voor meer informatie naar Meerdere regio's .
   1. Klik op Opslaan . Opmerking : Als u het project niet kunt opslaan, gaat u naar de Google Cloud-console, verwijdert u de nieuwe dataset en slaat u deze vervolgens opnieuw op in de beheerdersconsole.

Wanneer de export wordt geactiveerd, wordt de dataset de volgende dag aangemaakt. Naast projecteigenaren, bewerkers en kijkers wordt het serviceaccount gapps-reports@system.gserviceaccount.com toegevoegd als bewerker. Dit serviceaccount is nodig om logboeken te schrijven en het schema bij te werken.

Stap 2: Wijzig de BigQuery-exportdataset en vul deze aan met een nieuwe dataset (optioneel)

U kunt de BigQuery-exportinstellingen wijzigen om gegevens naar een andere dataset te exporteren dan de huidige. U kunt ook bestaande gegevens van de vorige dataset naar de nieuw geselecteerde dataset verplaatsen (180 dagen voor auditdoeleinden en 450 dagen voor gebruik). U kunt bijvoorbeeld de locatie van uw BigQuery-exportdataset wijzigen van de VS naar de EU. Met Backfill kunt u gegevens die al in de VS-regio zijn opgeslagen, overzetten naar de EU-regio. Als u Backfill kiest, maakt BigQuery een nieuwe dataset aan op de opgegeven locatie.

Overwegingen

• De bestaande gegevens worden geëxporteerd naar een nieuwe dataset als u een nieuwe locatie selecteert, de project-ID wijzigt of de dataset-ID wijzigt.
• De geëxporteerde gegevens worden ook bewaard in de vorige dataset.
• Alle nieuwe gegevens, samen met de aangevulde gegevens, worden opgeslagen in de nieuwe dataset.
• De bestaande gegevens (180 dagen voor auditdoeleinden en 450 dagen voor gebruik) worden geëxporteerd naar de nieuwe dataset, maar niet verwijderd van de bestaande locatie. U beschikt dus over BigQuery Export-datasets op twee locaties.

Om bestaande gegevens naar de nieuwe locatie over te zetten:

1. Ga in de Google Admin-console naar Menu. Rapportage Gegevensintegraties (of Big Query-export voor beheerders in het onderwijs, waarmee de pagina Gegevensintegraties wordt geopend).

   Ga naar Gegevensintegraties

   Hiervoor is beheerdersrechten voor rapporten vereist.

2. Voer de nieuwe datasetnaam in.
3. Als u bestaande gegevens naar de nieuwe locatie wilt overzetten, vink dan het vakje 'Bestaande BigQuery-gegevens van de afgelopen 180 dagen overzetten naar nieuwe dataset' aan.
4. Klik op Bevestigen Redden .

Exportvereisten voor loggegevens

Loggegevens worden geëxporteerd via de insertAll API , waarvoor facturering voor uw BigQuery-exportproject vereist is. Als facturering niet is ingeschakeld, bevindt uw project zich in de sandboxmodus en worden de loggegevens niet naar uw dataset geëxporteerd. Zie Beperkingen voor meer informatie.

Opmerking: Het exporteren van gebruiksrapporten blijft mogelijk voor projecten in de sandboxmodus.

Vertragingstijden

In de meeste gevallen zijn activiteitslogboekgebeurtenissen binnen 10 minuten beschikbaar nadat u de gegevensexport naar BigQuery hebt ingeschakeld. Gebruikslogboekgebeurtenissen hebben een vertraging van 48 uur bij de eerste configuratie, maar daarna is de gebruikelijke vertraging 1-3 dagen. Zie Gegevensbewaring en vertragingstijden voor meer informatie.

Veelgestelde vragen

Gerelateerd onderwerp

BigQuery-documentatie