Instellen dat servicelogboeken worden geëxporteerd naar BigQuery

Deze functie wordt ondersteund in de volgende versies: Frontline Standard, Frontline Plus, Enterprise Standard, Enterprise Plus, Education Standard, Education Plus en Enterprise Essentials Plus. Versies vergelijken

Als u gebeurtenissen in het activiteitenlogboek (afzonderlijke acties die een gebruiker heeft uitgevoerd) en gebruiksrapporten (verzamelrapporten voor een app) wilt exporteren naar Google BigQuery, moet u een BigQuery Export-configuratie instellen in de Google Beheerdersconsole.

Over BigQuery- en Reports API-gegevens

De gegevens die beschikbaar zijn in de BigQuery-dataset, verschillen van de gegevens die worden opgehaald uit de Reports API. De BigQuery-gegevens bevatten alleen de ongefilterde dataset. U kunt de gegevens nog steeds filteren met SQL, maar niet alle parameters uit de Reports API worden ondersteund.

U kunt de Reports API-gegevens filteren door parameters toe te voegen aan het API-verzoek.

Voorbeeld: Er bevinden zich 2 organisatie-eenheden in een domein: A en B. Met de Reports API en BigQuery heeft u toegang tot alle gebeurtenissen voor het hele domein (A en B).

• Met de Reports API kunt u de gebeurtenissen uit A ophalen door de parameter orgUnitID in het API-verzoek te gebruiken.
• Met SQL en BigQuery kunt u gebeurtenissen niet filteren op organisatie-eenheid, omdat er geen bijbehorende kolom is voor de parameter orgUnitID.

Belangrijk:

• De BigQuery-gegevens bevatten historische gegevens (180 dagen voor activiteitsgegevens en 450 dagen voor gebruiksgegevens). U kunt ook historische gegevens ophalen uit de Reports API.
• Als u de export van Google Workspace-gegevens naar BigQuery uitzet, worden er geen nieuwe gegevens opgenomen in de BigQuery-export. Bestaande gegevens zijn wel beschikbaar in andere bronnen, zoals de Reports API.
  • De BigQuery-tabellen hebben partities op dagniveau in de pseudokolom (_PARTITIONTIME). Deze partities zijn afgeleid van de kolom time_usec voor activiteitentabellen en de kolom voor de datum voor gebruikstabellen. Workspace overschrijft de standaard UTC-grenzen van BigQuery om partities af te stemmen op Pacific Time (PT). Google raadt aan te filteren op _PARTITIONTIME in combinatie met time_usec of datum om de kosten van BigQuery-query's te optimaliseren.
• Niet alle gegevens uit servicerapporten zijn beschikbaar in BigQuery Export. Ga naar Welke services worden ondersteund door BigQuery Export? op deze pagina voor een lijst met ondersteunde services.
• Ga naar Voorbeeldquery's voor rapportlogboeken in BigQuery voor voorbeelden van query's.

Hoe gegevens worden doorgestuurd en bewaard

• Het kan een uur duren voordat het beleid is doorgestuurd. Daarna worden de dagelijkse tabellen gemaakt in de dataset (Pacific Time).
• Gegevens worden opgeslagen volgens de richtlijnen voor andere logboeken en rapporten. Ga naar Bewaartijden van gegevens en vertragingstijden voor meer informatie.
• Gegevenstabellen worden niet automatisch verwijderd. Ga naar Een BigQuery Export-configuratie verwijderen om een actief project te verwijderen.
• Gebeurtenissen in het activiteitenlogboek zijn binnen 10 minuten beschikbaar. Gebeurtenissen in het gebruikslogboek hebben een vertraging van 48 uur bij de eerste configuratie, maar daarna is de gebruikelijke vertraging 1 tot 3 dagen.

Voordat u begint

Belangrijk: Als je het organisatiebeleid Delen met domeinbeperking gebruikt in Google Cloud, moet je de Google-klant-ID C02h8e9nw toevoegen aan de toelatingslijst.

Stel eerst in de Google Cloud Console een BigQuery-project in. Doe het volgende als u het project maakt:

• Voeg een Google Workspace-beheerdersaccount toe als:
  • BigQuery-beheerder (roles/bigquery.admin) of een vergelijkbare IAM-rol (identiteits- en toegangsbeheer)
  • Project IAM-beheerder (roles/resourcemanager.projectIamAdmin)
• Voeg het serviceaccount gapps-reports@system.gserviceaccount.com toe als projectbewerker (of een vergelijkbare IAM-bewerkersrol). U heeft dit nodig om logboeken te schrijven, het schema te updaten en later stap 5 uit te voeren.

Ga naar Een BigQuery-project instellen voor rapportagelogboeken voor instructies.

Stap 1: Stel een BigQuery Export-configuratie in

1. Ga in de Google Beheerdersconsole naar Menu Rapportage Gegevensintegraties (of BigQuery Export voor onderwijsbeheerders, waarmee de pagina Gegevensintegraties wordt geopend).

   Ga naar Gegevensintegraties

   Hiervoor is het beheerdersrecht Rapporten vereist.

2. Plaats de cursor op de kaart BigQuery Export en klik op Bewerken.
3. Vink het vakje aan voor Exporteren van Google Workspace-gegevens naar Google BigQuery aanzetten om BigQuery-logboeken te activeren.
4. (Optioneel) Als u gevoelige parameters van regels voor gegevensbescherming wilt exporteren, vinkt u het vakje aan voor Exports van gevoelige content uit logboeken van regels voor gegevensbescherming toestaan. Ga naar Content bekijken die regels voor gegevensbescherming triggert voor meer informatie.
5. Selecteer onder Project-ID BigQuery het project waarin u de logboeken wilt opslaan. Kies een project waarvoor gapps-reports@system.gserviceaccount.com de rol Bewerker of een vergelijkbare IAM-bewerkersrol heeft. Als je het project niet ziet, moet je het instellen in BigQuery. Ga naar Quickstart using the Google Cloud console (Snel aan de slag via de Google Cloud Console) voor meer informatie.
6. Vul onder Nieuwe dataset in project de naam in van de dataset waarin de logboeken in het project moeten worden opgeslagen. Datasetnamen moeten helemaal nieuw en uniek zijn en mogen nog niet bestaan in Google Cloud. Ga naar Datasets maken voor meer informatie.
7. (Optioneel) Vink het vakje De dataset beperken tot een specifieke geografische locatie aan selecteer de locatie in het menu. Ga naar Meerdere regio's voor meer informatie.
   1. Klik op Opslaan. Opmerking: Als u het project niet kunt opslaan, gaat u naar de Google Cloud Console. Verwijder de nieuwe dataset en sla deze opnieuw op in de Beheerdersconsole.

Als de export wordt geactiveerd, wordt de dataset de volgende dag gemaakt. Naast projecteigenaren, bewerkers en kijkers wordt het serviceaccount gapps-reports@system.gserviceaccount.com toegevoegd als bewerker. Het serviceaccount is vereist om logboeken te maken en het schema te updaten.

Stap 2: Wijzig de BigQuery Export-dataset en vul deze aan met een nieuwe dataset (optioneel)

U kunt de instellingen van BigQuery Export wijzigen om gegevens te exporteren naar een andere dataset dan de huidige. U kunt ook bestaande gegevens uit de vorige dataset verplaatsen naar de nieuw geselecteerde dataset (180 dagen voor controle en 450 dagen voor gebruik). U kunt de locatie van uw BigQuery Export-dataset bijvoorbeeld wijzigen van de VS naar de EU. Met aanvulling kunt u gegevens die al in de VS zijn opgeslagen, overzetten naar de EU-regio. Als u aanvulling kiest, maakt BigQuery een nieuwe dataset op de aangegeven locatie.

Aandachtspunten

• De bestaande gegevens worden geëxporteerd naar een nieuwe dataset als u een nieuwe locatie selecteert, de project-ID wijzigt of de dataset-ID wijzigt.
• De geëxporteerde gegevens worden ook bewaard in de vorige dataset.
• Nieuwe gegevens worden samen met de aanvullingsgegevens opgeslagen in de nieuwe dataset.
• De bestaande gegevens (180 dagen voor controle en 450 dagen voor gebruik) worden geëxporteerd naar de nieuwe dataset, maar niet verwijderd van de bestaande locatie. U heeft dus BigQuery Export-datasets op 2 locaties.

Bestaande gegevens aanvullen op de nieuwe locatie:

1. Ga in de Google Beheerdersconsole naar Menu Rapportage Gegevensintegraties (of BigQuery Export voor onderwijsbeheerders, waarmee de pagina Gegevensintegraties wordt geopend).

   Ga naar Gegevensintegraties

   Hiervoor is het beheerdersrecht Rapporten vereist.

2. Vul de naam van de nieuwe dataset in.
3. Als u bestaande gegevens wilt aanvullen op de nieuwe locatie, vinkt u het vakje aan voor Bestaande BigQuery-gegevens van de afgelopen 180 dagen aanvullen met de nieuwe dataset.
4. Klik op Bevestigen Opslaan.

Vereisten voor de export van logboekgegevens

Logboekgegevens worden geëxporteerd via de insertAll API. Hiervoor moet facturering aanstaan voor uw BigQuery Export-project. Als facturering niet aanstaat, bevindt uw project zich in de sandbox-modus en worden de logboekgegevens niet geëxporteerd naar uw dataset. Ga voor meer informatie naar Beperkingen.

Opmerking: Export van gebruiksrapporten staat nog steeds aan voor projecten in de sandboxmodus.

Vertragingstijden

Nadat u de export van gegevens naar BigQuery heeft aangezet, zijn gebeurtenissen in het activiteitenlogboek meestal binnen 10 minuten beschikbaar. Gebeurtenissen in het gebruikslogboek hebben een vertraging van 48 uur bij de eerste configuratie, maar daarna is de gebruikelijke vertraging 1 tot 3 dagen. Ga naar Bewaartijden van gegevens en vertragingstijden voor meer informatie.

Veelgestelde vragen

Gerelateerd onderwerp

BigQuery-documentatie