Konfigurera export av tjänstloggar till BigQuery

Utgåvor som stöds för den här funktionen: Frontline Standard och Frontline Plus; Enterprise Standard och Enterprise Plus; Education Standard och Education Plus; Enterprise Essentials Plus. Jämför din utgåva

För att exportera aktivitetslogghändelser (enskilda åtgärder som utförs av en användare) och användningsrapporter (aggregerade rapporter för en app) till Google BigQuery måste du konfigurera en BigQuery Export-konfiguration i Googles administratörskonsol.

Om BigQuery- och Reports API-data

Data som finns tillgänglig i BigQuery-datauppsättningen skiljer sig från data som hämtas från Reports API. BigQuery-datan innehåller endast den ofiltrerade datauppsättningen. Du kan fortfarande filtrera data med SQL, men alla Reports API-parametrar stöds inte.

Du kan filtrera Reports API-data genom att inkludera parametrar i API-begäran.

Exempel : Två organisationsenheter finns i en domän, A och B. Med hjälp av Reports API och BigQuery kan du komma åt alla händelser för hela domänen ( A och B ).

• Med Reports API kan du dock hämta A -händelserna genom att använda parametern orgUnitID i API-begäran.
• Med SQL och BigQuery kan du inte filtrera händelser efter organisationsenhet eftersom det inte finns en motsvarande kolumn till parametern orgUnitID .

Viktigt :

• BigQuery-data inkluderar historisk data (180 dagar för aktivitetsdata och 450 dagar för användningsdata). Du kan också hämta historisk data från Reports API.
• Om du inaktiverar export av Google Workspace-data till BigQuery inkluderas ingen ny data i BigQuery-exporten. Befintlig data finns dock tillgänglig i andra källor, till exempel Reports API .
  • BigQuery-tabellerna har partitioner på dagsnivå i pseudokolumnen (_PARTITIONTIME). Dessa partitioner härleds från kolumnen time_usec för aktivitetstabeller och datumkolumnen för användningstabeller. Det är värt att notera att Workspace åsidosätter standardgränserna för BigQuery UTC för att justera partitioner med Pacific Time (PT). För att optimera BigQuery-frågekostnaden rekommenderar Google filtrering efter _PARTITIONTIME i kombination med time_usec eller date.
• Inte all servicerapportdata är tillgänglig i BigQuery Export. För en lista över tjänster som stöds, gå till Vilka tjänster stöder BigQuery Export? på den här sidan.
• För exempel på frågor, gå till Exempelfrågor för rapporteringsloggar i BigQuery .

Hur data sprids och lagras

• Det kan ta en timme innan policyer implementeras. Därefter skapas dagliga tabeller i din datauppsättning (Pacific Time).
• Data sparas enligt riktlinjer för andra loggar och rapporter. För mer information, gå till Datalagring och fördröjningstider .
• Datatabeller raderas inte automatiskt. Om du vill radera ett aktivt projekt går du till Radera en BigQuery Export-konfiguration .
• Aktivitetslogghändelser är tillgängliga inom 10 minuter. Användningslogghändelser har en fördröjning på 48 timmar vid initial konfiguration, men därefter är den vanliga fördröjningen 1–3 dagar.

Innan du börjar

Viktigt: Om du använder organisationspolicyn för begränsad domändelning i Google Cloud, se till att du lägger till Googles kund-ID C02h8e9nw i godkännallistan.

Du måste först konfigurera ett BigQuery-projekt i Google Cloud-konsolen. När du skapar projektet gör du följande:

• Lägg till ett Google Workspace-administratörskonto som:
  • BigQuery-administratör (roller/bigquery.admin) eller motsvarande roll inom identitets- och åtkomsthantering (IAM)
  • Projekt IAM-administratör (roller/resurshanterare.projectIamAdmin)
• Lägg till servicekontot gapps-reports@system.gserviceaccount.com som projektredigerare (eller motsvarande IAM-redigerarroll). Du behöver detta för att skriva loggar, uppdatera schemat och slutföra steg 5 senare.

För instruktioner, gå till Konfigurera ett BigQuery-projekt för rapporteringsloggar .

Steg 1: Konfigurera en BigQuery Export-konfiguration

1. I Googles administratörskonsol, gå till Meny Rapportering Dataintegrationer (eller Big Query-export för utbildningsadministratörer, vilket öppnar sidan Dataintegrationer).

   Gå till Dataintegrationer

   Kräver administratörsrättigheten Rapporter .

2. Peka på BigQuery Export- kortet och klicka på Redigera .
3. För att aktivera BigQuery-loggar, markera rutan Aktivera export av Google Workspace-data till Google BigQuery .
4. (Valfritt) Om du vill exportera känsliga parametrar för DLP-regler markerar du rutan Tillåt export av känsligt innehåll från DLP-regelloggar . För mer information, gå till Visa innehåll som utlöser DLP-regler .
5. Under BigQuery-projekt-ID väljer du det projekt där du vill lagra loggarna. Välj ett projekt som gapps-reports@system.gserviceaccount.com har en redigeringsroll eller motsvarande IAM-redigeringsroll för. Om du inte ser projektet måste du konfigurera det i BigQuery. För mer information, gå till Snabbstart med Google Cloud-konsolen .
6. Under Ny datauppsättning inom projektet anger du namnet på den datauppsättning som ska användas för att lagra loggarna i projektet. Datauppsättningsnamnen måste vara helt nya och unika och får inte redan finnas i Google Cloud. För mer information, gå till Skapa datauppsättningar .
7. (Valfritt) Markera rutan Begränsa datamängden till en specifik geografisk plats . Välj plats från menyn. För mer information, gå till Flera regioner .
   1. Klicka på Spara . Obs ! Om du inte kan spara projektet går du till Google Cloud-konsolen, tar bort den nya datamängden och sparar den sedan igen i administratörskonsolen.

När exporten utlöses skapas datamängden nästa dag. Förutom projektägare, redigerare och läsare läggs servicekontot gapps-reports@system.gserviceaccount.com till som redigerare. Servicekontot krävs för att skriva loggar och uppdatera schemat.

Steg 2: Ändra BigQuery Export-datauppsättningen och reservdata till en ny datauppsättning (valfritt)

Du kan ändra inställningarna för BigQuery Export för att börja exportera data till en annan datamängd än den nuvarande. Du kan också flytta befintlig data från den föregående datamängden till den nyligen valda (180 dagar för granskning och 450 dagar för användning). Du kan till exempel ändra platsen för din BigQuery-exportdatamängd från USA till EU. Med reservfyllning kan du överföra data som redan lagras i USA-regionen till EU-regionen. Om du väljer reservfyllning skapar BigQuery en ny datamängd på den angivna platsen.

Överväganden

• Befintliga data exporteras till en ny datauppsättning om du väljer en ny plats, ändrar projekt-ID eller ändrar datauppsättnings-ID.
• Den exporterade datan behålls också i den föregående datauppsättningen.
• All ny data, tillsammans med den ifyllda datan, lagras i den nya datauppsättningen.
• Befintlig data (180 dagar för granskning och 450 dagar för användning) exporteras till den nya datamängden, men raderas inte från den befintliga platsen, så du kommer att ha BigQuery Export-datamängder på två platser.

Så här fyller du i befintliga data på den nya platsen:

1. I Googles administratörskonsol, gå till Meny Rapportering Dataintegrationer (eller Big Query-export för utbildningsadministratörer, vilket öppnar sidan Dataintegrationer).

   Gå till Dataintegrationer

   Kräver administratörsrättigheten Rapporter .

2. Ange det nya namnet på datasetet.
3. Om du vill fylla i befintlig data på den nya platsen markerar du rutan Fyll i befintlig BigQuery-data från de senaste 180 dagarna till ny datauppsättning .
4. Klicka på Bekräfta Spara .

Krav för export av loggdata

Loggdata exporteras via insertAll API , vilket kräver att du har fakturering aktiverad för ditt BigQuery-exportprojekt. Om fakturering inte är aktiverat kommer ditt projekt att vara i sandlådeläge och loggdata exporteras inte till din datauppsättning. För mer information, gå till Begränsningar .

Obs! Export av användningsrapporter är fortfarande aktiverat för projekt i sandlådeläge.

Fördröjningstider

I de flesta fall, efter att du har aktiverat dataexport till BigQuery, är aktivitetslogghändelser tillgängliga inom 10 minuter. Användningslogghändelser har en fördröjning på 48 timmar vid initial konfiguration, men därefter är den vanliga fördröjningen 1–3 dagar. För mer information, gå till Datalagring och fördröjningstider .

Vanliga frågor

Relaterat ämne

BigQuery-dokumentation