Configurare le esportazioni dei log di servizio in BigQuery

Versioni supportate per questa funzionalità: Frontline Standard e Frontline Plus; Enterprise Standard ed Enterprise Plus; Education Standard ed Education Plus; Enterprise Essentials Plus. Confronta la tua versione

Per esportare gli eventi del log delle attività (singole azioni eseguite da un utente) e i report sull'utilizzo (report aggregati per un'app) in Google BigQuery, devi impostare una configurazione di BigQuery Export nella Console di amministrazione Google.

Informazioni sui dati di BigQuery e dell'API Reports

I dati disponibili nel set di dati di BigQuery sono diversi da quelli recuperati dall'API Reports. I dati di BigQuery includono solo il set di dati non filtrato. Puoi comunque filtrare i dati utilizzando SQL, ma non sono supportati tutti i parametri dell'API Reports.

Puoi filtrare i dati dell'API Reports includendo i parametri nella richiesta API.

Esempio: in un dominio ci sono due unità organizzative, A e B. Utilizzando l'API Reports e BigQuery, puoi accedere a tutti gli eventi per l'intero dominio (A e B).

• Tuttavia, con l'API Reports puoi recuperare gli eventi relativi ad A utilizzando il parametro orgUnitID nella richiesta API.
• Con SQL e BigQuery, non puoi filtrare gli eventi in base all'unità organizzativa perché non esiste una colonna corrispondente al parametro orgUnitID.

Importante:

• I dati di BigQuery includono dati storici (180 giorni per i dati delle attività e 450 giorni per i dati sull'utilizzo). Puoi anche recuperare i dati storici dall'API Reports.
• Se disattivi l'esportazione dei dati di Google Workspace in BigQuery, non vengono inclusi nuovi dati in BigQuery Export. Tuttavia, i dati esistenti sono disponibili in altre origini, ad esempio nell'API Reports.
• Le tabelle BigQuery hanno partizioni a livello di giorno nella pseudocolonna (_PARTITIONTIME). Queste partizioni derivano dalla colonna time_usec per le tabelle di attività e dalla colonna date per le tabelle di utilizzo. In particolare, Workspace esegue l'override dei limiti UTC predefiniti di BigQuery per allineare le partizioni al fuso orario del Pacifico (PT). Per ottimizzare il costo delle query BigQuery, Google consiglia di filtrare in base a _PARTITIONTIME insieme a time_usec o date.
• Non tutti i dati dei report dei servizi sono disponibili in BigQuery Export. Per un elenco dei servizi supportati, vedi Quali servizi sono supportati da BigQuery Export? in questa pagina.
• Per esempi di query, vedi Esempi di query per i log dei report in BigQuery.

Modalità di propagazione e conservazione dei dati

• La propagazione dei criteri può richiedere fino a un'ora. Successivamente, le tabelle giornaliere verranno create nel set di dati (fuso orario del Pacifico).
• I dati vengono salvati in base alle linee guida di altri log e report. Per informazioni dettagliate, vedi Conservazione dei dati e tempi di attesa.
• Le tabelle di dati non vengono eliminate automaticamente. Per eliminare un progetto attivo, vedi Eliminare una configurazione di BigQuery Export.
• Gli eventi del log delle attività sono disponibili entro 10 minuti. Gli eventi dei log di utilizzo hanno un ritardo di 48 ore nella configurazione iniziale, ma in seguito i tempi di attesa sono di 1-3 giorni.

Prima di iniziare

Importante: se utilizzi la policy dell'organizzazione Condivisione con limitazioni del dominio in Google Cloud, assicurati di aggiungere l'ID cliente Google C02h8e9nw alla lista consentita.

Per prima cosa, devi configurare un progetto BigQuery nella console Google Cloud. Quando crei il progetto:

• Aggiungi un account amministratore di Google Workspace come:
  • Amministratore BigQuery (roles/bigquery.admin) o ruolo Identity and Access Management (IAM) equivalente
  • Amministratore IAM progetto (roles/resourcemanager.projectIamAdmin)
• Aggiungi l'account di servizio gapps-reports@system.gserviceaccount.com come editor del progetto (o ruolo editor IAM equivalente). Questa operazione è necessaria per scrivere i log, aggiornare lo schema e completare il passaggio 5 in un secondo momento.

Per istruzioni, vai a Configurare un progetto BigQuery per i log dei report.

Passaggio 1: configura una configurazione di BigQuery Export

1. Nella Console di amministrazione Google, vai a Menu Report Integrazioni dei dati (o BigQuery Export per gli amministratori della scuola, che apre la pagina Integrazioni dei dati).

   Vai a Integrazioni di dati

   È necessario disporre del privilegio di amministratore Report.

2. Posiziona il cursore sulla scheda Esportazione in BigQuery e fai clic su Modifica .
3. Per attivare i log di BigQuery, seleziona la casella Abilita l'esportazione dei dati di Google Workspace in Google BigQuery.
4. (Facoltativo) Per esportare i parametri sensibili delle regole DLP, seleziona la casella Consenti l'esportazione di contenuti sensibili dai log delle regole DLP. Per maggiori dettagli, vedi Visualizzare i contenuti che attivano le regole DLP.
5. In ID progetto BigQuery, seleziona il progetto in cui archiviare i log. Scegli un progetto per cui gapps-reports@system.gserviceaccount.com ha il ruolo di editor o un ruolo editor IAM equivalente. Se non vedi il progetto, devi configurarlo in BigQuery. Per maggiori dettagli, consulta la guida rapida all'utilizzo della console Google Cloud.
6. In Nuovo set di dati all'interno del progetto, inserisci il nome del set di dati da utilizzare per memorizzare i log nel progetto. I nomi dei set di dati devono essere univoci per ogni progetto. Per maggiori dettagli, vedi Creare set di dati.
7. (Facoltativo) Seleziona la casella Limita il set di dati a una posizione geografica specifica seleziona la posizione dal menu. Per saperne di più, vai a Multi-regioni.
8. Fai clic su Salva. Nota: se non riesci a salvare il progetto, vai alla console Google Cloud, elimina il nuovo set di dati e salvalo nuovamente nella Console di amministrazione.

Il set di dati viene creato il giorno successivo a quello dell'attivazione dell'esportazione. Oltre ai proprietari, agli editor e ai visualizzatori del progetto, viene aggiunto l'account di servizio gapps-reports@system.gserviceaccount.com come editor. L'account di servizio è necessario per scrivere i log e aggiornare lo schema.

(Facoltativo) Passaggio 2: cambia il set di dati di BigQuery Export ed esegui il backfill su un nuovo set di dati

Puoi modificare le impostazioni di BigQuery Export per iniziare a esportare i dati in un set di dati diverso da quello attuale. Puoi anche spostare i dati esistenti dal set di dati precedente a quello appena selezionato (180 giorni per il controllo e 450 giorni per l'utilizzo). Ad esempio, puoi cambiare la località del set di dati di BigQuery Export da Stati Uniti a UE. Il backfill consente di trasferire i dati già archiviati nella regione degli Stati Uniti alla regione dell'UE. Se scegli il backfill, BigQuery crea un nuovo set di dati nella località specificata.

Considerazioni

• I dati esistenti vengono esportati in un nuovo set di dati se selezioni una nuova località, se cambi l'ID progetto o se cambi l'ID set di dati.
• I dati esportati vengono conservati anche nel set di dati precedente.
• Tutti i nuovi dati, insieme a quelli di cui è stato eseguito il backfill, vengono archiviati nel nuovo set di dati.
• I dati esistenti (180 giorni per il controllo e 450 giorni per l'utilizzo) vengono esportati nel nuovo set di dati, ma non eliminati dalla località esistente, quindi avrai set di dati di BigQuery Export in due località.

Per eseguire il backfill dei dati esistenti nella nuova località:

1. Nella Console di amministrazione Google, vai a Menu Report Integrazioni dei dati (o BigQuery Export per gli amministratori della scuola, che apre la pagina Integrazioni dei dati).

   Vai a Integrazioni di dati

   È necessario disporre del privilegio di amministratore Report.

2. Inserisci il nome del nuovo set di dati.
3. Se vuoi eseguire il backfill dei dati esistenti nella nuova località, seleziona la casella Esegui il backfill dei dati di BigQuery esistenti degli ultimi 180 giorni nel nuovo set di dati.
4. Fai clic su Conferma Salva.

Requisiti per l'esportazione dei dati dei log

I dati dei log vengono esportati tramite l'API insertAll, che richiede l'attivazione della fatturazione per il progetto di esportazione BigQuery. Se la fatturazione non è abilitata, il progetto sarà in modalità sandbox e i dati del log non verranno esportati nel set di dati. Per maggiori dettagli, vai a Limitazioni.

Nota:le esportazioni dei report sull'utilizzo sono ancora attive per i progetti in modalità sandbox.

Tempi di attesa

Nella maggior parte dei casi, dopo l'attivazione dell'esportazione dei dati in BigQuery, gli eventi del log delle attività sono disponibili entro 10 minuti. Gli eventi dei log di utilizzo hanno un ritardo di 48 ore nella configurazione iniziale, ma in seguito i tempi di attesa sono di 1-3 giorni. Per informazioni dettagliate, vedi Conservazione dei dati e tempi di attesa.

Domande frequenti

Argomento correlato

Documentazione di BigQuery