Dienstprotokollexporte nach BigQuery einrichten

Unterstützte Versionen für diese Funktion: Frontline Standard und Frontline Plus; Enterprise Standard und Enterprise Plus; Education Standard und Education Plus; Enterprise Essentials Plus. Versionen vergleichen

Wenn Sie Aktivitätsprotokollereignisse (einzelne Nutzeraktionen) und Nutzungsberichte (zusammengefasste Berichte für eine App) nach Google BigQuery exportieren möchten, müssen Sie in der Admin-Konsole eine Konfiguration für BigQuery-Exporte einrichten.

Informationen zu BigQuery- und Reports API-Daten

Die im BigQuery-Dataset verfügbaren Daten unterscheiden sich von den Daten, die von der Reports API abgerufen werden. Die BigQuery-Daten enthalten nur das ungefilterte Dataset. Sie können die Daten zwar mit SQL filtern, aber es werden nicht alle Parameter der Reports API unterstützt.

Wenn Sie verschiedene Parameter in die API-Anfrage einbeziehen, lassen sich die aus der Reports API abgerufenen Daten jedoch filtern.

Beispiel: In einer Domain befinden sich zwei Organisationseinheiten, A und B. Mit der Reports API und BigQuery ist es möglich, auf alle Ereignisse der gesamten Domain zuzugreifen, also sowohl auf die in A als auch die in B.

• Mit der Reports API können Sie die A-Ereignisse über den Parameter orgUnitID in der API-Anfrage abrufen.
• Mit SQL und BigQuery lassen sich Ereignisse nicht nach Organisationseinheit filtern, da es keine entsprechende Spalte für den Parameter orgUnitID gibt.

Wichtig:

• Die BigQuery-Daten enthalten Verlaufsdaten (180 Tage für Aktivitätsdaten und 450 Tage für Nutzungsdaten). Sie können Verlaufsdaten auch aus der Reports API abrufen.
• Wenn Sie das Exportieren von Google Workspace-Daten nach BigQuery deaktivieren, werden im BigQuery Export keine neuen Daten einbezogen. Vorhandene Daten sind aber auch von anderen Quellen verfügbar, z. B. der Reports API.
• Die BigQuery-Tabellen haben Partitionen auf Tagesebene in der Pseudospalte (_PARTITIONTIME). Diese Partitionen werden aus der Spalte „time_usec“ für Aktivitätstabellen und aus der Spalte „date“ für Nutzungstabellen abgeleitet. Workspace überschreibt die standardmäßigen BigQuery-UTC-Grenzen, um Partitionen an die Zeitzone „Pacific Time (PT)“ anzupassen. Um die Kosten für BigQuery-Abfragen zu optimieren, empfiehlt Google, nach _PARTITIONTIME in Verbindung mit time_usec oder date zu filtern.
• Nicht alle Dienstberichtsdaten sind in BigQuery Export verfügbar. Eine Liste der unterstützten Dienste finden Sie auf dieser Seite unter Welche Dienste werden in BigQuery Export unterstützt?.
• Beispiele für Abfragen finden Sie unter Beispielabfragen für Protokolle zur Berichterstellung in BigQuery.

Datenübermittlung und ‑aufbewahrung

• Es kann bis zu eine Stunde dauern, bis Richtlinien wirksam werden. Danach werden die Tabellen täglich automatisch in Ihrem Dataset erstellt (Zeitzone U.S. Pacific).
• Daten werden gemäß den Richtlinien für andere Protokolle und Berichte gespeichert. Weitere Informationen finden Sie im Hilfeartikel Datenaufbewahrung und Zeitverzögerungen.
• Datentabellen werden nicht automatisch gelöscht. Informationen zum Löschen eines aktiven Projekts finden Sie unter BigQuery-Exportkonfigurationen löschen.
• Ereignisse im Aktivitätsprotokoll sind innerhalb von 10 Minuten verfügbar. Bei der ersten Konfiguration werden Ereignisse im Nutzungsprotokoll mit einer Verzögerung von 48 Stunden angezeigt. Danach beträgt die übliche Verzögerung 1–3 Tage.

Hinweis

Wichtig:Wenn Sie die Organisationsrichtlinie Domänenbeschränkte Freigabe in Google Cloud verwenden, müssen Sie die Google-Kunden-ID C02h8e9nw der Zulassungsliste hinzufügen.

Sie müssen zuerst ein BigQuery-Projekt in der Google Cloud Console einrichten. Gehen Sie beim Erstellen des Projekts so vor:

• Fügen Sie ein Google Workspace-Administratorkonto hinzu als:
  • „BigQuery-Administrator“ (roles/bigquery.admin) oder eine entsprechende IAM-Rolle (Identity and Access Management)
  • Projekt-IAM-Administrator (roles/resourcemanager.projectIamAdmin)
• Fügen Sie das Dienstkonto gapps-reports@system.gserviceaccount.com als Projektbearbeiter (oder eine entsprechende IAM-Bearbeiterrolle) hinzu. Sie benötigen es, um Logs zu schreiben, das Schema zu aktualisieren und Schritt 5 später auszuführen.

Eine Anleitung finden Sie im Hilfeartikel BigQuery-Projekt für Logs zur Berichterstellung einrichten.

Schritt 1: BigQuery Export-Konfiguration einrichten

1. Gehen Sie in der Admin-Konsole zum Menü  Berichterstellung Datenintegrationen (oder BigQuery Export für Education-Administratoren, wodurch die Seite „Datenintegrationen“ geöffnet wird).

   Zu „Datenintegrationen“

   Hierfür benötigen Sie die Administratorberechtigung Berichte.

2. Bewegen Sie den Mauszeiger auf die Karte BigQuery Export und klicken Sie auf „Bearbeiten“ .
3. Wenn Sie BigQuery-Logs aktivieren möchten, setzen Sie ein Häkchen im Kästchen Export von Google Workspace-Daten zu Google BigQuery aktivieren.
4. Optional: Klicken Sie auf das Kästchen Export sensibler Inhalte aus DLP-Regelprotokollen zulassen, um sensible Parameter aus DLP-Regeln zu exportieren. Weitere Informationen finden Sie unter Inhalte ansehen, die DLP-Regeln auslösen.
5. Wählen Sie unter BigQuery-Projekt-ID das Projekt aus, in dem die Protokolle gespeichert werden sollen. Wählen Sie ein Projekt aus, für das gapps-reports@system.gserviceaccount.com die Rolle „Bearbeiter“ oder eine entsprechende IAM-Bearbeiterrolle hat. Wenn Sie das Projekt nicht sehen, müssen Sie es in BigQuery einrichten. Weitere Informationen finden Sie in der Kurzanleitung zur Verwendung der Google Cloud Console.
6. Geben Sie unter Neues Dataset im Projekt den Namen des Datasets ein, das zum Speichern der Protokolle im Projekt verwendet werden soll. Datensatznamen müssen für jedes Projekt eindeutig sein. Weitere Informationen finden Sie unter Datasets erstellen.
7. Optional: Setzen Sie ein Häkchen in das Kästchen Dataset auf einen bestimmten geografischen Standort beschränken  wählen Sie den Standort aus dem Menü aus. Weitere Informationen finden Sie unter Mehrere Regionen.
8. Klicken Sie auf Speichern. Hinweis: Wenn Sie das Projekt nicht speichern können, rufen Sie die Google Cloud Console auf, löschen Sie das neue Dataset und speichern Sie es noch einmal in der Admin-Konsole.

Das Dataset wird einen Tag nach Auslösen des Exports erstellt. Zusätzlich zu den Projektinhabern, Mitbearbeitern und Betrachtern wird das Dienstkonto gapps-reports@system.gserviceaccount.com als Bearbeiter hinzugefügt. Es wird benötigt, um Protokolle zu schreiben und das Schema zu aktualisieren.

Schritt 2: BigQuery Export-Dataset und Backfill auf ein neues Dataset ändern (optional)

Sie können die BigQuery Export-Einstellungen ändern, um mit dem Export von Daten in ein anderes Dataset als das aktuelle zu beginnen. Sie können auch vorhandene Daten aus dem vorherigen Dataset in das neu ausgewählte Dataset verschieben (180 Tage für die Prüfung und 450 Tage für die Nutzung). Sie haben beispielsweise die Möglichkeit, den Speicherort Ihres BigQuery Export-Datasets von US zu EU zu ändern. Mit dem Backfill können Sie bereits in den USA gespeicherte Daten in die EU-Region übertragen. Wenn Sie „Backfill“ auswählen, erstellt BigQuery ein neues Dataset am angegebenen Standort.

Hinweise

• Die vorhandenen Daten werden in ein neues Dataset exportiert, wenn Sie einen neuen Speicherort auswählen, die Projekt-ID ändern oder die Dataset-ID ändern.
• Die exportierten Daten bleiben auch im vorherigen Dataset erhalten.
• Alle neuen Daten werden zusammen mit den Backfill-Daten im neuen Dataset gespeichert.
• Die vorhandenen Daten (180 Tage für die Prüfung und 450 Tage für die Nutzung) werden in das neue Dataset exportiert, aber nicht vom vorhandenen Standort gelöscht. Sie haben also BigQuery Export-Datasets an 2 Standorten.

So übertragen Sie vorhandene Daten per Backfill auf den neuen Speicherort:

1. Gehen Sie in der Admin-Konsole zum Menü  Berichterstellung Datenintegrationen (oder BigQuery Export für Education-Administratoren, wodurch die Seite „Datenintegrationen“ geöffnet wird).

   Zu „Datenintegrationen“

   Hierfür benötigen Sie die Administratorberechtigung Berichte.

2. Geben Sie den neuen Dataset-Namen ein.
3. Wenn Sie einen Backfill der vorhandenen Daten an den neuen Speicherort ausführen möchten, setzen Sie das Häkchen bei Vorhandene BigQuery-Daten aus den letzten 180 Tagen per Backfill auf ein neues Dataset übertragen.
4. Klicken Sie auf Bestätigen. Speichern.

Anforderungen für den Export von Protokolldaten

Logdaten werden über die insertAll API exportiert. Für diese Methode muss die Abrechnung für Ihr BigQuery Export-Projekt aktiviert sein. Wenn die Abrechnung nicht aktiviert ist, wird Ihr Projekt in den Sandbox-Modus versetzt und die Protokolldaten werden nicht in Ihren Dataset exportiert. Weitere Informationen finden Sie unter Einschränkungen.

Hinweis:Exporte von Nutzungsberichten sind für Projekte im Sandbox-Modus weiterhin aktiviert.

Zeitverzögerungen

In den meisten Fällen sind Ereignisse im Aktivitätsprotokoll innerhalb von 10 Minuten verfügbar, nachdem Sie den Datenexport in BigQuery aktiviert haben. Bei der ersten Konfiguration werden Ereignisse im Nutzungsprotokoll mit einer Verzögerung von 48 Stunden angezeigt. Danach beträgt die übliche Verzögerung 1–3 Tage. Weitere Informationen finden Sie im Hilfeartikel Datenaufbewahrung und Zeitverzögerungen.

FAQ

Weitere Informationen

BigQuery-Dokumentation