Konfigurowanie eksportów dzienników usług do BigQuery

Ta funkcja jest dostępna w tych wersjach: Frontline Standard i Frontline Plus, Enterprise Standard i Enterprise Plus, Education Standard i Education Plus oraz Enterprise Essentials Plus. Porównanie wersji

Aby eksportować do Google BigQuery zdarzenia z dziennika aktywności (pojedyncze działania wykonywane przez użytkownika) i raporty dotyczące wykorzystania (raporty zbiorcze dotyczące aplikacji), musisz skonfigurować konfigurację BigQuery Export w konsoli administracyjnej Google.

Dane BigQuery i Reports API – informacje

Dane dostępne w zbiorze danych BigQuery różnią się od danych pobranych z interfejsu Reports API. Dane BigQuery obejmują tylko niefiltrowany zbiór danych. Nadal możesz filtrować dane za pomocą SQL, ale nie wszystkie parametry interfejsu Reports API są obsługiwane.

Dane z interfejsu Reports API możesz filtrować, uwzględniając parametry w żądaniu do interfejsu API.

Przykład: w domenie są 2 jednostki organizacyjne – A i B. Dzięki interfejsowi Reports API oraz BigQuery masz dostęp do wszystkich zdarzeń dla całej domeny (A i B).

• Za pomocą interfejsu Reports API możesz jednak pobrać zdarzenia dla jednostki A, używając w żądaniu do interfejsu API parametru orgUnitID.
• W przypadku SQL i BigQuery nie możesz filtrować zdarzeń według jednostki organizacyjnej, ponieważ nie ma kolumny odpowiadającej parametrowi orgUnitID.

Ważne:

• Dane BigQuery obejmują dane historyczne (180 dni w przypadku danych o aktywności i 450 dni w przypadku danych o korzystaniu). Dane historyczne możesz też pobrać z interfejsu Reports API.
• Jeśli wyłączysz eksportowanie danych Google Workspace do BigQuery, w BigQuery Export nie będą dostępne żadne nowe dane. Dotychczasowe dane będą jednak dostępne w innych źródłach, takich jak interfejs Reports API.
• Tabele BigQuery mają partycje na poziomie dnia w pseudokolumnie (_PARTITIONTIME). Te partycje są tworzone na podstawie kolumny time_usec w tabelach aktywności i kolumny date w tabelach użytkowania. Warto zauważyć, że Workspace zastępuje domyślne granice UTC w BigQuery, aby dopasować partycje do czasu pacyficznego (PT). Aby zoptymalizować koszt zapytania BigQuery, Google zaleca filtrowanie według _PARTITIONTIME w połączeniu z time_usec lub datą.
• W BigQuery Export dane raportów dostępne są tylko dla części usług. Listę obsługiwanych usług znajdziesz w sekcji Jakie usługi obsługuje BigQuery Export support? na tej stronie.
• Przykłady zapytań znajdziesz w artykule Przykładowe zapytania o dzienniki raportów w BigQuery.

Sposoby rozpowszechniania i przechowywania danych

• Rozpowszechnienie danych dotyczących zasad może potrwać do godziny. Po tym czasie w zbiorze danych tworzone są dzienne tabele (zastosowanie ma czas pacyficzny).
• Dane zapisywane są zgodnie ze wskazówkami dotyczącymi pozostałych dzienników i raportów. Więcej informacji znajdziesz w artykule Czas przechowywania danych i opóźnienia.
• Tabele danych nie są usuwane automatycznie. Aby dowiedzieć się, jak usunąć aktywny projekt, zapoznaj się z artykułem Usuwanie konfiguracji funkcji BigQuery Export.
• Zdarzenia z historii aktywności stają się dostępne w ciągu 10 minut. W przypadku początkowej konfiguracji zdarzenia w dzienniku wykorzystania są opóźnione o 48 godzin, ale potem średni czas opóźnienia wynosi 1–3 dni.

Zanim zaczniesz

Ważne: jeśli w Google Cloud używasz zasady organizacji Ograniczenie udostępniania według domeny, dodaj do listy dozwolonych identyfikator klienta GoogleC02h8e9nw.

Najpierw musisz skonfigurować projekt BigQuery w konsoli Google Cloud. Podczas tworzenia projektu wykonaj te czynności:

• Dodaj konto administratora Google Workspace jako:
  • rolę Administrator BigQuery (roles/bigquery.admin) lub równoważną rolę zarządzania tożsamościami i dostępem (IAM)
  • Administratora uprawnień projektu (roles/resourcemanager.projectIamAdmin).
• Dodaj konto usługi gapps-reports@system.gserviceaccount.com jako edytora projektu lub przypisz mu rolę z równoważnymi uprawnieniami do edycji. Jest to konieczne do tworzenia dzienników, aktualizowania schematu i wykonania kroku 5 opisanego poniżej.

Odpowiednie instinstonstrukcje znajdziesz w artykule Konfigurowanie dzienników raportów w BigQuery.

Krok 1. Ustawianie konfiguracji BigQuery Export

1. W konsoli administracyjnej Google otwórz Menu Raportowanie Integracje danych (w przypadku administratorów Education otwiera się strona Integracje danych) lub BigQuery Export.

   Otwórz Integracje danych

   Wymaga uprawnień administratora Raporty.

2. Najedź kursorem na kartę BigQuery Export i kliknij Edytuj .
3. Aby aktywować dzienniki BigQuery, zaznacz opcję Włącz eksportowanie danych z Google Workspace do Google BigQuery.
4. (Opcjonalnie) Aby wyeksportować poufne parametry reguł DLP, zaznacz pole Zezwalaj na eksportowanie treści poufnych z dzienników reguł DLP. Szczegółowe informacje znajdziesz w artykule poświęconym wyświetlaniu treści, które wyzwalają reguły DLP .
5. W sekcji Identyfikator projektu BigQuery wybierz projekt, w którym chcesz przechowywać dzienniki. Wybierz projekt, w którym konto gapps-reports@system.gserviceaccount.com ma rolę edytującego lub rolę z równoważnymi uprawnieniami do edycji. Jeśli nie widzisz projektu, musisz go skonfigurować w BigQuery. Więcej informacji znajdziesz w krótkim wprowadzeniu do konsoli Google Cloud (w języku angielskim).
6. W sekcji Nowy zbiór danych w projekcie wpisz nazwę zbioru danych, który będzie używany do przechowywania dzienników projektu. Nazwy zbiorów danych muszą być niepowtarzalne dla każdego projektu. Szczegółowe informacje znajdziesz w materiale na temat tworzenia zbiorów danych (w języku angielskim).
7. (Opcjonalnie) Zaznacz pole Ogranicz zbiór danych do określonej lokalizacji geograficznej wybierz lokalizację z menu. Więcej informacji znajdziesz w sekcji o wielu regionach w tym artykule.
   1. Kliknij Zapisz. Uwaga: jeśli nie możesz zapisać projektu, otwórz konsolę Google Cloud, usuń nowy zbiór danych i zapisz go ponownie w konsoli administracyjnej.

Zbiór danych tworzony jest następnego dnia po uruchomieniu eksportu. Oprócz kont właścicieli, redaktorów i przeglądających tworzone jest też konto usługi gapps-reports@system.gserviceaccount.com z uprawnieniami do edytowania. Konto usługi jest wymagane do tworzenia dzienników i aktualizowania schematu.

Krok 2. Zmiana zbioru danych BigQuery Export i przenoszenie danych do nowego zbioru (opcjonalnie)

Możesz zmienić ustawienia funkcji BigQuery Export, aby rozpocząć eksportowanie danych do innego zbioru danych niż obecny. Możesz też przenieść istniejące dane z poprzedniego zbioru danych do nowego (180 dni w przypadku dzienników kontrolnych i 450 dni w przypadku raportów użytkowania). Możesz na przykład zmienić lokalizację zbioru danych eksportów BigQuery z USA na UE. Uzupełnianie umożliwia przeniesienie danych przechowywanych w USA do regionu UE. Jeśli wybierzesz opcję uzupełniania, BigQuery utworzy nowy zbiór danych w określonej lokalizacji.

Uwagi

• Jeśli wybierzesz nową lokalizację, zmienisz identyfikator projektu lub identyfikator zbioru danych, istniejące dane zostaną wyeksportowane do nowego zbioru danych.
• Wyeksportowane dane są też przechowywane w poprzednim zbiorze danych.
• Wszystkie nowe dane wraz z danymi uzupełnionymi zostaną zapisane w nowym zbiorze danych.
• Istniejące dane (180 dni w przypadku dzienników kontrolnych i 450 dni w przypadku raportów użytkowania) są eksportowane do nowego zbioru danych, ale nie są usuwane z bieżącej lokalizacji. Dzięki temu zbiory danych BigQuery Export znajdują się w 2 lokalizacjach.

Aby uzupełnić obecne dane w nowej lokalizacji:

1. W konsoli administracyjnej Google otwórz Menu Raportowanie Integracje danych (w przypadku administratorów Education otwiera się strona Integracje danych) lub BigQuery Export.

   Otwórz Integracje danych

   Wymaga uprawnień administratora Raporty.

2. Wpisz nazwę nowego zbioru danych.
3. Jeśli chcesz uzupełnić obecne dane w nowej lokalizacji, zaznacz pole Uzupełnij obecne dane BigQuery z ostatnich 180 dni w nowym zbiorze danych.
4. Kliknij Potwierdź Zapisz.

Wymagania dotyczące eksportowania danych dziennika

Dane dziennika są eksportowane przez interfejs insertAll API, co wymaga włączenia płatności w projekcie eksportu BigQuery. Jeśli nie masz włączonych płatności, Twój projekt przejdzie w tryb piaskownicy, a dane dzienników nie zostaną wyeksportowane do zbioru danych. Więcej informacji znajdziesz w sekcji dotyczącej ograniczeń w tym artykule.

Uwaga: eksportowanie raportów dotyczących wykorzystania jest nadal włączone w projektach w trybie piaskownicy.

Czasy opóźnienia

W większości przypadków po włączeniu eksportu danych do BigQuery zdarzenia z dziennika aktywności są dostępne w ciągu 10 minut. W przypadku początkowej konfiguracji zdarzenia w dzienniku wykorzystania są opóźnione o 48 godzin, ale potem średni czas opóźnienia wynosi 1–3 dni. Więcej informacji znajdziesz w artykule Czas przechowywania danych i opóźnienia.

Najczęstsze pytania

Powiązany artykuł

Dokumentacja BigQuery (w języku angielskim)