Konfigurowanie eksportów dzienników usług do BigQuery

Ta funkcja jest dostępna w tych wersjach: Frontline Standard i Frontline Plus; Enterprise Standard i Enterprise Plus; Education Standard i Education Plus; Enterprise Essentials Plus. Porównanie wersji

Aby eksportować do Google BigQuery zdarzenia z dziennika aktywności (pojedyncze działania wykonywane przez użytkownika) i raporty dotyczące wykorzystania (raporty zbiorcze dotyczące aplikacji), musisz skonfigurować konfigurację BigQuery Export w konsoli administracyjnej Google.

Dane BigQuery i Reports API – informacje

Dane dostępne w zbiorze danych BigQuery różnią się od danych pobranych z interfejsu Reports API. Dane BigQuery obejmują tylko niefiltrowany zbiór danych. Nadal możesz filtrować dane za pomocą SQL, ale nie wszystkie parametry interfejsu Reports API są obsługiwane.

Dane z interfejsu Reports API możesz filtrować, uwzględniając parametry w żądaniu do interfejsu API.

Przykład: w domenie są 2 jednostki organizacyjne – A i B. Dzięki interfejsowi Reports API oraz BigQuery masz dostęp do wszystkich zdarzeń dla całej domeny (A i B).

• Za pomocą interfejsu Reports API możesz jednak pobrać zdarzenia dla jednostki A, używając w żądaniu do interfejsu API parametru orgUnitID.
• W przypadku SQL i BigQuery nie możesz filtrować zdarzeń według jednostki organizacyjnej, ponieważ nie ma kolumny odpowiadającej parametrowi orgUnitID.

Ważne:

• Dane BigQuery obejmują dane historyczne (180 dni w przypadku danych o aktywności i 450 dni w przypadku danych o korzystaniu). Dane historyczne możesz też pobrać z interfejsu Reports API.
• Jeśli wyłączysz eksportowanie danych Google Workspace do BigQuery, w BigQuery Export nie będą dostępne żadne nowe dane. Dotychczasowe dane będą jednak dostępne w innych źródłach, takich jak interfejs Reports API.
• Tabele BigQuery mają partycje na poziomie dnia w pseudokolumnie (_PARTITIONTIME). Te partycje są tworzone na podstawie kolumny time_usec w tabelach aktywności i kolumny date w tabelach użytkowania. Warto zauważyć, że Workspace zastępuje domyślne granice UTC w BigQuery, aby dopasować partycje do czasu pacyficznego (PT). Aby zoptymalizować koszt zapytania BigQuery, Google zaleca filtrowanie według _PARTITIONTIME w połączeniu z time_usec lub datą.
• W BigQuery Export dane raportów dostępne są tylko dla części usług. Listę obsługiwanych usług znajdziesz w sekcji Jakie usługi obsługuje BigQuery Export? na tej stronie.
• Przykłady zapytań znajdziesz w artykule Przykładowe zapytania o dzienniki raportów w BigQuery.

Sposoby rozpowszechniania i przechowywania danych

• Rozpowszechnienie danych dotyczących zasad może potrwać do godziny. Po tym czasie w zbiorze danych tworzone są dzienne tabele (zastosowanie ma czas pacyficzny).
• Dane zapisywane są zgodnie ze wskazówkami dotyczącymi pozostałych dzienników i raportów. Więcej informacji znajdziesz w artykule Czas przechowywania danych i opóźnienia.
• Tabele danych nie są usuwane automatycznie. Aby dowiedzieć się, jak usunąć aktywny projekt, zapoznaj się z artykułem Usuwanie konfiguracji funkcji BigQuery Export.
• Zdarzenia z dziennika aktywności stają się dostępne w ciągu 10 minut. W przypadku początkowej konfiguracji zdarzenia w dzienniku wykorzystania są opóźnione o 48 godzin, ale potem średni czas opóźnienia wynosi 1–3 dni.

Zanim zaczniesz

Ważne: jeśli w Google Cloud używasz zasady organizacji Ograniczenie udostępniania według domeny, dodaj do listy dozwolonych identyfikator klienta Google C02h8e9nw.

Najpierw musisz skonfigurować projekt BigQuery w konsoli Google Cloud. Podczas tworzenia projektu:

• Dodaj konto administratora Google Workspace jako:
  • rolę Administrator BigQuery (roles/bigquery.admin) lub równoważną rolę zarządzania tożsamościami i dostępem,
  • Administrator uprawnień projektu (roles/resourcemanager.projectIamAdmin)
• Dodaj konto usługi gapps-reports@system.gserviceaccount.com jako edytującego projekt lub przypisz mu rolę z równoważnymi uprawnieniami do edycji. Jest to konieczne do tworzenia dzienników, aktualizowania schematu i wykonania kroku 5 opisanego poniżej.

Odpowiednie instrukcje znajdziesz w artykule Konfigurowanie dzienników raportów w BigQuery.

Krok 1. Skonfiguruj funkcję BigQuery Export

1. W konsoli administracyjnej Google otwórz Menu  Raportowanie Integracje danych (lub Eksportowanie danych z BigQuery w przypadku administratorów szkół i uczelni, co otwiera stronę Integracje danych).

   Otwórz Integracje danych

   Wymaga uprawnień administratora Raporty.

2. Najedź kursorem na kartę BigQuery Export i kliknij Edytuj .
3. Aby aktywować dzienniki BigQuery, zaznacz opcję Włącz eksportowanie danych z Google Workspace do Google BigQuery.
4. (Opcjonalnie) Aby wyeksportować poufne parametry reguł DLP, zaznacz pole Zezwalaj na eksportowanie treści poufnych z dzienników reguł DLP. Szczegółowe informacje znajdziesz w artykule poświęconym wyświetlaniu treści, które wyzwalają reguły DLP.
5. W sekcji Identyfikator projektu BigQuery wybierz projekt, w którym chcesz przechowywać dzienniki. Wybierz projekt, w którym konto gapps-reports@system.gserviceaccount.com ma rolę edytującego lub rolę z równoważnymi uprawnieniami do edycji. Jeśli nie widzisz projektu, musisz go skonfigurować w BigQuery. Więcej informacji znajdziesz w krótkim wprowadzeniu do konsoli Google Cloud (w języku angielskim).
6. W sekcji Nowy zbiór danych w projekcie wpisz nazwę zbioru danych, który będzie używany do przechowywania dzienników projektu. Nazwy zbiorów danych muszą być niepowtarzalne dla każdego projektu. Szczegółowe informacje znajdziesz w artykule Tworzenie zbiorów danych.
7. (Opcjonalnie) Zaznacz pole Ogranicz zbiór danych do określonej lokalizacji geograficznej wybierz lokalizację z menu. Więcej informacji znajdziesz w sekcji o wielu regionach w tym artykule.
8. Kliknij Zapisz. Uwaga: jeśli nie możesz zapisać projektu, otwórz konsolę Google Cloud, usuń nowy zbiór danych i zapisz go ponownie w konsoli administracyjnej.

Zbiór danych tworzony jest następnego dnia po uruchomieniu eksportu. Oprócz kont właścicieli, edytujących i wyświetlających tworzone jest też konto usługi gapps-reports@system.gserviceaccount.com z uprawnieniami do edytowania. Konto usługi jest wymagane do tworzenia dzienników i aktualizowania schematu.

Krok 2. Zmiana zbioru danych BigQuery Export i przenoszenie danych do nowego zbioru (opcjonalnie)

Możesz zmienić ustawienia funkcji BigQuery Export, aby rozpocząć eksportowanie danych do innego zbioru danych niż obecny. Możesz też przenieść istniejące dane z poprzedniego zbioru danych do nowego (180 dni w przypadku dzienników kontrolnych i 450 dni w przypadku raportów użytkowania). Możesz na przykład zmienić lokalizację zbioru danych eksportów BigQuery z USA na UE. Uzupełnianie umożliwia przeniesienie danych przechowywanych w USA do regionu UE. Jeśli wybierzesz opcję uzupełniania, BigQuery utworzy nowy zbiór danych w określonej lokalizacji.

Uwagi

• Jeśli wybierzesz nową lokalizację, zmienisz identyfikator projektu lub identyfikator zbioru danych, istniejące dane zostaną wyeksportowane do nowego zbioru danych.
• Wyeksportowane dane są też przechowywane w poprzednim zbiorze danych.
• Wszystkie nowe dane wraz z danymi uzupełnionymi zostaną zapisane w nowym zbiorze danych.
• Istniejące dane (180 dni w przypadku dzienników kontrolnych i 450 dni w przypadku raportów użytkowania) są eksportowane do nowego zbioru danych, ale nie są usuwane z bieżącej lokalizacji. Dzięki temu zbiory danych BigQuery Export znajdują się w 2 lokalizacjach.

Aby uzupełnić obecne dane w nowej lokalizacji:

1. W konsoli administracyjnej Google otwórz Menu  Raportowanie Integracje danych (lub Eksportowanie danych z BigQuery w przypadku administratorów szkół i uczelni, co otwiera stronę Integracje danych).

   Otwórz Integracje danych

   Wymaga uprawnień administratora Raporty.

2. Wpisz nazwę nowego zbioru danych.
3. Jeśli chcesz uzupełnić obecne dane w nowej lokalizacji, zaznacz pole Uzupełnij obecne dane BigQuery z ostatnich 180 dni w nowym zbiorze danych.
4. Kliknij Potwierdź. Zapisz.

Wymagania dotyczące eksportowania danych dziennika

Dane dziennika są eksportowane przez interfejs insertAll API, co wymaga włączenia płatności w projekcie eksportu BigQuery. Jeśli nie masz włączonych płatności, Twój projekt przejdzie w tryb piaskownicy, a dane dzienników nie zostaną wyeksportowane do zbioru danych. Więcej informacji znajdziesz w sekcji Ograniczenia.

Uwaga: eksportowanie raportów dotyczących użytkowania jest nadal włączone w projektach w trybie piaskownicy.

Czasy opóźnienia

W większości przypadków po włączeniu eksportu danych do BigQuery zdarzenia z dziennika aktywności są dostępne w ciągu 10 minut. W przypadku początkowej konfiguracji zdarzenia w dzienniku wykorzystania są opóźnione o 48 godzin, ale potem średni czas opóźnienia wynosi 1–3 dni. Więcej informacji znajdziesz w artykule Czas przechowywania danych i opóźnienia.

Najczęstsze pytania

Temat pokrewny

Dokumentacja BigQuery