Menyiapkan ekspor log layanan ke BigQuery

Edisi yang didukung untuk fitur ini: Frontline Standard dan Frontline Plus; Enterprise Standard dan Enterprise Plus; Education Standard dan Education Plus; Enterprise Essentials Plus. Bandingkan edisi Anda

Untuk mengekspor peristiwa log aktivitas (tindakan tunggal yang dilakukan oleh pengguna) dan laporan penggunaan (laporan gabungan untuk aplikasi) ke Google BigQuery, Anda perlu menyiapkan konfigurasi BigQuery Export di konsol Google Admin.

Tentang data BigQuery dan Reports API

Data yang tersedia di set data BigQuery berbeda dengan data yang diambil dari Reports API. Data BigQuery hanya menyertakan set data yang tidak difilter. Anda tetap dapat memfilter data menggunakan SQL, tetapi tidak semua parameter Reports API didukung.

Anda dapat memfilter data Reports API dengan menyertakan parameter dalam permintaan API.

Contoh: Dua unit organisasi berada di domain, A dan B. Dengan Reports API dan BigQuery, Anda dapat mengakses semua peristiwa untuk seluruh domain (A dan B).

• Namun, dengan Reports API, Anda dapat mengambil peristiwa A menggunakan parameter orgUnitID di permintaan API.
• Dengan SQL dan BigQuery, Anda tidak dapat memfilter peristiwa berdasarkan unit organisasi karena tidak ada kolom yang sesuai dengan parameter orgUnitID.

Penting:

• Data BigQuery mencakup data historis (180 hari untuk data aktivitas dan 450 hari untuk data penggunaan). Anda juga dapat mengambil data historis dari Reports API.
• Jika Anda menonaktifkan ekspor data Google Workspace ke BigQuery, tidak ada data baru yang tercakup dalam BigQuery Export. Namun, data yang ada tersedia di sumber lain, seperti Reports API.
• Tabel BigQuery memiliki partisi tingkat hari pada pseudokolom (_PARTITIONTIME). Partisi ini berasal dari kolom time_usec untuk tabel Aktivitas dan kolom date untuk tabel Penggunaan. Khususnya, Workspace menggantikan batas UTC BigQuery default untuk menyelaraskan partisi dengan Waktu Pasifik (PT). Untuk mengoptimalkan biaya kueri BigQuery, Google merekomendasikan pemfilteran menurut _PARTITIONTIME bersama dengan time_usec atau date.
• Tidak semua data laporan layanan tersedia di BigQuery Export. Untuk daftar layanan yang didukung, buka Layanan apa yang didukung BigQuery Export? di halaman ini.
• Untuk melihat contoh kueri, buka Contoh kueri untuk log pelaporan di BigQuery.

Cara data diterapkan dan dipertahankan

• Mungkin perlu waktu satu jam agar kebijakan dapat diterapkan. Setelah itu, tabel harian akan dibuat dalam set data Anda (Waktu Pasifik).
• Data disimpan sesuai dengan panduan untuk log dan laporan lain. Untuk mengetahui detailnya, buka Retensi data dan waktu keterlambatan.
• Tabel data tidak otomatis dihapus. Untuk menghapus project yang aktif, buka Menghapus konfigurasi BigQuery Export.
• Peristiwa log aktivitas tersedia dalam waktu 10 menit. Peristiwa log penggunaan memiliki penundaan 48 jam pada konfigurasi awal, tetapi setelahnya, keterlambatan yang biasa adalah 1—3 hari.

Sebelum memulai

Penting: Jika Anda menggunakan kebijakan organisasi Berbagi yang Dibatasi Domain di Google Cloud, pastikan Anda menambahkan ID pelanggan Google C02h8e9nw ke daftar yang diizinkan.

Anda harus menyiapkan project BigQuery terlebih dahulu di Konsol Google Cloud. Saat Anda membuat project, lakukan hal berikut:

• Tambahkan akun administrator Google Workspace sebagai:
  • Admin BigQuery (roles/bigquery.admin) atau peran pengelolaan akses dan identitas (IAM) yang setara
  • Admin IAM Project (roles/resourcemanager.projectIamAdmin)
• Tambahkan akun layanan gapps-reports@system.gserviceaccount.com sebagai editor project (atau peran editor IAM yang setara). Anda memerlukan akun ini untuk menulis log, memperbarui skema, dan menyelesaikan langkah 5 nanti.

Untuk mengetahui petunjuknya, buka Menyiapkan project BigQuery untuk log pelaporan.

Langkah 1: Siapkan konfigurasi BigQuery Export

1. Di konsol Google Admin, buka Menu Pelaporan Integrasi data (atau BigQuery Export untuk admin Education, yang akan membuka halaman Integrasi data).

   Buka Integrasi data

   Memerlukan hak istimewa administrator Laporan.

2. Arahkan ke kartu BigQuery Export, lalu klik Edit .
3. Untuk mengaktifkan log BigQuery, centang kotak Aktifkan ekspor data Google Workspace ke Google BigQuery.
4. (Opsional) Untuk mengekspor parameter sensitif aturan DLP, centang kotak Izinkan ekspor konten sensitif dari log aturan DLP. Untuk mengetahui detailnya, buka Melihat konten yang memicu aturan DLP.
5. Di bagian ID project BigQuery, pilih project tempat Anda ingin menyimpan log. Pilih project tempat gapps-reports@system.gserviceaccount.com memiliki peran editor atau peran editor IAM yang setara. Jika tidak melihat project, Anda perlu menyiapkannya di BigQuery. Untuk mengetahui detailnya, buka Panduan memulai penggunaan konsol Google Cloud.
6. Di bagian Set data baru dalam project, masukkan nama set data yang akan digunakan untuk menyimpan log dalam project. Nama set data untuk setiap project harus unik. Untuk mengetahui detailnya, buka Membuat set data.
7. (Opsional) Centang kotak Batasi set data ke lokasi geografis tertentu pilih lokasi dari menu. Untuk mengetahui informasi selengkapnya, buka Multi-region.
8. Klik Simpan. Catatan: Jika Anda tidak dapat menyimpan project, buka konsol Google Cloud, hapus set data baru, lalu simpan lagi di konsol Admin.

Saat ekspor dipicu, set data akan dibuat pada hari berikutnya. Selain pemilik project, editor, dan pengakses lihat saja, akun layanan gapps-reports@system.gserviceaccount.com juga ditambahkan sebagai editor. Akun layanan diperlukan untuk menulis log dan memperbarui skema.

Langkah 2: Mengubah set data BigQuery Export & melakukan pengisian ulang ke set data baru (Opsional)

Anda dapat mengubah setelan BigQuery Export untuk mulai mengekspor data ke set data yang berbeda dari set data saat ini. Anda juga dapat memindahkan data yang ada dari set data sebelumnya ke set data yang baru dipilih (180 hari untuk audit dan 450 hari untuk penggunaan). Misalnya, Anda dapat mengubah lokasi set data BigQuery Export dari Amerika Serikat ke Uni Eropa. Pengisian ulang memungkinkan Anda mentransfer data yang sudah disimpan di wilayah AS ke wilayah Uni Eropa. Jika Anda memilih pengisian ulang, BigQuery akan membuat set data baru di lokasi yang ditentukan.

Pertimbangan

• Data yang ada akan diekspor ke set data baru jika Anda memilih lokasi baru, mengubah project ID, atau mengubah ID set data.
• Data yang diekspor juga dipertahankan di set data sebelumnya.
• Semua data baru, beserta data yang diisi ulang, disimpan di set data baru.
• Data yang ada (180 hari untuk audit dan 450 hari untuk penggunaan) akan diekspor ke set data baru, tetapi tidak dihapus dari lokasi yang ada, sehingga Anda akan memiliki set data BigQuery Export di 2 lokasi.

Untuk mengisi ulang data yang ada ke lokasi baru:

1. Di konsol Google Admin, buka Menu Pelaporan Integrasi data (atau BigQuery Export untuk admin Education, yang akan membuka halaman Integrasi data).

   Buka Integrasi data

   Memerlukan hak istimewa administrator Laporan.

2. Masukkan nama set data baru.
3. Jika Anda ingin mengisi ulang data yang ada ke lokasi baru, centang kotak Isi ulang data BigQuery yang ada dari 180 hari terakhir ke set data baru.
4. Klik Konfirmasi Simpan.

Persyaratan ekspor data log

Data log diekspor melalui insertAll API, yang mengharuskan Anda mengaktifkan penagihan untuk project BigQuery Export. Jika penagihan tidak diaktifkan, project Anda akan berada dalam mode sandbox, dan data log tidak diekspor ke set data Anda. Untuk mengetahui detail selengkapnya, buka Batasan.

Catatan: Ekspor laporan penggunaan masih diaktifkan untuk project mode sandbox.

Waktu keterlambatan

Dalam sebagian besar kasus, setelah Anda mengaktifkan ekspor data ke BigQuery, peristiwa log aktivitas akan tersedia dalam waktu 10 menit. Peristiwa log penggunaan memiliki penundaan 48 jam pada konfigurasi awal, tetapi setelahnya, keterlambatan yang biasa adalah 1—3 hari. Untuk mengetahui detailnya, buka Retensi data dan waktu keterlambatan.

FAQ

Topik terkait

Dokumentasi BigQuery