BigQuery'ye hizmet günlüğü aktarma işlemlerini ayarlama

Bu özelliğin desteklendiği sürümler: Frontline Standard ve Frontline Plus; Enterprise Standard ve Enterprise Plus; Education Standard ve Education Plus; Enterprise Essentials Plus. Sürümünüzü karşılaştırın

Etkinlik günlüğü etkinliklerini (kullanıcının gerçekleştirdiği tek işlemler) ve kullanım raporlarını (bir uygulamanın raporlarını birleştirme) Google BigQuery'ye aktarmak için Google Yönetici Konsolu'nda bir BigQuery Export yapılandırması oluşturmanız gerekir.

BigQuery ve Reports API verileri hakkında

BigQuery veri kümesinde bulunan veriler, Reports API'den alınan verilerden farklıdır. BigQuery verileri yalnızca filtrelenmemiş veri kümesini içerir. Verileri SQL kullanarak filtreleyebilirsiniz ancak Reports API'de kullanılabilen tüm parametreler desteklenmez.

API isteğine parametreler ekleyerek Reports API verilerini filtreleyebilirsiniz.

Örnek: Bir alanda A ve B adlı iki kuruluş birimi vardır. Reports API ve BigQuery'yi kullanarak alanın tamamına (A ve B) ilişkin tüm etkinliklere erişebilirsiniz.

• Ancak Reports API'de, API isteğine orgUnitID parametresini ekleyerek A etkinliklerini alabilirsiniz.
• SQL ve BigQuery'de orgUnitID parametresine karşılık gelen bir sütun olmadığından, etkinlikleri kuruluş birimine göre filtreleyemezsiniz.

Önemli:

• BigQuery verileri, geçmiş verileri (etkinlik verileri için 180 gün ve kullanım verileri için 450 gün) içerir. Geçmiş verileri Reports API'den de alabilirsiniz.
• Google Workspace verilerinin BigQuery'ye aktarılmasını devre dışı bırakırsanız yeni veriler BigQuery'de kullanıma sunulmaz. Ancak, mevcut verilere Reports API gibi diğer kaynaklardan erişilebilir.
• BigQuery tablolarında, sözde sütunda (_PARTITIONTIME) gün düzeyinde bölümler bulunur. Bu bölümler, Etkinlik tabloları için time_usec sütunundan, Kullanım tabloları için ise tarih sütunundan türetilir. Workspace, bölümleri Pasifik Saati (PT) ile uyumlu hale getirmek için varsayılan BigQuery UTC sınırlarını geçersiz kılar. Google, BigQuery sorgu maliyetini optimize etmek için _PARTITIONTIME ile birlikte time_usec veya date ile filtreleme yapmanızı önerir.
• BigQuery Export'ta tüm hizmet raporu verileri sunulmamaktadır. Desteklenen hizmetlerin listesi için bu sayfadaki BigQuery Export hangi hizmetleri destekler? başlıklı bölüme gidin.
• Sorgu örnekleri için BigQuery'de raporlama günlükleri için örnek sorgular başlıklı makaleyi inceleyin.

Veriler nasıl dağıtılır ve nasıl muhafaza edilir?

• Politikaların dağıtılması bir saat sürebilir. Bunun ardından, veri kümenizde günlük tablolar (Pasifik Saati) oluşturulur.
• Veriler diğer günlüklere ve raporlara yönelik yönergeler uygulanarak kaydedilir. Ayrıntılar için Veri saklama ve gecikme süreleri başlıklı makaleyi inceleyin.
• Veri tabloları otomatik olarak silinmez. Etkin bir projeyi silmek için BigQuery Export yapılandırmasını silme başlıklı makaleyi inceleyin.
• Etkinlik günlüğü etkinlikleri 10 dakika içinde kullanılabilir. Kullanım günlüğündeki etkinliklerde ilk yapılandırmada 48 saatlik gecikme olur, ancak daha sonraki normal gecikme 1-3 gündür.

Başlamadan önce

Önemli: Google Cloud'da Alanla Kısıtlı Paylaşım kuruluş politikasını kullanıyorsanız izin verilenler listesine C02h8e9nw adlı Google müşteri kimliğini eklediğinizden emin olun.

Öncelikle Google Cloud Console'da bir BigQuery projesi oluşturmanız gerekir. Projeyi oluştururken aşağıdakileri yapın:

• Aşağıdaki rollerden biriyle Google Workspace yöneticisi hesabı ekleyin:
  • BigQuery Admin (BigQuery Yöneticisi) (roles/bigquery.admin) veya eşdeğer bir kimlik ve erişim yönetimi (IAM) rolü
  • Project IAM Admin (Proje IAM Yöneticisi) (roles/resourcemanager.projectIamAdmin)
• gapps-reports@system.gserviceaccount.com hizmet hesabını proje düzenleyicisi (veya eşdeğer IAM rolü) olarak ekleyin. Günlük yazmak, şemayı güncellemek ve 5. adımı tamamlamak için bunu yapmanız gerekir.

Talimatlar için Raporlama günlükleri için BigQuery projesi oluşturma başlıklı makaleye bakın.

1. adım: BigQuery Export yapılandırması ayarlama

1. Google Yönetici Konsolu'nda Menü Raporlama Veri entegrasyonları'na (veya Eğitim yöneticileri için BigQuery Export'a) gidin. Bu işlem, Veri entegrasyonları sayfasını açar.

   Veri entegrasyonları'na gitme

   Raporlar yönetici ayrıcalığına sahip olmayı gerektirir.

2. Fare imlecini BigQuery Export kartının üzerine getirip Düzenle'yi tıklayın.
3. BigQuery günlüklerini etkinleştirmek için Google Workspace verilerini Google BigQuery'ye aktarmayı etkinleştir kutusunu işaretleyin.
4. (İsteğe bağlı) Veri Kaybını Önleme kurallarının hassas parametrelerini dışa aktarmak için Veri Kaybını Önleme kural günlüklerinden hassas içeriğin dışa aktarılmasına izin ver kutusunu işaretleyin. Ayrıntılar için Veri Kaybını Önleme kurallarını tetikleyen içeriği görüntüleme bölümüne gidin.
5. BigQuery proje kimliği bölümünde, günlükleri depolamak istediğiniz projeyi seçin. gapps-reports@system.gserviceaccount.com hesabının düzenleyici rolüne veya eşdeğer bir IAM rolüne sahip olduğu bir proje seçin. Projeyi görmüyorsanız BigQuery'de ayarlamanız gerekir. Ayrıntılı bilgi için Google Cloud Console'u kullanarak hızlı başlangıç yapma başlıklı makaleyi inceleyin.
6. Projedeki yeni veri kümesi bölümünde, projedeki günlükleri depolamak için kullanılacak veri kümesinin adını girin. Veri kümesi adları her proje için benzersiz olmalıdır. Ayrıntılar için Veri kümesi oluşturma başlıklı makaleyi inceleyin.
7. (İsteğe bağlı) Veri kümesini belirli bir coğrafi konumla kısıtla kutusunu işaretleyin menüden konumu seçin. Daha fazla bilgi için Çoklu bölgeler başlıklı makaleyi inceleyin.
8. Kaydet'i tıklayın. Not: Projeyi kaydedemiyorsanız Google Cloud Console'a gidip yeni veri kümesini silin, ardından Yönetici Konsolu'nda tekrar kaydedin.

Dışa aktarma tetiklendiğinde veri kümesi ertesi gün oluşturulur. Proje sahiplerine, düzenleyenlere ve görüntüleyenlere ek olarak, gapps-reports@system.gserviceaccount.com hizmet hesabı da düzenleyen olarak eklenir. Hizmet hesabı, günlükleri yazmak ve şemayı güncellemek için gereklidir.

2. adım: BigQuery Export veri kümesini değiştirme ve yeni veri kümesine verileri doldurma (isteğe bağlı)

Verileri, geçerli veri kümesinden farklı bir veri kümesine aktarmaya başlamak için BigQuery Export ayarlarını değiştirebilirsiniz. Ayrıca, önceki veri kümesinden verileri yeni seçilen veri kümesine taşıyabilirsiniz (denetleme için 180 gün, kullanım için 450 gün). Örneğin, BigQuery Export veri kümesi konumunuzu ABD yerine AB olarak değiştirebilirsiniz. Doldurma işlevi, ABD bölgesinde depolanan verileri AB bölgesine aktarmanıza olanak tanır. Doldurma seçeneğini belirlerseniz BigQuery belirtilen konumda yeni bir veri kümesi oluşturur.

Dikkat edilmesi gereken noktalar

• Yeni bir konum seçerseniz, proje kimliğini veya veri kümesi kimliğini değiştirirseniz mevcut veriler yeni bir veri kümesine aktarılır.
• Dışa aktarılan veriler, önceki veri kümesinde de tutulur.
• Doldurulan verilerle birlikte tüm yeni veriler yeni veri kümesinde depolanır.
• Mevcut veriler (denetim için 180 gün ve kullanım için 450 gün) yeni veri kümesine aktarılır ancak mevcut konumdan silinmez. Dolayısıyla, BigQuery Export veri kümeleri 2 konumda tutulur.

Mevcut verileri yeni konuma doldurmak için:

1. Google Yönetici Konsolu'nda Menü Raporlama Veri entegrasyonları'na (veya Eğitim yöneticileri için BigQuery Export'a) gidin. Bu işlem, Veri entegrasyonları sayfasını açar.

   Veri entegrasyonları'na gitme

   Raporlar yönetici ayrıcalığına sahip olmayı gerektirir.

2. Yeni veri kümesinin adını girin.
3. Mevcut verileri yeni konuma doldurmak isterseniz Son 180 gündeki mevcut BigQuery verilerini yeni veri kümesine doldur kutusunu işaretleyin.
4. Onayla Kaydet'i tıklayın.

Günlük verilerini dışa aktarma koşulları

Günlük verileri, insertAll API üzerinden dışa aktarılır. Bunun için BigQuery Export projenizde faturalandırmayı etkinleştirmeniz gerekir. Faturalandırma etkin değilse projeniz korumalı alan modunda olur. Ayrıca günlük verileri, veri kümenize aktarılmaz. Ayrıntılı bilgi için Sınırlamalar bölümüne gidin.

Not: Kullanım raporlarını dışa aktarma işlemi, korumalı alan modu projelerinde etkin kalmaya devam eder.

Gecikme süreleri

Çoğu durumda, verileri BigQuery'ye aktarmayı etkinleştirdikten sonra etkinlik günlüğü etkinlikleri 10 dakika içinde kullanılabilir hâle gelir. Kullanım günlüğündeki etkinliklerde ilk yapılandırmada 48 saatlik gecikme olur, ancak daha sonraki normal gecikme 1-3 gündür. Ayrıntılar için Veri saklama ve gecikme süreleri başlıklı makaleyi inceleyin.

SSS

İlgili konu

BigQuery belgeleri