הגדרה של ייצוא של יומני שירות ל-BigQuery

התכונה הזו נתמכת במהדורות הבאות: Frontline Standard ו-Frontline Plus,‏ Enterprise Standard ו-Enterprise Plus,‏ Education Standard ו-Education Plus,‏ Enterprise Essentials Plus. השוואה בין המהדורות

כדי לייצא ל-Google BigQuery אירועים ביומן הפעילות (פעולות בודדות שמשתמש ביצע) ודוחות שימוש (דוחות נצברים של אפליקציה), צריך להגדיר את BigQuery Export במסוף Google Admin.

מידע על נתונים ב-BigQuery וב-Reports API

הנתונים שזמינים במערך הנתונים ב-BigQuery שונים מהנתונים שאוחזרו מ-Reports API. הנתונים ב-BigQuery כוללים רק את מערך הנתונים הלא מסונן. עדיין אפשר לסנן את הנתונים באמצעות SQL, אבל לא כל הפרמטרים של Reports API נתמכים.

אתם יכולים לסנן את הנתונים של Reports API על ידי הכללת פרמטרים בבקשת ה-API.

דוגמה: בדומיין יש שתי יחידות ארגוניות, א' וב'. באמצעות Reports API ו-BigQuery, אתם יכולים לגשת לכל האירועים של הדומיין כולו (A ו-B).

  • עם זאת, באמצעות Reporting API אפשר לאחזר את האירועים מסוג A באמצעות הפרמטר orgUnitID בבקשת ה-API.
  • ב-SQL וב-BigQuery, אי אפשר לסנן אירועים לפי יחידה ארגונית כי אין עמודה שתואמת לפרמטר orgUnitID.

חשוב:

  • הנתונים ב-BigQuery כוללים נתונים היסטוריים (נתוני פעילות מ-180 הימים האחרונים ונתוני שימוש מ-450 הימים האחרונים). אתם יכולים גם לאחזר נתונים היסטוריים מ-Reports API.
  • אם משביתים את ייצוא הנתונים של Google Workspace ל-BigQuery, נתונים חדשים לא נכללים ב-BigQuery Export. עם זאת, הנתונים הקיימים זמינים במקורות אחרים, כמו Reports API.
    • הטבלאות ב-BigQuery מחולקות למחיצות ברמת היום בעמודה המדומה (‎_PARTITIONTIME). המחיצות האלה נגזרות מהעמודה time_usec בטבלאות הפעילות ומהעמודה date בטבלאות השימוש. חשוב לציין ש-Workspace משנה את גבולות ברירת המחדל של UTC ב-BigQuery כדי להתאים את המחיצות לשעון החוף המערבי (PT). כדי לבצע אופטימיזציה של עלות השאילתה ב-BigQuery,‏ Google ממליצה לסנן לפי _PARTITIONTIME בשילוב עם time_usec או date.
  • לא כל נתוני הדוחות של השירותים זמינים ב-BigQuery Export. בקטע באילו שירותים אפשר להשתמש ב-BigQuery Export? שבהמשך הדף מפורטים השירותים הנתמכים.
  • דוגמאות לשאילתות מופיעות במאמר שאילתות לדוגמה ליומני דיווח ב-BigQuery.

איך הנתונים מופצים ונשמרים

  • יכול להיות שיעבור זמן מה עד שהמדיניות תתעדכן. לאחר מכן, טבלאות יומיות נוצרות במערך הנתונים (לפי שעון החוף המערבי בארה"ב).
  • הנתונים נשמרים בהתאם להנחיות של יומנים ודוחות אחרים. פרטים נוספים זמינים במאמר שמירת נתונים וזמני השהיה.
  • טבלאות נתונים לא נמחקות באופן אוטומטי. כדי למחוק פרויקט פעיל, עיינו במאמר מחיקת הגדרות של BigQuery Export.
  • האירועים ביומן הפעילות זמינים תוך 10 דקות. בפעם הראשונה שמגדירים את יומן השימוש, האירועים מופיעים בו בעיכוב של 48 שעות. אחרי ההגדרה הראשונית, העיכוב הרגיל הוא יום עד 3 ימים.

לפני שמתחילים

חשוב: אם אתם משתמשים במדיניות הארגון שיתוף מוגבל לדומיין ב-Google Cloud, הקפידו להוסיף את מזהה הלקוח ב-Google‏ C02h8e9nw לרשימת ההיתרים.

קודם צריך להגדיר פרויקט BigQuery במסוף Google Cloud. כשיוצרים את הפרויקט, צריך לבצע את הפעולות הבאות:

  • מוסיפים חשבון אדמין ב-Google Workspace בתור:
    • אדמין ב-BigQuery‏ (roles/bigquery.admin) או תפקיד מקביל בניהול זהויות והרשאות גישה (IAM)
    • אדמין IAM של פרויקט (roles/resourcemanager.projectIamAdmin)
  • מוסיפים את חשבון השירות gapps-reports@system.gserviceaccount.com כעורך פרויקט (או תפקיד עריכה מקביל ב-IAM). ההרשאה הזו נדרשת כדי לכתוב יומנים, לעדכן את הסכימה ולהשלים את שלב 5 בהמשך.

איך מגדירים פרויקט של יומני דיווח ב-BigQuery

שלב 1: מגדירים את BigQuery Export

  1. במסוף Google Admin, נכנסים לתפריט ואז דיווח ואז שילובי נתונים (או ייצוא ל-BigQuery לאדמינים ב-Education, שפותח את הדף "שילובי נתונים").

    כדי לעשות את זה נדרשת הרשאת אדמין לדוחות.

  2. מעבירים את העכבר מעל הכרטיס BigQuery Export ולוחצים על סמל העריכה .
  3. כדי להפעיל את יומני BigQuery, מסמנים את התיבה הפעלת ייצוא נתונים מ-Google Workspace אל Google BigQuery.
  4. (אופציונלי) כדי לייצא פרמטרים רגישים של כללי הגנה על נתונים, מסמנים את התיבה אפשר לייצא תוכן רגיש מיומני כללים של הגנה על נתונים. פרטים נוספים זמינים במאמר איך מציגים תוכן שמפעיל כללים להגנה על נתונים.
  5. בקטע מזהה פרויקט BigQuery, בוחרים את הפרויקט שבו רוצים לאחסן את היומנים. בוחרים פרויקט שבו לחשבון gapps-reports@system.gserviceaccount.com יש תפקיד עריכה או תפקיד עריכה מקביל ב-IAM. אם הפרויקט לא מופיע, צריך להגדיר אותו ב-BigQuery. פרטים נוספים זמינים במאמר מדריך למתחילים לשימוש במסוף Google Cloud.
  6. בקטע New dataset within project, מזינים את השם של מערך הנתונים שבו רוצים לאחסן את היומנים בפרויקט. שמות מערכי הנתונים חייבים להיות חדשים וייחודיים, ולא יכולים להיות קיימים כבר ב-Google Cloud. פרטים נוספים זמינים במאמר יצירת מערכי נתונים.
  7. (אופציונלי) מסמנים את התיבה Restrict the dataset to a specific geographic location ואז בוחרים את המיקום מהתפריט. מידע נוסף זמין במאמר מספר אזורים.
    1. לוחצים על שמירה. הערה: אם אתם לא מצליחים לשמור את הפרויקט, היכנסו למסוף Google Cloud, מחקו את קבוצת הנתונים החדשה ואז שמרו אותו שוב במסוף Admin.

כשמפעילים את הייצוא, מערך הנתונים נוצר ביום שלמחרת. בנוסף לבעלים, לעורכים ולצופים של הפרויקט, חשבון השירות gapps-reports@system.gserviceaccount.com נוסף כעורך. חשבון השירות נדרש כדי לכתוב יומנים ולעדכן את הסכימה.

שלב 2: משנים את מערך הנתונים של BigQuery Export וממלאים חוסרים במערך נתונים חדש (אופציונלי)

אתם יכולים לשנות את ההגדרות של BigQuery Export כדי להתחיל לייצא נתונים למערך נתונים אחר. אפשר גם להעביר נתונים קיימים ממערך הנתונים הקודם למערך הנתונים החדש שנבחר (180 ימים לביקורת ו-450 ימים לשימוש). לדוגמה, אתם יכולים לשנות את המיקום של מערך הנתונים לייצוא ב-BigQuery מארה"ב לאיחוד האירופי. מילוי חוסרים מאפשר להעביר נתונים שכבר מאוחסנים באזור ארה"ב לאזור האיחוד האירופי. אם בוחרים במילוי חוסרים, BigQuery יוצר מערך נתונים חדש במיקום שצוין.

לתשומת ליבכם

  • הנתונים הקיימים מיוצאים למערך נתונים חדש אם בוחרים מיקום חדש, משנים את מזהה הפרויקט או משנים את מזהה מערך הנתונים.
  • הנתונים שיוצאו נשמרים גם במערך הנתונים הקודם.
  • כל הנתונים החדשים, יחד עם הנתונים שמולאו, מאוחסנים במערך הנתונים החדש.
  • הנתונים הקיימים (180 ימים של ביקורת ו-450 ימים של שימוש) מיוצאים למערך הנתונים החדש, אבל לא נמחקים מהמיקום הקיים, כך שיהיו לכם מערכי נתונים של BigQuery Export בשני מיקומים.

כדי למלא חוסרים של נתונים קיימים במיקום החדש:

  1. במסוף Google Admin, נכנסים לתפריט ואז דיווח ואז שילובי נתונים (או ייצוא ל-BigQuery לאדמינים ב-Education, שפותח את הדף "שילובי נתונים").

    כדי לעשות את זה נדרשת הרשאת אדמין לדוחות.

  2. מזינים את השם החדש של קבוצת הנתונים.
  3. אם רוצים למלא חוסרים (backfill) של נתונים קיימים במיקום החדש, מסמנים את התיבה מילוי חוסרים של הנתונים הקיימים ב-BigQuery מ-180 הימים האחרונים במערך הנתונים החדש.
  4. לוחצים על אישור ואז שמירה.

הדרישות לייצוא נתוני יומנים

נתוני היומן מיוצאים באמצעות insertAll API, ולכן צריך להפעיל את החיוב בפרויקט BigQuery Export. אם החיוב לא מופעל, הפרויקט יהיה במצב Sandbox ונתוני היומן לא ייוצאו למערך הנתונים. מידע נוסף מופיע בקטע מגבלות.

הערה: הייצוא של דוחות השימוש עדיין פועל בפרויקטים במצב Sandbox.

זמני השהיה

ברוב המקרים, אחרי שמפעילים את ייצוא הנתונים ל-BigQuery, האירועים ביומן הפעילות זמינים תוך 10 דקות. באירועים של יומן השימוש יש עיכוב של 48 שעות בהגדרה הראשונית, אבל לאחר מכן העיכוב הרגיל הוא יום עד 3 ימים. פרטים נוספים זמינים במאמר שמירת נתונים וזמני השהיה.

שאלות נפוצות

איך מגדירים תאריך תפוגה לנתונים שמייצאים?

כברירת מחדל, התפוגה של ייצוא הנתונים מוגדרת ל-60 ימים. לכן, כל ייצוא נתונים ל-BigQuery שתבצעו יימחק מ-Google Cloud אחרי 60 יום.

כדי לשנות את זמן התפוגה, עיינו במאמר עדכון זמני התפוגה שמוגדרים כברירת מחדל בטבלה.

אפשר לשנות מזהה פרויקט ב-BigQuery?

כן, אפשר לשנות את מזהה הפרויקט של הגדרת BigQuery Export בכל שלב. השינויים ייכנסו לתוקף ביום הבא, כשהנתונים יועתקו לפרויקט החדש ב-BigQuery.

חשוב: אל תשנו את הפרויקט ב-BigQuery, כי הנתונים הקודמים לא מועתקים לטבלה החדשה. כדי לגשת לנתונים קודמים, צריך לגשת לפרויקט הקודם.

באילו שירותים אפשר להשתמש ב-BigQuery Export?

אלה נתוני האירועים ביומן שנתמכים:

  • חשבונות
  • Admin
  • Chrome
  • Classroom
  • העברת נתונים
  • Data Studio
  • מכשירים
  • ‫Gemini ל-Workspace
  • Gemini Notebook
  • Gmail
  • יומן Google
  • Google Chat
  • Google Drive
  • קבוצות Google
  • Google Meet
  • ציוד ל-Google Meet
  • התחברות
  • OAuth
  • כללים
  • SAML

אפשר להשתמש בדוחות השימוש הבאים:

  • חשבונות
  • Google Apps Script
  • Google AppSheet
  • יומן Google
  • ChromeOS
  • Classroom
  • מכשירים
  • Google Docs
  • Drive
  • Gmail
  • חיפוש Google
  • Meet
  • Google Sites
  • Google Voice

הערה: אנחנו מתכננים לתמוך באירועים נוספים ביומן, כולל חיפוש.

האם יש עלות לייצוא אירועים ביומן ל-BiqQuery?

כן. הסיבה לכך היא ש-Google משתמשת ב-insertAll API כדי להציג יומנים בזמן אמת. פרטים נוספים זמינים במאמר תמחור של הטמעת נתונים.

ייצוא של דוחות שימוש, כמו דוחות על מכשירים או על Meet, לא כרוך בתשלום.

מסמכי התיעוד של BigQuery