הגדרה של ייצוא של יומני שירות ל-BigQuery

התכונה הזו תומכת במהדורות הבאות: Frontline Standard ו-Frontline Plus,‏ Enterprise Standard ו-Enterprise Plus,‏ Education Standard ו-Education Plus,‏ Enterprise Essentials Plus. השוואה בין מהדורות

כדי לייצא אירועים ביומן הפעילות (פעולות בודדות שמשתמש מבצע) ודוחות שימוש (דוחות מצטברים של אפליקציה) ל-Google BigQuery, צריך להגדיר את BigQuery Export במסוף Google Admin.

מידע על נתונים ב-BigQuery וב-Reports API

הנתונים שזמינים במערך הנתונים ב-BigQuery שונים מהנתונים שאוחזרו מ-Reports API. הנתונים ב-BigQuery כוללים רק את מערך הנתונים שלא סונן. עדיין אפשר לסנן את הנתונים באמצעות SQL, אבל לא כל הפרמטרים של Reports API נתמכים.

אפשר לסנן את הנתונים ב-Reports API על ידי הוספת פרמטרים לבקשת ה-API.

דוגמה: שתי יחידות ארגוניות נמצאות בדומיין, A ו-B. באמצעות Reports API ו-BigQuery, אפשר לגשת לכל האירועים של הדומיין כולו (A ו-B).

• עם זאת, באמצעות Reports API אפשר לאחזר את האירועים מסוג A באמצעות הפרמטר orgUnitID בבקשת ה-API.
• אי אפשר לסנן אירועים לפי יחידה ארגונית באמצעות SQL ו-BigQuery, כי אין עמודה מקבילה לפרמטר orgUnitID.

חשוב:

• הנתונים ב-BigQuery כוללים נתונים היסטוריים (180 ימים לנתוני פעילות ו-450 ימים לנתוני שימוש). אפשר גם לאחזר נתונים היסטוריים מ-Reports API.
• אם משביתים את ייצוא הנתונים מ-Google Workspace ל-BigQuery, לא נכללים בייצוא ל-BigQuery נתונים חדשים. עם זאת, נתונים קיימים זמינים במקורות אחרים, כמו Reports API.
• הטבלאות ב-BigQuery מחולקות למחיצות ברמת היום בעמודה הווירטואלית (_PARTITIONTIME). המחיצות האלה נגזרות מהעמודה time_usec בטבלאות הפעילות ומהעמודה date בטבלאות השימוש. חשוב לציין: מערכת Workspace מבטלת את הגבולות של UTC ב-BigQuery שמוגדרים כברירת מחדל, כדי להתאים את המחיצות לשעון החוף המערבי (PT). כדי לבצע אופטימיזציה של עלות השאילתות ב-BigQuery, מומלץ לסנן לפי ‎_PARTITIONTIME בשילוב עם time_usec או date.
• לא כל הנתונים בדוחות השירות זמינים בייצוא ל-BigQuery. רשימה של השירותים הנתמכים מופיעה בקטע אילו שירותים נתמכים ב-BigQuery Export? בדף הזה.
• דוגמאות לשאילתות זמינות במאמר דוגמאות לשאילתות לדיווח על יומנים ב-BigQuery.

איך הנתונים מועברים ונשמרים

• יכולות לחלוף עד שעה לפני שהשינויים במדיניות יתעדכנו. לאחר מכן, טבלאות יומיות נוצרות במערך הנתונים (לפי שעון החוף המערבי בארה"ב).
• הנתונים נשמרים בהתאם להנחיות לגבי יומנים ודוחות אחרים. פרטים נוספים זמינים במאמר בנושא שמירת נתונים וזמני השהיה.
• טבלאות נתונים לא נמחקות באופן אוטומטי. כדי למחוק פרויקט פעיל, עוברים אל מחיקת הגדרה של BigQuery Export.
• האירועים ביומן הפעילות זמינים תוך 10 דקות. יש עיכוב של 48 שעות באירועים ביומן השימוש בהגדרה הראשונית, אבל לאחר מכן העיכוב הרגיל הוא יום עד 3 ימים.

לפני שמתחילים

חשוב: אם אתם משתמשים במדיניות הארגון Domain Restricted Sharing ב-Google Cloud, הקפידו להוסיף את מזהה הלקוח של Google‏ C02h8e9nw לרשימת ההיתרים.

קודם צריך להגדיר פרויקט BigQuery במסוף Google Cloud. כשיוצרים את הפרויקט, צריך לבצע את הפעולות הבאות:

• מוסיפים חשבון אדמין ב-Google Workspace בתור:
  • תפקיד אדמין ב-BigQuery ‏ (roles/bigquery.admin) או תפקיד מקביל בניהול זהויות והרשאות גישה (IAM)
  • אדמין IAM של פרויקט (roles/resourcemanager.projectIamAdmin)
• מוסיפים את חשבון השירות gapps-reports@system.gserviceaccount.com כעורך בפרויקט (או תפקיד עריכה מקביל ב-IAM). ההרשאה הזו נדרשת כדי לכתוב יומנים, לעדכן את הסכימה ולהשלים את שלב 5 בהמשך.

הוראות מפורטות זמינות במאמר בנושא הגדרה של פרויקט ב-BigQuery ליומני דיווח.

שלב 1: הגדרת BigQuery Export

1. במסוף Google Admin, נכנסים לתפריט דיווח שילובים של נתונים (או ייצוא ל-BigQuery לאדמינים של מהדורת Education, ואז נפתח הדף 'שילובים של נתונים').

   מעבר אל 'שילוב נתונים'

   כדי לעשות את זה נדרשת הרשאת אדמין לדוחות.

2. מעבירים את העכבר מעל הכרטיס BigQuery Export ולוחצים על סמל העריכה .
3. כדי להפעיל את היומנים של BigQuery, מסמנים את התיבה הפעלת ייצוא נתוני Google Workspace ל-Google BigQuery.
4. (אופציונלי) כדי לייצא פרמטרים רגישים של כללי DLP, מסמנים את התיבה אפשר לייצא תוכן רגיש מיומני כללים של DLP. תוכלו לקרוא פרטים נוספים במאמר איך מציגים תוכן שמפעיל כללי DLP.
5. בקטע מזהה פרויקט ב-BigQuery, בוחרים את הפרויקט שבו רוצים לאחסן את היומנים. בוחרים פרויקט שבו לחשבון gapps-reports@system.gserviceaccount.com יש תפקיד עריכה או תפקיד עריכה מקביל ב-IAM. אם אתם לא רואים את הפרויקט, צריך להגדיר אותו ב-BigQuery. פרטים נוספים זמינים במאמר מדריך למתחילים לשימוש במסוף Google Cloud.
6. בקטע מערך הנתונים החדש בפרויקט, מזינים את השם של מערך הנתונים שבו רוצים לאחסן את היומנים בפרויקט. שמות של מערכי נתונים חייבים להיות ייחודיים לכל פרויקט. פרטים נוספים זמינים במאמר בנושא יצירת מערכי נתונים.
7. (אופציונלי) מסמנים את התיבה הגבלת מערך הנתונים למיקום גיאוגרפי ספציפי בוחרים את המיקום מהתפריט. מידע נוסף זמין במאמר בנושא אזורים מרובים.
8. לוחצים על שמירה. הערה: אם אי אפשר לשמור את הפרויקט, צריך להיכנס למסוף Google Cloud, למחוק את מערך הנתונים החדש ולשמור אותו שוב במסוף Admin.

כשמפעילים את הייצוא, מערך הנתונים נוצר למחרת. בנוסף לבעלי הפרויקט, לעורכים ולצופים, חשבון השירות gapps-reports@system.gserviceaccount.com נוסף כעורך. חשבון השירות נדרש כדי לכתוב יומנים ולעדכן את הסכימה.

שלב 2: שינוי מערך הנתונים של BigQuery Export ומילוי חוסרים במערך נתונים חדש (אופציונלי)

אתם יכולים לשנות את ההגדרות של BigQuery Export כדי להתחיל לייצא נתונים למערך נתונים שונה מזה שמוגדר כרגע. אפשר גם להעביר נתונים קיימים ממערך הנתונים הקודם למערך הנתונים החדש שנבחר (180 ימים לביקורת ו-450 ימים לשימוש). לדוגמה, אפשר לשנות את המיקום של מערך הנתונים ב-BigQuery Export מארה"ב לאיחוד האירופי. השלמת נתונים מאפשרת להעביר נתונים שכבר מאוחסנים באזור ארה"ב לאזור האיחוד האירופי. אם בוחרים באפשרות של מילוי חוסרים, BigQuery יוצר מערך נתונים חדש במיקום שצוין.

שיקולים

• הנתונים הקיימים מיוצאים למערך נתונים חדש אם בוחרים מיקום חדש, משנים את מזהה הפרויקט או משנים את מזהה מערך הנתונים.
• הנתונים המיוצאים נשמרים גם במערך הנתונים הקודם.
• כל הנתונים החדשים, יחד עם הנתונים שנוספו בדיעבד, מאוחסנים במערך הנתונים החדש.
• הנתונים הקיימים (180 ימים לביקורת ו-450 ימים לשימוש) מיוצאים למערך הנתונים החדש, אבל לא נמחקים מהמיקום הקיים, כך שיהיו לכם מערכי נתונים של BigQuery Export ב-2 מיקומים.

כדי למלא חוסרים של נתונים קיימים במיקום החדש:

1. במסוף Google Admin, נכנסים לתפריט דיווח שילובים של נתונים (או ייצוא ל-BigQuery לאדמינים של מהדורת Education, ואז נפתח הדף 'שילובים של נתונים').

   מעבר אל 'שילוב נתונים'

   כדי לעשות את זה נדרשת הרשאת אדמין לדוחות.

2. מזינים את השם החדש של מערך הנתונים.
3. אם רוצים לבצע מילוי חוסרים של נתונים קיימים במיקום החדש, מסמנים את התיבה מילוי חוסרים של נתונים קיימים ב-BigQuery מ-180 הימים האחרונים במערך הנתונים החדש.
4. לוחצים על אישור שמירה.

הדרישות לייצוא נתוני יומנים

נתוני היומן מיוצאים באמצעות insertAll API, ולכן צריך להפעיל חיוב בפרויקט הייצוא של BigQuery. אם החיוב לא מופעל, הפרויקט יהיה במצב Sandbox, ונתוני היומן לא ייוצאו למערך הנתונים. פרטים נוספים זמינים במאמר בנושא מגבלות.

הערה: ייצוא דוחות שימוש עדיין מופעל בפרויקטים במצב סביבת ארגז חול.

זמני השהיה

ברוב המקרים, אחרי שמפעילים את ייצוא הנתונים ל-BigQuery, אירועים מיומן הפעילות זמינים תוך 10 דקות. יש עיכוב של 48 שעות באירועים ביומן השימוש בהגדרה הראשונית, אבל לאחר מכן העיכוב הרגיל הוא יום עד 3 ימים. פרטים נוספים זמינים במאמר בנושא שמירת נתונים וזמני השהיה.

שאלות נפוצות

נושא קשור

מסמכי BigQuery