ייצוא של המלאי ב-Drive של הארגון

התכונה הזו נתמכת במהדורות הבאות: Frontline Plus,‏ Enterprise Standard ו-Enterprise Plus,‏ Education Standard ו-Education Plus,‏ Enterprise Essentials Plus ו-Cloud Identity Premium. השוואה בין המהדורות

אדמינים יכולים לייצא את המטא-נתונים ב-Google Drive של הארגון ל-BigQuery. המלאי כולל מטא-נתונים שמשויכים לכל קובץ, כמו גודל, תוויות שהוחלו ועם מי הוא משותף, אבל לא את תוכן הקבצים. הוא כולל גם מטא-נתונים שקשורים לתיקיות באחסון השיתופי, כמו שמות. אתם יכולים לבדוק את המידע הזה כדי להעריך אם הגישה לקבצים רגישים עומדת ביעדים של הארגון בנושא רגולציה, תאימות ואבטחת מידע.

כשהמטא-נתונים ב-Drive נמצאים ב-BigQuery, אתם יכולים ליצור דוחות בהתאמה אישית ומרכזי בקרה באמצעות כלים לניתוח נתונים כמו Data Studio ושותפי ויזואליזציה של צד שלישי.

שימו לב:

  • חלק מהשלבים בדף הזה מתבצעים במסוף Google Cloud, כי Google BigQuery הוא מוצר של Google Cloud.
  • אתם צריכים להגדיר חיוב לפרויקט בענן ב-Google Cloud כי יש עלות לשליחת שאילתות ולאחסון של מטא-נתונים ב-Drive ב-BigQuery. לפרטים, עיינו בפרטי התמחור של BigQuery בחשבון לחיוב. אתם יכולים להעריך את עלויות האחסון באמצעות מחשבון התמחור של Google Cloud. המטא-נתונים של מיליון קבצים תופסים כ-1.5GB של נפח אחסון פיזי ב-BigQuery.

  • כדי להגדיר ייצוא של דוחות מטא-נתונים ב-Drive, אתם צריכים רישיון נתמך, אבל הדוח כולל נתונים של כל המשתמשים שלכם.

  • המטא-נתונים ב-Drive מיוצאים כל שבוע, אבל אתם יכולים לבחור לייצא אותם כל יום. הייצוא מחליף את הייצוא הקודם. כדי לשמור את הייצוא הקודם, השתמשו בשירות העברת הנתונים ל-BigQuery כדי להעתיק את מערך הנתונים באופן אוטומטי.

  • יכול להיות שבייצוא של מטא-נתונים ב-Drive יהיו חסרים מטא-נתונים של קבצים מסוימים. במקרים נדירים, יכול להיות שחלק מהקבצים לא ייכללו.

שלב 1. הגדרת פרויקט ומערך נתונים ב-BigQuery למלאי ב-Drive

  1. במסוף Google Cloud, יוצרים או פותחים פרויקט פעיל ב-BigQuery.
    פרטים נוספים זמינים במאמר יצירה וניהול של פרויקטים.
  2. מפעילים את החיוב בפרויקט, אם הוא עדיין לא מופעל.
  3. נכנסים לדף IAM של הפרויקט.
  4. לתת לחשבונות אדמין ב-Google Workspace גישה לייצוא לצורך עיבוד נתונים וצפייה בהם. מידע נוסף על תפקידים והרשאות של IAM ב-BigQuery ואיך שולטים בגישה למשאבים. בכל חשבון Google Workspace שרוצים לתת לו גישה לייצוא:
    1. בחלק העליון של רשימת החשבונות, לוחצים על Grant Access.
    2. בקטע Add principals, מזינים את כתובת האימייל של חשבון Google Workspace.
    3. לוחצים על התפקיד BigQuery Data Editor ‏(bigquery.dataEditor). טיפ: לוחצים על Filter ומזינים BigQuery כדי למצוא תפקידים אחרים שספציפיים ל-BigQuery.
    4. לוחצים על שמירה.
  5. נותנים לעצמכם ולכל אדמין אחר שינהל את הייצוא של המטא-נתונים ב-Drive את הרשאת האדמין ב-IAM בפרויקט:
    1. באותו דף של IAM, לוחצים על חשבון משתמש קיים או מתחילים חשבון משתמש חדש כמו בשלב הקודם.
    2. לוחצים על התפקיד Resource Manager ובוחרים באפשרות Project IAM Admin.
    3. לוחצים על שמירה.
  6. מוצאים או יוצרים קבוצת נתונים ב-BigQuery כדי לאחסן את הייצוא של המטא-נתונים ב-Drive.
    1. לוחצים על תפריט הניווט ואז BigQuery.
    2. בחלונית Explorer שמימין, מרחיבים את הפרויקט כדי להציג את רשימת מערכי הנתונים הקיימים.
    3. אם יש מערך נתונים שאתם רוצים להשתמש בו, שימו לב למזהה שבו תשתמשו בשלב הבא.
    4. אם אתם רוצים להשתמש במערך נתונים חדש, עברו אל יצירת מערכי נתונים. חשוב לשים לב לשם של מערך הנתונים – תצטרכו להזין אותו בשלב הבא.

שלב 2. הפעלה והגדרה של ייצוא מטא-נתונים ב-Drive

  1. במסוף Google Admin, נכנסים לתפריט ואז דיווח ואז שילובי נתונים (או ייצוא ל-BigQuery לאדמינים ב-Education, שפותח את הדף "שילובי נתונים").

    כדי לעשות את זה נדרשת הרשאת אדמין לדוחות.

  2. לוחצים על ייצוא של מטא-נתונים ב-Drive.
  3. כדי להפעיל את הייצוא של המטא-נתונים ב-Drive, מסמנים את התיבה הפעלת הייצוא של דוח המלאי ב-Drive ל-Google BigQuery.
  4. בשדה מזהה פרויקט ב-BigQuery, בוחרים את הפרויקט שבו רוצים לאחסן את הייצוא של מטא-נתונים ב-Drive. אם הפרויקט לא מופיע, צריך להגדיר אותו ב-BigQuery. פרטים נוספים זמינים במאמר מדריך למתחילים לשימוש במסוף Google Cloud.
  5. בקטע מערך הנתונים שקיים בפרויקט, מזינים את השם של מערך הנתונים שבו רוצים לשמור את מטא-הנתונים ב-Drive בפרויקט. אם אין לכם עדיין מערך נתונים, תוכלו לקרוא את המאמר יצירת מערכי נתונים כדי ללמוד איך עושים את זה.
  6. בקטע Export Schedule, בוחרים באפשרות Weekly או Daily.
  7. מסמנים את התיבה חישובים של שיתוף עם גורמים חיצוניים כדי לחשב את השיתוף עם גורמים חיצוניים.
    • אם יש לכם כמה קבוצות גדולות ב-Google (יותר מ-1,000 חברים), החישוב עלול לעכב את שליחת הדוח. אם חשוב לכם לקבל דיווחים בזמן, כדאי להשבית את ההגדרה הזו.
  8. לוחצים על שמירה. אם מופיעה הודעת שגיאה שאי אפשר לשמור, צריך לבדוק את הבעיות הבאות במסוף Google Cloud:
    1. נכנסים לדף IAM של הפרויקט ומוודאים שלחשבון שלכם יש את התפקיד אדמין של IAM בפרויקט ‏(resourcemanager.projects.setIamPolicy). אם לא, צריך להקצות את התפקיד הזה לחשבון.
    2. עוברים אל פותר הבעיות שקשורות למדיניות ובודקים אם יש כללי מדיניות דחייה שחוסמים את הגישה לפרויקט. פרטים נוספים זמינים במאמר פתרון בעיות שקשורות למדיניות.

אחרי שמפעילים את הייצוא, הייצוא הראשון אמור להופיע ב-BigQuery תוך שבוע עד שבועיים. לאחר מכן, הייצוא מתעדכן מדי שבוע או מדי יום, בהתאם לאפשרות שבחרתם בהגדרה.

שלב 3. (אופציונלי) עדכון זמן התפוגה של הנתונים

כברירת מחדל, תוקף הייצוא של הנתונים פג אחרי 60 ימים, ואז הנתונים נמחקים מ-Google Cloud.

כדי לשנות את זמן התפוגה, עיינו במאמר עדכון זמני התפוגה של טבלאות ברירת המחדל.

שלב 4. מעקב אחרי הייצוא והגדרת התראות על כשלים

אירועי ייצוא של מטא-נתונים ב-Drive נכללים באירועי אדמין ביומן. בכלי לחקירת אבטחה, אתם יכולים לחפש אירועים שקשורים לייצוא של מטא-נתונים ב-Drive ולהגדיר התראות.

שם האירוע פרטים
הסתיים הייצוא של מטא-נתונים ב-Drive נרשם ביומן כשהייצוא מסתיים.
ייצוא דוחות מטא-נתונים ב-Drive נכשל נרשם ביומן כשייצוא נכשל. אתם יכולים להגדיר התראה כדי לקבל הודעה אם הייצוא נכשל. כדי לפתור את הבעיה, אפשר לעבור לקטע פתרון בעיות של ייצואים חסרים והודעות שגיאה בדף הזה.
נוצרה הגדרת ייצוא המלאי ב-Drive האירוע מתועד כשאדמין מגדיר ייצוא של מטא-נתונים ב-Drive.
עודכנה הגדרת ייצוא המלאי ב-Drive נרשם ביומן כשהפרויקט או מערך הנתונים מתעדכנים.
התחילה מחיקה של הגדרת ייצוא המלאי ב-Drive האירוע מתועד כשאדמין מוחק הגדרה של ייצוא מטא-נתונים ב-Drive במסוף Admin. יכול להיות עיכוב בין הזמן שבו האדמין מתחיל את המחיקה לבין הזמן שבו ההגדרה נמחקת בפועל.

שלב 5. ניתוח של קבוצות נתונים של מטא-נתונים ב-Drive

אתם יכולים לנתח את הנתונים ישירות ב-BigQuery. לסקירה כללית, קראו את המאמר סקירה כללית על ניתוח הנתונים ב-BigQuery‏ | Google Cloud. פרטים נוספים זמינים במאמר סכימה ושאילתות לדוגמה לייצוא של מטא-נתונים ב-Drive ב-BigQuery.

פתרון בעיות שקשורות לייצוא חסר ולהודעות שגיאה

אם אתם לא רואים את הייצוא של מטא-נתונים ב-Drive ב-BigQuery אחרי ששמרתם את ההגדרות במסוף Admin, כדאי לעיין בבעיות הבאות ובדרכים לפתור אותן.

הודעת שגיאה איך לפתור את הבעיה
מערך הנתונים ב-BigQuery לא קיים השגיאה הזו תופיע אם קבוצת הנתונים שציינתם במקור לכתיבת הדוחות נמחקה מאז שהפעלתם את הייצוא של מטא-נתונים ב-Drive. מחליפים את מזהה מערך הנתונים במזהה של מערך נתונים קיים.
הפרויקט ב-BigQuery לא קיים אם הפרויקט ב-BigQuery שציינתם במקור לכתיבת דוחות נמחק מאז שהפעלתם את הייצוא של המטא-נתונים ב-Drive, תופיע השגיאה הזו. מגדירים פרויקט וקבוצת נתונים חדשים ב-BigQuery שאליהם ייכתבו הדוחות.
ההרשאות של חשבון השירות לייצוא מלאי ב-Drive במערך הנתונים של BigQuery הוסרו במסוף Google Cloud, מוודאים שלחשבון השירות יש גישת עריכה למערך הנתונים.
ההרשאות של חשבון השירות לייצוא מטא-נתונים ב-Drive בפרויקט BigQuery הוסרו במסוף Google Cloud, מוודאים שלחשבון השירות יש גישת BigQuery.jobUser לפרויקט.
הגדרת החיוב בפרויקט

אם שדרגתם לאחור את המינוי, יכול להיות שהוא כבר לא תומך בייצוא של מטא-נתונים ב-Drive. במסוף Admin, נכנסים אל תפריט > חיוב > מינויים ומוודאים שהמינוי הוא אחד מהבאים:

התכונה הזו נתמכת במהדורות הבאות: Frontline Plus,‏ Enterprise Standard ו-Enterprise Plus,‏ Education Standard ו-Education Plus,‏ Enterprise Essentials Plus ו-Cloud Identity Premium. השוואה בין המהדורות

אחרי שעוברים למהדורה שתומכת בייצוא של מטא-נתונים ב-Drive, יכול להיות שיעברו עד שבועיים עד שהדוחות ייוצאו.

אתם צריכים גם להגדיר חיוב לפרויקט בענן ב-Google Cloud שמקושר לייצוא של מטא-נתונים ב-Drive, כי יש עלות לייצוא של המטא-נתונים ב-Drive ל-BigQuery. מוודאים שהחיוב מופעל בפרויקט.

מגבלות ידועות

  • יכול להיות שהייצוא של המטא-נתונים ב-Drive לא יכלול קובצי Jamboard שלא נתבעה עליהם בעלות או סרטונים שנוצרו באמצעות Google Vids.

שאלות נפוצות

האם יש עלות לייצוא המטא-נתונים ב-Drive ל-BigQuery?

כן. עלויות האחסון מחויבות בפרויקט ב-BigQuery. לפרטים, עיינו בפרטי התמחור של BigQuery בחשבון לחיוב. אתם יכולים להעריך את עלויות האחסון באמצעות מחשבון התמחור של Google Cloud. המטא-נתונים של מיליון קבצים תופסים כ-1.5GB של נפח אחסון פיזי ב-BigQuery.

האם ייצוא של מטא-נתונים ב-Drive נכלל בתנאים ובהגבלות של Google Workspace?

לא. ייצוא מטא-נתונים ב-Drive כפוף לתנאים ולהגבלות של Google Cloud Platform או להסכם שלך בנוגע לשימוש ב-Google Cloud Platform.

אילו נתונים נכללים בייצוא של מטא-נתונים ב-Drive?

פרטים נוספים זמינים בסכימה.

אפשר לשנות את מזהה הפרויקט או את מערך הנתונים ב-BigQuery?

אתם יכולים. חשוב לזכור שהייצוא החדש והייצוא האחרון לפני השינוי יהיו במיקומים שונים.

האם אפשר לייצא לאותו פרויקט ב-BigQuery שמשמש לייצוא של יומני שירות ל-BigQuery?

כן. אם גם הגדרתם ייצוא של יומני שירות ל-BigQuery, אתם יכולים להשתמש באותו מזהה פרויקט ובאותו מערך נתונים. המטא-נתונים ב-Drive יועברו לטבלה אחרת בפרויקט.

אפשר להפסיק את הייצוא של המטא-נתונים ב-Drive ל-BigQuery?

כן. אם אתם לא רוצים יותר לייצא את המטא-נתונים ב-Drive ל-BigQuery, אתם יכולים למחוק את ההגדרה של המטא-נתונים ב-Drive במסוף Admin.

  1. במסוף Google Admin, נכנסים לתפריט ואז דיווח ואז שילובי נתונים (או ייצוא ל-BigQuery לאדמינים ב-Education, שפותח את הדף "שילובי נתונים").

    כדי לעשות את זה נדרשת הרשאת אדמין לדוחות.

  2. לוחצים על מטא-נתונים ב-Drive.
  3. לוחצים על מזהה פרויקט ב-BigQuery ובוחרים את הפרויקט.
  4. לוחצים על מחיקה.
  5. לוחצים שוב על מחיקה כדי לאשר אותה.

המטא-נתונים ב-Drive לא ייוצאו יותר. מערך הנתונים נשאר בפרויקט עם הנתונים הקיימים, אבל הנתונים יימחקו כשתוקפם יפוג.

כדי להפעיל מחדש את הייצוא של מטא-נתונים ב-Drive, צריך להוסיף מזהה פרויקט.

למה חשבונות שירות נוספים לפרויקט ולקבוצת הנתונים שלי ב-BigQuery?

יכול להיות שברשימת ההרשאות של הפרויקט וקבוצת הנתונים ב-BigQuery יופיעו חשבון שירות בשם id@gcp-sa-statefulreporting.iam.gserviceaccount.com וחשבון שירות נוסף בשם drive-inventory-reporting@system.gserviceaccount.com. במהלך תקופת הבטא, חשבון שירות אחד משמש לקריאת מטא-נתונים מ-Drive, והשני משמש לכתיבת המטא-נתונים ב-Drive ל-BigQuery.

למה מופיעה שגיאה בחשבון השירות כשאני מנסה להגדיר ייצוא של מטא-נתונים ב-Drive?

אם מדיניות הארגון מונעת מחשבונות השירות id@gcp-sa-statefulreporting.iam.gserviceaccount.com ו-drive-inventory-reporting@system.gserviceaccount.com להצטרף לרשימת ההרשאות, צריך להגדיר את חשבונות השירות כחריגים. משתמשים באילוץ המנוהל iam.managed.allowedPolicyMembers או במדיניות הארגון בהתאמה אישית שמפנה למשאב iam.googleapis.com/AllowPolicy. פרטים נוספים זמינים במאמר הגדרת חריגים לשיתוף שמוגבל לפי דומיין.

למה מופיעה הודעת שגיאה לגבי הרשאות כשמנסים להגדיר ייצוא של מטא-נתונים ב-Drive?

כדי להגדיר ייצוא של מטא-נתונים ב-Drive, צריכות להיות לכם הרשאות צפייה וניהול של מדיניות ההרשאות בפרויקט. במסוף Google Cloud, נכנסים לדף IAM ומקצים את התפקיד אדמין IAM בפרויקט (roles/resourcemanager.projectIamAdmin) לחשבון האדמין ב-Google Workspace.

האם יש תמיכה בהתאמה אזורית של נתונים בייצוא של מטא-נתונים ב-Drive?

כן. אם הגדרתם מדיניות לגבי אזורים גיאוגרפיים לאחסון נתונים במסוף Admin, הנתונים שלכם יעובדו באזור הזה. עם זאת, הייצוא ל-BigQuery נכתב לאזור שאתם מציינים כשאתם יוצרים את מערך הנתונים. פרטים נוספים זמינים במאמר מיקומים ב-BigQuery.