ייצוא של המלאי ב-Drive של הארגון

התכונה הזו נתמכת במהדורות הבאות: Frontline Plus,‏ Enterprise Standard ו-Enterprise Plus,‏ Education Standard ו-Education Plus,‏ Enterprise Essentials Plus ו-Cloud Identity Premium. השוואה בין המהדורות

אדמינים יכולים לייצא את מלאי Google Drive של הארגון ל-BigQuery. המלאי כולל מטא-נתונים שמשויכים לכל קובץ, כמו גודל, תוויות שהוחלו ועם מי הקובץ שותף, אבל לא את תוכן הקבצים. הוא כולל גם מטא-נתונים שקשורים לאחסון שיתופי, כמו שמות. אתם יכולים לבדוק את המידע הזה כדי להעריך אם הגישה לקבצים רגישים עומדת ביעדים הרגולטוריים, בתאימות וביטחון הנתונים של הארגון.

אחרי שמטא-נתונים ב-Drive יהיו ב-BigQuery, תוכלו ליצור דוחות ומרכזי בקרה בהתאמה אישית באמצעות כלים לניתוח נתונים כמו Data Studio ושותפים של צד שלישי ליצירת תרשימים.

שימו לב:

  • חלק מהשלבים בדף הזה מתבצעים במסוף Google Cloud כי Google BigQuery הוא מוצר של Google Cloud.
  • צריך להגדיר חיוב לפרויקט בענן ב-Google Cloud כי יש עלות לשליחת שאילתות ולאחסון של מטא-נתונים ב-Drive ב-BigQuery. פרטים נוספים זמינים במאמר פרטי התמחור של BigQuery בחשבון לחיוב. אתם יכולים להעריך את עלויות האחסון באמצעות מחשבון התמחור של Google Cloud. הנתונים של 1 מיליון קבצים תופסים נפח אחסון פיזי של כ-1.5GB ב-BigQuery.

  • כדי להגדיר ייצוא של דוח מטא-נתונים ב-Drive, אתם צריכים רישיון נתמך, אבל הדוח כולל נתונים של כל המשתמשים שלכם.

  • מטא-נתונים ב-Drive מיוצאים מדי שבוע, אבל אפשר לבחור לייצא אותם מדי יום. הייצוא מחליף את הייצוא הקודם. כדי לשמור את הייצוא הקודם, אפשר להשתמש בשירות העברת הנתונים ל-BigQuery כדי להעתיק את מערך הנתונים באופן אוטומטי.

  • יש סיכוי קטן שבייצוא של מלאי הפריטים ב-Drive לא יופיעו מטא-נתונים של קבצים מסוימים. במקרים נדירים, יכול להיות שקבצים מסוימים לא ייכללו בייצוא.

שלב 1. הגדרה של פרויקט ומערך נתונים ב-BigQuery למטא-נתונים ב-Drive

  1. במסוף Google Cloud, יוצרים פרויקט פעיל ב-BigQuery או פותחים פרויקט פעיל.
    פרטים נוספים זמינים במאמר בנושא יצירה וניהול של פרויקטים.
  2. מפעילים את החיוב בפרויקט אם הוא עדיין לא מופעל.
  3. עוברים אל דף IAM של הפרויקט.
  4. נותנים לחשבונות אדמין ב-Google Workspace גישה לייצוא לצורך עיבוד והצגה של הנתונים. מידע נוסף על תפקידים והרשאות של IAM ב-BigQuery ועל בקרת גישה למשאבים לכל חשבון Google Workspace שרוצים לתת לו גישה לייצוא:
    1. בחלק העליון של רשימת הגורמים המורשים, לוחצים על Grant Access (הענקת גישה).
    2. בקטע Add principals, מזינים את כתובת האימייל של חשבון Google Workspace.
    3. לוחצים על התפקיד BigQuery Data Editor (bigquery.dataEditor). טיפ: לוחצים על Filter (סינון) ומזינים BigQuery כדי למצוא תפקידים ספציפיים אחרים ל-BigQuery.
    4. לוחצים על שמירה.
  5. נותנים לעצמכם ולאדמינים אחרים שינהלו את ייצוא מטא-נתונים ב-Drive את הרשאת האדמין ב-IAM בפרויקט:
    1. באותו דף של IAM, לוחצים על ישות קיימת או מתחילים ישות חדשה כמו בשלב הקודם.
    2. לוחצים על התפקיד Resource Manager (ניהול משאבים) ובוחרים באפשרות Project IAM Admin (אדמין של IAM בפרויקט).
    3. לוחצים על שמירה.
  6. מוצאים או יוצרים קבוצת נתונים ב-BigQuery לאחסון של מטא-נתונים ב-Drive.
    1. לוחצים על תפריט הניווט ואז BigQuery.
    2. בחלונית Explorer בצד ימין, מרחיבים את הפרויקט כדי לראות את רשימת מערכי הנתונים הקיימים.
    3. אם יש מערך נתונים שרוצים להשתמש בו, צריך לרשום את המזהה שלו כדי להשתמש בו בשלב הבא.
    4. אם רוצים להשתמש במערך נתונים חדש, עוברים אל יצירת מערכי נתונים ורושמים את שם מערך הנתונים כדי להשתמש בו בשלב הבא.

שלב 2. הפעלה והגדרה של ייצוא מטא-נתונים ב-Drive

  1. במסוף Google Admin, נכנסים לתפריט ואז דיווח ואז שילוב נתונים (או ייצוא ל-BigQuery לאדמינים של מהדורת Education, שפותח את הדף 'שילוב נתונים').

    כדי לעשות את זה נדרשת הרשאת האדמין דוחות.

  2. לוחצים על ייצוא של מטא-נתונים ב-Drive.
  3. מסמנים את התיבה הפעלת הייצוא של דוח מטא-נתונים ב-Drive ל-Google BigQuery כדי להפעיל את הייצוא של מטא-נתונים ב-Drive.
  4. בקטע מזהה פרויקט ב-BigQuery, בוחרים את הפרויקט שבו רוצים לאחסן את מלאי הנכסים ב-Drive שמייצאים. אם הפרויקט לא מופיע, צריך להגדיר אותו ב-BigQuery. פרטים נוספים זמינים במאמר מדריך למתחילים לשימוש במסוף Google Cloud.
  5. בקטע מערך נתונים שקיים בפרויקט, מזינים את השם של מערך הנתונים שבו רוצים לאחסן את מטא-נתונים ב-Drive בפרויקט. אם עדיין אין לכם מערך נתונים, תוכלו לעבור אל יצירת מערכי נתונים כדי לקבל הוראות.
  6. בקטע Export Schedule (תזמון ייצוא), בוחרים באפשרות Weekly (שבועי) או Daily (יומי).
  7. לוחצים על שמירה. אם מופיעה שגיאה שמונעת את השמירה, כדאי לבדוק את הבעיות הבאות במסוף Google Cloud:
    1. עוברים אל דף ה-IAM של הפרויקט ומוודאים שלחשבון שלכם יש את התפקיד Project IAM Admin (resourcemanager.projects.setIamPolicy). אם לא, מקצים את התפקיד הזה לחשבון.
    2. עוברים אל פותר הבעיות שקשורות למדיניות ובודקים אם יש כללי מדיניות דחייה שחוסמים את הגישה לפרויקט. פרטים נוספים זמינים במאמר פתרון בעיות שקשורות למדיניות.

אחרי שמפעילים את הייצוא, הייצוא הראשון אמור להופיע ב-BigQuery תוך שבוע עד שבועיים. אחרי זה, הייצוא מתעדכן מדי שבוע או מדי יום, בהתאם לאפשרות שבחרתם בהגדרה.

שלב 3. (אופציונלי) עדכון של זמן התפוגה של הנתונים

תוקף ברירת המחדל של ייצוא נתונים הוא 60 ימים, ולאחר מכן הנתונים נמחקים מ-Google Cloud.

כדי לשנות את זמן התפוגה, עוברים אל עדכון ברירת המחדל של זמני התפוגה של הטבלה.

שלב 4. מעקב אחר ייצוא והגדרת התראות לגבי כשלים

אירועים שקשורים לייצוא של מטא-נתונים ב-Drive נכללים באירועים ביומן האדמין. בהכלי לחקירת אבטחה, אפשר לחפש אירועים שקשורים לייצוא של מטא-נתונים ב-Drive ולהגדיר התראות.

שם האירוע פרטים
הייצוא של דיווח המלאי ב-Drive הסתיים נרשם ביומן כשהייצוא מסתיים.
ייצוא הדיווח על המלאי ב-Drive נכשל השגיאה נרשמת ביומן כשהייצוא נכשל. אפשר להגדיר התראה כדי לקבל הודעה כשהייצוא נכשל. כדי לפתור את הבעיה, אפשר לעבור אל פתרון בעיות שקשורות לייצוא חסר ולהודעות שגיאה בדף הזה.
נוצרה הגדרת ייצוא המלאי ב-Drive האירוע נרשם ביומן כשמנהל/ת מגדירים ייצוא של מטא-נתונים ב-Drive.
עודכנה הגדרת ייצוא המלאי ב-Drive האירוע מתועד כשהפרויקט או מערך הנתונים מתעדכנים.
התחילה מחיקה של הגדרת ייצוא המלאי ב-Drive נרשם ביומן כשמנהל מוחק הגדרת ייצוא של מטא-נתונים ב-Drive במסוף Admin. יכול להיות שיהיה עיכוב בין הרגע שבו האדמין מתחיל את המחיקה לבין הרגע שבו ההגדרה נמחקת בפועל.

שלב 5. ניתוח של מערכי נתונים של מטא-נתונים ב-Drive

אפשר לנתח את הנתונים ישירות ב-BigQuery. סקירה כללית זמינה במאמר סקירה כללית על ניתוח הנתונים ב-BigQuery | Google Cloud. פרטים נוספים זמינים במאמר סכימה ושאילתות לדוגמה לייצוא מטא-נתונים ב-Drive ב-BigQuery.

פתרון בעיות שקשורות לייצוא חסר ולהודעות שגיאה

אם אחרי ששומרים את ההגדרה במסוף Admin לא רואים את הייצוא של מטא-נתונים ב-Drive ב-BigQuery, כדאי לבדוק את הבעיות הבאות ואת הפתרונות שלהן.

הודעת השגיאה איך לפתור את הבעיה
מערך הנתונים ב-BigQuery לא קיים אם מערך הנתונים שציינתם במקור לכתיבת הדוחות נמחק מאז שהפעלתם את הייצוא של מלאי שטחי הפרסום ב-Drive, תקבלו את השגיאה הזו. צריך להחליף את מזהה מערך הנתונים במזהה של מערך נתונים קיים.
הפרויקט ב-BigQuery לא קיים אם פרויקט BigQuery שציינתם במקור לייצוא הדוחות נמחק מאז שהפעלתם את הייצוא של מלאי Drive, תוצג לכם השגיאה הזו. צריך להגדיר פרויקט ומערך נתונים חדשים ב-BigQuery לייצוא הדוחות.
ההרשאות של חשבון השירות לייצוא מטא-נתונים ב-Drive במערך הנתונים של BigQuery הוסרו במסוף Google Cloud, מוודאים שלחשבון השירות יש הרשאת עריכה במערך הנתונים.
ההרשאות של חשבון השירות לייצוא מטא-נתונים ב-Drive בפרויקט BigQuery הוסרו במסוף Google Cloud, מוודאים שלחשבון השירות יש גישת BigQuery.jobUser לפרויקט.
הגדרת חיוב לפרויקט

אם שנמכתם את המינוי, יכול להיות שהוא כבר לא תומך בייצוא מטא-נתונים ב-Drive. במסוף Admin, עוברים אל תפריט > חיוב > מינויים ומוודאים שהמינוי שלכם הוא אחד מהמינויים הבאים:

התכונה הזו נתמכת במהדורות הבאות: Frontline Plus,‏ Enterprise Standard ו-Enterprise Plus,‏ Education Standard ו-Education Plus,‏ Enterprise Essentials Plus ו-Cloud Identity Premium. השוואה בין המהדורות

אחרי שתעברו למהדורה שתומכת בייצוא של מטא-נתונים ב-Drive, יכול להיות שיחלפו עד שבועיים עד שהדוחות ייוצאו.

בנוסף, אתם צריכים להגדיר חיוב לפרויקט בענן של Google שמקושר לייצוא של מטא-נתונים ב-Drive, כי יש עלות לייצוא של המטא-נתונים ב-Drive ל-BigQuery. מוודאים שהחיוב מופעל בפרויקט.

מגבלות ידועות

  • יכול להיות שייצוא של מטא-נתונים ב-Drive לא יכלול קובצי Jamboard שלא נתבעה עליהם בעלות או סרטונים שנוצרו באמצעות Google Vids.

שאלות נפוצות

האם יש עלות לייצוא מטא-נתונים ב-Drive ל-BigQuery?

כן. עלויות האחסון מחויבות בפרויקט BigQuery. פרטים נוספים זמינים במאמר פרטי התמחור של BigQuery בחשבון לחיוב. אתם יכולים להעריך את עלויות האחסון באמצעות מחשבון התמחור של Google Cloud. הנתונים של 1 מיליון קבצים תופסים נפח אחסון פיזי של כ-1.5GB ב-BigQuery.

האם ייצוא של מטא-נתונים ב-Drive נכלל בתנאים ובהגבלות של Google Workspace?

לא. ייצוא מטא-נתונים ב-Drive מכוסה על ידי התנאים וההגבלות של Google Cloud Platform או על ידי ההסכם שלכם בנוגע לשימוש ב-Google Cloud Platform.

אילו נתונים נכללים בייצוא של מטא-נתונים ב-Drive?

פרטים נוספים מופיעים בסכימה.

אפשר לשנות את מזהה הפרויקט או את מערך הנתונים ב-BigQuery?

כן. חשוב לזכור שהייצוא החדש והייצוא האחרון לפני השינוי יהיו במיקומים שונים.

האם אפשר לייצא לאותו פרויקט BigQuery שבו משתמשים לייצוא יומני שירות ל-BigQuery?

כן. אם הגדרתם גם ייצוא של יומני שירות ל-BigQuery, תוכלו להשתמש באותו מזהה פרויקט ובאותו מערך נתונים. מטא-נתונים ב-Drive שלכם יועברו לטבלה אחרת בפרויקט.

האם אפשר להפסיק את הייצוא של מטא-נתונים ב-Drive ל-BigQuery?

כן. אם אתם לא רוצים יותר לייצא את מטא-נתונים ב-Drive ל-BigQuery, אתם יכולים למחוק את ההגדרה של מטא-נתונים ב-Drive במסוף Admin.

  1. במסוף Google Admin, נכנסים לתפריט ואז דיווח ואז שילוב נתונים (או ייצוא ל-BigQuery לאדמינים של מהדורת Education, שפותח את הדף 'שילוב נתונים').

    כדי לעשות את זה נדרשת הרשאת האדמין דוחות.

  2. לוחצים על מלאי שטחי פרסום ב-Drive.
  3. לוחצים על מזהה פרויקט ב-BigQuery ובוחרים את הפרויקט.
  4. לוחצים על מחיקה.
  5. לוחצים שוב על מחיקה כדי לאשר אותה.

מטא-נתונים ב-Drive לא ייוצאו יותר. מערך הנתונים יישאר בפרויקט עם הנתונים הקיימים, אבל הנתונים יימחקו כשתוקף שלהם יפוג.

כדי להפעיל מחדש את הייצוא של מטא-נתונים ב-Drive, צריך להוסיף מזהה פרויקט.

למה חשבונות שירות נוספים לפרויקט ולמערך הנתונים שלי ב-BigQuery?

יכול להיות שיופיעו ברשימת ההרשאות של פרויקט BigQuery ומערך הנתונים שני חשבונות שירות: id@gcp-sa-statefulreporting.iam.gserviceaccount.com ו-drive-inventory-reporting@system.gserviceaccount.com. במהלך תקופת הבטא, חשבון שירות אחד משמש לקריאת מטא-נתונים מ-Drive, והשני משמש לכתיבת מטא-נתונים ב-Drive ל-BigQuery.

למה מופיעה שגיאה בחשבון שירות כשאני מנסה להגדיר ייצוא של מטא-נתונים ב-Drive?

אם מדיניות הארגון מונעת מחשבונות השירות id@gcp-sa-statefulreporting.iam.gserviceaccount.com ו-drive-inventory-reporting@system.gserviceaccount.com להצטרף לרשימת ההרשאות, צריך להגדיר את חשבונות השירות כחריגים. משתמשים באילוץ המנוהל iam.managed.allowedPolicyMembers או במדיניות הארגון המותאמת אישית שמפנה למשאב iam.googleapis.com/AllowPolicy. פרטים נוספים מופיעים במאמר בנושא הגדרת חריגים לשיתוף מוגבל בדומיין.

למה מופיעה שגיאת הרשאות כשמנסים להגדיר ייצוא של מטא-נתונים ב-Drive?

כדי להגדיר ייצוא של מטא-נתונים ב-Drive, צריכות להיות לכם הרשאות צפייה וניהול של קבוצות כללי מדיניות ההרשאות בפרויקט. ב-מסוף Google Cloud, עוברים אל הדף IAM ומקצים את התפקיד Project IAM Admin (roles/resourcemanager.projectIamAdmin) לחשבון האדמין ב-Google Workspace.

האם יש תמיכה באזוריזציה של נתונים בייצוא מטא-נתונים ב-Drive?

כן. אם הגדרתם מדיניות לגבי אזורים גיאוגרפיים לאחסון נתונים במסוף Admin, הנתונים שלכם יעובדו באזור הזה. עם זאת, הייצוא ל-BigQuery נכתב לאזור שאתם מציינים כשאתם יוצרים את מערך הנתונים. פרטים נוספים זמינים במאמר בנושא מיקומים ב-BigQuery.