סכימה ודוגמאות לשאילתות לייצוא מלאי של Drive ב-BigQuery

התכונה הזו נתמכת במהדורות הבאות: Frontline Plus,‏ Enterprise Standard ו-Enterprise Plus,‏ Education Standard ו-Education Plus,‏ Enterprise Essentials Plus ו-Cloud Identity Premium. השוואה בין המהדורות

אחרי שמגדירים ייצוא של מטא-נתונים ב-Drive, אפשר לנתח את קבוצת הנתונים ב-BigQuery. בדף הזה מתוארת סכימת הטבלה ומוצגות שאילתות לדוגמה לדוחות נפוצים שאפשר לקבל מ-BigQuery.

הערה: אתם צריכים להגדיר חיוב לפרויקט בענן ב-Google Cloud כי יש עלות לייצוא ולשליחת שאילתות של מטא-נתונים ב-Drive ב-BigQuery. הפעלת החיוב בפרויקט

סכימת הייצוא של מטא-נתונים ב-Drive

סכימת הייצוא של מטא-נתונים ב-Drive

הייצוא של המטא-נתונים ב-Drive נוסף למערך הנתונים ב-BigQuery עם הסכימה הבאה:

סכימה והגדרות
שם שדה סכימה תיאור
מזהה הפריט id המזהה הייחודי של הפריט ב-Drive.
גרסה version מספר הגרסה העדכנית של הקובץ. גרסת הקובץ היא מספר שגדל באופן מונוטוני. הוא משקף כל שינוי שבוצע בקובץ בשרת, גם שינויים שלא גלויים למשתמש.
בעלים

owner.user.id

לגבי פריטים שבבעלות משתמש, מזהה המשתמש של בעלי הקובץ.

owner.user.email

בפריטים שבבעלות משתמש, כתובת האימייל של הבעלים של הקובץ.

owner.shared_drive.id

לפריטים באחסון שיתופי, המזהה של האחסון השיתופי.

יוצר creator כתובת האימייל ומזהה המשתמש של יוצר הפריט. השדה הזה לא מאוכלס אם ליוצר כבר אין גישה לפריט.
חותמות הזמן של תמונת המצב snapshot_start_time_micros וגם snapshot_end_time_micros חותמות הזמן של ההתחלה והסיום של יצירת הדוח.
זמן קריאה read_time_micros חותמת הזמן של קריאת המטא-נתונים של הפריט ב-Drive.
שם title שם הקובץ שהמשתמש ציין.
תיאור description תיאור קצר של הפריט.
סטטוס העברה לאשפה trashed אם הפריט הועבר לאשפה אבל עדיין לא נמחק.
סוג MIME mime_type סוג ה-MIME של הפריט. סוגי MIME שנתמכים ב-Google Workspace וב-Google Drive.
סיומת הקובץ file_extension הרכיב האחרון של סיומת הקובץ המלאה, שחולץ מהשדה name. האפשרות הזו זמינה רק לפריטים עם תוכן בינארי ב-Google Drive
מועד היצירה create_time_micros חותמת הזמן של מועד יצירת הפריט.
זמן השינוי האחרון last_modified_time_micros חותמת הזמן של הפעם האחרונה שבה הפריט שונה על ידי מישהו.
גודל בבייטים size_bytes הגודל בבייטים של קובצי blob ושל קבצים של עורכי Docs. לא מדווח על פריטים שאין להם גודל, כמו קיצורי דרך ותיקיות.
המכסה שנוצלה consumed_quota_bytes מספר הבייטים של מכסת האחסון שהפריט תופס. המידע הזה כולל את הגרסה הראשית וגם גרסאות קודמות שנשמרו.
יחידה ארגונית org_unit_path היחידה הארגונית של הבעלים של הפריט.
סיכום ביקורת (checksum) md5_checksum סיכום הביקורת (checksum) של MD5 לתוכן של הפריט.
הצפנה בצד-הלקוח client_side_encrypted ערך בוליאני שמציין אם הפריט מוצפן מצד הלקוח.
תיקיית האב parent המזהה של תיקיית האם של הפריט.

תיקיית ההורה לא תאוכלס במקרים הבאים:

  1. הקובץ נמצא בתיקיית האב ברמה העליונה בתיקיית "האחסון שלי" של המשתמש.
  2. תיקיית ההורה לא בבעלות הדומיין.
תוויות שהוחלו* applied_labels.id המזהה של התווית שהוחלה על הפריט.
applied_labels.title שם המשאב של התווית שהוחלה על הפריט.
applied_labels.field_values.id

המזהה של שדה, ייחודי בתוך תווית או ספרייה.

applied_labels.field_values.type

סוג השדה. יכול להיות אחת מהאפשרויות הבאות:

applied_labels.field_values.display_name

הטקסט שיוצג בממשק המשתמש כדי לזהות את השדה.
מזהה היעד של קיצור הדרך shortcut_target_id המזהה של הקובץ או התיקייה שקיצור הדרך הזה מפנה אליהם.
הרשאות access.permissions.permission_id

המזהה של ההרשאה הזו. זהו המזהה הייחודי של מקבל המענק.

הערה: מזהה ההרשאה שונה ממזהה המשתמש.

access.permissions.name

השם ה "יפה" של ערך ההרשאה. ברשימה הבאה מפורטות דוגמאות לכל סוג של הרשאה:

  • user – השם המלא של המשתמש, כפי שמוגדר בחשבון Google שלו, למשל "דנה כהן"
  • group – שם הקבוצה, למשל "מנהלי מערכת לדוגמה"
  • ‫domain – מחרוזת של שם הדומיין, למשל "example.com"
  • ‫anyone – לא דווח שם
access.permissions.type

סוג ההרשאה. הערכים החוקיים הם:

  • user
  • group
  • domain
  • anyone
access.permissions.role

התפקיד שמוענק על ידי ההרשאה הזו. הערכים החוקיים הם:

  • owner
  • organizer
  • fileOrganizer
  • writer
  • commenter
  • reader

הערה: בתפקידים והרשאות מפורטים סוגי התפקידים.

access.permissions.view

אם ההרשאה שייכת לתצוגה מפורטת, הערך הוא published.

access.permissions.allow_file_discovery

האם ההרשאה מאפשרת לחפש את הקובץ. הדיווח מתבצע רק לגבי הרשאות מסוג domain או anyone.
access.permissions.email כתובת האימייל של המשתמש או הקבוצה שההרשאה הזו מתייחסת אליהם.
access.permissions.domain שם הדומיין של הישות שההרשאה הזו מתייחסת אליה. השדה הזה מופיע כשסוג ההרשאה הוא user,‏ group או domain.
access.permissions.user_id מזהה המשתמש שמשויך לכתובת האימייל בהרשאות.
access.permissions.permission_details
.permission_type
סוג ההרשאה של המשתמש.
access.permissions.permission_details.role התפקיד הראשי של המשתמש.
access.permissions.permission_details
.inherited_from
המזהה של הפריט שממנו ההרשאה הזו עוברת בירושה. השדה הזה מאוכלס רק לפריטים בתיקיות אחסון שיתופי.
access.permissions.permission_details
.inherited
ערך בוליאני שמציין אם ההרשאה עוברת בירושה.
access.permissions.inherited_permissions
_disabled
אם ההרשאות שעברו בירושה מושבתות לפריט הזה. הערך True רלוונטי רק לתיקיות עם גישה מוגבלת.
סכימת תבנית is_template ערך בוליאני שמציין אם הפריט הוא תבנית.

‫* מתייחס לתוויות שנוספו לפריטים ב-Drive.

סכימה של תיקיות אחסון שיתופי

טבלת תיקיות האחסון השיתופי

בטבלה מפורטת הסכימה של שדות ספציפיים לתיקיות אחסון שיתופי בייצוא של המטא-נתונים ב-Drive.

שם שדה סכימה תיאור
מזהה האחסון השיתופי shared_drive_id המזהה הייחודי של האחסון השיתופי.
השם של האחסון השיתופי name השם של האחסון השיתופי, כפי שניתן על ידי המשתמש.
זמן קריאה read_time_micros חותמת הזמן של קריאת המטא-נתונים של האחסון השיתופי, במיקרו-שניות.

סכימת שיתוף עם גורמים חיצוניים

סכימה והגדרות של שיתוף עם גורמים חיצוניים

נתוני השיתוף החיצוני מתווספים למערך הנתונים ב-BigQuery (אותו מערך נתונים כמו סכימת הייצוא של המלאי ב-Drive) עם הסכימה הבאה:

שם שדה סכימה תיאור
יש שיתוף עם גורמים חיצוניים access.has_external_sharing מראה אם הקובץ משותף עם משתמשים חיצוניים או חשבונות שירות, כולל כאלה שיש להם גישה עקיפה באמצעות חברות בקבוצה.
  • השדה הזה מוגדר כ-True אם הקובץ משותף עם גורמים חיצוניים, כולל מקרים שבהם:
    • כל המשתמשים שמשתפים איתם הם חשבונות שירות.
    • הגישה מותרת לפי אמצעי הבקרה של המדיניות.
    • הקובץ מפורסם באופן גלוי לכולם.
    • הקובץ משותף עם כולם.
  • השדה מוגדר כ-False אם הקובץ לא משותף עם גורמים חיצוניים או אם אמצעי הבקרה של המדיניות חוסמים את הגישה לכל הגורמים החיצוניים שאיתם הקובץ משותף.
יש שיתוף חיצוני (לא כולל חשבונות שירות) access.has_external_sharing_excluding_service_accounts מציין אם הקובץ שותף עם לפחות משתמש חיצוני אחד מחוץ לארגון. הערך הזה מוגדר כ-False אם כל המשתמשים החיצוניים שקיבלו הרשאת שיתוף הם חשבונות שירות.
פורסם מחוץ לארגון access.is_published_externally מציין אם הקובץ פורסם מחוץ לארגון.
משותף עם כולם access.is_shared_with_everyone מציין אם הקובץ משותף עם כולם.
משתמשים חיצוניים ששותפו איתם קבצים

access.external_sharees.type

מציג את סוג המשתמש החיצוני שאיתו שיתפו את הקובץ. ברשימה הבאה מוצגות דוגמאות לכל סוג הרשאה:

  • משתמש
  • קבוצה
  • לא צוין – רוב החשבונות בקטגוריה הזו הם חשבונות שלא נתבעה עליהם בעלות

access.external_sharees.email

מציגה את כתובת האימייל של המשתמש החיצוני שאיתו שותף הקובץ.

access.external_sharees.is_service_account

מציין אם המשתמש החיצוני שקיבל הרשאת שיתוף הוא חשבון שירות.

access.external_sharees.access_blocked_by_policy_control

מראה אם הגישה נחסמה על ידי מדיניות (לדוגמה, DLP או כללים להרשאות שיתוף). אם הערך הוא True, המשתמש שאיתו משתפים את הקובץ לא נכלל בחישובים של has_external_sharing ו-has_external_sharing_excluding_service_accounts.

מידע על DLP access.dlp_info.matching_dlp_rules רשימה של כללי ה-DLP התואמים שהוחלו על הפריט הזה.

שיקולי ביצועים: אם יש לכם קבוצות עם כמה משתמשים בתצוגת עץ, יכול להיות שייקח יותר זמן לחשב את השדות של השיתוף מחוץ לדומיין. העיכוב הזה יכול להשפיע על עדכניות הנתונים (לדוגמה, בדוחות יומיים).

שאילתות לדוגמה

השאילתות לדוגמה האלה מבוססות על SQL מדור קודם. מידע נוסף על שליחת שאילתות לנתונים ב-BigQuery

מחליפים את project_name.dataset_name בשם הפרויקט ובשם של מערך הנתונים.

השאילתה הזו מחזירה טבלה עם מזהה הקובץ, השם, כתובת האימייל של הבעלים והסוג.

SELECT id, title, mime_type, owner.user.email
FROM project_name.dataset_name
WHERE EXISTS (
  SELECT 1
  FROM UNNEST(access.permissions) AS permission
  WHERE permission.allow_file_discovery = true
)

חיפוש פריטים עם תווית ספציפית

מחליפים את project_name.dataset_name בשם הפרויקט ובשם של מערך הנתונים. מחליפים את label_id במזהה התווית, שאפשר למצוא במנהל התוויות.

השאילתה הזו מחזירה טבלה עם מזהה הקובץ, השם, כתובת האימייל של הבעלים והסוג.

SELECT id, title, mime_type, owner.user.email
FROM project_name.dataset_name
WHERE EXISTS (
  SELECT 1
  FROM UNNEST(applied_labels) AS label
  WHERE label.id = label_id
)

איך מוצאים משתמשים שחורגים מסף השימוש בנפח האחסון ב-Drive

מחליפים את project_name.dataset_name בשם הפרויקט ובשם של מערך הנתונים. מחליפים את threshold בסף הרצוי ב-MB. לדוגמה, כדי למצוא משתמשים שמנצלים יותר מ-15GB של נפח אחסון ב-Drive, השורה הלפני אחרונה היא HAVING total_storage_mb > 15000.

השאילתה הזו מחזירה טבלה עם כתובות האימייל של המשתמשים וסך כל נפח האחסון ב-Drive ב-MB בסדר יורד.

SELECT owner.user.email AS user_email,
  SUM(size_bytes) / (1000000) AS total_storage_mb
FROM project_name.dataset_name
GROUP BY user_email
HAVING total_storage_mb > threshold
ORDER BY total_storage_mb DESC

איך בודקים אילו סוגי פריטים תופסים הכי הרבה מקום

מחליפים את project_name.dataset_name בשם הפרויקט ובשם של מערך הנתונים.

השאילתה הזו מחזירה טבלה של סוגי פריטים לפי גודל בסדר יורד.

SELECT mime_type, SUM(consumed_quota_bytes) AS total_consumed
FROM project_name.dataset_name
GROUP BY mime_type
ORDER BY total_consumed DESC

חיפוש פריטים שהוצפנו באמצעות הצפנה מצד הלקוח (CSE)

מחליפים את project_name.dataset_name בשם הפרויקט ובשם של מערך הנתונים.

SELECT id, owner.user.email, title
FROM project_name.dataset_name
WHERE mime_type LIKE '%.encrypted'

חיפוש פריטים ששותפו עם משתמש ספציפי

מחליפים את project_name.dataset_name בשם הפרויקט ובשם של מערך הנתונים. מחליפים את user@example.com במשתמש הספציפי.

הערה: השאילתה הזו לא מוצאת שיתוף למשתמש דרך קבוצות או חברות בקהל יעד.

SELECT id, title, mime_type, owner.user.email as owner_email
FROM project_name.dataset_name
WHERE EXISTS (
  SELECT 1
  FROM UNNEST(access.permissions) AS permissions
  WHERE permissions.email = user@example.com
)

חיפוש פריטים לפי שמות של תיקיות באחסון שיתופי

מחליפים את project_name.dataset_name בשם הפרויקט ובשם של מערך הנתונים.

השאילתה הזו מחזירה טבלה עם שם הפריט ב-Drive ושם האחסון השיתופי.

SELECT i.title, s.name
FROM project_name.dataset_name.inventory AS i
JOIN project_name.dataset_name.shared_drives AS s
ON i.owner.shared_drive.id = s.shared_drive_id;

איך בודקים את מספר הפריטים באחסון השיתופי

מחליפים את project_name.dataset_name בשם הפרויקט ובשם של מערך הנתונים.

השאילתה הזו מחזירה טבלה עם שם האחסון השיתופי ומספר הפריטים.

SELECT  s.name as shared_drive, count(*) as item_count
FROM project_name.dataset_name.inventory AS i
JOIN project_name.dataset_name.shared_drives AS s
ON i.owner.shared_drive.id = s.shared_drive_id
GROUP BY shared_drive;