تنظیم خروجی گزارش سرویس‌ها به BigQuery

نسخه‌های پشتیبانی‌شده برای این ویژگی: Frontline Standard و Frontline Plus؛ Enterprise Standard و Enterprise Plus؛ Education Standard و Education Plus؛ Enterprise Essentials Plus. نسخه خود را مقایسه کنید

برای ارسال رویدادهای گزارش فعالیت (اقدامات تکی انجام شده توسط یک کاربر) و گزارش‌های استفاده (گزارش‌های تجمیعی برای یک برنامه) به Google BigQuery، باید پیکربندی BigQuery Export را در کنسول مدیریت گوگل تنظیم کنید.

درباره BigQuery و داده‌های API گزارش‌ها

داده‌های موجود در مجموعه داده BigQuery با داده‌های بازیابی شده از Reports API متفاوت است. داده‌های BigQuery فقط شامل مجموعه داده فیلتر نشده هستند. شما هنوز هم می‌توانید داده‌ها را با استفاده از SQL فیلتر کنید، اما همه پارامترهای Reports API پشتیبانی نمی‌شوند.

شما می‌توانید داده‌های Reports API را با وارد کردن پارامترها در درخواست API فیلتر کنید.

مثال : دو واحد سازمانی در یک دامنه A و B قرار دارند. با استفاده از Reports API و BigQuery، می‌توانید به تمام رویدادهای کل دامنه ( A و B ) دسترسی داشته باشید.

• با این حال، با استفاده از Reports API می‌توانید رویدادهای A را با استفاده از پارامتر orgUnitID در درخواست API بازیابی کنید.
• با SQL و BigQuery، نمی‌توانید رویدادها را بر اساس واحد سازمانی فیلتر کنید زیرا ستونی متناظر با پارامتر orgUnitID وجود ندارد.

مهم :

• داده‌های BigQuery شامل داده‌های تاریخی (۱۸۰ روز برای داده‌های فعالیت و ۴۵۰ روز برای داده‌های استفاده) است. همچنین می‌توانید داده‌های تاریخی را از Reports API بازیابی کنید.
• اگر خروجی گرفتن از داده‌های Google Workspace به BigQuery را غیرفعال کنید، هیچ داده جدیدی در خروجی BigQuery لحاظ نمی‌شود. با این حال، داده‌های موجود در منابع دیگر، مانند Reports API ، در دسترس هستند.
• جداول BigQuery دارای پارتیشن‌های سطح روز در شبه ستون (_PARTITIONTIME) هستند. این پارتیشن‌ها از ستون time_usec برای جداول Activity و ستون date برای جداول Usage مشتق شده‌اند. نکته قابل توجه این است که Workspace مرزهای پیش‌فرض UTC BigQuery را نادیده می‌گیرد تا پارتیشن‌ها را با زمان اقیانوس آرام (PT) هم‌تراز کند. برای بهینه‌سازی هزینه پرس‌وجو در BigQuery، گوگل فیلتر کردن بر اساس _PARTITIONTIME را همراه با time_usec یا date توصیه می‌کند.
• همه داده‌های گزارش خدمات در BigQuery Export موجود نیست. برای مشاهده فهرست سرویس‌های پشتیبانی‌شده، به بخش «BigQuery Export از چه سرویس‌هایی پشتیبانی می‌کند؟» در این صفحه مراجعه کنید.
• برای مشاهده‌ی نمونه‌هایی از کوئری‌ها، به Example queries for reporting logs in BigQuery مراجعه کنید.

نحوه انتشار و نگهداری داده‌ها

• انتشار سیاست‌ها می‌تواند یک ساعت طول بکشد. پس از آن، جداول روزانه در مجموعه داده‌های شما (زمان اقیانوس آرام) ایجاد می‌شوند.
• داده‌ها طبق دستورالعمل‌های مربوط به سایر گزارش‌ها و گزارش‌ها ذخیره می‌شوند. برای جزئیات بیشتر، به «نگهداری داده‌ها و زمان‌های تأخیر» مراجعه کنید.
• جداول داده به طور خودکار حذف نمی‌شوند. برای حذف یک پروژه فعال، به Delete a BigQuery Export configuration بروید.
• رویدادهای گزارش فعالیت ظرف ۱۰ دقیقه در دسترس هستند. رویدادهای گزارش استفاده در پیکربندی اولیه ۴۸ ساعت تأخیر دارند، اما پس از آن معمولاً ۱ تا ۳ روز تأخیر دارند.

قبل از اینکه شروع کنی

مهم: اگر از خط‌مشی سازمانی اشتراک‌گذاری محدود دامنه در Google Cloud استفاده می‌کنید، مطمئن شوید که شناسه مشتری Google C02h8e9nw به فهرست مجاز اضافه می‌کنید.

ابتدا باید یک پروژه BigQuery را در کنسول Google Cloud تنظیم کنید. هنگام ایجاد پروژه، موارد زیر را انجام دهید:

• یک حساب کاربری مدیر Google Workspace به عنوان زیر اضافه کنید:
  • مدیر BigQuery (roles/bigquery.admin) یا نقش معادل مدیریت هویت و دسترسی (IAM)
  • مدیر مدیریت منابع پروژه (roles/resourcemanager.projectIamAdmin)
• حساب کاربری gapps-reports@system.gserviceaccount.com را به عنوان ویرایشگر پروژه (یا معادل آن، ویرایشگر IAM) اضافه کنید. برای نوشتن گزارش‌ها، به‌روزرسانی طرحواره و تکمیل مرحله ۵ در مراحل بعدی به این حساب کاربری نیاز دارید.

برای دستورالعمل‌ها، به «راه‌اندازی یک پروژه BigQuery برای گزارش‌گیری گزارش‌ها» مراجعه کنید.

مرحله 1: پیکربندی BigQuery Export را تنظیم کنید

1. در کنسول مدیریت گوگل، به منو بروید گزارش‌دهی یکپارچه‌سازی داده‌ها (یا خروجی Big Query برای مدیران آموزش، که صفحه یکپارچه‌سازی داده‌ها را باز می‌کند).

   به ادغام داده‌ها بروید

   نیاز به داشتن امتیاز مدیر گزارش‌ها دارد.

2. به کارت BigQuery Export اشاره کنید و روی ویرایش کلیک کنید .
3. برای فعال کردن گزارش‌های BigQuery، گزینه‌ی «فعال کردن خروجی داده‌های Google Workspace به Google BigQuery» را علامت بزنید.
4. (اختیاری) برای صادر کردن پارامترهای حساس قوانین DLP، کادر « اجازه صادر کردن محتوای حساس از گزارش‌های قوانین DLP» را علامت بزنید. برای جزئیات بیشتر، به «مشاهده محتوایی که قوانین DLP را فعال می‌کند» بروید.
5. در قسمت شناسه پروژه BigQuery ، پروژه‌ای را که می‌خواهید گزارش‌ها را در آن ذخیره کنید، انتخاب کنید. پروژه‌ای را انتخاب کنید که gapps-reports@system.gserviceaccount.com برای آن نقش ویرایشگر یا نقش ویرایشگر IAM معادل داشته باشد. اگر پروژه را نمی‌بینید، باید آن را در BigQuery تنظیم کنید. برای جزئیات بیشتر، با استفاده از کنسول Google Cloud به Quickstart بروید.
6. در زیر «مجموعه داده جدید در پروژه» ، نام مجموعه داده‌ای را که برای ذخیره گزارش‌ها در پروژه استفاده می‌شود، وارد کنید. نام مجموعه داده‌ها باید برای هر پروژه منحصر به فرد باشد. برای جزئیات بیشتر، به «ایجاد مجموعه داده‌ها» بروید.
7. (اختیاری) گزینه محدود کردن مجموعه داده‌ها به یک موقعیت جغرافیایی خاص را علامت بزنید. مکان را از منو انتخاب کنید. برای اطلاعات بیشتر، به چند منطقه بروید.
8. روی ذخیره کلیک کنید. توجه : اگر نمی‌توانید پروژه را ذخیره کنید، به کنسول Google Cloud بروید، مجموعه داده جدید را حذف کنید، سپس دوباره آن را در کنسول مدیریت ذخیره کنید.

وقتی عملیات خروجی گرفتن آغاز می‌شود، مجموعه داده‌ها روز بعد ایجاد می‌شوند. علاوه بر مالکان پروژه، ویرایشگران و بینندگان، حساب سرویس gapps-reports@system.gserviceaccount.com نیز به عنوان ویرایشگر اضافه می‌شود. این حساب سرویس برای نوشتن گزارش‌ها و به‌روزرسانی طرحواره مورد نیاز است.

مرحله 2: تغییر مجموعه داده و پر کردن مجدد BigQuery Export به یک مجموعه داده جدید (اختیاری)

شما می‌توانید تنظیمات BigQuery Export را تغییر دهید تا شروع به صادر کردن داده‌ها به مجموعه داده‌ای متفاوت از مجموعه داده فعلی کنید. همچنین می‌توانید داده‌های موجود را از مجموعه داده قبلی به مجموعه داده جدید انتخاب شده منتقل کنید (۱۸۰ روز برای حسابرسی و ۴۵۰ روز برای استفاده). به عنوان مثال، می‌توانید مکان مجموعه داده صادر شده BigQuery خود را از ایالات متحده به اتحادیه اروپا تغییر دهید. Backfill به شما امکان می‌دهد داده‌هایی را که از قبل در منطقه ایالات متحده ذخیره شده‌اند به منطقه اتحادیه اروپا منتقل کنید. اگر backfill را انتخاب کنید، BigQuery یک مجموعه داده جدید در مکان مشخص شده ایجاد می‌کند.

ملاحظات

• اگر مکان جدیدی را انتخاب کنید، شناسه پروژه را تغییر دهید یا شناسه مجموعه داده را تغییر دهید، داده‌های موجود به یک مجموعه داده جدید صادر می‌شوند.
• داده‌های خروجی گرفته شده نیز در مجموعه داده‌های قبلی حفظ می‌شوند.
• هر داده جدید، همراه با داده‌های پر شده، در مجموعه داده جدید ذخیره می‌شود.
• داده‌های موجود (۱۸۰ روز برای حسابرسی و ۴۵۰ روز برای استفاده) به مجموعه داده جدید صادر می‌شوند، اما از مکان موجود حذف نمی‌شوند، بنابراین مجموعه داده‌های BigQuery Export را در ۲ مکان خواهید داشت.

برای پر کردن مجدد داده‌های موجود در مکان جدید:

1. در کنسول مدیریت گوگل، به منو بروید گزارش‌دهی یکپارچه‌سازی داده‌ها (یا خروجی Big Query برای مدیران آموزش، که صفحه یکپارچه‌سازی داده‌ها را باز می‌کند).

   به ادغام داده‌ها بروید

   نیاز به داشتن امتیاز مدیر گزارش‌ها دارد.

2. نام مجموعه داده جدید را وارد کنید.
3. اگر می‌خواهید داده‌های موجود را در مکان جدید دوباره پر کنید، کادر «Backfill existing BigQuery data from the last 180 days to new dataset» را علامت بزنید.
4. روی تأیید کلیک کنید ذخیره کنید .

الزامات صادرات داده‌های گزارش

داده‌های لاگ از طریق رابط برنامه‌نویسی کاربردی insertAll صادر می‌شوند، که مستلزم فعال بودن قابلیت billing برای پروژه export BigQuery شما است. اگر قابلیت billing فعال نباشد، پروژه شما در حالت sandbox قرار می‌گیرد و داده‌های لاگ به مجموعه داده‌های شما صادر نمی‌شوند. برای جزئیات بیشتر، به Limitations مراجعه کنید.

توجه: خروجی گرفتن از گزارش‌های استفاده هنوز برای پروژه‌های حالت سندباکس فعال است.

زمان‌های تأخیر

در بیشتر موارد، پس از فعال کردن ارسال داده‌ها به BigQuery، رویدادهای گزارش فعالیت ظرف ۱۰ دقیقه در دسترس قرار می‌گیرند. رویدادهای گزارش استفاده در پیکربندی اولیه ۴۸ ساعت تأخیر دارند، اما پس از آن تأخیر معمول ۱ تا ۳ روز است. برای جزئیات بیشتر، به بخش «نگهداری داده‌ها و زمان تأخیر» مراجعه کنید.

سوالات متداول

موضوع مرتبط

مستندات بیگ‌کوئری