إعداد عمليات تصدير سجلّات الخدمة إلى BigQuery

الإصدارات المتوافقة مع هذه الميزة: Frontline Standard وFrontline Plus وEnterprise Standard وEnterprise Plus وEducation Standard وEducation Plus وEnterprise Essentials Plus. مقارنة إصدارك

إذا أردت تصدير أحداث سجلّ النشاط (الإجراءات الفردية التي يتّخذها المستخدم) وتقارير الاستخدام (تقارير مجمّعة لتطبيق) إلى Google BigQuery، عليك إعداد ضبط BigQuery Export في "وحدة تحكّم المشرف في Google".

لمحة عن بيانات BigQuery وReporting API

تختلف البيانات المتاحة في مجموعة بيانات BigQuery عن البيانات التي يتم استردادها من Reports API. لا تتضمّن بيانات BigQuery سوى مجموعة البيانات التي لم تفلتر. سيظل بإمكانك فلترة البيانات باستخدام لغة الاستعلامات البنيوية (SQL)، ولكن لا تتوفّر جميع مَعلمات واجهة برمجة التطبيقات لإعداد التقارير.

يمكنك فلترة بيانات Reports API من خلال تضمين المعلَمات في طلب البيانات من واجهة برمجة التطبيقات.

مثال: تقع وحدتان تنظيميتان في نطاق ما، هما: الوحدة التنظيمية أ والوحدة التنظيمية ب. باستخدام Reports API وBigQuery، يمكنك الوصول إلى جميع الأحداث على كامل النطاق (للوحدتَين التنظيميتَين (أ) و(ب)).

• ومع ذلك، باستخدام Reports API، يمكنك استرداد أحداث الوحدة التنظيمية (أ) باستخدام المَعلمة orgUnitID في طلب البيانات من واجهة برمجة التطبيقات.
• لا يمكنك فلترة الأحداث حسب الوحدة التنظيمية باستخدام SQL وBigQuery لعدم توفّر عمود مطابق للمَعلمة orgUnitID.

ملاحظة مهمّة:

• تتضمّن بيانات BigQuery البيانات السابقة (180 يومًا من بيانات النشاط و450 يومًا من بيانات الاستخدام). يمكنك أيضًا استرداد البيانات السابقة من Reports API.
• في حال إيقاف تصدير بيانات Google Workspace إلى BigQuery، لا يتم تضمين بيانات جديدة في BigQuery Export. ومع ذلك، تتوفر البيانات الحالية في المصادر الأخرى، مثل Reports API.
• تحتوي جداول BigQuery على أقسام على مستوى اليوم في العمود الزائف (_PARTITIONTIME). يتم اشتقاق هذه الأقسام من عمود time_usec لجداول النشاط وعمود التاريخ لجداول الاستخدام. تجدر الإشارة إلى أنّ Workspace يتجاهل حدود التوقيت العالمي المنسّق (UTC) التلقائية في BigQuery لمواءمة الأقسام مع توقيت المحيط الهادئ (PT). لتحسين تكلفة طلبات البحث في BigQuery، تنصح Google بالفلترة حسب _PARTITIONTIME بالتزامن مع time_usec أو date.
• لا تتوفّر جميع بيانات تقارير الخدمة في BigQuery Export. للحصول على قائمة بالخدمات المتوفرة، يُرجى الانتقال إلى ما هي الخدمات المتوفرة في BigQuery Export؟ في هذه الصفحة.
• للحصول على أمثلة عن طلبات البحث، انتقِل إلى أمثلة على طلبات البحث لسجلات إعداد التقارير في BigQuery.

كيفية نشر البيانات والاحتفاظ بها

• قد تستغرق مدة نشر السياسات ساعة. وبعد ذلك، يتم إنشاء جداول يومية في مجموعة البيانات (توقيت المحيط الهادئ).
• يتم حفظ البيانات وفقًا للإرشادات التالية في ما يخص التقارير والسجلّات الأخرى. لمعرفة التفاصيل، يُرجى الانتقال إلى مُدد الاحتفاظ بالبيانات ومُدد التأخّر.
• لا يتم حذف جداول البيانات تلقائيًا. لحذف مشروع نشط، انتقِل إلى حذف إعداد BigQuery Export.
• تتوفّر أحداث سجلّ النشاط خلال 10 دقائق. يحدث تأخير في أحداث سجلّ الاستخدام لمدة 48 ساعة عند إكمال عملية الضبط الأولية، ولكن بعد ذلك تكون مدة التأخّر المعتادة من يوم إلى 3 أيام.

قبل البدء

ملاحظة مهمة: إذا كنت تستخدم سياسة المؤسسة المشاركة المقيّدة بالنطاق في Google Cloud، احرص على إضافة معرّف عميل Google C02h8e9nw إلى القائمة المسموح بها.

يجب أولاً إعداد مشروع BigQuery في وحدة التحكّم في Google Cloud. عند إنشاء المشروع، عليك تنفيذ ما يلي:

• إضافة حساب مشرف Google Workspace ومنحه:
  • دور "مشرف BigQuery" (roles/bigquery.admin) أو دور "إدارة الهوية وإمكانية الوصول" (IAM) مكافئ
  • مشرف إدارة الهوية وإمكانية الوصول في المشروع (roles/resourcemanager.projectIamAdmin)
• إضافة حساب الخدمة gapps-reports@system.gserviceaccount.com ومنحه دور محرِّر المشروع (أو دور محرِّر مكافئ في "إدارة الهوية وإمكانية الوصول"). سيكون عليك تنفيذ هذا الإجراء لكتابة السجلّات وتعديل المخطط وإكمال الخطوة 5 لاحقًا.

للحصول على التعليمات، يُرجى الانتقال إلى إعداد مشروع BigQuery لسجلات إعداد التقارير.

الخطوة 1: ضبط إعدادات BigQuery Export

1. في "وحدة تحكّم المشرف في Google"، انتقِل إلى "القائمة" إعداد التقارير عمليات دمج البيانات (أو تصدير BigQuery لمشرفي Education، ما يؤدي إلى فتح صفحة "عمليات دمج البيانات").

   الانتقال إلى "عمليات دمج البيانات"

   يتطلب امتلاك امتياز مشرف التقارير.

2. أشِر إلى بطاقة BigQuery Export وانقر على رمز التعديل .
3. لتفعيل سجلّات BigQuery، ضَع علامة في المربّع تفعيل تصدير بيانات Google Workspace إلى Google BigQuery.
4. (اختياري) لتصدير المعلمات الحساسة لقواعد "منع فقدان البيانات"، ضَع علامة في المربّع السماح بتصدير المحتوى الحسّاس من سجلات قواعد "منع فقدان البيانات". لمزيد من التفاصيل، يُرجى الانتقال إلى مقالة عرض المحتوى الذي يؤدي إلى تفعيل قواعد "منع فقدان البيانات".
5. ضمن رقم تعريف مشروع BigQuery، اختَر المشروع الذي تريد تخزين السجلّات فيه. اختَر مشروعًا يمتلك فيه gapps-reports@system.gserviceaccount.com دور محرِّر أو دور محرِّر مكافئ في "إدارة الهوية وإمكانية الوصول". إذا لم يظهر لك المشروع، عليك إعداده في BigQuery. للحصول على التفاصيل، يُرجى الانتقال إلى دليل البدء السريع باستخدام "وحدة تحكّم Google Cloud".
6. ضمن مجموعة البيانات الجديدة ضمن المشروع، أَدخِل اسم مجموعة البيانات التي تريد استخدامها لتخزين السجلّات في المشروع. يجب أن تكون أسماء مجموعات البيانات فريدة لكل مشروع. لمعرفة التفاصيل، انتقِل إلى إنشاء مجموعات بيانات.
7. (اختياري) ضَع علامة في المربّع حصر مجموعة البيانات على موقع جغرافي محدّد اختَر الموقع الجغرافي من القائمة. لمزيد من المعلومات، يُرجى الانتقال إلى المناطق المتعددة.
8. انقر على حفظ. ملاحظة: إذا لم تتمكّن من حفظ المشروع، انتقِل إلى "وحدة تحكّم Google Cloud"، واحذِف مجموعة البيانات الجديدة، ثم احفَظها مرة أخرى في "وحدة تحكّم المشرف".

عند بدء التصدير، يتم إنشاء مجموعة البيانات في اليوم التالي. بالإضافة إلى مالكي المشروع والمحرِّرين والمشاهدين، تتم إضافة حساب الخدمة gapps-reports@system.gserviceaccount.com كمحرِّر. يلزم توفّر حساب الخدمة من أجل كتابة السجلّات وتعديل المُخطَّط.

الخطوة 2: تغيير مجموعة بيانات BigQuery Export وإضافة البيانات السابقة في مجموعة بيانات جديدة (اختياري)

يمكنك تغيير إعدادات BigQuery Export للبدء في تصدير البيانات إلى مجموعة بيانات مختلفة عن المجموعة الحالية. يمكنك أيضًا نقل البيانات الحالية من مجموعة البيانات السابقة إلى المجموعة الجديدة المحددة (180 يومًا للتدقيق و450 يومًا للاستخدام). على سبيل المثال، يمكنك تغيير موقع مجموعة بيانات BigQuery Export من الولايات المتحدة إلى الاتحاد الأوروبي. تتيح لك ميزة "إضافة البيانات السابقة" نقل البيانات المخزَّنة من قبل في منطقة الولايات المتحدة إلى منطقة الاتحاد الأوروبي. إذا اخترت إضافة البيانات السابقة، تُنشئ أداة BigQuery مجموعة بيانات جديدة في الموقع المحدّد.

الاعتبارات

• يتم تصدير البيانات الحالية إلى مجموعة بيانات جديدة في حال اختيار موقع جغرافي جديد أو تغيير رقم تعريف المشروع أو تغيير رقم تعريف مجموعة البيانات.
• ويتم أيضًا الاحتفاظ بالبيانات التي تم تصديرها في مجموعة البيانات السابقة.
• يتم تخزين أي بيانات جديدة، إلى جانب البيانات السابقة المضافة، في مجموعة البيانات الجديدة.
• يتم تصدير البيانات الحالية (180 يومًا للتدقيق و450 يومًا للاستخدام) إلى مجموعة البيانات الجديدة، ولكن لا يتم حذفها من الموقع الحالي، وبالتالي ستكون لديك مجموعات بيانات BigQuery Export في موقعَين جغرافيَين.

لإضافة البيانات الحالية إلى الموقع الجديد:

1. في "وحدة تحكّم المشرف في Google"، انتقِل إلى "القائمة" إعداد التقارير عمليات دمج البيانات (أو تصدير BigQuery لمشرفي Education، ما يؤدي إلى فتح صفحة "عمليات دمج البيانات").

   الانتقال إلى "عمليات دمج البيانات"

   يتطلب امتلاك امتياز مشرف التقارير.

2. أدخِل اسم مجموعة البيانات الجديدة.
3. إذا كنت تريد إضافة البيانات الحالية إلى الموقع الجديد، ضَع علامة في المربّع إضافة بيانات BigQuery الحالية من آخر 180 يومًا إلى مجموعة البيانات الجديدة.
4. انقر على تأكيد حفظ.

متطلبات تصدير بيانات السجلّ

يتم تصدير بيانات السجلّ من خلال insertAll API، ما يتطلّب منك تفعيل الفوترة لمشروع BigQuery Export. في حال عدم تفعيل الفوترة، سيكون مشروعك في وضع الحماية، ولن يتم تصدير بيانات السجلّ إلى مجموعة البيانات. لمزيد من التفاصيل، يُرجى الانتقال إلى القيود.

ملاحظة: لا تزال عمليات تصدير تقارير الاستخدام مفعّلة لمشاريع وضع الحماية.

مُدد التأخر

في معظم الحالات، بعد تفعيل عملية تصدير البيانات إلى BigQuery، تصبح أحداث سجلّ الأنشطة متاحة خلال 10 دقائق. يحدث تأخير في أحداث سجلّ الاستخدام لمدة 48 ساعة عند إكمال عملية الضبط الأولية، ولكن بعد ذلك تكون مدة التأخّر المعتادة من يوم إلى 3 أيام. لمعرفة التفاصيل، يُرجى الانتقال إلى مُدد الاحتفاظ بالبيانات ومُدد التأخّر.

الأسئلة الشائعة

موضوع ذو صلة

مستندات BigQuery