BigQuery में सर्विस लॉग एक्सपोर्ट सेट अप करना

इस सुविधा के साथ काम करने वाले वर्शन: Frontline Standard और Frontline Plus, Enterprise Standard और Enterprise Plus, Education Standard और Education Plus, Enterprise Essentials Plus. अपने वर्शन की तुलना करें

Google BigQuery में गतिविधि लॉग इवेंट (उपयोगकर्ता की ओर से की गई एक-एक कार्रवाई) और इस्तेमाल की रिपोर्ट (किसी ऐप्लिकेशन के लिए एग्रीगेट रिपोर्ट) एक्सपोर्ट करने के लिए, आपको Google Admin console में BigQuery Export कॉन्फ़िगरेशन सेट अप करना होगा.

BigQuery और Reports API के डेटा के बारे में जानकारी

BigQuery डेटासेट में उपलब्ध डेटा, Reports API से हासिल किए गए डेटा से अलग होता है. BigQuery डेटा में, सिर्फ़ फ़िल्टर नहीं किया गया डेटासेट शामिल होता है. डेटा को SQL का इस्तेमाल करके फ़िल्टर किया जा सकता है. हालांकि, Reports API के सभी पैरामीटर काम नहीं करते.

Reports API के डेटा को फ़िल्टर करने के लिए, एपीआई के अनुरोध में पैरामीटर शामिल करें.

उदाहरण: किसी डोमेन में दो ओयू हैं: A और B. Reports API और BigQuery का इस्तेमाल करके, पूरे डोमेन (A और B ) के सभी इवेंट को ऐक्सेस किया जा सकता है.

• हालांकि, Reports API की मदद से, एपीआई के अनुरोध में orgUnitID पैरामीटर का इस्तेमाल करके, A के इवेंट हासिल किए जा सकते हैं.
• SQL और BigQuery की मदद से, ओयू के हिसाब से इवेंट को फ़िल्टर नहीं किया जा सकता. इसकी वजह यह है कि orgUnitID पैरामीटर के लिए कोई कॉलम मौजूद नहीं है.

अहम जानकारी:

• BigQuery डेटा में, पुराना डेटा शामिल होता है. जैसे, गतिविधि डेटा के लिए 180 दिनों का और इस्तेमाल के डेटा के लिए 450 दिनों का. Reports API से भी पुराना डेटा हासिल किया जा सकता है.
• अगर Google Workspace के डेटा को BigQuery में एक्सपोर्ट करने की सुविधा बंद कर दी जाती है, तो BigQuery Export में कोई नया डेटा शामिल नहीं किया जाता. हालांकि, मौजूदा डेटा अन्य सोर्स में उपलब्ध होता है. जैसे, Reports API.
  • BigQuery की टेबल में, स्यूडो कॉलम (_PARTITIONTIME) पर दिन के हिसाब से पार्टीशन होते हैं. ये पार्टीशन, गतिविधि की टेबल के लिए time_usec कॉलम और इस्तेमाल की टेबल के लिए तारीख वाले कॉलम से लिए जाते हैं. खास तौर पर, Workspace, BigQuery की डिफ़ॉल्ट यूटीसी सीमाओं को बदलकर, पार्टीशन को पैसिफ़िक टाइम (पीटी) के साथ अलाइन करता है. BigQuery की क्वेरी की लागत को ऑप्टिमाइज़ करने के लिए, Google का सुझाव है कि _PARTITIONTIME के साथ-साथ time_usec या तारीख के हिसाब से फ़िल्टर करें.
• सभी सेवाओं की रिपोर्ट का डेटा, BigQuery Export में उपलब्ध नहीं होता. सहायता पाने वाली सेवाओं की सूची देखने के लिए, इस पेज पर BigQuery Export किन सेवाओं के साथ काम करता है? पर जाएं.
• क्वेरी के उदाहरण देखने के लिए, BigQuery में रिपोर्टिंग लॉग की क्वेरी का उदाहरण पर जाएं.

डेटा को कैसे फैलाया और बनाए रखा जाता है

• नीतियों को लागू होने में एक घंटा लग सकता है. इसके बाद, आपके डेटासेट में हर दिन की टेबल बनाई जाती हैं. ये टेबल, पैसिफ़िक टाइम के हिसाब से बनाई जाती हैं.
• डेटा को अन्य लॉग और रिपोर्ट के लिए बनी गाइडलाइन के मुताबिक सेव किया जाता है. ज़्यादा जानकारी के लिए, डेटा का रखरखाव और डेटा अपडेट होने में लगने वाला समय लेख पढ़ें.
• डेटा टेबल अपने-आप नहीं मिटतीं. किसी चालू प्रोजेक्ट को मिटाने के लिए, BigQuery Export कॉन्फ़िगरेशन मिटाना लेख पढ़ें.
• गतिविधि लॉग इवेंट, 10 मिनट के अंदर उपलब्ध हो जाते हैं. इस्तेमाल के लॉग इवेंट को शुरुआती कॉन्फ़िगरेशन के बाद, 48 घंटे में अपडेट किया जाता है. हालांकि, इसके बाद, आम तौर पर एक से तीन दिनों में अपडेट किया जाता है.

शुरू करने से पहले

अहम जानकारी: अगर Google Cloud में, डोमेन के हिसाब से शेयर करने की पाबंदी वाली संगठन की नीति का इस्तेमाल किया जाता है, तो पक्का करें कि आपने अनुमति वाली सूची में Google का ग्राहक आईडी C02h8e9nw जोड़ा हो.

सबसे पहले, आपको Google Cloud कंसोल में BigQuery प्रोजेक्ट सेट अप करना होगा. प्रोजेक्ट बनाते समय, यह काम करें:

• Google Workspace के एडमिन खाते को इस तरह जोड़ें:
  • BigQuery एडमिन (roles/bigquery.admin) या इसके बराबर की पहचान और ऐक्सेस मैनेजमेंट (IAM) की भूमिका
  • प्रोजेक्ट IAM एडमिन (roles/resourcemanager.projectIamAdmin)
• gapps-reports@system.gserviceaccount.com सेवा खाते को प्रोजेक्ट एडिटर (या इसके बराबर की IAM एडिटर की भूमिका) के तौर पर जोड़ें. लॉग लिखने, स्कीमा अपडेट करने, और बाद में पांचवां चरण पूरा करने के लिए, इसकी ज़रूरत होती है.

निर्देशों के लिए, रिपोर्टिंग लॉग के लिए BigQuery प्रोजेक्ट सेट अप करना लेख पढ़ें.

पहला चरण: BigQuery Export कॉन्फ़िगरेशन सेट अप करना

1. Google Admin console में, मेन्यू रिपोर्टिंग डेटा इंटिग्रेशन पर जाएं. Education के एडमिन के लिए, BigQuery Export पर जाएं. इससे डेटा इंटिग्रेशन पेज खुलता है.

   डेटा इंटिग्रेशन पर जाएं

   इसके लिए, आपके पास रिपोर्ट से जुड़ा एडमिन का अधिकार होना ज़रूरी है.

2. BigQuery Export कार्ड पर कर्सर ले जाएं और 'बदलाव करें' पर क्लिक करें.
3. BigQuery के लॉग चालू करने के लिए, Google BigQuery में Google Workspace के डेटा को एक्सपोर्ट करने की सुविधा चालू करें बॉक्स को चुनें.
4. (ज़रूरी नहीं) डीएलपी के नियमों के संवेदनशील पैरामीटर एक्सपोर्ट करने के लिए, डीएलपी के नियम वाले लॉग से संवेदनशील कॉन्टेंट एक्सपोर्ट करने की अनुमति दें बॉक्स को चुनें. ज़्यादा जानकारी के लिए, डीएलपी के नियमों को ट्रिगर करने वाला कॉन्टेंट देखना लेख पढ़ें.
5. BigQuery प्रोजेक्ट आईडी में जाकर, उस प्रोजेक्ट को चुनें जिसमें आपको लॉग सेव करने हैं. ऐसा प्रोजेक्ट चुनें जिसके लिए gapps-reports@system.gserviceaccount.com के पास एडिटर की भूमिका या इसके बराबर की IAM एडिटर की भूमिका हो. अगर आपको प्रोजेक्ट नहीं दिख रहा है, तो इसे BigQuery में सेट अप करना होगा. ज़्यादा जानकारी के लिए, Google Cloud कंसोल का इस्तेमाल करके क्विकस्टार्ट करना लेख पढ़ें.
6. प्रोजेक्ट के अंदर नए डेटासेट में जाकर, उस डेटासेट का नाम डालें जिसका इस्तेमाल प्रोजेक्ट में लॉग सेव करने के लिए किया जाएगा. डेटासेट के नाम पूरी तरह से नए और यूनीक होने चाहिए. साथ ही, वे Google Cloud में पहले से मौजूद नहीं होने चाहिए. ज़्यादा जानकारी के लिए, डेटासेट बनाना लेख पढ़ें.
7. (ज़रूरी नहीं) किसी खास जगह के लिए डेटासेट पर पाबंदी लगाएं बॉक्स को चुनें मेन्यू से जगह चुनें. ज़्यादा जानकारी के लिए, एक से ज़्यादा इलाके लेख पढ़ें.
   1. सेव करें पर क्लिक करें. ध्यान दें: अगर प्रोजेक्ट सेव नहीं किया जा सकता, तो Google Cloud कंसोल पर जाएं. इसके बाद, नया डेटासेट मिटाएं. फिर, Admin console में उसे फिर से सेव करें.

जब एक्सपोर्ट करने की सुविधा चालू हो जाती है, तो डेटासेट अगले दिन बनाया जाता है. प्रोजेक्ट के मालिकों, संपादकों, और दर्शकों के साथ-साथ, gapps-reports@system.gserviceaccount.comसेवा खाते को संपादक के तौर पर जोड़ा जाता है. लॉग लिखने और स्कीमा को अपडेट करने के लिए, सेवा खाते की ज़रूरत होती है.

दूसरा चरण: BigQuery Export के डेटासेट में बदलाव करना और नए डेटासेट में बैकफ़िल करना (ज़रूरी नहीं)

BigQuery Export की सेटिंग में बदलाव करके, मौजूदा डेटासेट के बजाय किसी दूसरे डेटासेट में डेटा एक्सपोर्ट किया जा सकता है. मौजूदा डेटा को पिछले डेटासेट से नए डेटासेट में भी ले जाया जा सकता है. जैसे, ऑडिट के लिए 180 दिनों का और इस्तेमाल के लिए 450 दिनों का. उदाहरण के लिए, BigQuery Export के डेटासेट की जगह को अमेरिका से ईयू में बदला जा सकता है. बैकफ़िल की मदद से, अमेरिका में पहले से सेव डेटा को ईयू में ट्रांसफ़र किया जा सकता है. अगर बैकफ़िल चुना जाता है, तो BigQuery, बताई गई जगह पर एक नया डेटासेट बनाता है.

इन बातों का ध्यान रखें

• नई जगह चुनने, प्रोजेक्ट आईडी बदलने या डेटासेट आईडी बदलने पर, मौजूदा डेटा को नए डेटासेट में एक्सपोर्ट किया जाता है.
• एक्सपोर्ट किया गया डेटा, पिछले डेटासेट में भी सेव रहता है.
• बैकफ़िल किया गया डेटा, नए डेटा के साथ नए डेटासेट में सेव होता है.
• मौजूदा डेटा (ऑडिट के लिए 180 दिनों का और इस्तेमाल के लिए 450 दिनों का) को नए डेटासेट में एक्सपोर्ट किया जाता है. हालांकि, इसे मौजूदा जगह से मिटाया नहीं जाता. इसलिए, आपके पास BigQuery Export के डेटासेट दो जगहों पर होंगे.

मौजूदा डेटा को नई जगह पर बैकफ़िल करने के लिए:

1. Google Admin console में, मेन्यू रिपोर्टिंग डेटा इंटिग्रेशन पर जाएं. Education के एडमिन के लिए, BigQuery Export पर जाएं. इससे डेटा इंटिग्रेशन पेज खुलता है.

   डेटा इंटिग्रेशन पर जाएं

   इसके लिए, आपके पास रिपोर्ट से जुड़ा एडमिन का अधिकार होना ज़रूरी है.

2. डेटासेट का नया नाम डालें.
3. अगर आपको मौजूदा डेटा को नई जगह पर बैकफ़िल करना है, तो पिछले 180 दिनों के मौजूदा BigQuery डेटा को नए डेटासेट में बैकफ़िल करें बॉक्स को चुनें.
4. पुष्टि करें सेव करें पर क्लिक करें.

लॉग डेटा एक्सपोर्ट करने की ज़रूरी शर्तें

लॉग डेटा, insertAll API के ज़रिए एक्सपोर्ट किया जाता है, इसके लिए, BigQuery Export के प्रोजेक्ट के लिए बिलिंग की सुविधा चालू होनी चाहिए. अगर बिलिंग की सुविधा चालू नहीं है, तो आपका प्रोजेक्ट सैंडबॉक्स मोड में होगा. साथ ही, लॉग डेटा आपके डेटासेट में एक्सपोर्ट नहीं किया जाएगा. ज़्यादा जानकारी के लिए, सीमाएं लेख पढ़ें.

ध्यान दें: सैंडबॉक्स मोड वाले प्रोजेक्ट के लिए, इस्तेमाल की रिपोर्ट एक्सपोर्ट करने की सुविधा अब भी चालू है.

डेटा अपडेट होने में लगने वाला समय

ज़्यादातर मामलों में, BigQuery में डेटा एक्सपोर्ट करने की सुविधा चालू करने के बाद, गतिविधि लॉग इवेंट 10 मिनट के अंदर उपलब्ध हो जाते हैं. इस्तेमाल के लॉग इवेंट को शुरुआती कॉन्फ़िगरेशन के बाद, 48 घंटे में अपडेट किया जाता है. हालांकि, इसके बाद, आम तौर पर एक से तीन दिनों में अपडेट किया जाता है. ज़्यादा जानकारी के लिए, डेटा का रखरखाव और डेटा अपडेट होने में लगने वाला समय लेख पढ़ें.

अक्सर पूछे जाने वाले सवाल

मिलते-जुलते विषय

BigQuery का दस्तावेज़