BigQuery में सर्विस लॉग एक्सपोर्ट सेट अप करना

यह सुविधा इन वर्शन में उपलब्ध है: Frontline Standard और Frontline Plus; Enterprise Standard और Enterprise Plus; Education Standard और Education Plus; Enterprise Essentials Plus. अपने वर्शन की तुलना करें

गतिविधि के लॉग इवेंट (किसी उपयोगकर्ता की ओर से की गई एक कार्रवाई) और इस्तेमाल की रिपोर्ट (किसी ऐप्लिकेशन के लिए एग्रीगेट की गई रिपोर्ट) को Google BigQuery में एक्सपोर्ट करने के लिए, आपको Google Admin console में BigQuery Export कॉन्फ़िगरेशन सेट अप करना होगा.

BigQuery और Reports API के डेटा के बारे में जानकारी

BigQuery डेटासेट में उपलब्ध डेटा, Reports API से वापस पाए गए डेटा से अलग होता है. BigQuery डेटा में सिर्फ़ बिना फ़िल्टर किया गया डेटासेट शामिल होता है. SQL का इस्तेमाल करके, अब भी डेटा को फ़िल्टर किया जा सकता है. हालांकि, Reports API के सभी पैरामीटर काम नहीं करते.

एपीआई अनुरोध में पैरामीटर शामिल करके, Reports API के डेटा को फ़िल्टर किया जा सकता है.

उदाहरण: किसी डोमेन में संगठन की दो इकाइयां हैं, A और B. Reports API और BigQuery का इस्तेमाल करके, पूरे डोमेन (A और B ) के सभी इवेंट ऐक्सेस किए जा सकते हैं.

• हालांकि, Reports API की मदद से, एपीआई अनुरोध में orgUnitID पैरामीटर का इस्तेमाल करके, A इवेंट वापस पाए जा सकते हैं.
• एसक्यूएल और BigQuery की मदद से, इवेंट को संगठन की इकाई के हिसाब से फ़िल्टर नहीं किया जा सकता. इसकी वजह यह है कि orgUnitID पैरामीटर से मेल खाने वाला कोई कॉलम नहीं है.

अहम जानकारी:

• BigQuery के डेटा में पुराना डेटा शामिल होता है. गतिविधि के डेटा के लिए 180 दिन और इस्तेमाल के डेटा के लिए 450 दिन. Reports API से भी पुराना डेटा वापस पाया जा सकता है.
• Google Workspace के डेटा को BigQuery में एक्सपोर्ट करने की सुविधा बंद करने पर, BigQuery Export में कोई नया डेटा शामिल नहीं किया जाता. हालांकि, मौजूदा डेटा अन्य सोर्स में उपलब्ध है. जैसे, Reports API.
• BigQuery टेबल में, छद्म कॉलम (_PARTITIONTIME) के आधार पर दिन के हिसाब से सेगमेंट बनाए गए हैं. ये पार्टिशन, गतिविधि टेबल के लिए time_usec कॉलम और इस्तेमाल से जुड़ी टेबल के लिए तारीख कॉलम से लिए जाते हैं. खास तौर पर, Workspace, BigQuery के यूटीसी की डिफ़ॉल्ट सीमाओं को बदल देता है, ताकि पार्टीशन को पैसिफ़िक समय (पीटी) के साथ अलाइन किया जा सके. BigQuery क्वेरी की लागत को ऑप्टिमाइज़ करने के लिए, Google का सुझाव है कि _PARTITIONTIME के साथ-साथ time_usec या तारीख के हिसाब से फ़िल्टर करें.
• सेवा की रिपोर्ट का पूरा डेटा, BigQuery Export में उपलब्ध नहीं होता. काम करने वाली सेवाओं की सूची देखने के लिए, इस पेज पर BigQuery Export किन सेवाओं के साथ काम करता है? पर जाएं.
• क्वेरी के उदाहरण देखने के लिए, BigQuery में रिपोर्टिंग लॉग की क्वेरी के उदाहरण पर जाएं.

डेटा को कैसे ट्रांसफ़र किया जाता है और उसे कितने समय तक सेव रखा जाता है

• नीतियों को लागू होने में एक घंटा लग सकता है. इसके बाद, आपके डेटासेट में हर दिन टेबल बनाई जाती हैं (पैसिफ़िक समय के हिसाब से).
• डेटा को अन्य लॉग और रिपोर्ट के दिशा-निर्देशों के मुताबिक सेव किया जाता है. ज़्यादा जानकारी के लिए, डेटा के रखरखाव और डेटा अपडेट होने में लगने वाला समय लेख पढ़ें.
• डेटा टेबल अपने-आप नहीं मिटती हैं. किसी ऐक्टिव प्रोजेक्ट को मिटाने के लिए, BigQuery Export कॉन्फ़िगरेशन मिटाना पर जाएं.
• गतिविधि के लॉग इवेंट, 10 मिनट के अंदर उपलब्ध हो जाते हैं. इस्तेमाल के लॉग इवेंट को पहली बार कॉन्फ़िगर करने पर, डेटा दिखने में 48 घंटे लगते हैं. हालांकि, इसके बाद डेटा दिखने में आम तौर पर 1 से 3 दिन लगते हैं.

शुरू करने से पहले

अहम जानकारी: अगर Google Cloud में डोमेन के हिसाब से शेयर करने की सुविधा को सीमित करने वाली संगठन की नीति का इस्तेमाल किया जाता है, तो पक्का करें कि आपने Google ग्राहक आईडी C02h8e9nw को अनुमति वाली सूची में जोड़ा हो.

सबसे पहले, आपको Google Cloud Console में BigQuery प्रोजेक्ट सेट अप करना होगा. प्रोजेक्ट बनाते समय, यह तरीका अपनाएं:

• Google Workspace एडमिन खाते को इस तरह जोड़ें:
  • BigQuery एडमिन (roles/bigquery.admin) या पहचान और ऐक्सेस मैनेजमेंट (आईएएम) की इससे मिलती-जुलती भूमिका
  • प्रोजेक्ट का आईएएम एडमिन (roles/resourcemanager.projectIamAdmin)
• gapps-reports@system.gserviceaccount.com सेवा खाते को प्रोजेक्ट एडिटर (या IAM एडिटर की भूमिका के बराबर) के तौर पर जोड़ें. आपको इसकी ज़रूरत लॉग लिखने, स्कीमा अपडेट करने, और बाद में पांचवां चरण पूरा करने के लिए होती है.

निर्देशों के लिए, रिपोर्टिंग लॉग के लिए BigQuery प्रोजेक्ट सेट अप करना पर जाएं.

पहला चरण: BigQuery Export कॉन्फ़िगरेशन सेट अप करना

1. Google Admin console में, मेन्यू रिपोर्टिंग डेटा इंटिग्रेशन पर जाएं. इसके अलावा, Education एडमिन के लिए Big Query एक्सपोर्ट पर जाएं. इससे डेटा इंटिग्रेशन पेज खुलता है.

   डेटा इंटिग्रेशन पर जाएं

   इसके लिए, आपके पास रिपोर्ट से जुड़ा एडमिन का अधिकार होना ज़रूरी है.

2. BigQuery Export कार्ड पर कर्सर ले जाएं और बदलाव करें पर क्लिक करें.
3. BigQuery के लॉग चालू करने के लिए, Google BigQuery में Google Workspace के डेटा को एक्सपोर्ट करने की सुविधा चालू करें बॉक्स पर सही का निशान लगाएं.
4. (ज़रूरी नहीं) डीएलपी के नियमों के संवेदनशील पैरामीटर एक्सपोर्ट करने के लिए, डीएलपी के नियम के लॉग से संवेदनशील कॉन्टेंट एक्सपोर्ट करने की अनुमति दें बॉक्स पर सही का निशान लगाएं. ज़्यादा जानकारी के लिए, डेटा सुरक्षा से जुड़ी नीतियों का उल्लंघन करने वाला कॉन्टेंट देखना पर जाएं.
5. BigQuery प्रोजेक्ट आईडी में जाकर, वह प्रोजेक्ट चुनें जिसमें आपको लॉग सेव करने हैं. वह प्रोजेक्ट चुनें जिसके लिए gapps-reports@system.gserviceaccount.com के पास एडिटर की भूमिका हो या आईएएम एडिटर की भूमिका हो. अगर आपको प्रोजेक्ट नहीं दिख रहा है, तो इसे BigQuery में सेट अप करना होगा. ज़्यादा जानकारी के लिए, Google Cloud Console का इस्तेमाल करके क्विकस्टार्ट करना पर जाएं.
6. प्रोजेक्ट में नया डेटासेट में जाकर, उस डेटासेट का नाम डालें जिसका इस्तेमाल प्रोजेक्ट में लॉग सेव करने के लिए किया जाएगा. डेटासेट के नाम हर प्रोजेक्ट के लिए अलग होने चाहिए. ज़्यादा जानकारी के लिए, डेटासेट बनाना लेख पढ़ें.
7. (ज़रूरी नहीं) डेटासेट को किसी खास जगह के लिए प्रतिबंधित करें बॉक्स पर सही का निशान लगाएं मेन्यू से जगह चुनें. ज़्यादा जानकारी के लिए, एक से ज़्यादा क्षेत्र पर जाएं.
   1. सेव करें पर क्लिक करें. ध्यान दें: अगर प्रोजेक्ट सेव नहीं हो रहा है, तो Google Cloud Console पर जाएं. इसके बाद, नया डेटासेट मिटाएं और फिर Admin console में जाकर उसे फिर से सेव करें.

एक्सपोर्ट करने की सुविधा चालू होने पर, डेटासेट अगले दिन बनाया जाता है. प्रोजेक्ट के मालिकों, संपादकों, और दर्शकों के साथ-साथ, gapps-reports@system.gserviceaccount.com सेवा खाते को संपादक के तौर पर जोड़ा जाता है. लॉग लिखने और स्कीमा को अपडेट करने के लिए, सेवा खाते की ज़रूरत होती है.

दूसरा चरण: BigQuery Export डेटासेट बदलना और नए डेटासेट में बैकफ़िल करना (ज़रूरी नहीं)

BigQuery Export की सेटिंग बदलकर, डेटा को मौजूदा डेटासेट के बजाय किसी दूसरे डेटासेट में एक्सपोर्ट किया जा सकता है. आपके पास पिछले डेटासेट से मौजूदा डेटा को नए डेटासेट में ट्रांसफ़र करने का विकल्प भी होता है. ऑडिट के लिए 180 दिनों का डेटा और इस्तेमाल के लिए 450 दिनों का डेटा ट्रांसफ़र किया जा सकता है. उदाहरण के लिए, BigQuery Export डेटासेट की जगह को अमेरिका से बदलकर ईयू किया जा सकता है. बैकफ़िल की मदद से, अमेरिका में पहले से सेव किए गए डेटा को यूरोपियन यूनियन में ट्रांसफ़र किया जा सकता है. बैकफ़िल का विकल्प चुनने पर, BigQuery बताई गई जगह पर एक नया डेटासेट बनाता है.

ज़रूरी बातें

• अगर नई जगह चुनी जाती है, प्रोजेक्ट आईडी बदला जाता है या डेटासेट आईडी बदला जाता है, तो मौजूदा डेटा को नए डेटासेट में एक्सपोर्ट किया जाता है.
• एक्सपोर्ट किया गया डेटा, पिछले डेटासेट में भी सेव रहता है.
• नया डेटा और बैकफ़िल किया गया डेटा, नए डेटासेट में सेव किया जाता है.
• मौजूदा डेटा (ऑडिट के लिए 180 दिन और इस्तेमाल के लिए 450 दिन) को नए डेटासेट में एक्सपोर्ट किया जाता है. हालांकि, इसे मौजूदा जगह से नहीं मिटाया जाता. इसलिए, आपके पास BigQuery Export के डेटासेट दो जगहों पर होंगे.

नई जगह की जानकारी में मौजूदा डेटा बैकफ़िल करने के लिए:

1. Google Admin console में, मेन्यू रिपोर्टिंग डेटा इंटिग्रेशन पर जाएं. इसके अलावा, Education एडमिन के लिए Big Query एक्सपोर्ट पर जाएं. इससे डेटा इंटिग्रेशन पेज खुलता है.

   डेटा इंटिग्रेशन पर जाएं

   इसके लिए, आपके पास रिपोर्ट से जुड़ा एडमिन का अधिकार होना ज़रूरी है.

2. डेटासेट का नया नाम डालें.
3. अगर आपको मौजूदा डेटा को नई जगह पर बैकफ़िल करना है, तो पिछले 180 दिनों के मौजूदा BigQuery डेटा को नए डेटासेट में बैकफ़िल करें बॉक्स पर सही का निशान लगाएं.
4. पुष्टि करें सेव करें पर क्लिक करें.

लॉग डेटा एक्सपोर्ट करने से जुड़ी ज़रूरी शर्तें

लॉग डेटा को insertAll API के ज़रिए एक्सपोर्ट किया जाता है. इसके लिए, आपको BigQuery Export प्रोजेक्ट के लिए बिलिंग चालू करनी होगी. अगर बिलिंग की सुविधा चालू नहीं है, तो आपका प्रोजेक्ट सैंडबॉक्स मोड में होगा. साथ ही, लॉग डेटा आपके डेटासेट में एक्सपोर्ट नहीं किया जाएगा. ज़्यादा जानकारी के लिए, सीमाएं पर जाएं.

ध्यान दें: सैंडबॉक्स मोड वाले प्रोजेक्ट के लिए, इस्तेमाल की रिपोर्ट एक्सपोर्ट करने की सुविधा अब भी चालू है.

लैग टाइम

ज़्यादातर मामलों में, BigQuery में डेटा एक्सपोर्ट करने की सुविधा चालू करने के 10 मिनट के अंदर, गतिविधि के लॉग इवेंट उपलब्ध हो जाते हैं. इस्तेमाल के लॉग इवेंट, शुरुआती कॉन्फ़िगरेशन में 48 घंटे बाद दिखते हैं. हालांकि, इसके बाद ये एक से तीन दिन में दिखने लगते हैं. ज़्यादा जानकारी के लिए, डेटा के रखरखाव और डेटा अपडेट होने में लगने वाला समय पर जाएं.

अक्सर पूछे जाने वाले सवाल

संबंधित विषय

BigQuery का दस्तावेज़