BigQuery-তে পরিষেবা লগ এক্সপোর্ট সেট আপ করুন

এই বৈশিষ্ট্যের জন্য সমর্থিত সংস্করণগুলি: ফ্রন্টলাইন স্ট্যান্ডার্ড এবং ফ্রন্টলাইন প্লাস; এন্টারপ্রাইজ স্ট্যান্ডার্ড এবং এন্টারপ্রাইজ প্লাস; এডুকেশন স্ট্যান্ডার্ড এবং এডুকেশন প্লাস; এন্টারপ্রাইজ এসেনশিয়ালস প্লাস। আপনার সংস্করণের তুলনা করুন

Google BigQuery-তে অ্যাক্টিভিটি লগ ইভেন্ট (একজন ব্যবহারকারীর দ্বারা গৃহীত একক পদক্ষেপ) এবং ব্যবহারের প্রতিবেদন (একটি অ্যাপের জন্য মোট প্রতিবেদন) রপ্তানি করতে, আপনাকে Google অ্যাডমিন কনসোলে একটি BigQuery এক্সপোর্ট কনফিগারেশন সেট আপ করতে হবে।

BigQuery এবং Reports API ডেটা সম্পর্কে

BigQuery ডেটাসেটে উপলব্ধ ডেটা Reports API থেকে প্রাপ্ত ডেটা থেকে আলাদা। BigQuery ডেটাতে কেবল ফিল্টার না করা ডেটাসেট অন্তর্ভুক্ত থাকে। আপনি এখনও SQL ব্যবহার করে ডেটা ফিল্টার করতে পারেন, তবে সমস্ত Reports API প্যারামিটার সমর্থিত নয়।

আপনি API অনুরোধে প্যারামিটার অন্তর্ভুক্ত করে রিপোর্ট API ডেটা ফিল্টার করতে পারেন।

উদাহরণ : দুটি সাংগঠনিক ইউনিট একটি ডোমেনে রয়েছে, A এবং B। Reports API এবং BigQuery ব্যবহার করে, আপনি সমগ্র ডোমেনের ( A এবং B ) সমস্ত ইভেন্ট অ্যাক্সেস করতে পারবেন।

• তবে, Reports API এর মাধ্যমে আপনি API অনুরোধে orgUnitID প্যারামিটার ব্যবহার করে A ইভেন্টগুলি পুনরুদ্ধার করতে পারেন।
• SQL এবং BigQuery-এর মাধ্যমে, আপনি সাংগঠনিক ইউনিট অনুসারে ইভেন্টগুলি ফিল্টার করতে পারবেন না কারণ orgUnitID প্যারামিটারের সাথে সম্পর্কিত কোনও কলাম নেই।

গুরুত্বপূর্ণ :

• BigQuery ডেটাতে ঐতিহাসিক ডেটা অন্তর্ভুক্ত থাকে (কার্যকলাপ ডেটার জন্য ১৮০ দিন এবং ব্যবহারের ডেটার জন্য ৪৫০ দিন)। আপনি Reports API থেকেও ঐতিহাসিক ডেটা পুনরুদ্ধার করতে পারেন।
• যদি আপনি BigQuery-তে Google Workspace ডেটা এক্সপোর্ট করা বন্ধ করেন, তাহলে BigQuery এক্সপোর্টে কোনও নতুন ডেটা অন্তর্ভুক্ত করা হবে না। তবে, বিদ্যমান ডেটা অন্যান্য উৎসে পাওয়া যাবে, যেমন Reports API ।
• BigQuery টেবিলগুলিতে ছদ্ম-কলামে (_PARTITIONTIME) দিন-স্তরের পার্টিশন থাকে। এই পার্টিশনগুলি Activity টেবিলের জন্য time_usec কলাম এবং Usage টেবিলের জন্য তারিখ কলাম থেকে নেওয়া হয়। উল্লেখযোগ্যভাবে, Workspace প্যাসিফিক টাইম (PT) এর সাথে পার্টিশনগুলি সারিবদ্ধ করার জন্য ডিফল্ট BigQuery UTC সীমানা ওভাররাইড করে। BigQuery কোয়েরির খরচ অপ্টিমাইজ করার জন্য, Google time_usec বা তারিখের সাথে _PARTITIONTIME দ্বারা ফিল্টার করার পরামর্শ দেয়।
• BigQuery Export-এ সমস্ত পরিষেবা প্রতিবেদনের ডেটা পাওয়া যায় না। সমর্থিত পরিষেবার তালিকার জন্য, এই পৃষ্ঠায় BigQuery Export কোন পরিষেবাগুলিকে সমর্থন করে? বিভাগে যান।
• প্রশ্নের উদাহরণের জন্য, BigQuery-তে লগ রিপোর্ট করার জন্য উদাহরণ প্রশ্নের তালিকায় যান।

কীভাবে তথ্য প্রচার এবং ধরে রাখা হয়

• নীতিগুলি প্রচারিত হতে এক ঘন্টা সময় লাগতে পারে। এর পরে, আপনার ডেটাসেটে (প্যাসিফিক সময়) দৈনিক সারণী তৈরি করা হয়।
• অন্যান্য লগ এবং রিপোর্টের নির্দেশিকা অনুসরণ করে ডেটা সংরক্ষণ করা হয়। বিস্তারিত জানার জন্য, ডেটা ধরে রাখা এবং ল্যাগ টাইমস দেখুন।
• ডেটা টেবিলগুলি স্বয়ংক্রিয়ভাবে মুছে ফেলা হয় না। একটি সক্রিয় প্রকল্প মুছে ফেলার জন্য, Delete a BigQuery Export কনফিগারেশনে যান।
• অ্যাক্টিভিটি লগ ইভেন্টগুলি ১০ মিনিটের মধ্যে উপলব্ধ। প্রাথমিক কনফিগারেশনে ব্যবহারের লগ ইভেন্টগুলিতে ৪৮ ঘন্টা বিলম্ব হয়, তবে পরে স্বাভাবিক বিলম্ব ১-৩ দিন হয়।

শুরু করার আগে

গুরুত্বপূর্ণ: আপনি যদি Google ক্লাউডে ডোমেন সীমাবদ্ধ শেয়ারিং সংস্থার নীতি ব্যবহার করেন, তাহলে নিশ্চিত করুন যে আপনি Google গ্রাহক আইডি C02h8e9nw সাওয়ালিস্টে যোগ করেছেন।

প্রথমে আপনাকে গুগল ক্লাউড কনসোলে একটি BigQuery প্রকল্প সেট আপ করতে হবে। প্রকল্পটি তৈরি করার সময়, নিম্নলিখিতগুলি করুন:

• একটি Google Workspace অ্যাডমিনিস্ট্রেটর অ্যাকাউন্ট যোগ করুন:
  • BigQuery অ্যাডমিন (roles/bigquery.admin) অথবা সমতুল্য পরিচয় এবং অ্যাক্সেস ম্যানেজমেন্ট (IAM) ভূমিকা
  • প্রজেক্ট আইএএম অ্যাডমিন (roles/resourcemanager.projectIamAdmin)
• gapps-reports@system.gserviceaccount.com পরিষেবা অ্যাকাউন্টটি একটি প্রকল্প সম্পাদক (অথবা সমতুল্য IAM সম্পাদক ভূমিকা) হিসেবে যুক্ত করুন। লগ লিখতে, স্কিমা আপডেট করতে এবং পরে ধাপ ৫ সম্পূর্ণ করতে আপনার এটির প্রয়োজন।

নির্দেশাবলীর জন্য, লগ রিপোর্ট করার জন্য একটি BigQuery প্রকল্প সেট আপ করুন বিভাগে যান।

ধাপ ১: একটি BigQuery এক্সপোর্ট কনফিগারেশন সেট আপ করুন

1. গুগল অ্যাডমিন কনসোলে, মেনুতে যান রিপোর্টিং ডেটা ইন্টিগ্রেশন (অথবা শিক্ষা প্রশাসকদের জন্য বিগ কোয়েরি এক্সপোর্ট , যা ডেটা ইন্টিগ্রেশন পৃষ্ঠাটি খোলে)।

   ডেটা ইন্টিগ্রেশনে যান

   রিপোর্ট অ্যাডমিনিস্ট্রেটরের সুবিধা থাকা আবশ্যক।

2. BigQuery এক্সপোর্ট কার্ডের দিকে নির্দেশ করুন এবং সম্পাদনা করুন এ ক্লিক করুন .
3. BigQuery লগ সক্রিয় করতে, "Google Workspace ডেটা এক্সপোর্ট Google BigQuery-তে সক্ষম করুন" বক্সটি চেক করুন।
4. (ঐচ্ছিক) DLP নিয়মের সংবেদনশীল প্যারামিটার রপ্তানি করতে, DLP নিয়ম লগ থেকে সংবেদনশীল সামগ্রী রপ্তানির অনুমতি দিন বাক্সটি চেক করুন। বিস্তারিত জানার জন্য, DLP নিয়ম ট্রিগার করে এমন সামগ্রী দেখুন বিভাগে যান।
5. BigQuery প্রজেক্ট আইডি এর অধীনে, আপনি যে প্রজেক্টে লগগুলি সংরক্ষণ করতে চান তা নির্বাচন করুন। এমন একটি প্রজেক্ট বেছে নিন যার জন্য gapps-reports@system.gserviceaccount.com এর একটি এডিটর ভূমিকা বা সমতুল্য IAM এডিটর ভূমিকা রয়েছে। যদি আপনি প্রজেক্টটি দেখতে না পান, তাহলে আপনাকে এটি BigQuery এ সেট আপ করতে হবে। বিস্তারিত জানার জন্য, Google Cloud কনসোল ব্যবহার করে Quickstart এ যান।
6. "প্রকল্পের মধ্যে নতুন ডেটাসেট" এর অধীনে, প্রকল্পের লগ সংরক্ষণের জন্য ব্যবহার করা ডেটাসেটের নাম লিখুন। প্রতিটি প্রকল্পের জন্য ডেটাসেটের নাম অবশ্যই অনন্য হতে হবে। বিস্তারিত জানার জন্য, "ডেটাসেট তৈরি করা" এ যান।
7. (ঐচ্ছিক) "একটি নির্দিষ্ট ভৌগোলিক অবস্থানে ডেটাসেট সীমাবদ্ধ করুন" বাক্সটি চেক করুন। মেনু থেকে অবস্থান নির্বাচন করুন। আরও তথ্যের জন্য, মাল্টি-রিজিওনস এ যান।
8. সংরক্ষণ করুন এ ক্লিক করুন। দ্রষ্টব্য : যদি আপনি প্রকল্পটি সংরক্ষণ করতে না পারেন, তাহলে Google Cloud কনসোলে যান, নতুন ডেটাসেটটি মুছে ফেলুন, তারপর এটি আবার অ্যাডমিন কনসোলে সংরক্ষণ করুন।

যখন রপ্তানি শুরু হয়, তখন পরের দিন ডেটাসেট তৈরি করা হয়। প্রকল্পের মালিক, সম্পাদক এবং দর্শকদের পাশাপাশি, gapps-reports@system.gserviceaccount.com পরিষেবা অ্যাকাউন্টটি সম্পাদক হিসাবে যুক্ত করা হয়। লগ লেখা এবং স্কিমা আপডেট করার জন্য পরিষেবা অ্যাকাউন্টটি প্রয়োজন।

ধাপ ২: BigQuery এক্সপোর্ট ডেটাসেট এবং ব্যাকফিলকে একটি নতুন ডেটাসেটে পরিবর্তন করুন (ঐচ্ছিক)

বর্তমান ডেটাসেটের পরিবর্তে ভিন্ন ডেটাসেটে ডেটা রপ্তানি শুরু করতে আপনি BigQuery এক্সপোর্ট সেটিংস পরিবর্তন করতে পারেন। আপনি পূর্ববর্তী ডেটাসেট থেকে নতুন নির্বাচিত ডেটাসেটে (অডিটের জন্য ১৮০ দিন এবং ব্যবহারের জন্য ৪৫০ দিন) বিদ্যমান ডেটা স্থানান্তর করতে পারেন। উদাহরণস্বরূপ, আপনি আপনার BigQuery এক্সপোর্ট ডেটাসেটের অবস্থান মার্কিন যুক্তরাষ্ট্র থেকে EU তে পরিবর্তন করতে পারেন। Backfill আপনাকে মার্কিন অঞ্চলে ইতিমধ্যে সংরক্ষিত ডেটা EU অঞ্চলে স্থানান্তর করতে দেয়। আপনি যদি ব্যাকফিল বেছে নেন, তাহলে BigQuery নির্দিষ্ট স্থানে একটি নতুন ডেটাসেট তৈরি করে।

বিবেচনা

• আপনি যদি একটি নতুন অবস্থান নির্বাচন করেন, প্রকল্প আইডি পরিবর্তন করেন, অথবা ডেটাসেট আইডি পরিবর্তন করেন, তাহলে বিদ্যমান ডেটা একটি নতুন ডেটাসেটে রপ্তানি করা হবে।
• রপ্তানি করা ডেটা পূর্ববর্তী ডেটাসেটেও সংরক্ষিত থাকে।
• যেকোনো নতুন ডেটা, ব্যাকফিলড ডেটা সহ, নতুন ডেটাসেটে সংরক্ষণ করা হয়।
• বিদ্যমান ডেটা (অডিটের জন্য ১৮০ দিন এবং ব্যবহারের জন্য ৪৫০ দিন) নতুন ডেটাসেটে রপ্তানি করা হয়, কিন্তু বিদ্যমান অবস্থান থেকে মুছে ফেলা হয় না, তাই আপনার কাছে ২টি স্থানে BigQuery রপ্তানি ডেটাসেট থাকবে।

বিদ্যমান ডেটা নতুন স্থানে ব্যাকফিল করতে:

1. গুগল অ্যাডমিন কনসোলে, মেনুতে যান রিপোর্টিং ডেটা ইন্টিগ্রেশন (অথবা শিক্ষা প্রশাসকদের জন্য বিগ কোয়েরি এক্সপোর্ট , যা ডেটা ইন্টিগ্রেশন পৃষ্ঠাটি খোলে)।

   ডেটা ইন্টিগ্রেশনে যান

   রিপোর্ট অ্যাডমিনিস্ট্রেটরের সুবিধা থাকা আবশ্যক।

2. নতুন ডেটাসেটের নাম লিখুন।
3. যদি আপনি বিদ্যমান ডেটা নতুন স্থানে ব্যাকফিল করতে চান, তাহলে "গত ১৮০ দিনের বিদ্যমান BigQuery ডেটা নতুন ডেটাসেটে ব্যাকফিল করুন" বাক্সটি চেক করুন।
4. নিশ্চিত করুন ক্লিক করুন সংরক্ষণ করুন ।

লগ ডেটা এক্সপোর্টের প্রয়োজনীয়তা

লগ ডেটা insertAll API এর মাধ্যমে রপ্তানি করা হয়, যার জন্য আপনার BigQuery এক্সপোর্ট প্রকল্পের জন্য বিলিং সক্ষম করা প্রয়োজন। যদি বিলিং সক্ষম না করা হয়, তাহলে আপনার প্রকল্পটি স্যান্ডবক্স মোডে থাকবে এবং লগ ডেটা আপনার ডেটাসেটে রপ্তানি করা হবে না। আরও তথ্যের জন্য, Limitations এ যান।

দ্রষ্টব্য: স্যান্ডবক্স মোড প্রকল্পের জন্য ব্যবহারের প্রতিবেদন রপ্তানি এখনও সক্ষম।

ল্যাগ টাইমস

বেশিরভাগ ক্ষেত্রে, BigQuery-তে ডেটা এক্সপোর্ট চালু করার পরে, অ্যাক্টিভিটি লগ ইভেন্টগুলি 10 মিনিটের মধ্যে উপলব্ধ হয়। প্রাথমিক কনফিগারেশনে ব্যবহারের লগ ইভেন্টগুলিতে 48 ঘন্টা বিলম্ব হয়, তবে পরে স্বাভাবিক ল্যাগ 1-3 দিন হয়। বিস্তারিত জানার জন্য, ডেটা ধরে রাখা এবং ল্যাগ টাইমস বিভাগে যান।

প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী

সম্পর্কিত বিষয়

BigQuery ডকুমেন্টেশন