BigQuery-তে পরিষেবা লগ এক্সপোর্ট সেট আপ করুন

এই ফিচারের জন্য সমর্থিত সংস্করণগুলো হলো: ফ্রন্টলাইন স্ট্যান্ডার্ড ও ফ্রন্টলাইন প্লাস; এন্টারপ্রাইজ স্ট্যান্ডার্ড ও এন্টারপ্রাইজ প্লাস; এডুকেশন স্ট্যান্ডার্ড ও এডুকেশন প্লাস; এন্টারপ্রাইজ এসেনশিয়ালস প্লাস। আপনার সংস্করণটি তুলনা করুন।

অ্যাক্টিভিটি লগ ইভেন্ট (ব্যবহারকারীর নেওয়া একক কার্যকলাপ) এবং ইউসেজ রিপোর্ট (কোনো অ্যাপের সমষ্টিগত রিপোর্ট) গুগল বিগকোয়েরিতে এক্সপোর্ট করতে হলে, আপনাকে গুগল অ্যাডমিন কনসোলে একটি বিগকোয়েরি এক্সপোর্ট কনফিগারেশন সেট আপ করতে হবে।

BigQuery এবং Reports API ডেটা সম্পর্কে

BigQuery ডেটাসেটে উপলব্ধ ডেটা Reports API থেকে প্রাপ্ত ডেটা থেকে ভিন্ন। BigQuery ডেটাতে শুধুমাত্র আনফিল্টারড ডেটাসেট অন্তর্ভুক্ত থাকে। আপনি SQL ব্যবহার করে ডেটা ফিল্টার করতে পারলেও, Reports API-এর সব প্যারামিটার সমর্থিত নয়।

এপিআই অনুরোধে প্যারামিটার অন্তর্ভুক্ত করে আপনি রিপোর্টস এপিআই ডেটা ফিল্টার করতে পারেন।

উদাহরণ : একটি ডোমেইনে A এবং B নামে দুটি সাংগঠনিক ইউনিট রয়েছে। Reports API এবং BigQuery ব্যবহার করে, আপনি সম্পূর্ণ ডোমেইনটির ( A এবং B ) সমস্ত ইভেন্ট অ্যাক্সেস করতে পারবেন।

• তবে, রিপোর্টস এপিআই (Reports API) ব্যবহার করে আপনি এপিআই অনুরোধে orgUnitID প্যারামিটারটি দিয়ে A ইভেন্টগুলো পুনরুদ্ধার করতে পারেন।
• SQL এবং BigQuery-তে আপনি সাংগঠনিক ইউনিট অনুযায়ী ইভেন্ট ফিল্টার করতে পারবেন না, কারণ orgUnitID প্যারামিটারটির জন্য কোনো সংশ্লিষ্ট কলাম নেই।

গুরুত্বপূর্ণ :

• BigQuery ডেটাতে ঐতিহাসিক ডেটা অন্তর্ভুক্ত রয়েছে (অ্যাক্টিভিটি ডেটার জন্য ১৮০ দিন এবং ইউসেজ ডেটার জন্য ৪৫০ দিন)। আপনি Reports API থেকেও ঐতিহাসিক ডেটা পুনরুদ্ধার করতে পারেন।
• আপনি যদি BigQuery-তে Google Workspace ডেটা এক্সপোর্ট করা বন্ধ করে দেন, তাহলে BigQuery এক্সপোর্টে কোনো নতুন ডেটা অন্তর্ভুক্ত হবে না। তবে, বিদ্যমান ডেটা Reports API-এর মতো অন্যান্য উৎসে পাওয়া যাবে।
• BigQuery টেবিলগুলিতে সিউডোকলাম (_PARTITIONTIME) এর উপর ভিত্তি করে দিন-ভিত্তিক পার্টিশন থাকে। এই পার্টিশনগুলি Activity টেবিলের জন্য time_usec কলাম এবং Usage টেবিলের জন্য date কলাম থেকে নেওয়া হয়। উল্লেখ্য যে, Workspace পার্টিশনগুলিকে প্যাসিফিক টাইম (PT) এর সাথে মেলানোর জন্য BigQuery-এর ডিফল্ট UTC সীমানাকে ওভাররাইড করে। BigQuery কোয়েরির খরচ অপ্টিমাইজ করার জন্য, Google time_usec বা date এর সাথে একত্রে _PARTITIONTIME দ্বারা ফিল্টার করার পরামর্শ দেয়।
• BigQuery Export-এ সব সার্ভিস রিপোর্ট ডেটা পাওয়া যায় না। সমর্থিত সার্ভিসগুলোর তালিকা জানতে, এই পৃষ্ঠার “BigQuery Export কোন কোন সার্ভিস সমর্থন করে?” অংশে যান।
• কোয়েরির উদাহরণের জন্য, BigQuery-তে লগ রিপোর্ট করার জন্য উদাহরণ কোয়েরি (Example queries for reporting logs in BigQuery ) অংশে যান।

ডেটা কীভাবে প্রচার ও সংরক্ষণ করা হয়

• পলিসিগুলো কার্যকর হতে এক ঘণ্টা সময় লাগতে পারে। এরপর আপনার ডেটাসেটে দৈনিক টেবিল তৈরি করা হয় (প্যাসিফিক টাইম অনুযায়ী)।
• অন্যান্য লগ এবং রিপোর্টের নির্দেশিকা অনুসরণ করে ডেটা সংরক্ষণ করা হয়। বিস্তারিত জানতে, ডেটা ধারণ এবং বিলম্বের সময় (Data retention and lag times) দেখুন।
• ডেটা টেবিলগুলো স্বয়ংক্রিয়ভাবে মুছে যায় না। কোনো সক্রিয় প্রজেক্ট মুছে ফেলার জন্য, 'Delete a BigQuery Export configuration'- এ যান।
• অ্যাক্টিভিটি লগ ইভেন্টগুলো ১০ মিনিটের মধ্যে পাওয়া যায়। প্রাথমিক কনফিগারেশনের পর ইউসেজ লগ ইভেন্টগুলো পেতে ৪৮ ঘণ্টা দেরি হয়, কিন্তু এরপর সাধারণত ১-৩ দিন সময় লাগে।

শুরু করার আগে

গুরুত্বপূর্ণ: আপনি যদি গুগল ক্লাউডে ডোমেইন রেস্ট্রিকটেড শেয়ারিং অর্গানাইজেশন পলিসি ব্যবহার করেন, তাহলে নিশ্চিত করুন যে আপনি গুগল কাস্টমার আইডি C02h8e9nw কে অ্যালাওলিস্টে যোগ করেছেন।

প্রথমে আপনাকে গুগল ক্লাউড কনসোলে একটি BigQuery প্রজেক্ট তৈরি করতে হবে। প্রজেক্টটি তৈরি করার সময়, নিম্নলিখিতগুলি করুন:

• একটি Google Workspace অ্যাডমিনিস্ট্রেটর অ্যাকাউন্ট যোগ করুন:
  • BigQuery অ্যাডমিন (roles/bigquery.admin) অথবা সমতুল্য আইডেন্টিটি অ্যান্ড অ্যাক্সেস ম্যানেজমেন্ট (IAM) রোল
  • প্রজেক্ট আইএএম অ্যাডমিন (roles/resourcemanager.projectIamAdmin)
• gapps-reports@system.gserviceaccount.com সার্ভিস অ্যাকাউন্টটিকে প্রজেক্ট এডিটর (বা সমতুল্য IAM এডিটর রোল) হিসেবে যুক্ত করুন। পরবর্তীতে লগ লিখতে, স্কিমা আপডেট করতে এবং ধাপ ৫ সম্পন্ন করতে আপনার এটি প্রয়োজন হবে।

নির্দেশাবলীর জন্য, রিপোর্টিং লগের জন্য একটি BigQuery প্রজেক্ট সেট আপ করুন -এ যান।

ধাপ ১: একটি BigQuery এক্সপোর্ট কনফিগারেশন সেট আপ করুন।

1. গুগল অ্যাডমিন কনসোলে, মেনুতে যান রিপোর্টিং ডেটা ইন্টিগ্রেশন (অথবা শিক্ষা প্রশাসকদের জন্য বিগ কোয়েরি এক্সপোর্ট , যা ডেটা ইন্টিগ্রেশন পৃষ্ঠাটি খোলে)।

   ডেটা ইন্টিগ্রেশনে যান

   রিপোর্টস অ্যাডমিনিস্ট্রেটর প্রিভিলেজ থাকা আবশ্যক।

2. BigQuery Export কার্ডটিতে পয়েন্ট করুন এবং Edit-এ ক্লিক করুন। .
3. BigQuery লগ সক্রিয় করতে, ‘Enable Google Workspace data export to Google BigQuery’ বক্সটি চেক করুন।
4. (ঐচ্ছিক) DLP নিয়মের সংবেদনশীল প্যারামিটার রপ্তানি করতে, ‘Allow export of sensitive content from DLP rule logs’ বক্সটি চেক করুন। বিস্তারিত জানতে, ‘View content that triggers DLP rules’- এ যান।
5. BigQuery প্রজেক্ট আইডি- এর অধীনে, সেই প্রজেক্টটি নির্বাচন করুন যেখানে আপনি লগগুলি সংরক্ষণ করতে চান। এমন একটি প্রজেক্ট বেছে নিন যেখানে gapps-reports@system.gserviceaccount.com-এর একটি এডিটর রোল বা সমতুল্য IAM এডিটর রোল রয়েছে। আপনি যদি প্রজেক্টটি দেখতে না পান, তাহলে আপনাকে BigQuery-তে এটি সেট আপ করতে হবে। বিস্তারিত জানতে, Google Cloud কনসোল ব্যবহার করে কুইকস্টার্ট- এ যান।
6. প্রজেক্টের মধ্যে নতুন ডেটাসেট-এর অধীনে, প্রজেক্টে লগ সংরক্ষণের জন্য ব্যবহৃত ডেটাসেটের নাম লিখুন। প্রতিটি প্রজেক্টের জন্য ডেটাসেটের নাম অবশ্যই অনন্য হতে হবে। বিস্তারিত জানতে, ডেটাসেট তৈরি করা- তে যান।
7. (ঐচ্ছিক) ডেটাসেটকে একটি নির্দিষ্ট ভৌগোলিক অবস্থানে সীমাবদ্ধ করার বক্সে টিক দিন। মেনু থেকে অবস্থান নির্বাচন করুন। আরও তথ্যের জন্য, বহু-অঞ্চল বিভাগে যান।
   1. সেভ-এ ক্লিক করুন। দ্রষ্টব্য : আপনি যদি প্রজেক্টটি সেভ করতে না পারেন, তাহলে গুগল ক্লাউড কনসোলে গিয়ে নতুন ডেটাসেটটি ডিলিট করে দিন, তারপর অ্যাডমিন কনসোলে এটি আবার সেভ করুন।

যখন এক্সপোর্টটি চালু করা হয়, তখন ডেটাসেটটি পরের দিন তৈরি হয়। প্রোজেক্টের মালিক, সম্পাদক এবং দর্শকদের পাশাপাশি gapps-reports@system.gserviceaccount.com সার্ভিস অ্যাকাউন্টটিকে সম্পাদক হিসেবে যুক্ত করা হয়। লগ লিখতে এবং স্কিমা আপডেট করতে এই সার্ভিস অ্যাকাউন্টটি প্রয়োজন।

ধাপ ২: BigQuery এক্সপোর্ট ডেটাসেট পরিবর্তন করুন এবং একটি নতুন ডেটাসেট দিয়ে ব্যাকফিল করুন (ঐচ্ছিক)

আপনি BigQuery এক্সপোর্ট সেটিংস পরিবর্তন করে বর্তমান ডেটাসেট থেকে ভিন্ন কোনো ডেটাসেটে ডেটা এক্সপোর্ট করা শুরু করতে পারেন। এছাড়াও, আপনি পূর্ববর্তী ডেটাসেট থেকে বিদ্যমান ডেটা নতুন নির্বাচিত ডেটাসেটে স্থানান্তর করতে পারেন (অডিটের জন্য ১৮০ দিন এবং ব্যবহারের জন্য ৪৫০ দিন)। উদাহরণস্বরূপ, আপনি আপনার BigQuery এক্সপোর্ট ডেটাসেটের অবস্থান US থেকে EU-তে পরিবর্তন করতে পারেন। ব্যাকফিল আপনাকে US অঞ্চলে ইতিমধ্যে সংরক্ষিত ডেটা EU অঞ্চলে স্থানান্তর করার সুযোগ দেয়। আপনি যদি ব্যাকফিল নির্বাচন করেন, BigQuery নির্দিষ্ট স্থানে একটি নতুন ডেটাসেট তৈরি করে।

বিবেচ্য বিষয়সমূহ

• আপনি নতুন অবস্থান নির্বাচন করলে, প্রজেক্ট আইডি বা ডেটাসেট আইডি পরিবর্তন করলে, বিদ্যমান ডেটা একটি নতুন ডেটাসেটে এক্সপোর্ট করা হয়।
• এক্সপোর্ট করা ডেটা পূর্ববর্তী ডেটাসেটেও সংরক্ষিত থাকে।
• যেকোনো নতুন ডেটা, পূর্ব-পূরিত ডেটার সাথে, নতুন ডেটাসেটে সংরক্ষণ করা হয়।
• বিদ্যমান ডেটা (অডিটের জন্য ১৮০ দিন এবং ব্যবহারের জন্য ৪৫০ দিন) নতুন ডেটাসেটে এক্সপোর্ট করা হয়, কিন্তু আগের অবস্থান থেকে মুছে ফেলা হয় না, ফলে আপনার BigQuery এক্সপোর্ট ডেটাসেট দুটি স্থানে থাকবে।

বিদ্যমান ডেটা নতুন অবস্থানে পূরণ করতে:

1. গুগল অ্যাডমিন কনসোলে, মেনুতে যান রিপোর্টিং ডেটা ইন্টিগ্রেশন (অথবা শিক্ষা প্রশাসকদের জন্য বিগ কোয়েরি এক্সপোর্ট , যা ডেটা ইন্টিগ্রেশন পৃষ্ঠাটি খোলে)।

   ডেটা ইন্টিগ্রেশনে যান

   রিপোর্টস অ্যাডমিনিস্ট্রেটর প্রিভিলেজ থাকা আবশ্যক।

2. নতুন ডেটাসেটের নাম লিখুন।
3. আপনি যদি নতুন অবস্থানে বিদ্যমান ডেটা ব্যাকফিল করতে চান, তাহলে ‘Backfill existing BigQuery data from the last 180 days to new dataset’ বক্সটি চেক করুন।
4. নিশ্চিত করতে ক্লিক করুন সংরক্ষণ করুন ।

লগ ডেটা রপ্তানির প্রয়োজনীয়তা

লগ ডেটা insertAll API-এর মাধ্যমে এক্সপোর্ট করা হয়, যার জন্য আপনার BigQuery এক্সপোর্ট প্রোজেক্টে বিলিং চালু থাকা আবশ্যক। যদি বিলিং চালু না থাকে, তাহলে আপনার প্রোজেক্ট স্যান্ডবক্স মোডে থাকবে এবং লগ ডেটা আপনার ডেটাসেটে এক্সপোর্ট হবে না। আরও বিস্তারিত জানতে, সীমাবদ্ধতা (Limitations) অংশে যান।

দ্রষ্টব্য: স্যান্ডবক্স মোড প্রোজেক্টের জন্য ব্যবহার প্রতিবেদন রপ্তানি এখনও সক্রিয় আছে।

বিলম্বের সময়

বেশিরভাগ ক্ষেত্রে, BigQuery-তে ডেটা এক্সপোর্ট চালু করার পর, অ্যাক্টিভিটি লগ ইভেন্টগুলো ১০ মিনিটের মধ্যেই পাওয়া যায়। প্রাথমিক কনফিগারেশনের সময় ইউসেজ লগ ইভেন্টগুলো আসতে ৪৮ ঘণ্টা দেরি হয়, কিন্তু এরপর সাধারণত ১-৩ দিন সময় লাগে। বিস্তারিত জানতে, ‘ডেটা রিটেনশন এবং ল্যাগ টাইম’ অংশে যান।

প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী

সম্পর্কিত বিষয়

BigQuery ডকুমেন্টেশন