Thiết lập tính năng xuất nhật ký dịch vụ sang BigQuery

Các phiên bản hỗ trợ tính năng này: Frontline Standard và Frontline Plus; Enterprise Standard và Enterprise Plus; Education Standard và Education Plus; Enterprise Essentials Plus. So sánh phiên bản của bạn

Để xuất các sự kiện trong nhật ký hoạt động (hành động riêng lẻ của người dùng) và báo cáo sử dụng (báo cáo tổng hợp cho một ứng dụng) sang Google BigQuery, bạn cần thiết lập cấu hình BigQuery Export trong bảng điều khiển Google Admin.

Giới thiệu về dữ liệu BigQuery và Reports API

Dữ liệu có trong tập dữ liệu BigQuery khác với dữ liệu được truy xuất từ Reports API. Dữ liệu BigQuery chỉ bao gồm tập dữ liệu chưa được lọc. Bạn vẫn có thể lọc dữ liệu bằng SQL, nhưng không phải tất cả các thông số Reports API đều được hỗ trợ.

Bạn có thể lọc dữ liệu Reports API bằng cách thêm các thông số vào yêu cầu API.

Ví dụ: Có hai đơn vị tổ chức trong một miền, A và B. Khi sử dụng Reports API và BigQuery, bạn có thể truy cập vào tất cả sự kiện cho toàn bộ miền (A và B).

• Tuy nhiên, với Reports API, bạn có thể truy xuất các sự kiện A bằng cách sử dụng tham số orgUnitID trong yêu cầu API.
• Với SQL và BigQuery, bạn không thể lọc sự kiện theo đơn vị tổ chức vì không có cột tương ứng với thông số orgUnitID.

Quan trọng:

• Dữ liệu BigQuery bao gồm dữ liệu cũ (180 ngày đối với dữ liệu hoạt động và 450 ngày đối với dữ liệu sử dụng). Bạn cũng có thể truy xuất dữ liệu cũ từ Reports API.
• Nếu bạn tắt chế độ xuất dữ liệu Google Workspace sang BigQuery, thì sẽ không có dữ liệu mới nào được đưa vào BigQuery Export. Tuy nhiên, dữ liệu hiện có vẫn có trong các nguồn khác, chẳng hạn như Reports API.
• Các bảng BigQuery có phân vùng ở cấp độ ngày trên cột giả (_PARTITIONTIME). Các phân vùng này được lấy từ cột time_usec cho bảng Hoạt động và cột date cho bảng Mức sử dụng. Cụ thể, Workspace sẽ ghi đè các ranh giới mặc định theo giờ UTC của BigQuery để điều chỉnh các phân vùng theo Giờ Thái Bình Dương (PT). Để tối ưu hoá chi phí truy vấn BigQuery, Google đề xuất lọc theo _PARTITIONTIME cùng với time_usec hoặc date.
• Không phải dữ liệu báo cáo dịch vụ nào cũng có trong tính năng Xuất dữ liệu sang BigQuery. Để xem danh sách các dịch vụ được hỗ trợ, hãy truy cập vào phần BigQuery Export hỗ trợ những dịch vụ nào? trên trang này.
• Để xem ví dụ về các truy vấn, hãy truy cập vào phần Ví dụ về các truy vấn cho nhật ký báo cáo trong BigQuery.

Cách dữ liệu được truyền và giữ lại

• Các chính sách có thể mất một giờ để có hiệu lực. Sau đó, các bảng hằng ngày sẽ được tạo trong tập dữ liệu của bạn (theo giờ Thái Bình Dương).
• Dữ liệu được lưu theo nguyên tắc đối với các nhật ký và báo cáo khác. Để biết thông tin chi tiết, hãy xem bài viết Thời gian giữ lại dữ liệu và độ trễ.
• Các bảng dữ liệu sẽ không tự động bị xoá. Để xoá một dự án đang hoạt động, hãy xem phần Xoá cấu hình BigQuery Export.
• Các sự kiện trong nhật ký hoạt động sẽ có sẵn trong vòng 10 phút. Các sự kiện nhật ký sử dụng có độ trễ 48 giờ khi thiết lập ban đầu, nhưng sau đó độ trễ thông thường là 1 đến 3 ngày.

Trước khi bắt đầu

Quan trọng: Nếu bạn sử dụng chính sách của tổ chức Chia sẻ có giới hạn theo miền trong Google Cloud, hãy nhớ thêm mã khách hàng của Google C02h8e9nw vào danh sách cho phép.

Trước tiên, bạn cần thiết lập một dự án BigQuery trong Bảng điều khiển Google Cloud. Khi bạn tạo dự án, hãy làm như sau:

• Thêm tài khoản quản trị viên Google Workspace làm:
  • Quản trị viên BigQuery (roles/bigquery.admin) hoặc vai trò quản lý danh tính và quyền truy cập (IAM) tương đương
  • Quản trị viên IAM dự án (roles/resourcemanager.projectIamAdmin)
• Thêm tài khoản dịch vụ gapps-reports@system.gserviceaccount.com làm người chỉnh sửa dự án (hoặc vai trò người chỉnh sửa IAM tương đương). Bạn cần có quyền này để ghi nhật ký, cập nhật giản đồ và hoàn tất bước 5 sau này.

Để biết hướng dẫn, hãy xem bài viết Thiết lập một dự án BigQuery cho các nhật ký báo cáo.

Bước 1: Thiết lập cấu hình BigQuery Export

1. Trong Bảng điều khiển dành cho quản trị viên của Google, hãy chuyển đến phần Trình đơn Báo cáo Tích hợp dữ liệu (hoặc Xuất dữ liệu BigQuery đối với quản trị viên của Education, thao tác này sẽ mở trang Tích hợp dữ liệu).

   Chuyển đến phần Tích hợp dữ liệu

   Bạn phải có đặc quyền của quản trị viên đối với Báo cáo.

2. Di chuột đến thẻ BigQuery Export rồi nhấp vào biểu tượng Chỉnh sửa .
3. Để kích hoạt nhật ký BigQuery, hãy đánh dấu vào ô Bật tính năng xuất dữ liệu trên Google Workspace sang Google BigQuery.
4. (Không bắt buộc) Để xuất các thông số nhạy cảm của quy tắc DLP, hãy đánh dấu vào hộp Cho phép xuất nội dung nhạy cảm từ nhật ký quy tắc DLP. Để biết thông tin chi tiết, hãy xem phần Xem nội dung kích hoạt quy tắc DLP.
5. Trong mục Mã dự án BigQuery, hãy chọn dự án mà bạn muốn lưu trữ nhật ký. Chọn một dự án mà gapps-reports@system.gserviceaccount.com có vai trò người chỉnh sửa hoặc vai trò người chỉnh sửa IAM tương đương. Nếu không thấy dự án này, bạn cần thiết lập dự án trong BigQuery. Để biết thông tin chi tiết, hãy xem bài viết Hướng dẫn nhanh khi sử dụng bảng điều khiển Google Cloud.
6. Trong phần Tập dữ liệu mới trong dự án, hãy nhập tên của tập dữ liệu mà bạn sẽ dùng để lưu trữ nhật ký trong dự án. Tên tập dữ liệu phải là duy nhất cho mỗi dự án. Để biết thông tin chi tiết, hãy xem phần Tạo tập dữ liệu.
7. (Không bắt buộc) Chọn hộp Hạn chế tập dữ liệu ở một vị trí địa lý cụ thể chọn vị trí trong trình đơn. Để biết thêm thông tin, hãy xem bài viết Nhiều khu vực.
8. Nhấp vào Lưu. Lưu ý: Nếu bạn không thể lưu dự án, hãy chuyển đến Google Cloud Console, xoá tập dữ liệu mới rồi lưu lại trong Bảng điều khiển dành cho quản trị viên.

Khi bạn kích hoạt quy trình xuất, tập dữ liệu sẽ được tạo vào ngày hôm sau. Ngoài chủ sở hữu, người chỉnh sửa và người xem dự án, tài khoản dịch vụ gapps-reports@system.gserviceaccount.com cũng được thêm làm người chỉnh sửa. Bạn phải có tài khoản dịch vụ để ghi nhật ký và cập nhật giản đồ.

Bước 2: Thay đổi tập dữ liệu BigQuery Export và bổ sung dữ liệu vào một tập dữ liệu mới (Không bắt buộc)

Bạn có thể thay đổi chế độ cài đặt BigQuery Export để bắt đầu xuất dữ liệu sang một tập dữ liệu khác với tập dữ liệu hiện tại. Bạn cũng có thể di chuyển dữ liệu hiện có từ tập dữ liệu trước sang tập dữ liệu mới được chọn (180 ngày cho hoạt động kiểm tra và 450 ngày cho mức sử dụng). Ví dụ: bạn có thể thay đổi vị trí tập dữ liệu BigQuery Export từ Hoa Kỳ sang Liên minh Châu Âu. Tính năng điền lại cho phép bạn chuyển dữ liệu đã được lưu trữ ở khu vực Hoa Kỳ sang khu vực Liên minh Châu Âu. Nếu bạn chọn bổ sung dữ liệu cũ, BigQuery sẽ tạo một tập dữ liệu mới ở vị trí được chỉ định.

Lưu ý

• Dữ liệu hiện có sẽ được xuất sang một tập dữ liệu mới nếu bạn chọn một vị trí mới, thay đổi mã dự án hoặc thay đổi mã tập dữ liệu.
• Dữ liệu đã xuất cũng được giữ lại trong tập dữ liệu trước đó.
• Mọi dữ liệu mới, cùng với dữ liệu được điền lại, sẽ được lưu trữ trong tập dữ liệu mới.
• Dữ liệu hiện có (180 ngày cho dữ liệu kiểm tra và 450 ngày cho dữ liệu sử dụng) sẽ được xuất sang tập dữ liệu mới nhưng không bị xoá khỏi vị trí hiện có. Vì vậy, bạn sẽ có các tập dữ liệu BigQuery Export ở 2 vị trí.

Cách bổ sung dữ liệu hiện có vào vị trí mới:

1. Trong Bảng điều khiển dành cho quản trị viên của Google, hãy chuyển đến phần Trình đơn Báo cáo Tích hợp dữ liệu (hoặc Xuất dữ liệu BigQuery đối với quản trị viên của Education, thao tác này sẽ mở trang Tích hợp dữ liệu).

   Chuyển đến phần Tích hợp dữ liệu

   Bạn phải có đặc quyền của quản trị viên đối với Báo cáo.

2. Nhập tên tập dữ liệu mới.
3. Nếu bạn muốn bổ sung dữ liệu hiện có vào vị trí mới, hãy đánh dấu vào ô Bổ sung dữ liệu hiện có trong BigQuery từ 180 ngày qua vào tập dữ liệu mới.
4. Nhấp vào Xác nhận Lưu.

Yêu cầu về việc xuất dữ liệu nhật ký

Dữ liệu nhật ký được xuất thông qua API insertAll. Để sử dụng API này, bạn phải bật tính năng thanh toán cho dự án xuất dữ liệu BigQuery. Nếu bạn chưa bật tính năng thanh toán, dự án của bạn sẽ ở chế độ hộp cát và dữ liệu nhật ký sẽ không được xuất sang tập dữ liệu của bạn. Để biết thêm thông tin chi tiết, hãy chuyển đến phần Các điểm hạn chế.

Lưu ý: Bạn vẫn có thể xuất báo cáo sử dụng cho các dự án ở chế độ hộp cát.

Thời gian trễ

Trong hầu hết các trường hợp, sau khi bạn bật tính năng xuất dữ liệu sang BigQuery, các sự kiện trong nhật ký hoạt động sẽ xuất hiện trong vòng 10 phút. Các sự kiện nhật ký sử dụng có độ trễ 48 giờ khi thiết lập ban đầu, nhưng sau đó độ trễ thông thường là 1 đến 3 ngày. Để biết thông tin chi tiết, hãy xem bài viết Thời gian giữ lại dữ liệu và độ trễ.

Câu hỏi thường gặp

Chủ đề có liên quan

Tài liệu về BigQuery