Thiết lập tính năng xuất nhật ký dịch vụ sang BigQuery

Các phiên bản có hỗ trợ tính năng này: Frontline Standard và Frontline Plus; Enterprise Standard và Enterprise Plus; Education Standard và Education Plus; Enterprise Essentials Plus. So sánh phiên bản của bạn

Để xuất các sự kiện trong nhật ký hoạt động (các thao tác riêng lẻ do người dùng thực hiện) và báo cáo sử dụng (báo cáo tổng hợp cho một ứng dụng) sang Google BigQuery, bạn cần thiết lập cấu hình BigQuery Export trong Bảng điều khiển dành cho quản trị viên của Google.

Giới thiệu về dữ liệu BigQuery và Reports API

Dữ liệu có trong tập dữ liệu BigQuery khác với dữ liệu được truy xuất từ Reports API. Dữ liệu BigQuery chỉ bao gồm tập dữ liệu chưa được lọc. Bạn vẫn có thể lọc dữ liệu bằng SQL, nhưng không phải tất cả các tham số Reports API đều được hỗ trợ.

Bạn có thể lọc dữ liệu Reports API bằng cách thêm các tham số vào yêu cầu API.

Ví dụ: Có hai đơn vị tổ chức trong một miền, A và B. Khi sử dụng Reports API và BigQuery, bạn có thể truy cập vào tất cả các sự kiện cho toàn bộ miền (A và B ).

• Tuy nhiên, với Reports API, bạn có thể truy xuất các sự kiện A bằng cách sử dụng tham số orgUnitID trong yêu cầu API.
• Với SQL và BigQuery, bạn không thể lọc các sự kiện theo đơn vị tổ chức vì không có cột tương ứng với tham số orgUnitID.

Quan trọng:

• Dữ liệu BigQuery bao gồm dữ liệu trong quá khứ (180 ngày đối với dữ liệu hoạt động và 450 ngày đối với dữ liệu sử dụng). Bạn cũng có thể truy xuất dữ liệu trong quá khứ từ Reports API.
• Nếu bạn tắt tính năng xuất dữ liệu Google Workspace sang BigQuery, thì sẽ không có dữ liệu mới nào được đưa vào BigQuery Export. Tuy nhiên, dữ liệu hiện có sẽ có trong các nguồn khác, chẳng hạn như Reports API.
  • Các bảng BigQuery có phân vùng ở cấp ngày trên cột giả (_PARTITIONTIME). Các phân vùng này được lấy từ cột time_usec cho bảng Hoạt động và cột date cho bảng Sử dụng. Đáng chú ý là Workspace ghi đè các ranh giới UTC BigQuery mặc định để căn chỉnh các phân vùng theo Giờ Thái Bình Dương (PT). Để tối ưu hoá chi phí truy vấn BigQuery, Google khuyên bạn nên lọc theo _PARTITIONTIME kết hợp với time_usec hoặc date.
• Không phải tất cả dữ liệu báo cáo dịch vụ đều có trong BigQuery Export. Để xem danh sách các dịch vụ được hỗ trợ, hãy chuyển đến phần Những dịch vụ nào mà BigQuery Export hỗ trợ? trên trang này.
• Để xem các truy vấn mẫu, hãy chuyển đến phần Truy vấn mẫu cho nhật ký báo cáo trong BigQuery.

Cách dữ liệu được truyền và giữ lại

• Chính sách có thể mất một giờ để truyền. Sau đó, các bảng hằng ngày sẽ được tạo trong tập dữ liệu của bạn (Giờ Thái Bình Dương).
• Dữ liệu được lưu theo nguyên tắc cho các nhật ký và báo cáo khác. Để biết thông tin chi tiết, hãy chuyển đến phần Thời gian giữ lại dữ liệu và độ trễ.
• Các bảng dữ liệu không tự động bị xoá. Để xoá một dự án đang hoạt động, hãy chuyển đến Xoá cấu hình BigQuery Export.
• Các sự kiện trong nhật ký hoạt động có trong vòng 10 phút. Các sự kiện trong nhật ký sử dụng có độ trễ là 48 giờ đối với cấu hình ban đầu, nhưng sau đó, độ trễ thông thường là 1 đến 3 ngày.

Trước khi bắt đầu

Quan trọng: Nếu bạn sử dụng chính sách tổ chức Chia sẻ bị hạn chế theo miền trong Google Cloud, hãy nhớ thêm mã khách hàng của Google C02h8e9nw vào danh sách cho phép.

Trước tiên, bạn cần thiết lập một dự án BigQuery trong bảng điều khiển Cloud. Khi tạo dự án, hãy làm như sau:

• Thêm tài khoản quản trị viên Google Workspace làm:
  • Quản trị viên BigQuery (roles/bigquery.admin) hoặc vai trò quản lý danh tính và quyền truy cập (IAM) tương đương
  • Quản trị viên IAM dự án (roles/resourcemanager.projectIamAdmin)
• Thêm tài khoản dịch vụ gapps-reports@system.gserviceaccount.com làm người chỉnh sửa dự án (hoặc vai trò người chỉnh sửa IAM tương đương). Bạn cần vai trò này để ghi nhật ký, cập nhật giản đồ và hoàn tất bước 5 sau này.

Để biết hướng dẫn, hãy chuyển đến phần Thiết lập một dự án BigQuery cho các nhật ký báo cáo.

Bước 1: Thiết lập cấu hình BigQuery Export

1. Trong Bảng điều khiển dành cho quản trị viên của Google, hãy chuyển đến Trình đơn Báo cáo Tích hợp dữ liệu (hoặc Xuất BigQuery cho quản trị viên Education, mở trang Tích hợp dữ liệu).

   Chuyển đến phần Tích hợp dữ liệu

   Bạn phải có đặc quyền của quản trị viên đối với Báo cáo.

2. Trỏ đến thẻ BigQuery Export rồi nhấp vào biểu tượng Chỉnh sửa .
3. Để kích hoạt nhật ký BigQuery, hãy đánh dấu vào hộp Bật tính năng xuất dữ liệu Google Workspace sang Google BigQuery.
4. (Không bắt buộc) Để xuất các tham số nhạy cảm của quy tắc DLP, hãy đánh dấu vào hộp Cho phép xuất nội dung nhạy cảm từ nhật ký quy tắc DLP. Để biết thông tin chi tiết, hãy chuyển đến phần Xem nội dung kích hoạt quy tắc DLP rules.
5. Trong phần Mã dự án BigQuery, hãy chọn dự án mà bạn muốn lưu trữ nhật ký. Chọn một dự án mà gapps-reports@system.gserviceaccount.com có vai trò người chỉnh sửa hoặc vai trò người chỉnh sửa IAM tương đương. Nếu không thấy dự án, bạn cần thiết lập dự án đó trong BigQuery. Để biết thông tin chi tiết, hãy chuyển đến phần Hướng dẫn nhanh về cách sử dụng Bảng điều khiển Google Cloud console.
   1. Trong phần Tập dữ liệu mới trong dự án, hãy nhập tên của tập dữ liệu để dùng lưu trữ nhật ký trong dự án. Tên tập dữ liệu phải hoàn toàn mới và duy nhất, đồng thời chưa tồn tại trong Google Cloud. Để biết thông tin chi tiết, hãy chuyển đến phần Tạo tập dữ liệu.
6. (Không bắt buộc) Đánh dấu vào hộp Hạn chế tập dữ liệu ở một vị trí địa lý cụ thể chọn vị trí trong trình đơn. Để biết thêm thông tin, hãy chuyển đến phần Nhiều khu vực.
   1. Nhấp vào Lưu. Lưu ý: Nếu bạn không thể lưu dự án, hãy chuyển đến bảng điều khiển Cloud, xoá tập dữ liệu mới, sau đó lưu lại trong Bảng điều khiển dành cho quản trị viên.

Khi quá trình xuất được kích hoạt, tập dữ liệu sẽ được tạo vào ngày tiếp theo. Ngoài chủ sở hữu, người chỉnh sửa và người xem dự án, tài khoản dịch vụ gapps-reports@system.gserviceaccount.com sẽ được thêm làm người chỉnh sửa. Bạn cần có tài khoản dịch vụ để ghi nhật ký và cập nhật lược đồ.

Bước 2: Thay đổi tập dữ liệu BigQuery Export và bổ sung vào tập dữ liệu mới (Không bắt buộc)

Bạn có thể thay đổi chế độ cài đặt BigQuery Export để bắt đầu xuất dữ liệu sang một tập dữ liệu khác với tập dữ liệu hiện tại. Bạn cũng có thể di chuyển dữ liệu hiện có từ tập dữ liệu trước đó sang tập dữ liệu mới được chọn (180 ngày đối với dữ liệu kiểm tra và 450 ngày đối với dữ liệu sử dụng). Ví dụ: bạn có thể thay đổi vị trí tập dữ liệu BigQuery Export từ Hoa Kỳ sang Liên minh Châu Âu. Tính năng bổ sung cho phép bạn chuyển dữ liệu đã lưu trữ trong khu vực Hoa Kỳ sang khu vực Liên minh Châu Âu. Nếu bạn chọn bổ sung, BigQuery sẽ tạo một tập dữ liệu mới ở vị trí đã chỉ định.

Những vấn đề cần xem xét

• Dữ liệu hiện có sẽ được xuất sang một tập dữ liệu mới nếu bạn chọn một vị trí mới, thay đổi mã dự án hoặc thay đổi mã tập dữ liệu.
• Dữ liệu đã xuất cũng được giữ lại trong tập dữ liệu trước đó.
• Mọi dữ liệu mới, cùng với dữ liệu được bổ sung, sẽ được lưu trữ trong tập dữ liệu mới.
• Dữ liệu hiện có (180 ngày đối với dữ liệu kiểm tra và 450 ngày đối với dữ liệu sử dụng) sẽ được xuất sang tập dữ liệu mới nhưng không bị xoá khỏi vị trí hiện có, vì vậy, bạn sẽ có các tập dữ liệu BigQuery Export ở 2 vị trí.

Cách bổ sung dữ liệu hiện có vào vị trí mới:

1. Trong Bảng điều khiển dành cho quản trị viên của Google, hãy chuyển đến Trình đơn Báo cáo Tích hợp dữ liệu (hoặc Xuất BigQuery cho quản trị viên Education, mở trang Tích hợp dữ liệu).

   Chuyển đến phần Tích hợp dữ liệu

   Bạn phải có đặc quyền của quản trị viên đối với Báo cáo.

2. Nhập tên tập dữ liệu mới.
3. Nếu bạn muốn bổ sung dữ liệu hiện có vào vị trí mới, hãy đánh dấu vào hộp Bổ sung dữ liệu hiện có trong BigQuery từ 180 ngày qua vào tập dữ liệu mới.
4. Nhấp vào Xác nhận Lưu.

Yêu cầu về việc xuất dữ liệu nhật ký

Dữ liệu nhật ký được xuất thông qua insertAll API. Để sử dụng API này, bạn phải bật tính năng thanh toán cho dự án BigQuery Export. Nếu chưa bật tính năng thanh toán, dự án của bạn sẽ ở chế độ hộp cát và dữ liệu nhật ký sẽ không được xuất sang tập dữ liệu. Để biết thêm thông tin, hãy chuyển đến phần Các điểm hạn chế.

Lưu ý: Tính năng xuất báo cáo mức sử dụng vẫn được bật cho các dự án ở chế độ hộp cát.

Độ trễ

Trong hầu hết các trường hợp, sau khi bạn bật tính năng xuất dữ liệu sang BigQuery, các sự kiện trong nhật ký hoạt động sẽ có trong vòng 10 phút. Các sự kiện trong nhật ký sử dụng có độ trễ là 48 giờ đối với cấu hình ban đầu, nhưng sau đó, độ trễ thông thường là 1 đến 3 ngày. Để biết thông tin chi tiết, hãy chuyển đến phần Thời gian giữ lại dữ liệu và độ trễ.

Câu hỏi thường gặp

Chủ đề có liên quan

Tài liệu về BigQuery