Configurar exportações de registros de serviço para o BigQuery

Edições compatíveis com este recurso: Frontline Standard e Frontline Plus, Enterprise Standard e Enterprise Plus, Education Standard e Education Plus, Enterprise Essentials Plus. Comparar sua edição

Para exportar eventos de registro de atividades (ações únicas de um usuário) e relatórios de uso (relatórios agregados de um app) para o Google BigQuery, você precisa definir uma configuração do BigQuery Export no Google Admin Console.

Sobre os dados do BigQuery e da API Reports

Os dados disponíveis no conjunto de dados do BigQuery são diferentes daqueles recuperados da API Reports. Os dados do BigQuery incluem apenas o conjunto de dados não filtrado. Você ainda pode filtrar os dados usando o SQL, mas nem todos os parâmetros da API Reports são compatíveis.

É possível filtrar os dados da API Reports ao incluir parâmetros na solicitação de API.

Exemplo: duas unidades organizacionais estão em um domínio, A e B. Usando a API Reports e o BigQuery, você pode acessar todos os eventos do domínio inteiro (A e B).

• No entanto, com a API Reports, é possível recuperar os eventos de A usando o parâmetro orgUnitID na solicitação da API.
• Com o SQL e o BigQuery, não é possível filtrar eventos por unidade organizacional porque não há uma coluna correspondente para o parâmetro orgUnitID.

Importante:

• Os dados do BigQuery incluem dados históricos (180 dias para dados de atividade e 450 dias para dados de uso). Também é possível recuperar dados históricos da API Reports.
• Se você desativar a exportação de dados do Google Workspace para o BigQuery, nenhum dado novo será incluído na exportação. No entanto, os dados existentes estão disponíveis em outras origens, como a API Reports.
• As tabelas do BigQuery têm partições no nível do dia na pseudocoluna (_PARTITIONTIME). Essas partições são derivadas da coluna "time_usec" das tabelas de atividade e da coluna "date" das tabelas de uso. O Workspace substitui os limites padrão do BigQuery UTC para alinhar as partições com o horário do Pacífico (PT). Para otimizar o custo da consulta do BigQuery, o Google recomenda filtrar por _PARTITIONTIME com time_usec ou date.
• Nem todos os dados de relatórios de serviço estão disponíveis no BigQuery Export. Para conferir uma lista de serviços compatíveis, acesse Quais serviços são compatíveis com o BigQuery Export? nesta página.
• Para ver exemplos de consultas, acesse Exemplos de consultas de registros de relatórios no BigQuery.

Como os dados são propagados e retidos

• As políticas podem levar uma hora para serem propagadas. Depois disso, as tabelas diárias são criadas no conjunto de dados (horário do Pacífico).
• Os dados são salvos conforme as diretrizes de outros registros e relatórios. Para saber mais detalhes, acesse Períodos de atraso e retenção de dados.
• As tabelas de dados não são excluídas automaticamente. Para excluir um projeto ativo, acesse Excluir uma configuração do BigQuery Export.
• Os eventos do registro de atividades ficam disponíveis em até 10 minutos. Os eventos de registro de uso têm um atraso de 48 horas na configuração inicial, mas depois o atraso normal é de um a três dias.

Antes de começar

Importante:se você usa a política da organização Compartilhamento restrito de domínio no Google Cloud, adicione o ID do cliente do Google C02h8e9nw à lista de permissões.

Primeiro, configure um projeto do BigQuery no console do Google Cloud. Ao criar o projeto, faça o seguinte:

• Adicione uma conta de administrador do Google Workspace como:
  • Administrador do BigQuery (roles/bigquery.admin) ou um papel equivalente do gerenciamento de identidade e acesso (IAM)
  • Administrador IAM do projeto (roles/resourcemanager.projectIamAdmin)
• Adicione a conta de serviço gapps-reports@system.gserviceaccount.com como editor do projeto (ou papel de editor do IAM equivalente). Você precisa dela para gravar registros, atualizar o esquema e concluir a etapa 5 mais tarde.

Para instruções, acesse Configurar um projeto do BigQuery para gerar relatórios de registros.

Etapa 1: definir uma configuração do BigQuery Export

1. No Google Admin Console, acesse Menu Relatórios Integrações de dados (ou BigQuery Export para administradores do Education, que abre a página "Integrações de dados").

   Acesse "Integrações de dados"

   Exige o privilégio de administrador Relatórios.

2. Aponte para o card BigQuery Export e clique em Editar .
3. Para ativar os registros do BigQuery, marque a caixa Ativar a exportação de dados do Google Workspace para o Google BigQuery.
4. (Opcional) Para exportar parâmetros confidenciais das regras da DLP, marque a caixa Permitir a exportação de conteúdo sensível dos registros de regras da DLP. Para mais detalhes, acesse Acessar o conteúdo que aciona as regras de DLP.
5. Em ID do projeto do BigQuery, selecione o projeto em que você quer armazenar os registros. Escolha um projeto em que gapps-reports@system.gserviceaccount.com tenha uma função de editor ou um papel de editor do IAM equivalente. Se o projeto não aparecer, ele precisará ser configurado no BigQuery. Para mais detalhes, acesse Guia de início rápido para uso do console do Google Cloud.
6. Em Novo conjunto de dados no projeto, digite o nome do conjunto de dados em que os registros do projeto serão armazenados. Os conjuntos de dados de cada projeto precisam ter nomes exclusivos. Para mais detalhes, acesse Como criar conjuntos de dados.
7. (Opcional) Marque a caixa Restringir o conjunto de dados a uma localização geográfica específica selecione o local no menu. Para mais informações, acesse Multirregiões.
8. Clique em Salvar. Observação: se não for possível salvar o projeto, acesse o console do Google Cloud, exclua o novo conjunto de dados e salve novamente no Admin Console.

Quando a exportação é acionada, o conjunto de dados é criado no dia seguinte. Além dos proprietários, editores e leitores do projeto, a conta de serviço gapps-reports@system.gserviceaccount.com será adicionada com acesso para editar. É necessário ter uma conta de serviço para gravar os registros e atualizar o esquema.

Etapa 2: mudar o conjunto de dados do BigQuery Export e preencher com um novo conjunto de dados (opcional)

Você pode mudar as configurações do BigQuery Export para começar a exportar dados para um conjunto de dados diferente do atual. Você também pode mover os dados existentes do conjunto de dados anterior para o selecionado recentemente (180 dias para auditoria e 450 dias para uso). Por exemplo, é possível mudar o local do conjunto de dados de exportação do BigQuery de EUA para UE. O preenchimento permite transferir dados já armazenados na região dos EUA para a região da UE. Se você escolher o preenchimento, o BigQuery vai criar um novo conjunto de dados no local especificado.

Considerações

• Os dados atuais são exportados para um novo conjunto de dados se você selecionar um novo local, mudar o ID do projeto ou o ID do conjunto de dados.
• Os dados exportados também são mantidos no conjunto de dados anterior.
• Todos os dados novos, junto com os dados preenchidos, são armazenados no novo conjunto de dados.
• Os dados atuais (180 dias para auditoria e 450 dias para uso) são exportados para o novo conjunto de dados, mas não são excluídos do local atual. Portanto, você terá conjuntos de dados do BigQuery Export em dois locais.

Para preencher os dados existentes para o novo local:

1. No Google Admin Console, acesse Menu Relatórios Integrações de dados (ou BigQuery Export para administradores do Education, que abre a página "Integrações de dados").

   Acesse "Integrações de dados"

   Exige o privilégio de administrador Relatórios.

2. Insira o novo nome do conjunto de dados.
3. Se você quiser preencher os dados atuais para o novo local, marque a caixa Preencher os dados do BigQuery dos últimos 180 dias em um novo conjunto de dados.
4. Clique em Confirmar Salvar.

Requisitos de exportação de dados de registro

Os dados de registros são exportados pela API insertAll, que exige a ativação do faturamento do projeto de exportação do BigQuery. Se o faturamento não estiver ativado, o projeto vai ficar no modo sandbox, e os dados de registro não vão ser exportados para o conjunto de dados. Para mais detalhes, acesse Limitações.

Observação:as exportações de relatórios de uso ainda estão ativadas no modo sandbox.

Períodos de atraso

Na maioria dos casos, depois de ativar a exportação de dados para o BigQuery, os eventos do registro de atividades ficam disponíveis em até 10 minutos. Os eventos de registro de uso têm um atraso de 48 horas na configuração inicial, mas depois o atraso normal é de um a três dias. Para saber mais detalhes, acesse Períodos de atraso e retenção de dados.

Perguntas frequentes

Tema relacionado

Documentação do BigQuery