Как экспортировать данные о ресурсах Диска организации

Эта функция доступна в версиях Frontline Plus, Enterprise Standard, Enterprise Plus, Education Standard, Education Plus, Enterprise Essentials Plus и Cloud Identity Premium. Сравнение версий

Администратор может экспортировать в BigQuery данные о ресурсах Google Диска для своей организации. К ним относятся метаданные, связанные с каждым файлом, в том числе размер, назначенные ярлыки, информация о том, кому предоставлен доступ, но не содержимое файлов. а также метаданные, связанные с общими дисками, например их названия. Эти сведения помогают определить, отвечает ли доступ к конфиденциальным файлам целям вашей организации, связанным с соответствием внутренним стандартам и регуляторным требованиям, а также с защитой данных.

Когда данные о ресурсах Диска находятся в BigQuery, можно создать специальный отчет и панели управления, используя такие аналитические инструменты, как Студия данных, и средства визуализации от сторонних разработчиков.

Примечания

• Некоторые из описанных на этой странице шагов выполняются в консоли Google Cloud, поскольку Google BigQuery является продуктом Google Cloud.

• Для проекта Google Cloud нужно настроить платежные функции, поскольку за запросы и хранение данных о ресурсах Диска в BigQuery взимается плата. Ознакомьтесь со сведениями о стоимости использования BigQuery для платежного аккаунта. Чтобы оценить потенциальные затраты на хранилище, воспользуйтесь Калькулятором цен Google Cloud. Метаданные для 1 миллиона файлов занимают приблизительно 1,5 ГБ в BigQuery.

• Для настройки экспорта данных о ресурсах Диска необходима поддерживаемая лицензия, но отчет содержит данные для всех пользователей.

• Данные о ресурсах Диска экспортируются еженедельно, но можно делать это ежедневно. При каждой новой операции экспорта результаты предыдущей такой операции перезаписываются. Если же их нужно сохранить, воспользуйтесь сервисом BigQuery Data Transfer, чтобы автоматически скопировать набор данных.

• Существует очень малая вероятность того, что при экспорте данных о ресурсах Диска будут пропущены метаданные некоторых файлов или же сами файлы не будут включены в экспорт.

Шаг 1. Настройте проект и набор данных BigQuery для ресурсов Диска

1. Создайте или откройте активный проект BigQuery в консоли Google Cloud.
   Подробнее о создании проектов и управлении ими…
2. Включите платежные функции для проекта, если это ещё не сделано.
3. Выбрав проект, перейдите на страницу IAM.
4. Предоставьте аккаунтам администраторов Google Workspace доступ к экспорту для обработки и просмотра данных. Подробнее о ролях и разрешениях IAM BigQuery и о том, как управлять доступом к ресурсам… Для любых аккаунтов Google Workspace, которым нужно предоставить доступ к экспорту:
   1. Вверху списка субъектов нажмите Предоставить доступ.
   2. В поле Добавление субъектов введите адрес электронной почты аккаунта Google Workspace.
   3. Нажмите на роль Редактор данных BigQuery (bigquery.dataEditor). Совет. Нажмите Фильтр и введите BigQuery, чтобы найти другие роли, которые используются в BigQuery.
   4. Нажмите Сохранить.
5. Предоставьте себе и, если необходимо, другим администраторам, которые будут управлять экспортом данных о ресурсах Диска, разрешение администратора IAM для проекта:
   1. На той же странице IAM нажмите на существующий субъект или создайте новый субъект, как на предыдущем шаге.
   2. Нажмите на роль Менеджер ресурсов и выберите Администратор IAM проекта.
   3. Нажмите Сохранить.
6. Найдите или создайте набор данных BigQuery, куда будут записываться экспортированные данные о ресурсах Диска.
   1. Нажмите Меню навигации BigQuery.
   2. На панели Проводник слева разверните проект, чтобы отобразить список имеющихся наборов данных.
   3. Если в нем присутствует нужный набор данных, запишите его идентификатор, чтобы воспользоваться им на следующем шаге.
   4. Если вы хотите использовать новый набор данных, ознакомьтесь с инструкциями по созданию наборов данных. Запишите название набора данных, оно также потребуется на следующем шаге.

Шаг 2. Включите и настройте экспорт данных о ресурсах Диска

1. В консоли администратора Google нажмите на значок меню Отчеты Интеграция данных (или Экспорт в BigQuery для администраторов Education, после чего откроется страница "Интеграция данных").

   Перейти в раздел "Интеграция данных"

   Вам потребуется аккаунт администратора с доступом к отчетам.

2. Нажмите Экспорт данных о ресурсах Диска.
3. Установите флажок Включить экспорт отчетов о ресурсах Диска в Google BigQuery, чтобы включить экспорт данных о ресурсах Диска.
4. В разделе Идентификатор проекта BigQuery выберите проект, где будут храниться экспортированные данные о ресурсах Диска. Если нужный проект не виден, настройте его в BigQuery. Подробные сведения изложены в кратком руководстве по использованию консоли Google Cloud.
5. В разделе Существующий набор данных в проекте введите название набора данных проекта, куда будут записываться данные о ресурсах Диска. Если такого набора данных ещё нет, ознакомьтесь с инструкциями по созданию наборов данных.
6. Для параметра Расписание экспорта выберите значение Еженедельно или Ежедневно.
7. Установите флажок Статистика внешнего доступа, чтобы рассчитывать внешний доступ.
   • Если у вас несколько больших групп Google (более 1000 участников), расчет может задержать доставку отчета. Если для вас важна своевременная отчетность, отключите эту настройку.
8. Нажмите Сохранить. Если при сохранении возникнет ошибка, проверьте наличие следующих проблем в консоли Google Cloud:
   1. Перейдите на страницу IAM проекта и убедитесь, что у вашего аккаунта есть роль Администратор IAM проекта (resourcemanager.projects.setIamPolicy). При необходимости предоставьте ее.
   2. Откройте инструмент устранения неполадок и посмотрите, не блокируют ли политики отклонения ваш доступ к проекту. Подробнее об устранении неполадок с политиками…

После включения экспорта первые экспортированные данные появятся в BigQuery через 1–2 недели. Далее они будут обновляться еженедельно или ежедневно – согласно вашему выбору при настройке.

Шаг 3. (Необязательно) Обновите срок действия данных

По умолчанию срок действия экспортированных данных составляет 60 дней, после чего они удаляются из Google Cloud.

Вы можете изменить срок действия по умолчанию для таблиц.

Шаг 4. Отслеживайте события экспорта и настройте оповещения об ошибках

События экспорта данных о ресурсах Диска записываются в журнал аудита администратора. В инструменте "Анализ безопасности" можно искать события, связанные с экспортом данных о ресурсах Диска, и настроить оповещения.

Шаг 5. Проанализируйте наборы данных о ресурсах Диска

Вы можете анализировать данные непосредственно в BigQuery. Общие сведения об анализе можно найти в статье Обзор анализа в BigQuery | Google Cloud. Подробные сведения приведены в статье Схема и примеры запросов для экспорта данных о ресурсах Диска в BigQuery.

Сообщения об ошибках и устранение неполадок, связанных с отсутствием экспортированных данных

Если после сохранения конфигурации в консоли администратора в BigQuery нет экспортированных данных о ресурсах Диска, причиной может быть одна из описанных ниже проблем.

Сообщение об ошибке	Как устранить проблему
Набор данных BigQuery не существует	Эта ошибка возникнет, если набор данных, который вы изначально указали в качестве целевого для записи отчетов, был удален после включения экспорта данных о ресурсах Диска. Укажите идентификатор существующего набора данных вместо удаленного.
Проект BigQuery не существует	Эта ошибка возникнет, если проект BigQuery, который вы изначально указали в качестве целевого для записи отчетов, был удален после включения экспорта данных о ресурсах Диска. Настройте новый проект и набор данных BigQuery, в который нужно записывать отчеты.
Удалены разрешения сервисного аккаунта экспорта данных о ресурсах Диска на доступ к набору данных BigQuery.	В консоли Google Cloud подтвердите, что сервисный аккаунт имеет доступ уровня "Редактор" к набору данных.
Удалены разрешения сервисного аккаунта экспорта данных о ресурсах Диска на доступ к проекту BigQuery.	В консоли Google Cloud подтвердите, что сервисный аккаунт имеет доступ уровня BigQuery.jobUser к проекту.
Настройте платежные данные для проекта	Если вы перешли на версию подписки с ограниченной функциональностью, возможно, экспорт данных о ресурсах Диска больше не поддерживается. В консоли администратора откройте Меню > Оплата > Подписки и убедитесь, что у вас одна из таких подписок: Эта функция доступна в версиях Frontline Plus, Enterprise Standard, Enterprise Plus, Education Standard, Education Plus, Enterprise Essentials Plus и Cloud Identity Premium. Сравнение версий После того как вы перейдете на версию, которая поддерживает экспорт данных о ресурсах Диска, в течение двух недель отчеты будут экспортированы. Для проекта Google Cloud, связанного с экспортом данных о ресурсах Диска, нужно настроить платежные функции, поскольку за эти операции в BigQuery взимается плата. Убедитесь, что для проекта включены платежные функции.

Известные ограничения

• В экспортированных данных о ресурсах Диска могут отсутствовать файлы Jamboard без владельца и видео, созданные в Google Vids.

Часто задаваемые вопросы