Экспортируйте инвентаризацию Google Диска вашей организации.

Поддерживаемые версии для этой функции: Frontline Plus; Enterprise Standard и Enterprise Plus; Education Standard и Education Plus; Enterprise Essentials Plus; Cloud Identity Premium. Сравните вашу версию.

Как администратор, вы можете экспортировать инвентаризацию файлов Google Drive вашей организации в BigQuery. Инвентаризация включает метаданные, связанные с каждым файлом, такие как размер, примененные метки и кто им поделился, но не содержимое файлов. Вы можете просмотреть эту информацию, чтобы оценить, соответствует ли доступ к конфиденциальным файлам нормативным требованиям, стандартам соответствия и целям безопасности данных вашей организации.

Когда ваши данные из Google Диска хранятся в BigQuery, вы можете создавать пользовательские отчеты и панели мониторинга, используя аналитические инструменты, такие как Looker Studio, и сторонних партнеров по визуализации.

Примечание:

  • Некоторые шаги, описанные на этой странице, выполняются в консоли Google Cloud, поскольку Google BigQuery — это продукт Google Cloud.
  • Для вашего проекта в Google Cloud необходимо настроить оплату, поскольку за запросы и хранение экспортированных данных из Google Диска в BigQuery взимается плата. Подробную информацию см. в ценовом разделе BigQuery вашего платежного аккаунта . Вы можете оценить стоимость хранения с помощью калькулятора цен Google Cloud . Метаданные для 1 миллиона файлов занимают около 1,5 ГБ физического хранилища в BigQuery.
  • Для настройки экспорта отчетов по инвентаризации Google Диска вам потребуется поддерживаемая лицензия, но отчет будет включать данные по всем вашим пользователям.
  • Данные о вашем диске экспортируются еженедельно, но вы можете выбрать ежедневный экспорт. При этом экспорт перезаписывает предыдущий. Чтобы сохранить предыдущие экспорты, используйте службу передачи данных BigQuery для автоматического копирования набора данных .
  • Существует небольшая вероятность того, что при экспорте инвентаризации Google Диска для некоторых файлов могут отсутствовать метаданные. В редких случаях некоторые файлы могут быть не включены в экспорт.

Шаг 1. Настройте проект BigQuery и набор данных для инвентаризации вашего Google Диска.

  1. В консоли Google Cloud создайте или откройте активный проект BigQuery.
    Для получения более подробной информации перейдите в раздел «Создание и управление проектами» .
  2. Включите выставление счетов по проекту, если эта функция еще не включена.
  3. Перейдите на страницу IAM для данного проекта.
  4. Предоставьте администраторам учетных записей Google Workspace доступ к экспорту данных для их обработки и просмотра. Узнайте больше о ролях и разрешениях BigQuery IAM, а также о том, как контролировать доступ к ресурсам . Для всех учетных записей Google Workspace, которым вы хотите предоставить доступ к экспорту:
    1. В верхней части списка руководителей нажмите «Предоставить доступ» .
    2. В разделе «Добавить участников» введите адрес электронной почты учетной записи Google Workspace.
    3. Выберите роль « Редактор данных BigQuery» (bigquery.dataEditor). Совет: нажмите «Фильтр» и введите BigQuery , чтобы найти другие роли, специфичные для BigQuery.
    4. Нажмите « Сохранить ».
  5. Предоставьте себе и любому другому администратору, который будет управлять экспортом данных инвентаризации Google Drive, права администратора IAM для проекта:
    1. На той же странице IAM щелкните существующего субъекта или создайте нового субъекта, как и на предыдущем шаге.
    2. Щелкните роль « Менеджер ресурсов» и выберите «Администратор IAM проекта» .
    3. Нажмите « Сохранить ».
  6. Найдите или создайте набор данных BigQuery для хранения экспортированных данных об инвентаризации вашего Google Диска.
    1. Нажмите на меню навигации а потом BigQuery .
    2. В левой панели «Проводник» разверните свой проект, чтобы отобразить список существующих наборов данных.
    3. Если вы хотите использовать какой-либо набор данных, запишите его идентификатор для использования на следующем шаге.
    4. Если вы хотите использовать новый набор данных, перейдите в раздел «Создание наборов данных» . Запишите название набора данных, которое будете использовать на следующем шаге.

Шаг 2. Включите и настройте экспорт данных об инвентаризации с диска.

  1. В консоли администратора Google перейдите в меню. а потом Отчетность а потом Интеграция данных (или экспорт в Big Query для администраторов образовательных учреждений, который открывает страницу интеграции данных).

    Для этого требуются права администратора отчетов .

  2. Нажмите «Экспорт данных из хранилища на диске» .
  3. Установите флажок «Включить экспорт отчета об инвентаризации Google Диска в Google BigQuery », чтобы активировать экспорт данных об инвентаризации Google Диска.
  4. В поле «Идентификатор проекта BigQuery» выберите проект, в котором вы хотите хранить экспорт данных об инвентаризации Google Диска. Если вы не видите проект, вам необходимо настроить его в BigQuery. Для получения подробной информации перейдите к разделу «Быстрый старт» в консоли Google Cloud .
  5. В поле «Существующий набор данных в проекте» введите имя набора данных, который будет использоваться для хранения информации об инвентаризации дисков в проекте. Если у вас еще нет набора данных, перейдите к разделу «Создание наборов данных» для получения инструкций.
  6. Для параметра «График экспорта» выберите «Еженедельно» или «Ежедневно» .
  7. Нажмите «Сохранить» . Если вы получили ошибку, указывающую на невозможность сохранения, проверьте наличие следующих проблем в консоли Google Cloud:
    1. Перейдите на страницу IAM для вашего проекта и убедитесь, что ваша учетная запись имеет роль администратора IAM проекта (resourcemanager.projects.setIamPolicy). Если нет, предоставьте эту роль вашей учетной записи.
    2. Перейдите в средство устранения неполадок политик и проверьте, не блокируют ли какие-либо политики запрета ваш доступ к проекту. Для получения более подробной информации перейдите в раздел «Устранение неполадок политик» .

После включения экспорта первый экспорт должен появиться в BigQuery через 1–2 недели. После этого экспорт обновляется еженедельно или ежедневно, в зависимости от выбранной вами опции в настройках.

Шаг 3. (Необязательно) Обновите время истечения срока действия данных.

По умолчанию срок действия экспорта данных составляет 60 дней, после чего данные удаляются из Google Cloud.

Чтобы изменить время истечения срока действия, перейдите в раздел «Обновление времени истечения срока действия таблиц по умолчанию» .

Шаг 4. Отслеживайте экспорт и настройте оповещения о сбоях.

События экспорта инвентаризации дисков включаются в журнал событий администратора . В инструменте расследования инцидентов безопасности вы можете найти события, связанные с экспортом инвентаризации дисков, и настроить оповещения.

Название мероприятия Подробности
Экспорт отчета об инвентаризации дисков завершен. Запись в журнале происходит после завершения экспорта.
Экспорт отчета об инвентаризации диска не удался. Сообщения о сбоях экспорта регистрируются в журнале. Вы можете настроить оповещение о сбоях экспорта. Для решения проблемы перейдите на эту страницу в раздел «Устранение неполадок, связанных с отсутствующими экспортами и сообщениями об ошибках» .
Создана конфигурация экспорта данных об использовании дискового пространства. Запись в журнале появляется, когда администратор настраивает экспорт данных из каталога Google Диска.
Обновлена ​​конфигурация экспорта данных об использовании дисков. Регистрируется при обновлении проекта или набора данных.
Инициировано удаление конфигурации экспорта данных с диска. Запись в журнале появляется, когда администратор удаляет конфигурацию экспорта инвентаризации Google Диска в консоли администратора. Между началом удаления администратором и фактическим удалением конфигурации может быть задержка.

Шаг 5. Анализ наборов данных инвентаризации дисков.

Вы можете анализировать свои данные непосредственно в BigQuery. Для получения общего обзора перейдите по ссылке «Обзор аналитики BigQuery | Google Cloud» . Для получения более подробной информации перейдите по ссылке «Схема и примеры запросов для экспорта данных об инвентаризации Drive в BigQuery» .

Устранение неполадок, связанных с отсутствующими экспортами и сообщениями об ошибках.

Если после сохранения конфигурации в консоли администратора вы не видите экспорт данных об инвентаризации Google Диска в BigQuery, ознакомьтесь со следующими проблемами и способами их решения.

Сообщение об ошибке Как исправить
Набор данных BigQuery не существует. Если набор данных, который вы изначально указали для записи отчетов, был удален с момента включения экспорта данных из хранилища дисков, вы получите эту ошибку. Замените идентификатор набора данных на идентификатор существующего набора данных.
Проект BigQuery не существует. Если проект BigQuery, который вы изначально указали для записи отчетов, был удален с момента включения экспорта данных из хранилища Drive, вы получите эту ошибку. Укажите новый проект BigQuery и набор данных для записи отчетов.
Были удалены разрешения учетной записи службы экспорта данных инвентаризации Google Диска на доступ к набору данных BigQuery. В консоли Google Cloud убедитесь, что у учетной записи службы есть права редактора для набора данных.
Были удалены разрешения учетной записи службы экспорта инвентаризации Google Диска в проекте BigQuery. В консоли Google Cloud убедитесь, что у учетной записи службы есть доступ BigQuery.jobUser к проекту.
Настройте выставление счетов за ваш проект.

Если вы понизили уровень своей подписки, возможно, она больше не поддерживает экспорт данных из хранилища Google Диска. В консоли администратора перейдите в Меню > Биллинг > Подписки и убедитесь, что ваша подписка относится к одной из следующих категорий:

Поддерживаемые версии для этой функции: Frontline Plus; Enterprise Standard и Enterprise Plus; Education Standard и Education Plus; Enterprise Essentials Plus; Cloud Identity Premium. Сравните вашу версию.

После перехода на версию, поддерживающую экспорт данных об инвентаризации в Google Drive, экспорт отчетов может занять до 2 недель.

Также необходимо настроить выставление счетов для вашего проекта Google Cloud, связанного с экспортом данных из хранилища Google Диска, поскольку экспорт данных из хранилища Диска в BigQuery является платным. Убедитесь, что выставление счетов для проекта включено.

Известные ограничения

  • Экспорт данных об использовании дискового пространства может не включать невостребованные файлы Jamboard или видео, созданные с помощью Google Vids.

Часто задаваемые вопросы

Взимается ли плата за экспорт данных об использовании Google Диска в BigQuery?

Да. Стоимость хранения данных оплачивается проектом BigQuery. Для получения подробной информации ознакомьтесь с тарифами BigQuery в вашем платежном аккаунте . Вы можете рассчитать стоимость хранения с помощью калькулятора цен Google Cloud . Метаданные для 1 миллиона файлов занимают около 1,5 ГБ физического хранилища в BigQuery.

Распространяются ли условия использования Google Workspace на экспорт данных из Google Диска?

Нет. Экспорт данных об использовании диска регулируется Условиями использования платформы Google Cloud Platform или вашим соглашением, регулирующим использование вами платформы Google Cloud Platform.

Какие данные включаются в экспорт данных об инвентаризации на Google Диск?

Для получения более подробной информации ознакомьтесь со схемой .

Могу ли я изменить идентификатор проекта BigQuery или набор данных?

Да, можете. Просто помните о новых экспортных файлах, и последний экспорт перед изменением будет осуществлен в другие места.

Могу ли я экспортировать данные в тот же проект BigQuery, который я использую для экспорта журналов обслуживания в BigQuery?

Да. Если вы также настроили экспорт журналов обслуживания в BigQuery , вы можете использовать тот же идентификатор проекта и набор данных. Информация о вашем Google Диске будет помещена в другую таблицу в проекте.

Могу ли я прекратить экспорт данных об использовании Google Диска в BigQuery?

Да. Если вы больше не хотите экспортировать данные об инвентаризации Google Диска в BigQuery, вы можете удалить конфигурацию инвентаризации Google Диска в консоли администратора.

  1. В консоли администратора Google перейдите в меню. а потом Отчетность а потом Интеграция данных (или экспорт в Big Query для администраторов образовательных учреждений, который открывает страницу интеграции данных).

    Для этого требуются права администратора отчетов .

  2. Нажмите «Инвентарь дисков» .
  3. Щелкните идентификатор проекта BigQuery и выберите проект.
  4. Нажмите «Удалить» .
  5. Для подтверждения нажмите «Удалить» еще раз.

Экспорт данных из вашего Google Диска будет прекращен. Набор данных останется в проекте с существующими данными, но данные будут удалены по истечении срока их действия.

Чтобы возобновить экспорт данных об объектах на Google Диск, добавьте идентификатор проекта.

Почему в мой проект и набор данных BigQuery добавляются учетные записи служб?

В списке разрешений для вашего проекта и набора данных BigQuery вы можете увидеть учетную запись службы с именем id @gcp-sa-statefulreporting.iam.gserviceaccount.com и еще одну учетную запись службы с именем drive-inventory-reporting@system.gserviceaccount.com . В бета-версии одна учетная запись службы используется для чтения метаданных из Google Диска, а другая — для записи данных из Google Диска в BigQuery.

Почему при попытке настроить экспорт данных из инвентаризации Google Диска я получаю ошибку учетной записи службы?

Если политика организации запрещает добавление учетных записей служб id @gcp-sa-statefulreporting.iam.gserviceaccount.com и drive-inventory-reporting@system.gserviceaccount.com в список разрешений, домены этих учетных записей должны быть добавлены в список разрешенных.

Почему при попытке настроить экспорт данных из Google Диска возникает ошибка доступа?

Для настройки экспорта данных из Google Диска вам необходимы права на просмотр и администрирование политик проекта. В консоли Google Cloud перейдите на страницу IAM и назначьте роль администратора IAM проекта ( roles/resourcemanager.projectIamAdmin ) вашей учетной записи администратора Google Workspace.

Поддерживается ли регионализация данных при экспорте данных о состоянии дисков?

Да. Если вы настроите политику регионов данных в консоли администратора, ваши данные будут обрабатываться в этом регионе. Однако ваши экспорты BigQuery будут записываться в регион, который вы укажете при создании набора данных. Для получения более подробной информации перейдите в раздел «Расположения BigQuery».