Как Google помогает защитить пользователей Gemini от внедрения вредоносных запросов и контента

Эта статья предназначена для администраторов Google Workspace. Пользователи Gemini могут узнать, как Google обеспечивает защиту при работе с приложением Gemini и приложениями Gemini в Workspace: Gmail, редакторами Документов, Диском и Chat.

Gemini стал незаменимым помощником для бизнес-пользователей Google Workspace, открывая новые возможности для совместной работы. С его помощью тысячи организаций создают контент, анализируют данные и генерируют идеи, повышая эффективность работы в целом. В то же время платформы генеративного искусственного интеллекта начали подвергаться новым угрозам.

Для защиты от них Google использует надежную систему мер безопасности. В этой статье объясняется, что происходит при реализации этих мер и как они могут повлиять на удобство использования Google Workspace с Gemini и приложений Gemini.

Содержание

О новых угрозах для генеративного ИИ

Новые угрозы для генеративного ИИ включают подозрительные URL и вредоносные запросы. Подобно вредоносному ПО и фишинговому мошенничеству, эти угрозы сложно обнаружить. Злоумышленники пытаются замаскировать вредоносные запросы под безопасно выглядящие сообщения или документы, добиваясь того, чтобы генеративный ИИ выполнял нежелательные или опасные действия.

Например, вредоносные запросы могут вынудить генеративный ИИ отправить личные данные или выполнить несанкционированную задачу.

Как Gemini помогает защитить пользователей

Когда пользователи обращаются к Gemini, чтобы составить краткий пересказ контента (например, электронного письма или документа), Gemini анализирует его на предмет угроз, прежде чем выполнять какие-либо действия. Если угроза обнаружена, Gemini не использует этот контент для генерирования ответа.

Пример:

  • Если вы просите Gemini пересказать электронные письма, в одном из которых есть вредоносный запрос, Gemini не использует это письмо для создания пересказа.
  • Если вам нужно, чтобы Gemini использовал контент из файлов (например, документов), перед обработкой они проверяются на наличие подозрительных ссылок или запросов.

Чего ожидать пользователям

Если обнаружены угрозы, в Gemini показываются уведомления следующих типов:

Угроза Уведомление для пользователей
Все электронные письма или документы, упомянутые в запросе, вызывают подозрение, или в чате есть вредоносные инструкции, указывающие на попытку атаки с внедрением запросов. Обнаружена угроза безопасности. Выполнена ее блокировка.
Некоторые сообщения или документы вызывают подозрение. Некоторый контент исключен из обработки из соображений безопасности.

Что нужно делать пользователям

Пользователям нужно уведомлять Google, если им кажется, что есть угроза безопасности, связанная с генеративным ИИ, или если Gemini, по их мнению, ошибается.

Инструкции вы найдете в следующих статьях:


Google, Google Workspace и связанные наименования и логотипы являются товарными знаками компании Google LLC. Все другие названия компаний и продуктов являются товарными знаками соответствующих компаний.