Google 如何帮助 Gemini 用户防范恶意内容和提示注入

本文供 Google Workspace管理员参考。Gemini 用户:建议您了解在使用 Gemini 应用或者使用 Workspace 应用(GmailGoogle 文档编辑器Google 云端硬盘Google Chat)中的 Gemini 时,Google 如何为您提供保护。

Gemini 已成为 Google Workspace 企业用户的强大协作伙伴。成千上万的组织都在使用 Gemini 来创作内容、总结数据、集思广益和提高工作效率。与此同时,生成式 AI 平台也开始成为新兴威胁的攻击目标。

为防范这些威胁,Google 采用了强大的安全措施框架。本文介绍了运用这些安全措施后会发生什么情况,以及这些措施可能会对用户使用内置 Gemini 的 Google Workspace 和 Gemini 应用的体验产生哪些影响。

本页内容

关于针对生成式 AI 的新兴威胁

针对生成式 AI 的新兴威胁包括可疑网址和恶意提示。与恶意软件和钓鱼式攻击类似,这些威胁可能很难被用户察觉。攻击者会尝试将恶意提示隐藏在看似合法的邮件或文档中,目的是让生成式 AI 执行意外或有害的操作。

例如,恶意提示可能会要求生成式 AI 分享个人信息或执行未经授权的任务。

Gemini 如何帮助保护用户

当用户要求 Gemini 总结邮件或文档等内容时,Gemini 会先分析这些内容是否存在威胁,然后才会执行相应操作。如果 Gemini 在内容中识别出威胁,它会排除相应内容,不用其生成回答。

例如:

  • 如果您让 Gemini 总结邮件内容,而其中某封邮件包含恶意提示,Gemini 在总结时就会排除该邮件。
  • 如果您让 Gemini 使用文件(例如文档)中的内容,Gemini 会先检查这些文件是否包含可疑链接或提示,然后再处理您的请求。

用户会体验到哪些变化

检测到威胁时,Gemini 会向用户显示以下类型的通知:

威胁 向用户发送的通知
提示中引用的所有邮件或文档都很可疑,或者对话中包含试图发起提示注入攻击的恶意说明 发现并屏蔽了安全风险
某些邮件或文档可疑 出于安全考虑,部分内容已被排除

用户应采取的措施

如果用户担心生成式 AI 安全风险问题,或者认为 Gemini 出错了,应向 Google 发送反馈。

如需相关操作说明,请前往:


Google、Google Workspace 以及相关标志和徽标是 Google LLC 的商标。其他所有公司名和产品名是其各自相关公司的商标。