悪意のあるコンテンツやプロンプト インジェクションから Gemini ユーザーを保護するための Google の取り組み

この記事は Google Workspace 管理者を対象としています。ここでは、Gemini アプリ、または Gemini in Workspace アプリ(Gmailドキュメント エディタドライブChat)における Gemini 機能に対する Google の保護策について説明します。

Gemini は、いまや Google Workspace ビジネス ユーザーの強力なコラボレーション パートナーとなりました。数多くの組織が Gemini を活用してコンテンツの作成やデータの要約、ブレインストーミングを行い、生産性を高めています。しかし一方で、生成 AI プラットフォームを標的とする新しい脅威も次々に登場しています。

Google は、こうした脅威からユーザーを保護するために、堅牢なセキュリティ対策のフレームワークを採用しています。この記事では、これらのセキュリティ対策が適用された際のシステムの挙動や、Google Workspace with Gemini および Gemini アプリのユーザー エクスペリエンスにどのような影響が及ぶのかについて説明します。

このページの内容

生成 AI を取り巻く新たな脅威

生成 AI に対する脅威は、疑わしい URL や悪意のあるプロンプトなど、さまざまです。これらはマルウェアやフィッシング詐欺と同様、ユーザーが気づきにくい種類の脅威で、攻撃者は、一見何の変哲もないメール メッセージやドキュメントに悪意のあるプロンプトを仕込み、生成 AI にユーザーの意図に反した有害な動作をさせようとします。

悪意のあるプロンプトが生成 AI に個人情報の共有や不正なタスクの実行を求めるといったことも、その一例です。

Gemini がユーザーを保護する仕組み

ユーザーが Gemini にメール メッセージやドキュメントなどのコンテンツの要約をリクエストすると、Gemini はアクションを実行する前にコンテンツを分析して脅威を探します。Gemini が脅威を特定すると、その脅威を含むコンテンツは回答の生成に使用されなくなります。

例:

  • メール メッセージの要約を Gemini にリクエストしたとき、メッセージの一部に悪意のあるプロンプトが含まれている場合、Gemini はそのメッセージを要約の対象から除外します。
  • ドキュメントなどのファイル内のコンテンツを使用するよう Gemini にリクエストすると、Gemini はリクエストを処理する前に、対象のファイルに不審なリンクやプロンプトがないかどうかを確認します。

ユーザーへの影響

脅威を検出すると、Gemini はユーザーに以下の通知を表示します。

脅威 ユーザーへの通知
プロンプト内で参照されているメール メッセージやドキュメントに不審な点がある、または会話にプロンプト インジェクション攻撃を試みる悪意のある指示が含まれている セキュリティ リスクを検出し、ブロックしました
メッセージやドキュメントに不審なものがある セキュリティ上の理由により一部のコンテンツを除外しました

ユーザーが行うべき対応

生成 AI のセキュリティ リスクに懸念がある場合や、Gemini に誤りがあると思われる場合は、Google にフィードバックをお送りください。

詳しい手順については、以下をご覧ください。


Google、Google Workspace、および関連するマークとロゴは、Google LLC の商標です。その他すべての企業名および商品名は関連各社の商標です。