إنّ هجمات حقن الطلبات غير المباشرة هي ثغرة أمنية معقّدة في أنظمة الذكاء الاصطناعي التوليدي. تشرح هذه المقالة استراتيجية الدفاع الشاملة والمتعدّدة الطبقات التي تتّبعها Google لتخفيف أثر هذه الثغرة في تطبيق Gemini و"Gemini في تطبيقات Workspace".
في هذه الصفحة
- ما هو الطلب في سياق الذكاء الاصطناعي التوليدي؟
- ما هو هجوم حقن الطلبات غير المباشر؟
- كيف تعمل هجمات حقن الطلبات غير المباشرة؟
- ما هي بعض الأمثلة الواقعية على هجمات حقن الطلبات غير المباشرة؟
- لماذا تشكّل هجمات حقن الطلبات غير المباشرة مصدر قلق كبير؟ وما هي المخاطر المرتبطة بها؟
- ما هي استراتيجية Google لتخفيف أثر هجمات حقن الطلبات غير المباشرة؟
- ما هي طبقات الدفاع الرئيسية ضد هجمات حقن الطلبات غير المباشرة؟
- كيف تعمل مصنِّفات المحتوى التي ترصد هجمات حقن الطلبات؟
- ما هو مبدأ تعزيز التفكير الأمني؟
- كيف يمكن تعزيز الأمان من خلال فلترة رموز التنسيق الخاصة وإخفاء عناوين URL المريبة؟
- ما هو إطار عمل تأكيد المستخدم؟
- ما سبب أهمية إشعارات تخفيف أثر المشاكل الأمنية للمستخدم النهائي؟
ما هو الطلب في سياق الذكاء الاصطناعي التوليدي؟
الطلب عبارة عن تعليمات أو معلومات يتم إدخالها في نموذج الذكاء الاصطناعي التوليدي بهدف توجيه الرد الذي يقدّمه. تفسّر نماذج الذكاء الاصطناعي التوليدي هذه الطلبات لإنشاء المحتوى، مثل النصوص أو الصور أو الرموز البرمجية، استنادًا إلى أنماط تعلّمتها من مجموعات بيانات ضخمة.
ما هو هجوم حقن الطلبات غير المباشر؟
إنّ هجوم حقن الطلبات غير المباشر هو نوع من الثغرات الأمنية في أنظمة الذكاء الاصطناعي، حيث يتم إخفاء تعليمات ضارة في البيانات الخارجية التي يعالجها نموذج الذكاء الاصطناعي. ولا يقدّم المستخدم هذه التعليمات مباشرةً إلى النموذج. والهدف منه هو التلاعب بسلوك النظام أو رده بدون علم المستخدم صراحةً بذلك.
كيف تعمل هجمات حقن الطلبات غير المباشرة؟
تحدث هجمات حقن الطلبات غير المباشرة عندما يعالج نظام الذكاء الاصطناعي بيانات خارجية، مثل محتوى موقع إلكتروني أو رسالة إلكترونية أو مستندات، تحتوي على تعليمات ضارة مضمّنة. ينفّذ النظام الأوامر المخفية أو التعليمات الضارة إلى جانب مهمته الأساسية، بدون دراية بها. وقد يؤدي ذلك إلى اتّخاذ إجراءات أو الكشف عن معلومات عن غير قصد.
ما هي بعض الأمثلة الواقعية على هجمات حقن الطلبات غير المباشرة؟
- اختراق روبوت الدردشة: يتم إخفاء تعليمات ضارة في صفحة ويب وإدخالها إلى روبوت دردشة يعمل بالذكاء الاصطناعي تم تدريبه على بيانات خارجية، ما يؤدي إلى الكشف عن معلومات داخلية حساسة.
- اختراق أداة التلخيص: يلخّص أحد أنظمة الذكاء الاصطناعي مستندًا يحتوي على تعليمات مخفية وينفّذ إجراءً غير مصرّح به، مثل إرسال رسالة إلكترونية.
- استخراج البيانات: يُطلب من نظام الذكاء الاصطناعي معالجة ملف يحتوي على فيروس، ويتم استخراج بيانات سرية وإرسالها عن غير قصد إلى وجهة خارجية.
لماذا تشكّل هجمات حقن الطلبات غير المباشرة مصدر قلق كبير؟ وما هي المخاطر المرتبطة بها؟
تشكّل هجمات حقن الطلبات غير المباشرة تهديدًا كبيرًا لأمان أنظمة الذكاء الاصطناعي وخصوصية البيانات. ويمكن أن تؤدي إلى وصول غير مصرَّح به إلى البيانات، وتلاعب بسلوك الذكاء الاصطناعي، وإساءة استخدام المعلومات. تقلل هذه الثغرة الأمنية مصداقية الذكاء الاصطناعي، ما يتيح المجال أمام الهجمات الإلكترونية التي يصعب رصدها ومنعها من خلال إجراءات الأمان التقليدية.
ما هي استراتيجية Google لتخفيف أثر هجمات حقن الطلبات غير المباشرة؟
تتّبع Google استراتيجية أمان شاملة ومتعدّدة الطبقات لتخفيف أثر هجمات حقن الطلبات غير المباشرة، بشكل خاص مع Gemini. تتضمّن هذه الاستراتيجية إجراءات أمان مصمَّمة لكل مرحلة من مراحل الطلب، بدءًا من تعزيز أمان النموذج وصولاً إلى نماذج تعلُّم الآلة المصمَّمة خصيصًا لتحسين الأمان وإجراءات الوقاية على مستوى النظام.
منذ النشر الأولي لاستراتيجيات الدفاع المحسّنة ضدّ هجمات حقن الطلبات غير المباشرة، نجحت أنظمة الحماية المتعدّدة الطبقات التي نستخدمها في التخفيف من أثر محاولات حقن الطلبات غير المباشرة والتكيّف مع أنماط الهجمات الجديدة بشكل مستمر. بفضل إمكانات الرصد المستمر والاستجابة السريعة، نتعلّم باستمرار من كل تفاعل، لتعزيز أساليب الدفاع التي نستخدمها.
ما هي طبقات الدفاع الرئيسية ضد هجمات حقن الطلبات غير المباشرة؟
تتضمّن مقاربة الأمان المتعدّد الطبقات من Google ما يلي:
- مصنِّفات المحتوى التي ترصد هجمات حقن الطلبات: نماذج خاصة مستندة إلى تعلُّم الآلة ترصد الطلبات والتعليمات الضارة ضمن تنسيقات بيانات مختلفة
- تعزيز التفكير الأمني: تعليمات أمان موجَّهة تتم إضافتها إلى محتوى الطلب. تذكّر هذه التعليمات النموذج اللغوي الكبير (LLM) بتنفيذ المهمة التي يطلبها المستخدم وتجاهُل التعليمات المخالفة.
- فلترة رموز التنسيق الخاصة وإخفاء عناوين URL المريبة: تحديد وإخفاء عناوين URL الخاصة بالصور الخارجية والروابط المريبة باستخدام "التصفح الآمن من Google" لمنع الهجمات المستنِدة إلى عناوين URL واستخراج البيانات
- إطار عمل تأكيد المستخدم: نظام سياقي يتطلّب تأكيدًا صريحًا من المستخدم للعمليات التي قد تكون خطيرة، مثل حذف أحداث في التقويم
- إشعارات تخفيف أثر المشاكل الأمنية للمستخدم النهائي: معلومات سياقية يتم تقديمها إلى المستخدمين عند رصد مشاكل أمنية وتخفيف أثرها؛ تحث هذه الإشعارات المستخدمين على معرفة المزيد من خلال قراءة مقالات مخصّصة في مركز المساعدة
- مرونة النموذج: فعالية نماذج Gemini في مقاومة الهجمات المخادعة، ما يحميها من التلاعب الضارّ الصريح
كيف تعمل مصنِّفات المحتوى التي ترصد هجمات حقن الطلبات؟
تعمل مصنِّفات المحتوى التي ترصد هجمات حقن الطلبات كدفاع أوّلي من خلال تحديد الإدخالات المريبة التي قد تحتوي على تعليمات ضارّة والإبلاغ عنها. تحلّل هذه المصنِّفات البنية والكلمات الرئيسية والأنماط داخل الطلبات لرصد محاولات الحقن المحتمَلة قبل أن تؤثر في سلوك نموذج الذكاء الاصطناعي، وتعمل على فلترة المحتوى الضارّ.
ما هو مبدأ تعزيز التفكير الأمني؟
يتضمّن مبدأ تعزيز التفكير الأمني تدريب نماذج الذكاء الاصطناعي على منح الأولوية لاعتبارات الأمان في عمليات اتّخاذ القرار. تضيف هذه التقنية تعليمات أمان موجَّهة إلى محتوى الطلب لتذكير النموذج اللغوي الكبير (LLM) بالتركيز على المهمة التي يطلبها المستخدم وتجاهُل أي تعليمات مخالفة أو ضارّة مضمّنة في المحتوى.
كيف يمكن تعزيز الأمان من خلال فلترة رموز التنسيق الخاصة وإخفاء عناوين URL المريبة؟
تؤدي عملية فلترة رموز التنسيق الخاصة إلى إزالة عناصر الرموز أو النصوص البرمجية التي يُحتمل أن تكون ضارة والمخفية ضمن النص بتنسيق خاص، لمنع تنفيذها. تحدّد ميزة إخفاء عناوين URL المريبة الروابط التي تؤدي إلى مواقع إلكترونية ضارّة معروفة وتخفيها، ما يمنع نظام الذكاء الاصطناعي من الوصول إلى المحتوى الخطير أو نشره. يؤدي ذلك إلى تفادي هجمات حقن الطلبات غير المباشرة التي تستغل ثغرات التنسيق أو التي تعيد توجيه الذكاء الاصطناعي إلى موارد خارجية ضارة.
ما هو إطار عمل تأكيد المستخدم؟
إنّ إطار عمل تأكيد المستخدم يقدّم خطوة موافقة صريحة على الإجراءات أو النتائج الحساسة من إنشاء الذكاء الاصطناعي. قبل تنفيذ أوامر قد تكون ضارّة أو مشاركة معلومات سرية، يطلب نظام الذكاء الاصطناعي من المستخدم تأكيد نيّته. تعمل مقاربة "المشاركة البشرية" كإجراء وقاية نهائي ضد الإجراءات غير المصرّح بها أو غير المقصودة الناتجة من هجوم حقن طلبات ناجح.
ما سبب أهمية إشعارات تخفيف أثر المشاكل الأمنية للمستخدم النهائي؟
تُعلم إشعارات تخفيف أثر المشاكل الأمنية المستخدمين النهائيين عند رصد خطر أمني محتمل أو تخفيف أثره في نظام الذكاء الاصطناعي. توفّر هذه التنبيهات الشفافية بشأن إجراءات الأمان المتّخذة وتحيط المستخدمين علمًا بالتهديدات المحتملة، ما يتيح لهم اتّخاذ قرارات مدروسة. يوفر ذلك استراتيجية تعاونية بشأن أمان الذكاء الاصطناعي، ما يعزز الثقة ويشجّع التفاعل الآمن مع تطبيقات الذكاء الاصطناعي.
مراجع إضافية
لمزيد من المعلومات عن التقدّم الذي أحرزته Google والأبحاث حول الجهات المهدِّدة التي تستخدم الذكاء الاصطناعي التوليدي وأساليب الهجوم والثغرات الأمنية، يُرجى الانتقال إلى تخفيف أثر هجمات حقن الطلبات باستخدام استراتيجية دفاعية متعددة الطبقات.