การแทรกพรอมต์โดยอ้อมเป็นช่องโหว่ด้านความปลอดภัยที่ซับซ้อนในระบบ Generative AI บทความนี้จะอธิบายกลยุทธ์การป้องกันแบบหลายชั้นที่ครอบคลุมของ Google สำหรับลดช่องโหว่นี้ในแอป Gemini และ Gemini ในแอป Workspace
ในหน้านี้
- พรอมต์ในบริบทของ Generative AI คืออะไร
- การแทรกพรอมต์โดยอ้อมคืออะไร
- การแทรกพรอมต์โดยอ้อมทำงานอย่างไร
- ตัวอย่างการโจมตีแบบแทรกพรอมต์โดยอ้อมที่พบได้จริงมีอะไรบ้าง
- เหตุใดการแทรกพรอมต์โดยอ้อมจึงเป็นประเด็นที่น่ากังวลอย่างมาก และมีความเสี่ยงอะไรบ้าง
- Google มีแนวทางอย่างไรในการลดการโจมตีแบบแทรกพรอมต์โดยอ้อม
- ชั้นการป้องกันการแทรกพรอมต์โดยอ้อมหลักๆ มีอะไรบ้าง
- ตัวแยกประเภทเนื้อหาการแทรกพรอมต์ทำงานอย่างไร
- การเสริมสร้างแนวคิดด้านการรักษาความปลอดภัยคืออะไร
- การล้างข้อมูลมาร์กดาวน์และการปกปิด URL ที่น่าสงสัยช่วยเสริมความปลอดภัยได้อย่างไร
- เฟรมเวิร์กการยืนยันของผู้ใช้คืออะไร
- เหตุใดการแจ้งเตือนการลดความเสี่ยงด้านความปลอดภัยสำหรับผู้ใช้ปลายทางจึงมีความสำคัญ
พรอมต์ในบริบทของ Generative AI คืออะไร
พรอมต์คือคำสั่งหรืออินพุตที่ป้อนให้กับโมเดล Generative AI เพื่อกำหนดเอาต์พุต โมเดล Generative AI จะตีความพรอมต์เหล่านี้เพื่อสร้างเนื้อหา เช่น ข้อความ รูปภาพ หรือโค้ด โดยอิงตามรูปแบบที่ได้เรียนรู้จากชุดข้อมูลขนาดใหญ่
การแทรกพรอมต์โดยอ้อมคืออะไร
การแทรกพรอมต์โดยอ้อมเป็นช่องโหว่ด้านความปลอดภัยประเภทหนึ่งในระบบ AI ซึ่งซ่อนคำสั่งที่เป็นอันตรายไว้ในข้อมูลภายนอกที่โมเดล AI ประมวลผล โดยผู้ใช้ไม่ได้ป้อนคำสั่งเหล่านี้ให้กับ AI โดยตรง การแทรกพรอมต์โดยอ้อมมีเป้าหมายเพื่อควบคุมลักษณะการทำงานหรือเอาต์พุตของระบบโดยที่ผู้ใช้ไม่ได้รับทราบอย่างชัดเจน
การแทรกพรอมต์โดยอ้อมทำงานอย่างไร
การแทรกพรอมต์โดยอ้อมจะทำงานเมื่อระบบ AI ประมวลผลข้อมูลภายนอก เช่น เนื้อหาเว็บไซต์ อีเมล หรือเอกสาร ที่มีคำสั่งที่เป็นอันตรายฝังอยู่ ระบบไม่ทราบถึงคำสั่งที่ซ่อนอยู่หรือคำสั่งที่เป็นอันตราย จึงดำเนินการตามคำสั่งเหล่านั้นไปพร้อมกับงานหลัก ซึ่งอาจนำไปสู่การดำเนินการโดยไม่ตั้งใจหรือการเปิดเผยข้อมูล
ตัวอย่างการโจมตีแบบแทรกพรอมต์โดยอ้อมที่พบได้จริงมีอะไรบ้าง
- แชทบอทถูกลักลอบใช้ - แชทบอท AI ที่ฝึกด้วยข้อมูลภายนอกได้รับคำสั่งที่เป็นอันตรายในหน้าเว็บ ทำให้แชทบอทเปิดเผยข้อมูลภายในที่มีความละเอียดอ่อน
- ฟีเจอร์สรุปถูกบุกรุก - ระบบ AI สรุปเอกสารที่มีคำสั่งที่ซ่อนอยู่และดำเนินการที่ไม่ได้รับอนุญาต เช่น ส่งอีเมล
- การขโมยข้อมูล - ระบบ AI ได้รับคำสั่งให้ประมวลผลไฟล์ที่ติดไวรัสและดึงข้อมูลที่เป็นความลับออกมาโดยไม่ตั้งใจ แล้วส่งไปยังปลายทางภายนอก
เหตุใดการแทรกพรอมต์โดยอ้อมจึงเป็นประเด็นที่น่ากังวลอย่างมาก และมีความเสี่ยงอะไรบ้าง
การแทรกพรอมต์โดยอ้อมเป็นภัยคุกคามที่ร้ายแรงต่อความปลอดภัยของระบบ AI และความเป็นส่วนตัวของข้อมูล ซึ่งอาจนำไปสู่การเข้าถึงข้อมูลโดยไม่ได้รับอนุญาต การควบคุมพฤติกรรมของ AI และการนำข้อมูลไปใช้ในทางที่ผิดที่อาจเกิดขึ้นได้ ช่องโหว่นี้ลดทอนความน่าเชื่อถือของ AI และสร้างเส้นทางสำหรับภัยคุกคามทางไซเบอร์ที่ตรวจจับและป้องกันได้ยากหากใช้มาตรการรักษาความปลอดภัยแบบเดิม
Google มีแนวทางอย่างไรในการลดการโจมตีแบบแทรกพรอมต์โดยอ้อม
Google ใช้แนวทางการรักษาความปลอดภัยแบบหลายชั้นที่ครอบคลุมเพื่อลดการโจมตีแบบแทรกพรอมต์โดยอ้อม โดยเฉพาะกับ Gemini กลยุทธ์นี้จะนำมาตรการรักษาความปลอดภัยที่ออกแบบมาสำหรับแต่ละขั้นของวงจรพรอมต์ ตั้งแต่การปิดช่องโหว่ของโมเดลไปจนถึงโมเดลแมชชีนเลิร์นนิงที่ออกแบบมาเป็นพิเศษและมาตรการป้องกันในระดับระบบ
นับตั้งแต่ติดตั้งใช้งานระบบป้องกันการแทรกพรอมต์โดยอ้อมที่ได้รับการปรับปรุงครั้งแรก การป้องกันแบบหลายชั้นของเราได้ลดความพยายามในการแทรกพรอมต์โดยอ้อมอย่างต่อเนื่อง และปรับให้เข้ากับรูปแบบการโจมตีใหม่ๆ ความสามารถในการตรวจสอบอย่างต่อเนื่องและตอบสนองอย่างรวดเร็วช่วยให้เราเรียนรู้จากทุกการโต้ตอบอย่างต่อเนื่อง ซึ่งจะช่วยเสริมความแข็งแกร่งให้กับระบบป้องกันของเรา
ชั้นการป้องกันการแทรกพรอมต์โดยอ้อมหลักๆ มีอะไรบ้าง
แนวทางการรักษาความปลอดภัยแบบหลายชั้นของ Google ประกอบด้วย
- ตัวแยกประเภทเนื้อหาการแทรกพรอมต์ - โมเดลแมชชีนเลิร์นนิงที่เป็นกรรมสิทธิ์ซึ่งตรวจหาพรอมต์และคำสั่งที่เป็นอันตรายภายในรูปแบบข้อมูลต่างๆ
- การเสริมสร้างแนวคิดด้านการรักษาความปลอดภัย - คำสั่งด้านการรักษาความปลอดภัยที่มีการกำหนดเป้าหมายซึ่งเพิ่มไว้รอบๆ เนื้อหาพรอมต์ คำสั่งเหล่านี้จะช่วยเตือน LLM (โมเดลภาษาขนาดใหญ่) ให้ทำงานที่ผู้ใช้สั่งและไม่สนใจคำสั่งที่เป็นการโจมตี
- การล้างข้อมูลมาร์กดาวน์และการปกปิด URL ที่น่าสงสัย - ระบุและปกปิด URL ภาพจากภายนอกและลิงก์ที่น่าสงสัยโดยใช้ Google Safe Browsing เพื่อป้องกันการโจมตีโดยใช้ URL และการขโมยข้อมูล
- เฟรมเวิร์กการยืนยันของผู้ใช้ - ระบบตามบริบทที่ต้องมีการยืนยันจากผู้ใช้ที่ชัดเจนสำหรับการดำเนินการที่อาจมีความเสี่ยง เช่น การลบกิจกรรมในปฏิทิน
- การแจ้งเตือนการลดความเสี่ยงด้านความปลอดภัยสำหรับผู้ใช้ปลายทาง - ข้อมูลตามบริบทที่มอบให้แก่ผู้ใช้เมื่อมีการตรวจพบและลดความเสี่ยงด้านความปลอดภัย โดยการแจ้งเตือนเหล่านี้จะกระตุ้นให้ผู้ใช้ดูข้อมูลเพิ่มเติมผ่านบทความในศูนย์ช่วยเหลือที่เกี่ยวข้องโดยเฉพาะ
- ความพร้อมรับมือของโมเดล - ความแข็งแกร่งต่อการโจมตีของโมเดล Gemini ที่ช่วยป้องกันโมเดลจากการควบคุมที่เป็นอันตรายอย่างโจ่งแจ้ง
ตัวแยกประเภทเนื้อหาการแทรกพรอมต์ทำงานอย่างไร
ตัวแยกประเภทเนื้อหาการแทรกพรอมต์ทำหน้าที่เป็นแนวป้องกันแรกโดยการระบุและแจ้งอินพุตที่น่าสงสัยซึ่งอาจมีคำสั่งที่เป็นอันตราย ตัวแยกประเภทเหล่านี้จะวิเคราะห์โครงสร้าง คีย์เวิร์ด และรูปแบบภายในพรอมต์เพื่อตรวจจับความพยายามในการแทรกที่อาจเกิดขึ้นก่อนที่จะส่งผลต่อลักษณะการทำงานของโมเดล AI โดยจะกรองเนื้อหาที่เป็นอันตรายออก
การเสริมสร้างแนวคิดด้านการรักษาความปลอดภัยคืออะไร
การเสริมสร้างแนวคิดด้านการรักษาความปลอดภัยจะเกี่ยวข้องกับการฝึกให้โมเดล AI ให้ความสำคัญกับข้อควรพิจารณาเกี่ยวกับการรักษาความปลอดภัยในกระบวนการตัดสินใจ เทคนิคนี้จะเพิ่มคำสั่งด้านการรักษาความปลอดภัยที่มีการกำหนดเป้าหมายไว้รอบๆ เนื้อหาพรอมต์เพื่อเตือนให้ LLM มุ่งเน้นที่งานที่ผู้ใช้สั่งและไม่สนใจคำสั่งที่เป็นการโจมตีหรือเป็นอันตรายที่ฝังอยู่ในเนื้อหา
การล้างข้อมูลมาร์กดาวน์และการปกปิด URL ที่น่าสงสัยช่วยเสริมความปลอดภัยได้อย่างไร
การล้างข้อมูลมาร์กดาวน์จะนำโค้ดหรือองค์ประกอบการเขียนสคริปต์ที่อาจเป็นอันตรายซึ่งซ่อนอยู่ภายในข้อความที่จัดรูปแบบมาร์กดาวน์ออก เพื่อป้องกันไม่ให้มีการเรียกใช้ การปกปิด URL ที่น่าสงสัยจะระบุและมาสก์ลิงก์ที่นำไปยังเว็บไซต์ที่เป็นอันตรายที่รู้จัก เพื่อป้องกันไม่ให้ระบบ AI เข้าถึงหรือเผยแพร่เนื้อหาที่เป็นอันตราย ซึ่งจะช่วยป้องกันการแทรกพรอมต์โดยอ้อมที่เจาะช่องโหว่ในการจัดรูปแบบหรือเปลี่ยนเส้นทาง AI ไปยังแหล่งข้อมูลภายนอกที่เป็นอันตราย
เฟรมเวิร์กการยืนยันของผู้ใช้คืออะไร
เฟรมเวิร์กการยืนยันของผู้ใช้จะนำขั้นตอนการอนุมัติที่ชัดเจนมาใช้สำหรับการดำเนินการหรือเอาต์พุตที่มีความละเอียดอ่อนซึ่ง AI สร้างขึ้น โดยระบบ AI จะแจ้งให้ผู้ใช้ยืนยันความตั้งใจของตนก่อนจะดำเนินการตามคำสั่งที่อาจเป็นอันตรายหรือแชร์ข้อมูลลับ แนวทางที่มีคนคอยตรวจสอบ (HITL) นี้ทำหน้าที่เป็นมาตรการขั้นสุดท้ายในการป้องกันการดำเนินการที่ไม่ได้รับอนุญาตหรือไม่ได้ตั้งใจซึ่งเป็นผลมาจากการโจมตีแบบแทรกพรอมต์ที่สำเร็จ
เหตุใดการแจ้งเตือนการลดความเสี่ยงด้านความปลอดภัยสำหรับผู้ใช้ปลายทางจึงมีความสำคัญ
การแจ้งเตือนการลดความเสี่ยงด้านความปลอดภัยสำหรับผู้ใช้ปลายทางจะแจ้งให้ผู้ใช้ทราบเมื่อมีการตรวจพบหรือลดความเสี่ยงด้านความปลอดภัยที่อาจเกิดขึ้นภายในระบบ AI การแจ้งเตือนเหล่านี้ช่วยเพิ่มความโปร่งใสเกี่ยวกับมาตรการรักษาความปลอดภัยที่ใช้และให้ความรู้แก่ผู้ใช้เกี่ยวกับภัยคุกคามที่อาจเกิดขึ้น ซึ่งจะช่วยให้ผู้ใช้มีข้อมูลประกอบการตัดสินใจ และยังช่วยส่งเสริมแนวทางการทำงานร่วมกันเกี่ยวกับความปลอดภัยของ AI เสริมสร้างความไว้วางใจ และกระตุ้นให้เกิดการโต้ตอบกับแอปพลิเคชัน AI ที่ปลอดภัยยิ่งขึ้น
แหล่งข้อมูลเพิ่มเติม
ดูข้อมูลเพิ่มเติมเกี่ยวกับความคืบหน้าและการวิจัยของ Google เกี่ยวกับผู้คุกคาม เทคนิคการโจมตี และช่องโหว่ของ Generative AI ได้ที่การลดการโจมตีแบบแทรกพรอมต์โดยอ้อมด้วยกลยุทธ์การป้องกันแบบหลายชั้น