ابتكار جديد: GPT-Red يقود ثورة في أمان الذكاء الاصطناعي
في خطوة رائدة نحو تعزيز أمن نماذجها اللغوية، أعلنت منصة OpenAI عن تطوير نظامها الجديد GPT-Red. يُعد هذا النظام، القائم على الذكاء الاصطناعي، بمثابة ثورة في مجال اختبار الأمان، حيث صُمم خصيصًا للكشف عن الثغرات الأمنية في نماذج GPT قبل إطلاقها، مع التركيز بشكل خاص على مقاومة هجمات الحقن الفوري.
أكدت الشركة أن نظام GPT-Red قد استُخدم بالفعل في تدريب نموذج GPT-5.6، مما أسهم في تقليل الأخطاء بشكل ملحوظ في أصعب اختبارات مقاومة هجمات الحقن الفوري. ويأتي هذا النظام ليكمل جهود فرق الأمن البشري، والاختبارات من أطراف ثالثة، وغيرها من إجراءات السلامة المتبعة في مجال الذكاء الاصطناعي.
ما هو نظام GPT-Red وكيف يعمل؟
يستمد نظام GPT-Red اسمه من ممارسات فرق الهجوم (Red Teaming) في الأمن السيبراني، والتي تهدف إلى محاولة اختراق الأنظمة عمدًا لتحديد نقاط الضعف قبل أن يستغلها المهاجمون. ووفقًا لمنصة OpenAI، ساعدت هذه الأداة في جعل نموذج GPT-5.6 أكثر مقاومة لهجمات الحقن الفوري قبل نشره.
تُؤمن منصة OpenAI بأن نمو قدرات النماذج يجب أن يواكبه تصاعد في إجراءات السلامة والمواءمة. وتُشير إلى أن أساليب فرق الهجوم التقليدية تواجه صعوبة في التوسع، مما يخلق عنق زجاجة حرجًا. يأتي GPT-Red كحل مبتكر لمعالجة هذه المشكلة.
آلية التعلم المعزز باللعب التنافسي
يعتمد نظام GPT-Red في تدريبه على التعلم المعزز باللعب التنافسي الذاتي. يقوم النظام بتوليد هجمات حقن فوري متزايدة القوة، بينما تتعلم النماذج المدافعة كيفية مقاومتها. وقد جرى دمج هذه الهجمات في عملية تدريب GPT-5.6، مما أظهر فعالية فائقة.
- نسبة نجاح عالية: أعلنت منصة OpenAI أن GPT-Red حقق نجاحًا في 84% من سيناريوهات التقييم الداخلية، مقارنة بـ 13% فقط لفرق الهجوم البشرية في نفس الاختبارات.
- تحسين مستمر: يهدف GPT-Red باستمرار إلى اكتشاف إخفاقات أوسع وأكثر تعقيدًا، حيث يُستخدم كل هجوم ناجح يجده النظام لتحسين النماذج المدافعة.
في دراسة حالة واحدة، نجح النظام في التلاعب بوكيل آلة بيع ذاتية لتخفيض الأسعار، وطلب مخزون بأسعار مخفضة، وإلغاء طلب عميل آخر، وذلك قبل أن تُكشف الثغرات وتُعالج.
جهود OpenAI المتواصلة وأفق المستقبل
يأتي إطلاق GPT-Red تتويجًا لسنوات من جهود الأمن السيبراني التي بذلتها منصة OpenAI منذ الإطلاق العلني لـ ChatGPT. ففي عام 2023، أطلقت الشركة شبكة فرق الهجوم الخاصة بـ OpenAI، مستقطبة باحثين خارجيين وخبراء في الأمن السيبراني للبحث عن العيوب الأمنية في ChatGPT والنماذج الأخرى قبل إصدارها. يوسع GPT-Red هذا الجهد عن طريق أتمتة جزء كبير من العملية، باستخدام نموذج ذكاء اصطناعي لتوليد هجمات الحقن الفوري واختبارات معادية أخرى على نطاق يصعب على الباحثين البشر تحقيقه بمفردهم.
يعكس إعلان منصة OpenAI تحولًا أوسع نحو استخدام الذكاء الاصطناعي لتأمين الذكاء الاصطناعي نفسه. في وقت سابق من هذا الشهر، أعلنت مؤسسة Ethereum أنها نشرت وكلاء ذكاء اصطناعي لاختبار البنية التحتية الحيوية لشبكتها، مما كشف عن ثغرة أمنية في برنامج تستخدمه عملاء إجماع Ethereum. يرى الباحثون أن وكلاء الذكاء الاصطناعي يمكنهم البحث في قواعد بيانات برمجية أكبر من البشر، ولكن التحدي انتقل من مجرد العثور على الأخطاء المحتملة إلى إثبات أي منها قابل للاستغلال.
وتؤكد منصة OpenAI أن نظام GPT-Red سيبقى أداة داخلية لأنه يحتوي على قدرات هجومية طُورت عمدًا. وتُعبر الشركة عن اعتقادها بأن GPT-Red قد بدأ في فتح دورة تحسين مماثلة للأمان، حيث يمكن استخدام نماذج اليوم لجعل نماذج الغد أكثر قوة ومواءمة وجدارة بالثقة.