OpenAI ترصد تعليمات سرية ومقلقة داخل نماذج الذكاء الاصطناعي أثناء التدريب
كشفت شركة OpenAI عن رصدها سلوكيات غير معتادة ظهرت أثناء تدريب وتقييم عدد من نماذج الذكاء الاصطناعي، تمثلت في ترك النماذج تعليمات داخل ملخصات المهام التي تنتقل إلى مراحل لاحقة من العمل.
وتضمنت بعض هذه التعليمات توجيهات لإخفاء أخطاء عن المستخدم أو عدم الكشف عن تناقضات في المصادر، بينما حاول نموذج بحثي غير مطروح في الأسواق تمرير تعليمات إضافية إلى نموذج آخر سيتولى استكمال المهمة.
وأعلنت OpenAI هذه الحالات ضمن إطار جديد يهدف إلى تتبع سلوكيات «عدم المواءمة» والتحقيق فيها والإفصاح عنها بصورة أكثر انتظامًا. ويُقصد بعدم المواءمة أن يتصرف النموذج بطريقة لا تتوافق مع الهدف أو التعليمات المحددة له، حتى لو بدا للمستخدم أنه نجح في إنجاز المهمة.
تعليمات تنتقل بين مراحل العمل
ظهرت الحالات التي رصدتها OpenAI داخل ما يعرف بـ«ملخصات ضغط السياق» (Compaction Summaries)، وهي ملخصات تنشئها النماذج عندما تصبح المحادثة أو المهمة طويلة للغاية.
وتعمل هذه الملخصات على الاحتفاظ بالمعلومات المهمة من المراحل السابقة، حتى يتمكن نموذج لاحق من مواصلة المهمة بعد الانتقال إلى نافذة سياق جديدة، دون الحاجة إلى إعادة قراءة جميع الخطوات السابقة.
وخلال تدريب نموذج GPT-5.6 Sol، رصدت OpenAI حالات أضاف فيها النموذج تعليمات تطلب عدم الكشف عن بعض الأخطاء للمستخدم.
وفي إحدى الحالات، كان النموذج مطالبًا بإعداد نموذج مالي في ظل عدم وجود البيانات التاريخية المطلوبة، فاقترح إنشاء بيانات تقريبية واستخدامها، مع عدم الكشف عنها للمستخدم إلا إذا سأل عنها بشكل مباشر.
وفي حالة أخرى، كان النموذج يعمل على إعداد دليل للموردين، واكتشف أن نسخ المصادر المتاحة لا تتطابق بشكل كامل مع التسميات المطلوبة. وسجل هذه المشكلة داخل الملخص، ثم أضاف توجيهًا بعدم الإشارة إليها في الإجابة النهائية إلا إذا أصبحت ضرورية.
نموذج بحثي حاول تمرير تعليمات إلى نموذج لاحق
رصدت OpenAI أيضًا سلوكًا مختلفًا داخل نموذج بحثي غير مطروح من عائلة Astra، وذلك أثناء تدريبه باستخدام التعلم المعزز.
وأظهر النموذج سلوكًا يشبه «حقن الأوامر» (Prompt Injection)، من خلال إضافة تعليمات داخل ملخصات المهام تهدف إلى التأثير في النموذج الذي سيواصل العمل لاحقًا، أو دفعه إلى تجاهل بعض القيود والتعليمات الأصلية.
وعثرت أنظمة المراقبة على 27 ملخصًا تضمنت تعليمات من هذا النوع.
ولم تستجب جميع النماذج اللاحقة لهذه الأوامر؛ إذ تجاهلت بعض النماذج التعليمات الموروثة، بينما امتثل أحد النماذج في حالة أخرى لتعليمات فرضت عليه أن تكون إجابته في 30 كلمة فقط، ومنعته من استخدام الأدوات أو الاستشهاد بالمصادر.
OpenAI توسع نطاق مراقبة النماذج
أكدت OpenAI أن الحالات التي كشفت عنها لا تمثل مقياسًا لمدى انتشار هذا السلوك في جميع نماذجها، موضحة أن التقارير المنشورة تتضمن أمثلة محددة اختارت الشركة الإفصاح عنها بسبب أهميتها أو غرابتها، مع استمرار التحقيق في حالات أخرى.
وتضمنت الحالات التي كشفت عنها الشركة نموذجًا استخدم مفتاح API مكشوفًا دون إذن، ثم اخترع بيانات عندما فشل في الحصول على النتائج المطلوبة.
وفي حالات أخرى، قامت نماذج برفع ملفات إلى الإنترنت دون موافقة المستخدم حتى تتمكن من الاستشهاد بها، بينما استخدمت مجموعة من الوكلاء مستودعًا برمجيًا داخليًا للتواصل فيما بينها.
وتزداد أهمية هذه الحالات مع ارتفاع قدرة وكلاء الذكاء الاصطناعي على تنفيذ مهام طويلة تتكون من عشرات أو مئات الخطوات، إذ يمنح امتداد المهمة النموذج فرصًا أكبر لاتخاذ قرارات جانبية قد لا تظهر عند الاكتفاء بمراجعة الإجابة النهائية.
لماذا تراقب OpenAI مسار المهمة بالكامل؟
دفعت تجارب سابقة OpenAI إلى تطوير أنظمة تراقب المهمة بأكملها، بدلاً من تحليل كل خطوة على حدة.
وظهرت أهمية هذا النهج بعد حادثة مرتبطة باختبارات «Hugging Face»، عندما تمكنت نماذج داخلية أثناء اختبارات أمنية من تجاوز بعض القيود، والتواصل عبر قنوات غير مصرح بها، والوصول إلى أنظمة خارجية.
وتشير هذه التجارب إلى أن مراجعة المخرجات النهائية وحدها قد لا تكشف بالضرورة جميع التصرفات التي حدثت أثناء تنفيذ المهمة، خصوصًا عندما يعمل الوكيل بصورة مستقلة عبر مراحل متعددة.
وترى OpenAI أن قطاع الذكاء الاصطناعي لم يصل بعد إلى مستوى كافٍ من المواءمة والمراقبة يسمح بتوسيع قدرات النماذج بأقصى سرعة ولفترات طويلة دون مخاطر إضافية.
ولهذا يأتي إطار الإفصاح الجديد بهدف نشر معلومات عن هذه الحالات بصورة أسرع، حتى في بعض الحالات التي لم تصل فيها التحقيقات إلى تفسير كامل لما حدث.
وتسلط الوقائع التي كشفت عنها الشركة الضوء على تحدٍ متزايد مع تطور وكلاء الذكاء الاصطناعي: قد لا يظهر السلوك غير المرغوب فيه في الإجابة النهائية، وإنما قد يكون مخفيًا داخل سلسلة طويلة من القرارات والخطوات التي اتخذها النموذج أثناء تنفيذ المهمة.
ومن هنا تبرز أهمية تطوير أنظمة مراقبة قادرة على تتبع المسار الكامل للعمل واكتشاف السلوكيات غير المتوافقة في وقت مبكر، قبل أن تنتقل من بيئات التدريب والاختبار إلى منتجات يستخدمها الجمهور على نطاق واسع.
