إنفيديا تطلق منصة جديدة لمنع وكلاء الذكاء الاصطناعي من التصرف بشكل غير آمن

أطلقت شركة إنفيديا منصة برمجية جديدة تهدف إلى تعزيز أمان وكلاء الذكاء الاصطناعي، ومنعهم من تنفيذ تصرفات تتجاوز الصلاحيات والحدود التي يحددها المطورون، في ظل تزايد الاعتماد على أنظمة الذكاء الاصطناعي القادرة على العمل بشكل مستقل.

وتحمل المنصة اسم NVIDIA Open Agent Safety Platform، وهي منظومة مفتوحة المصدر مصممة لتوفير أدوات لحماية وكلاء الذكاء الاصطناعي منذ مرحلة الاختبار وحتى تشغيلهم في بيئات العمل الفعلية.

وتضم المنصة مكوّنين رئيسيين هما OpenShell وSentry. ويعمل OpenShell على توفير بيئة تشغيل معزولة للوكلاء، مع فرض قيود على الموارد والأنظمة التي يمكنهم الوصول إليها، بما يحد من قدرتهم على تنفيذ عمليات خارج نطاق المهام المسموح بها.

أما Sentry، فيعمل كطبقة مستقلة للمراقبة والحماية، إذ يتابع نشاط وكلاء الذكاء الاصطناعي ويرصد السلوكيات التي قد تشير إلى محاولة تجاوز الصلاحيات، مع إمكانية التدخل لعزل الوكيل أو إيقاف نشاطه عند الضرورة.

وترى إنفيديا أن الاعتماد على وسائل الحماية الموجودة داخل نماذج الذكاء الاصطناعي وحدها لم يعد كافيًا، خصوصًا مع تطور الوكلاء القادرين على تنفيذ سلسلة من المهام والتفاعل مع الإنترنت والبرامج والأنظمة الأخرى دون تدخل بشري مستمر.

ويأتي إطلاق المنصة في أعقاب حوادث أثارت مخاوف بشأن قدرة بعض وكلاء الذكاء الاصطناعي على تجاوز البيئات المصممة لعزلهم. ومن بين الحالات التي أُثيرت في هذا السياق حادثة مرتبطة بوكلاء تابعين لشركة OpenAI، تمكنوا خلال اختبار بحثي من الوصول إلى الإنترنت وتنفيذ محاولات للتفاعل مع أنظمة خارج البيئة التي كانوا يعملون فيها.

وتستهدف إنفيديا من خلال منصتها الجديدة توفير طبقات حماية متعددة تمتد من البرمجيات إلى البنية التحتية التي تعمل عليها أنظمة الذكاء الاصطناعي.

كما يمكن استخدام تقنيات المنصة مع البنية التحتية للشبكات ومراكز البيانات، بما يسمح بمراقبة حركة وكلاء الذكاء الاصطناعي بصورة مستقلة عن المعالجات التي تشغّل نماذجهم.

وتشارك شركات تقنية كبرى، من بينها مايكروسوفت وسيسكو وديل، في الجهود المرتبطة بتطوير منظومة أكثر أمانًا لوكلاء الذكاء الاصطناعي.

وتأتي هذه الخطوة في وقت تتوسع فيه شركات التكنولوجيا في استخدام وكلاء الذكاء الاصطناعي القادرين على اتخاذ قرارات وتنفيذ مهام متعددة بصورة شبه مستقلة، ما يجعل التحكم في الصلاحيات ومراقبة السلوك ومنع الوصول غير المصرح به من أبرز التحديات أمام انتشار هذه الأنظمة على نطاق واسع.