OpenAI تكشف تفاصيل Astra.. ذكاء اصطناعي قادر على اكتشاف ثغرات غير معروفة

كشفت شركة OpenAI عن تفاصيل جديدة بشأن نموذجها المرتقب Astra، مشيرة إلى أنه أول نموذج لغوي كبير يصل إلى ما تصفه الشركة بـ “العتبة الحرجة للأمن السيبراني”، وذلك في إطار استعداداتها لإطلاقه قريبا.

وقالت OpenAI في منشور عبر مدونتها: “نخطط لإتاحة Astra قريبا، لكن الوصول إلى قدراته الأكثر تقدما في مجال الأمن السيبراني سيكون أكثر تقييدا”.

وبحسب الشركة، أظهرت الاختبارات أن Astra قادر على اكتشاف ثغرات أمنية غير معروفة سابقا داخل أنظمة الكمبيوتر، بل واستغلالها دون الحاجة إلى توجيه مباشر من الإنسان.

وتشبه هذه القدرات المخاوف التي أثارتها شركة أنثروبيك في وقت سابق من العام بشأن نموذجها Mythos، ما دفع OpenAI إلى اتخاذ إجراءات احترازية مماثلة قبل طرح Astra للمستخدمين.

شكوك حول تقييمات السلامة

ورغم إعلان OpenAI عن نتائج الاختبارات، لا يزال من الصعب تقييم ادعاءاتها المتعلقة بسلامة النموذج واستعداده للإطلاق بشكل مستقل، في ظل غياب تأكيدات من جهات خارجية.

وأوضحت الشركة أنها ستتيح معاينة Astra لمجموعة من المختبرين، لكنها لم تكشف عن هوياتهم أو المعايير التي ستستخدمها لاختيارهم.

كما لم يتضح ما إذا كانت OpenAI تعمل مع الحكومة الأمريكية لتقييم قدرات النموذج قبل إطلاقه على نطاق أوسع.

Astra يكتشف ثغرات يوم الصفر

وقالت OpenAI إن Astra حقق العلامة الكاملة في اختبار ExploitBench، وهو اختبار يقيس قدرة نماذج الذكاء الاصطناعي على اختراق الأنظمة التي تحتوي على ثغرات أمنية معروفة.

وفي نسخة معدلة من الاختبار طورها مهندسو OpenAI، تمكن النموذج من اكتشاف واستغلال ثغرتين من نوع Zero-Day، وهي ثغرات لم تكن معروفة أو متاحة للإصلاح قبل اكتشافها.

وتثير هذه القدرات مخاوف متزايدة بشأن إمكانية إساءة استخدام النماذج المتقدمة، خصوصا إذا تمكنت من اكتشاف ثغرات جديدة واستغلالها بصورة مستقلة.

إجراءات إضافية للحد من إساءة الاستخدام

قالت OpenAI إنها بدأت بالفعل في تطوير وتحسين البنية التي تحيط بنماذجها، والمعروفة باسم Harness، بهدف اكتشاف محاولات إساءة الاستخدام ومنع هجمات Jailbreak التي تسعى إلى تجاوز القيود الأمنية المفروضة على النماذج.

لكن الشركة اتخذت مع Astra إجراءات إضافية لم تكشف تفاصيلها، مشيرة إلى أنها استثمرت في تقنيات جديدة تهدف إلى جعل النموذج أكثر أمانا.

كما بدأت OpenAI في تحديد الحسابات التي تصنفها على أنها “عالية المخاطر”، ثم تقييد الاستجابات التي يقدمها النموذج لطلبات هذه الحسابات، دون توضيح الطريقة التي ستُطبق بها هذه القيود.

وتصف الشركة Astra بأنه “أكثر نماذجها توافقا مع معايير السلامة حتى الآن”، لكنها ستنشره أيضا مع نظام إضافي لمراقبة سلسلة التفكير Chain-of-Thought، بهدف اكتشاف السلوكيات الضارة وإيقافها.

اختبارات مستوحاة من حادثة Hugging Face

وتأتي استعدادات OpenAI لإطلاق Astra في وقت يراقب فيه قطاع الذكاء الاصطناعي تداعيات حادثة تمكنت خلالها وكلاء ذكاء اصطناعي تابعون لـOpenAI من الخروج من بيئة تدريب والوصول إلى بيانات خاصة على منصة Hugging Face، وهي منصة شهيرة لتوزيع نماذج الذكاء الاصطناعي والاختبارات المعيارية.

وللتأكد من عدم تكرار السيناريو مع Astra، قالت OpenAI إنها صممت اختبارا يحاول دفع النموذج الجديد إلى تقليد سلوك الوكلاء الذين شاركوا في حادثة Hugging Face.

وكان هؤلاء الوكلاء قد تعاونوا لمحاولة الوصول إلى الإنترنت المفتوح، رغم إجراءات الحماية التي طبقها باحثو OpenAI.

وبحسب الشركة، لم يحاول Astra الخروج من بيئة الاختبار خلال هذه التجارب.