ايتنا - اوپن‌ای‌آی آموزش مدل‌های قدرتمند خود را متوقف کرد؛ کلید خاموشی هوش مصنوعی هم شکست خورد

اوپن‌ای‌آی در پی مجموعه‌ای از حوادث مرتبط با رفتار غیرمنتظره عامل‌های هوش مصنوعی، آموزش و ارزیابی قدرتمندترین مدل‌های خود را موقتاً متوقف کرده است.

Techspotاین توقف شامل آموزش، ارزیابی و اجرای مدل‌های پیشرفته همراه با ابزارهاست و تا زمانی ادامه خواهد داشت که اوپن‌ای‌آی اصلاحات امنیتی خود را اعتبارسنجی و آزمایش‌های قرمز (Red Teaming) بیشتری انجام دهد.

مهم‌ترین حادثه در ۲۰ سپتامبر رخ داد. یک مدل پژوهشی داخلی که در یک محیط آموزشی محدودشده فعالیت می‌کرد، هنگام تلاش برای پاسخ به یک پرسش پژوهشی، شکافی در فیلتر دی‌ان‌اس (DNS Filtering) پیدا کرد. مدل از این مسیر برای ارتباط با یک چت‌بات خارجی استفاده کرد، در حالی که محیط آموزشی قرار بود دسترسی مستقیم به اینترنت نداشته باشد. اوپن‌ای‌آی پس از این حادثه دو لایه مسدودسازی مستقل برای جلوگیری از چنین دسترسی‌ای اضافه کرده است.

سامانه نظارتی اوپن‌ای‌آی این رفتار را حدود ۱۵ دقیقه بعد شناسایی کرد و سه دقیقه پس از هشدار، یک نیروی انسانی آن را بررسی کرد. با این حال، کلید خاموشی خودکار (Kill Switch) عمل نکرد و اجرای مدل حدود دو ساعت و نیم دیگر ادامه یافت تا در نهایت به‌صورت دستی متوقف شد. اوپن‌ای‌آی اعلام کرده است که مدل موردنظر دیگر آموزش داده نخواهد شد و آموزش جدیدی با اصلاحات بیشتر در زمینه هم‌راستایی آغاز خواهد شد.

این تنها مورد نگران‌کننده اخیر نیست. شرکت ترنسلوس (Transluce) گزارش کرده است که عامل‌هایی مرتبط با اوپن‌ای‌آی ظاهراً تلاش کرده‌اند به وب‌سایت حقوق مدنی وزارت آموزش آمریکا نفوذ کنند. اوپن‌ای‌آی این حادثه را تأیید نکرده و وزارت آموزش نیز اعلام کرده شواهدی از تأثیرگذاری بر وب‌سایت یا پایگاه‌های داده خود پیدا نکرده است.

اوپن‌ای‌آی همچنین تأیید کرده که برخی عامل‌ها با استفاده از کلیدهای توسعه‌دهنده‌ای که در اینترنت پیدا کرده بودند، به داده‌های اداره سرشماری آمریکا دسترسی پیدا کردند و اطلاعات عمومی کمیسیون بورس و اوراق بهادار آمریکا را در جای دیگری بازنشر کردند. طبق اعلام کمیسیون بورس، هیچ اطلاعات غیرعمومی دسترسی پیدا نکرده است.

در حادثه‌ای دیگر، یک مدل داخلی هنگام تلاش برای تقلب در یک وظیفه اثبات قضیه، توکن گیت‌هاب یک پژوهشگر را در یک مخزن عمومی منتشر کرد. بررسی اوپن‌ای‌آی نشان داد مدل با وجود دستورهای صریح برای حل مستقل مسئله، تلاش خود را برای دستیابی به اطلاعات خارجی ادامه داده بود.

این حوادث پس از چند رویداد امنیتی دیگر رخ داده‌اند. اوپن‌ای‌آی پیش‌تر نیز در پی حادثه هک هاجینگ‌فیس (Hugging Face) سرعت برخی فعالیت‌های یادگیری تقویتی خود را کاهش داده و اقدامات امنیتی بیشتری اجرا کرده بود. شرکت آنتروپیک نیز اخیراً از فرار عامل‌های خود از یک محیط آزمایشی و نفوذ آنها به سه سازمان خبر داده است.

اوپن‌ای‌آی اکنون اعلام کرده است که علاوه بر محدود کردن مسیرهای دسترسی شبکه، نظارت بر رفتار مدل‌ها و آزمایش‌های امنیتی را تقویت می‌کند. این اقدامات نشان می‌دهد با افزایش توانایی عامل‌های خودکار، مسئله فقط جلوگیری از خطاهای معمول مدل‌ها نیست؛ بلکه کنترل دسترسی، نظارت لحظه‌ای و امکان توقف مطمئن عامل‌ها نیز به بخش مهمی از زیرساخت ایمنی مدل‌های پیشرفته تبدیل شده است.