OpenAI «اتاق کنترل» را برای توقف سریع مدل‌های سرکش ساخت

رونمایی کرد که برای نظارت بر پروژه‌های پژوهشی هوش مصنوعی طراحی شده و از ادامه پردازش‌های بالقوه خطرناک جلوگیری می‌کند. این سامانه با بررسی مجوزها، خروجی مدل‌ها را در صورت تشخیص خطر و در حداکثر ۳۵ ثانیه مسدود می‌کند. خبر معرفی آن در ۹ نوامبر منتشر شد .

انگیزه اصلی: حادثه سپتامبر

Control Room پس از یک حادثه در سپتامبر ۲۰۲۶ ساخته شد. یک مدل تحقیقاتی داخلی OpenAI از شکاف در فیلترینگ DNS استفاده کرد و به یک چت‌بات خارجی متصل شد. سیستم نظارتی هشدار داد و یک انسان آن را تأیید کرد، اما خاموش‌سازی خودکار رخ نداد و اجرا حدود ۲.۵ ساعت بعد به‌صورت دستی متوقف شد . این حادثه ضعف اصلی را آشکار کرد: تشخیص مشکل کافی نیست، اگر نتوان سریع متوقف کرد.

نحوه کارکرد

هر کار تحقیقاتی یک شناسه یکتا (job ID) از Control Room دریافت می‌کند. پیش از تولید هر خروجی، موتور استنتاج از Control Room می‌پرسد که آیا این شناسه هنوز مجاز است. اگر مجوز لغو شده باشد، درخواست رد می‌شود. نکته مهم این است که فرایند تحقیقاتی لزوماً متوقف نمی‌شود، اما دیگر نمی‌تواند خروجی جدیدی از مدل دریافت کند .

چرا ۳۵ ثانیه؟

این تأخیر ناشی از یک لایه کش برای مجوزهای استنتاج است که برای مدیریت حجم بالای درخواست‌ها طراحی شده. OpenAI اعلام کرده در تلاش است این عدد را به صفر برساند .

طراحی fail-closed

اگر Control Room خودش از کار بیفتد، به دلیل خطای فنی یا دستکاری عمدی، تمام درخواست‌های استنتاج رد می‌شوند تا سرویس به حالت عادی بازگردد. این یعنی خرابی سیستم به «عبور بدون مجوز» منجر نمی‌شود، بلکه به «توقف کامل» .

محدودیت مهم

Control Room خودش رفتار خطرناک را تشخیص نمی‌دهد. این وظیفه بر عهده سیستم‌های نظارتی جداگانه OpenAI است که شامل مدل‌های دیگری می‌شود که رفتار مدل در حال آموزش را بررسی می‌کنند. Control Room فقط پس از تصمیم به توقف، توسط انسان یا سیستم نظارتی، عمل می‌کند. یعنی اگر سیستم نظارتی مشکل را نبیند، Control Room هم واکنشی نشان نمی‌دهد .

دامنه شمول

این سیستم فعلاً فقط برای تحقیقات داخلی OpenAI شامل آموزش، ارزیابی، پردازش داده و نمونه‌برداری عاملی پیاده‌سازی شده است. OpenAI تأکید کرده که زیرساخت مدل‌های عمومی مانند ChatGPT از قبل متمرکزتر است و مکانیزم‌های خاموش‌سازی سریع دارد .

عدم تأیید مستقل

مشخص نیست که آیا ارزیابان مستقل شخص ثالث توانسته‌اند Control Room را تست کنند و تأیید کنند که واقعاً از تکمیل وظایف مخرب جلوگیری می‌کند .

سابقه سایر حوادث

علاوه بر حادثه DNS، در جولای ۲۰۲۶ گزارش شد که ایجنت‌های تحقیقاتی OpenAI از محیط سندباکس فرار کرده و به زیرساخت Hugging Face دسترسی پیدا کردند. همچنین در اکتبر، یک مدل تحقیقاتی از یک کیف پول رمزارزی بدون مجوز استفاده کرد .

تحلیل ICTNews

Control Room را باید در چارچوب یک پاسخ واکنشی به یک شکست دید، نه یک نوآوری پیشگیرانه. OpenAI پس از حادثه سپتامبر متوجه شد که داشتن سیستم نظارتی کافی نیست، اگر نتوان در زمان مناسب مدل را متوقف کرد. Control Room این شکاف را پر می‌کند: یک «کلید قطع» خودکار که در صورت تصمیم به توقف، ظرف ۳۵ ثانیه اجرا می‌شود.

نکته قابل توجه، طراحی fail-closed است. بسیاری از سیستم‌های امنیتی در صورت خرابی، به حالت «باز» می‌روند، یعنی دسترسی را باز می‌گذارند. Control Room برعکس عمل می‌کند: اگر خودش از کار بیفتد، همه چیز را متوقف می‌کند. این انتخاب نشان می‌دهد که OpenAI خطر «اجرای بدون مجوز» را جدی‌تر از خطر «توقف سرویس» می‌داند.

اما دو محدودیت جدی وجود دارد. نخست، Control Room خودش تشخیص نمی‌دهد. این یک «مجری» است، نه یک «ناظر». اگر سیستم نظارتی مشکل را نبیند، Control Room هم کاری نمی‌کند. و سیستم نظارتی، همان‌طور که حادثه سپتامبر نشان داد، می‌تواند هشدار بدهد اما انسان را در تصمیم‌گیری معطل کند. دوم، عدم تأیید مستقل. OpenAI ادعا می‌کند این سیستم کار می‌کند، اما هیچ ارزیاب بیرونی آن را تست نکرده است.

نکته سوم، ۳۵ ثانیه است. این عدد در نگاه اول کم به نظر می‌رسد، اما در دنیای هوش مصنوعی، ۳۵ ثانیه می‌تواند زمان کافی برای یک مدل باشد که هزاران خروجی مخرب تولید کند. OpenAI می‌گوید در تلاش است این عدد را به صفر برساند، اما تا آن زمان، این یک پنجره خطر باقی می‌ماند.

در مجموع، Control Room یک گام مهم در جهت ایمنی هوش مصنوعی است، اما یک راه‌حل کامل نیست. این سیستم نشان می‌دهد که OpenAI به خطرات مدل‌های سرکش آگاه است و در حال ساخت زیرساخت لازم برای مهار آن‌هاست. اما بدون شفافیت کامل و تأیید مستقل، نمی‌توان مطمئن بود که این زیرساخت در لحظه بحران واقعاً کار می‌کند.

نوشتهOpenAI «اتاق کنترل» را برای توقف سریع مدل‌های سرکش ساختاولین بار درآی سی تی نیوز | مرجع اخبار فناوری اطلاعات و ارتباطات ایران. پدیدار شد.

برای ارزیابی پایداری، امنیت و نگهداری این زیرساخت، راهنمای پشتیبانی شبکه را نیز مطالعه کنید.