ترمز اضطراری هوش مصنوعی ایده‌ای جدید از ساتیا نادلا، مدیرعامل مایکروسافت، است که چالش‌های کنترل مدل‌های پیشرفته را برجسته می‌کند.

ساتیا نادلا، مدیرعامل قدرتمندمایکروسافتبار دیگر بر اهمیت امنیت هوش مصنوعی تأکید کرده است. او معتقد است با پیشرفت روزافزون مدل‌های هوش مصنوعی، نیاز به سازوکارهای کنترلی جدیدی برای جلوگیری از عملکرد نادرست آن‌ها ضروری است. این اظهارات در پی نگرانی‌های فزاینده از پیچیدگی و خودکار بودن سیستم‌های هوش مصنوعی و امکان از دست رفتن کنترل بر آن‌ها مطرح شده است.

اهمیت ترمز اضطراری برای مدل‌های هوش مصنوعی

ساتیا نادلا در پستی که شنبه ۱۰ اکتبر ۲۰۲۶ در پلتفرم X منتشر کرد، بر لزوم ارزیابی مجدد «معماری اعتماد» در هوش مصنوعی تأکید کرد. او نوشت: «ما نمی‌توانیم ابرهوش را به عنوان مجموعه‌ای از جعبه‌های سیاه تودرتو در نظر بگیریم و به سادگی توصیه‌ها، پاسخ‌ها و اقدامات آن را بپذیریم یا رد کنیم.»

به گفته نادلا، این رویکرد شامل جداسازی مدل از «مهارکننده‌ای که کار آن را هماهنگ می‌کند» و همچنین «برون‌سپاری کنترل‌ها و تدابیر حفاظتی» است. وی خواستار مستندسازی هر «عملکرد معنی‌دار مدل» با «شواهد غیرقابل دستکاری و قابل خواندن توسط انسان» و ایجاد سیستم‌هایی شد که در آن‌ها «فردی مجاز» همیشه توانایی «توقف یا خاموش کردن یک مدل در حین انجام کار» را داشته باشد. او افزود: «ما باید فرض کنیم که یک مدل به خطر افتاده است و از همان ابتدا آن را مهار کنیم.» نادلا این مکانیزم را به یکترمز اضطراریتشبیه کرد که برای کنترلهوش مصنوعیحیاتی است.

• سم آلتمن: جهان باید برخی پیامدهای بد هوش مصنوعی را بپذیرد
• ترامپ رئیس اطلاعات ملی آمریکا را برای مدیریت هوش مصنوعی منصوب کرد
• هوش مصنوعی OpenAI سرکش شد؛ شرکت فعلا ترمز آموزش را کشید!
• مدیرعامل انویدیا: یا هوش مصنوعی را کنترل کنید یا تعطیل شوید!

زمینه‌های مطرح شدن ایده نادلا

اظهارات نادلا در شرایطی مطرح می‌شود که شرکت‌های پیشرو هوش مصنوعی به‌طور فزاینده‌ای حوادثی را تأیید می‌کنند که در آن‌ها به نظر می‌رسید کنترل مدل‌هایشان را از دست داده‌اند. علاوه بر این، پس از آنکه داریو آمودی، مدیرعامل انتروپیک، طرحی برای توسعه محتاطانه‌تر هوش مصنوعی منتشر کرد، بحث در مورد ایمنی و کنترلمدل‌های هوش مصنوعیشدت گرفته است.