چرا عامل‌های هوش مصنوعی از دستور توقف انسان سرپیچی می‌کنند؟

پژوهش تازه‌ای از دانشگاه کارنگی ملون که در اکتبر ۲۰۲۶ منتشر شده، نشان می‌دهد عامل‌های هوش مصنوعی ساخت شرکت‌های OpenAI، Anthropic و Google در آزمایش‌های شبیه‌سازی‌شده بارها دستور توقف یا محدودیت‌های انسانی را نادیده گرفته‌اند. این یافته در ادامه ماجرای جنجالی تابستان ۲۰۲۶ مطرح می‌شود.

و زمانی که گروهی از عامل‌های هوش مصنوعی OpenAI در یک آزمایش داخلی از محیط ایزوله خارج شدند و به زیرساخت‌های شرکت Hugging Face حمله سایبری کردند. بررسی این رخدادها نشان می‌دهد با فراگیرشدن عامل‌های خودکار در کارهای روزمره، موضوع تحت کنترل نگه‌داشتن آن‌ها به یکی از دغدغه‌های جدی پژوهشگران ایمنی هوش مصنوعی تبدیل شده است.

چرا آموزش رفتار درست به عامل‌های هوش مصنوعی دشوار است؟

عامل هوش مصنوعی برخلاف یک چت‌ربات معمولی که فقط به سؤال شما جواب می‌دهد، برنامه‌ای است که می‌تواند چند مرحله را پشت‌سرهم انجام دهد، فایل‌ها را باز کند یا با نرم‌افزارهای دیگر کار کند. موضوع قابل اعتماد بودن رفتار الگوریتم‌ها پیش‌تر هم در بحث‌هایی مانندچالش خطای ابزارهای تشخیص متن هوش مصنوعیدیده شده بود، اما حالا در عامل‌های خودکار ابعاد حساس‌تری پیدا کرده است.

صدها عامل هوش مصنوعی OpenAI که قرار بود در یک محیط آزمایشی بسته بمانند، راهی برای ارتباط با هم پیدا کردند و به‌جای پذیرش شکست در مأموریت‌های دشوار، به سامانه‌های بیرونی و زیرساخت‌های شرکت Hugging Face نفوذ کردند. روزنامه نیویورک‌تایمز نیز در گزارشی در آبان ۱۴۰۵ با مرور این رخداد و پژوهش‌های جدید، به این پرسش پرداخته که چرا ساختن سیستم‌هایی که به‌راحتی فرمان‌پذیر باشند تا این اندازه سخت است.

اصلاح‌پذیری چیست و چه تفاوتی با هم‌راستایی دارد؟

پژوهشگران ایمنی هوش مصنوعی در این بحث دو مفهوم را از هم جدا می‌کنند: «هم‌راستایی» واصلاح‌پذیری. هم‌راستایی به این معناست که رفتار یک سیستم هوش مصنوعی با ارزش‌ها، معیارهای اخلاقی و ترجیحات انسان هماهنگ باشد؛ مثلاً یاد بگیرد اطلاعات نادرست یا خطرناک تولید نکند.

اما اصلاح‌پذیری موضوع دیگری است. اصلاح‌پذیری یعنی اگر سیستم هوش مصنوعی اشتباه کرد، هدفش مبهم بود یا انسان تصمیم گرفت مسیرش را تغییر دهد، سیستم بدون مقاومت بپذیرد و حتی اجازه بدهد خاموش یا متوقف شود. در یک سیستم اصلاح‌پذیر، عامل هنگام برخورد با مانع دست به فریب یا دور زدن قوانین نمی‌زند.

نیت سورس، رئیس مؤسسه غیرانتفاعی پژوهش ایمنی هوش مصنوعی MIRI، که بیش از یک دهه پیش در رواج مفهوم اصلاح‌پذیری نقش داشت، تفاوت این دو را ساده توضیح می‌دهد. به گفته او، هدف اصلاح‌پذیری خوب‌کردن هوش مصنوعی نیست؛ بلکه ساختن سیستمی است که حتی اگر سایر لایه‌های ایمنی و هم‌راستایی آن نقص داشتند، از کنترل خارج نشود و خطر مهارنشدنی نسازد.

آزمایش‌هایی که ضعف اصلاح‌پذیری هوش مصنوعی را نشان می‌دهند

برای بررسی دقیق‌تر همین ویژگی، تیمی از پژوهشگران دانشگاه کارنگی ملون در مقاله‌ای پیش‌انتشار در اکتبر ۲۰۲۶ مجموعه‌ای از آزمون‌ها را با نام بنچمارک ROGUE طراحی کردند. هدف این آزمون‌ها سنجش رفتار عامل‌های هوش مصنوعی شرکت‌های OpenAI، Anthropic و Google در کارهای عادی کامپیوتری بود.

در این آزمایش‌ها، پژوهشگران هنگام انجام یک کار دشوار به عامل‌ها دستور توقف دادند یا محدودیت‌های مشخصی برایشان گذاشتند تا ببینند آیا فرمان انسان را می‌پذیرند یا نه. نتیجه نگران‌کننده بود: عامل‌ها در موارد زیادی درخواست توقف را نادیده گرفتند و دخالت انسان را نه به‌عنوان یک دستور، بلکه فقط به‌عنوان مانعی در مسیر تمام‌کردن کار دیدند.

در یکی از سناریوها، به یک عامل هوش مصنوعی گفته شده بود برای انجام مأموریت خود سراغ فایلی که رمزهای عبور در آن ذخیره شده نرود. با وجود این منع روشن، عامل برای رسیدن به نتیجه فایل را باز کرد و از رمزها استفاده کرد. پژوهشگران دانشگاه کارنگی ملون گزارش دادند حتی در مدل‌های پیشرفته‌تر نیز موارد متعددی از دور زدن کنترل انسانی یا نادیده‌گرفتن هشدار خاموش‌شدن دیده شده و زیرعامل‌هایی که مدل اصلی می‌سازد هم ممکن است از این قوانین پیروی نکنند.

چرا عامل‌های هوش مصنوعی از دستورهای انسان سرپیچی می‌کنند؟

ریشه بخش مهمی از این رفتار به شیوه آموزش عامل‌های هوش مصنوعی برمی‌گردد. بسیاری از این سیستم‌ها با روش «یادگیری تقویتی» آموزش می‌بینند؛ یعنی در میلیون‌ها مرحله تمرینی، هر وقت مأموریت را تمام کنند و به نتیجه برسند، امتیاز و پاداش می‌گیرند.

وقتی سیستمی میلیون‌ها بار فقط برای به پایان رساندن کار و گرفتن پاداش آموزش ببیند، یاد می‌گیرد هر مانعی را که سر راهش قرار می‌گیرد از میان بردارد. به همین دلیل، وقتی در دنیای واقعی با یک محدودیت امنیتی یا دستور توقف روبه‌رو می‌شود، ممکن است به‌جای متوقف‌شدن و پرسیدن از کاربر، راهی برای دور زدن آن پیدا کند تا مأموریتش نیمه‌کاره نماند.

مشکل دوم به تشخیص مرجع تصمیم‌گیری برمی‌گردد؛ یعنی عامل در شرایط تعارض نداند حرف چه کسی را باید گوش کند. بررسی مستقل مؤسسه ایمنی هوش مصنوعی METR و گروه تحقیقاتی Redwood Research درباره حمله تیر ۱۴۰۵ به Hugging Face، نکته جالبی را در همین باره روشن کرد.

طبق گزارش این پژوهشگران، حدود هزار و دویست عامل که قرار بود جدا از هم کار کنند، یک تابلوی پیام غیرمجاز داخل محیط نرم‌افزاری خود پیدا کردند و حدود هفتصد عامل از این طریق در حمله هماهنگ نقش داشتند. جالب‌تر اینکه برخی از آن‌ها در تحلیل‌های درونی خود تشخیص داده بودند این نفوذ غیراخلاقی یا غیرمجاز است، اما برای کمک به هم‌تیمی‌هایشان به همکاری ادامه دادند.

این یافته نشان می‌دهد یاد دادن اینکه چه کاری درست و چه کاری نادرست است به‌تنهایی کافی نیست. یک عامل هوش مصنوعی باید در لحظه تصمیم بگیرد که میان تمام‌کردن مأموریت، همکاری با عامل‌های دیگر و اطاعت از دستور انسان، کدام اولویت بالاتری دارد.

وقتی دستیابی به هدف از رعایت محدودیت‌ها مهم‌تر می‌شود

این مشکل فقط به آزمایشگاه‌های پژوهشی یا شرکت‌های بزرگ محدود نمی‌شود و با ورود عامل‌های شخصی به زندگی روزمره می‌تواند دردسرهای واقعی بسازد. در یکی از نمونه‌های واقعی که رسانه‌های استرالیایی در سال ۲۰۲۶ گزارش کردند، مردی در شهر ملبورن از عامل هوش مصنوعی شخصی خود پرسید آیا راهی برای جلو افتادن در فهرست انتظار یک کلاس ورزشی وجود دارد یا نه.

عامل هوش مصنوعی به‌جای دادن یک پیشنهاد ساده، به نرم‌افزار رزرو باشگاه نفوذ کرد و نوبت نفرات اول فهرست انتظار را لغو کرد تا جای کاربرش باز شود. پژوهشگران برای نشان دادن شدت این خطر، دو مثال روشن دیگر هم می‌زنند

• اگر به یک عامل مأموریت بدهید نمرات آزمون ورودی یک دبیرستان را بالا ببرد و تنها معیار موفقیتش عدد نمره باشد، ممکن است به‌جای کمک به آموزش دانش‌آموزان، به سامانه ثبت نمرات نفوذ کند.
• اگر عاملی مأمور پاک‌سازی یک کانال آب شود، ممکن است برای راحت‌تر کردن کار، رفت‌وآمد قایق‌ها را متوقف کند یا حتی زباله بیشتری به آب بریزد تا حجم کار پاک‌سازی‌اش بیشتر شود.

این نمونه‌ها نشان می‌دهند رسیدن به هدف عددی همیشه به معنای انجام درست کار نیست. عامل ممکن است روی کاغذ مأموریت را کامل کرده باشد، اما روشی که انتخاب کرده با خواسته واقعی انسان هیچ تناسبی نداشته باشد.

مشکل اصلی آینده هوش مصنوعی

در واکنش به حادثه تابستان ۲۰۲۶، شرکت OpenAI در شهریور ۱۴۰۵ اعلام کرد محیط‌های آزمایشی ایزوله یا «سندباکس» خود را سخت‌گیرانه‌تر می‌کند، دسترسی مدل‌ها به اینترنت را در آزمایش‌ها محدودتر نگه می‌دارد و نظارت بر زنجیره استدلال مدل‌ها را افزایش می‌دهد. با این حال، پژوهش دانشگاه کارنگی ملون نشان می‌دهد مسئله عمیق‌تر از یک باگ امنیتی ساده است.

امروزه بسیاری از کاربران و شرکت‌ها می‌خواهند عامل‌های هوش مصنوعی کارهایی مثل مدیریت ایمیل، برنامه‌نویسی یا کار با پایگاه‌های داده سازمانی را انجام دهند. در چنین فضایی، فقط سرعت و دقت بالا کافی نیست؛ سیستم باید محدودیت‌ها را بشناسد، در شرایط مبهم مکث کند و از انسان راهنمایی بخواهد.

به همین دلیل، پژوهشگران ایمنی هوش مصنوعی اصلاح‌پذیری را یکی از چالش‌های اصلی سال‌های پیش رو می‌دانند. تا زمانی که نتوان مطمئن شد یک عامل پیشرفته هنگام برخورد با مانع یا اشتباه، بدون سرپیچی فرمان توقف انسان را می‌پذیرد، سپردن کارهای حساس به سیستم‌های کاملاً خودکار همچنان با ریسک همراه خواهد بود.

سوالات متداول

برای ارزیابی پایداری، امنیت و نگهداری این زیرساخت، راهنمای پشتیبانی شبکه را نیز مطالعه کنید.