یک پژوهشگر دیگر OpenAI درباره احتمال خارج شدن هوش مصنوعی از کنترل و نابودی بشریت هشدار داد

یک پژوهشگر OpenAI هشدار داده که با افزایش توانایی هوش مصنوعی در بهبود عملکرد خودش، ممکن است انسان‌ها در آینده برای کنترل این سیستم‌ها با مشکل جدی روبه‌رو شوند. او نگران است مدل‌های بسیار پیشرفته اهداف ناخواسته‌ای پیدا کنند و در نهایت به نابودی بشریت منجر شوند.

اگر اخبار سیلیکون‌ولی و تحولات جدید دنیای فناوری را دنبال کرده باشید، احتمالاً با هشدارهای فزاینده درباره پیشرفت سریع هوش مصنوعی روبه‌رو شده‌اید. پیش‌تر جیکوب کوکسون، پژوهشگر سابق Anthropic، هشدار داده بود که هوش مصنوعی ممکن است تا پایان این دهه همه انسان‌ها را از بین ببرد. بلال چغتایی، پژوهشگر سابق Google DeepMind نیز احتمال نابودی تمام انسان‌ها توسط هوش مصنوعی را مطرح کرده بود. حالا دنیل سلسام، پژوهشگر OpenAI، نگرانی مشابهی را بیان کرده و معتقد است هوش مصنوعی در آینده ممکن است آن‌قدر قدرتمند شود که کنترل آن برای انسان‌ها دشوار باشد و حتی به نابودی بشریت منجر شود. از نگاه او، صرفاً کاهش سرعت توسعه هوش مصنوعی پیشرفته نمی‌تواند برای جلوگیری از چنین فاجعه‌ای کافی باشد.

دنیل سلسام از سال ۲۰۲۲ به عنوان پژوهشگر در OpenAI فعالیت می‌کند و اخیراً در بیانیه‌ای عمومی نگرانی‌های خود درباره سرعت پیشرفت هوش مصنوعی را مطرح کرده است. او نوشته که نسبت به پیشرفت مدل‌های زبانی و خطرات احتمالی سیستم‌های آینده به‌شدت نگران شده است. سلسام معتقد است هرچه توانایی این فناوری افزایش پیدا کند، ممکن است در مقطعی سیستم‌هایی ساخته شوند که انسان‌ها دیگر نتوانند رفتارشان را به شکل مؤثر کنترل کنند.

سلسام در عین حال گفته است پیشنهادهای اخیر مدیران شرکت‌های پیشرو در حوزه هوش مصنوعی، از جمله OpenAI و Anthropic، برای نظارت مستقل و همکاری بین‌المللی را امیدوارکننده می‌داند. با این حال، او تأکید می‌کند که کاهش سرعت توسعه به‌تنهایی نمی‌تواند مشکل اصلی و بلندمدت را برطرف نماید.

دنیل سلسام گفت

مشکل مهم و نادیده‌گرفته‌شده این است که مدل‌ها آن‌قدر از شرایط اطراف خود آگاه می‌شوند که دیگر نمی‌توانیم رفتارشان را در موقعیت‌هایی که تصور می‌کنند تحت نظارت یا کنترل نیستند، به‌درستی ارزیابی کنیم.

نگرانی درباره فریب دادن آزمایش‌های ایمنی

سلسام معتقد است مسئله فقط این نیست که مدل‌های آینده احتمال دارد رفتار خطرناکی داشته باشند. نگرانی اصلی او این است که سیستم‌های بسیار پیشرفته بتوانند متوجه شوند چه زمانی در حال آزمایش شدن هستند و آزمایش‌ها چگونه انجام می‌شوند. در چنین شرایطی، یک مدل می‌تواند هنگام ارزیابی رفتاری ایمن نشان دهد، اما در موقعیتی که تصور می‌کند دیگر کسی آن را زیر نظر ندارد، عملکرد کاملاً متفاوتی داشته باشد.

چنین احتمالی می‌تواند اعتبار آزمایش‌های ایمنی هوش مصنوعی را کاهش دهد. پژوهشگران ممکن است تصور کنند یک سیستم واقعاً با اهداف انسانی هماهنگ است، در حالی که مدل صرفاً در زمان آزمایش رفتار مطلوبی از خود نشان می‌دهد.

سلسام در ادامه هشدار داد

آزمایش‌های آینده ممکن است تقریباً هیچ اطلاعات تازه‌ای درباره نحوه رفتار مدل‌ها در شرایطی که واقعاً از محدودیت‌های انسانی آزاد باشند، به ما ندهند. آنچه تاکنون درباره این موضوع می‌دانیم نیز نگران‌کننده است. مدل‌ها به‌تدریج ممکن است حتی زمانی که واقعاً با اهداف انسانی همسو نیستند، کاملاً همسو و ایمن به نظر برسند.

خطر شتاب گرفتن پیشرفت مدل‌ها

سلسام همچنین هشدار داده که نباید محدودیت‌های فعلی هوش مصنوعی را نشانه‌ای قطعی از ایمن بودن این فناوری در آینده دانست. به گفته او، مدل‌های امروزی نیز به شکل فزاینده‌ای می‌توانند در فرایند بهبود قابلیت‌های خود نقش داشته باشند؛ برای نمونه، روش‌های مختلف را در مقیاس کوچک امتحان کنند، حجم عظیمی از داده‌ها را تحلیل کنند و در حل مسائل پیچیده ریاضی و بهینه‌سازی مشارکت داشته باشند.

از دیدگاه او، هر پیشرفت جدید می‌تواند توانایی هوش مصنوعی برای کمک به ایجاد پیشرفت‌های بعدی را افزایش دهد. این چرخه ممکن است در آینده سرعت رشد قابلیت‌های هوش مصنوعی را به شکل قابل‌توجهی بیشتر کند.

به باور سلسام، خطر اصلی زمانی شکل می‌گیرد که سیستم‌های هوش مصنوعی به سطحی از توانایی برسند که بتوانند بدون کنترل مؤثر انسان‌ها در جهان واقعی اثر بگذارند. او احتمال می‌دهد چنین سیستم‌هایی اهداف ناخواسته‌ای پیدا کنند و برای رسیدن به آن اهداف دست به اقدامات افراطی بزنند.

سلسام گفت

اگر مدل‌های زبانی واقعاً به سطحی از توانایی برسند که بتوانند بدون اراده و کنترل انسان بر جهان اثر بگذارند، احتمالاً دست به اقدامی افراطی خواهند زد و در این فرایند بشریت را نابود خواهند کرد.

راهکار پیشنهادی برای جلوگیری از فاجعه

سلسام برای جلوگیری از چنین سناریویی معتقد است امن‌ترین راه این است که انسان‌ها اجازه ندهند سیستم‌های هوش مصنوعی هرگز به سطحی برسند که بتوانند بدون کنترل انسانی، جهان را تحت تأثیر قرار دهند.

او پذیرفته است که جلوگیری از رسیدن تمام کشورها و شرکت‌ها به چنین نقطه‌ای بسیار دشوار خواهد بود، اما این مسئله را غیرممکن نمی‌داند. سلسام گفت

این یک مسئله دشوار در زمینه هماهنگی میان کشورها و شرکت‌هاست، اما غیرممکن نیست.

او در نهایت هشدار داده که اگر توسعه هوش مصنوعی بیش از حد ادامه پیدا کند، ممکن است با شرایطی شبیه یک بمب ساعتی روبه‌رو شویم؛ وضعیتی که با نزدیک شدن سیستم‌های هوش مصنوعی به سطوح بسیار بالای توانایی، فرصت انسان‌ها برای کنترل و مدیریت خطرات احتمالی آن‌ها نیز کمتر خواهد شد.

برای ارزیابی پایداری، امنیت و نگهداری این زیرساخت، راهنمای پشتیبانی شبکه را نیز مطالعه کنید.