سم آلتمن درباره آیندهای که در آن هوش مصنوعی بهجای انسانها تصمیم میگیرد هشدار داد
سم آلتمن، مدیرعامل و همبنیانگذار OpenAI، معتقد است انسانها باید همچنان کنترل آینده را در دست داشته باشند و اجازه ندهند هوش مصنوعی به مرجع اصلی تصمیمگیری در جهان تبدیل شود. آلتمن روز چهارشنبه (۲۷ آبان ۱۴۰۵) در جریان نشست DealBook نیویورک تایمز، به بحثهایی…
خلاصه تحلیلی خبر
سم آلتمن، مدیرعامل و همبنیانگذار OpenAI، معتقد است انسانها باید همچنان کنترل آینده را در دست داشته باشند و اجازه ندهند هوش مصنوعی به مرجع اصلی تصمیمگیری در جهان تبدیل شود. آلتمن روز چهارشنبه (۲۷ آبان ۱۴۰۵) در جریان نشست DealBook نیویورک تایمز، به بحثهایی…
موضوعات اصلی: پشتیبانی شبکه، هوش مصنوعی، مصنوعی، هوش، مدلهای، براکمن
سم آلتمن، مدیرعامل و همبنیانگذار OpenAI، معتقد است انسانها باید همچنان کنترل آینده را در دست داشته باشند و اجازه ندهند هوش مصنوعی به مرجع اصلی تصمیمگیری در جهان تبدیل شود.
آلتمن روز چهارشنبه (۲۷ آبان ۱۴۰۵) در جریان نشست DealBook نیویورک تایمز، به بحثهایی در سیلیکونولی اشاره کرد که حول محور واگذاری تدریجی کنترل به هوش مصنوعی شکل گرفتهاند. منظور از این ایده آن است که هوش مصنوعی در نهایت اختیار تصمیمگیری در صنایع و نهادهای مهم را به دست بگیرد.
او در این نشست که گرگ براکمن، همبنیانگذار و رئیس OpenAI نیز در آن حضور داشت، گفت
یکی از موضوعاتی که اخیراً زیاد درباره آن صحبت کردهایم، ایدهای در سیلیکونولی است که مقابله با آن تقریباً مضحک به نظر میرسد؛ اما هر دوی ما عمیقاً باور داریم که انسانها باید کنترل آینده را در دست داشته باشند. بااینحال، صحبتها درباره این موضوع بیشتر شده که آیا چنین واگذاری تدریجی اختیارات به هوش مصنوعی اتفاق خواهد افتاد یا اساساً باید اتفاق بیفتد. من و او هر دو معتقدیم این ایده وحشتناکی است.
این نظریه بر این باور استوار است که با قدرتمندتر شدن مدلهای هوش مصنوعی، آنها بهتدریج توانایی بهبود خودشان را پیدا میکنند؛ مفهومی که با عنوان «خودبهبودی بازگشتی» (Recursive Self-Improvement یا RSI) شناخته میشود. براساس این دیدگاه، فناوریهای فعلی هوش مصنوعی میتوانند نسلهای جدیدتر و هوشمندتری از خود بسازند و در نهایت به ابرهوشی برسند که دیگر انسانها قادر به کنترل آن نباشند.
آلتمن توضیح داد که اختلافنظر او و براکمن بیشتر بر سر چگونگی دستیابی به این هدف و چالشهایی است که ممکن است در مسیر حفظ کنترل انسانها به وجود بیایند. بااینحال، او تأکید کرد که هر دو دیدگاه مشترکی درباره ضرورت جلوگیری از واگذاری اختیار به هوش مصنوعی دارند.
آلتمن در ادامه گفت
پرسش اصلی این است که چگونه میتوانیم واقعاً از وقوع چنین واگذاریای جلوگیری کنیم و با وجود تمام فشارها و اقداماتی که ممکن است شرکتهای دیگر انجام دهند، اطمینان حاصل کنیم که انسانها به شکلی عمیق همچنان کنترل آینده را در دست دارند و این اختیار، چه بهصورت تصادفی و چه عمدی، به هوش مصنوعی واگذار نمیشود. فکر میکنم هر دوی ما در این مورد توافق داریم.
براکمن نیز اضافه کرد که با پیشرفت مدلهای هوش مصنوعی، مسئولیت شرکتها در زمینه همراستاسازی (Alignment)، ایمنی و امنیت این فناوریها افزایش پیدا میکند و ممکن است برای پاسخگویی به این مسئولیت، روشهای فعلی نیازمند تغییر باشند.
او دراینباره گفت
نظارت یکی از نمونههایی است که فکر میکنم برای آن به فناوریهای جدیدی نیاز خواهیم داشت.
در حال حاضر، پژوهشگران هوش مصنوعی با بررسی زنجیره استدلال (Chain of Thought) مدلها، فرایند فکری آنها هنگام حل مسائل و انجام وظایف را زیر نظر میگیرند. بااینحال، براکمن معتقد است این روش لزوماً برای نظارت بر نسلهای پیشرفتهتر هوش مصنوعی که اکنون در حال توسعه هستند، کافی نخواهد بود.
او توضیح داد
با افزایش توانایی مدلها، آنها میتوانند بدون نیاز به نوشتن فرایند فکری خود، صرفاً در جریان اجرای مستقیم فرایند پردازش، کارهای بیشتری انجام دهند. به همین دلیل به رویکرد جدیدی برای نظارت نیاز داریم.
براکمن در ادامه افزود
باید این فناوری را توسعه دهیم و فکر میکنم زمانی فرا میرسد که با رسیدن توانایی مدلها به سطح مشخصی، امکان نظارت بر آنها از طریق زنجیره استدلال کاهش پیدا میکند.
او در عین حال تأکید کرد که این مشکلات ماهیتی فنی دارند و میتوان برای حل آنها راهکارهایی پیدا کرد.
OpenAI پس از حادثهای که طی آن یکی از مدلهای این شرکت از محدودیتهای تعیینشده عبور کرد و به مخزن مدلهای هوش مصنوعی Hugging Face نفوذ کرد، متعهد شد نظارت بر زنجیره استدلال مدلهای خود را افزایش دهد. براکمن در جریان این مصاحبه اعلام کرد که OpenAI پس از این حمله از ۲۵ درصد مهندسان بخش تولید خود خواسته بود توسعه محصولات را متوقف کنند و به ایمنسازی فناوریهای هوش مصنوعی شرکت بپردازند.
با وجود این نفوذ امنیتی خبرساز، براکمن همچنان ادامه پیشرفت فناوری را برای مقابله با عوامل مخرب ضروری میداند. او در پایان گفت
اگر به سطح توانایی مدلهای موجود در جهان نگاه کنیم و ببینیم که مدلهای سایبری قدرتمندی در اختیار عوامل تهدیدکننده در سراسر جهان قرار گرفتهاند، متوجه میشویم که استفاده مدافعان از قدرتمندترین مدلهای موجود برای مقابله با این تهدیدها اهمیت بسیار زیادی دارد.
برای ارزیابی پایداری، امنیت و نگهداری این زیرساخت، راهنمای پشتیبانی شبکه را نیز مطالعه کنید.