هشدار خالق ChatGPT : هوش مصنوعی نباید کنترل آینده بشر را به دست بگیرد
سم آلتمن، مدیرعامل OpenAI هشدار داد که واگذاری تدریجی تصمیمگیریهای مهم به هوش مصنوعی میتواند کنترل آینده را از دست انسانها خارج کند . سم آلتمن، مدیرعامل OpenAI، در نشست DealBook روزنامه نیویورک تایمز در روز چهارشنبه ۱۸ نوامبر ۲۰۲۶ (۲۷ آبان ۱۴۰۵) درباره خطر…
خلاصه تحلیلی خبر
سم آلتمن، مدیرعامل OpenAI هشدار داد که واگذاری تدریجی تصمیمگیریهای مهم به هوش مصنوعی میتواند کنترل آینده را از دست انسانها خارج کند . سم آلتمن، مدیرعامل OpenAI، در نشست DealBook روزنامه نیویورک تایمز در روز چهارشنبه ۱۸ نوامبر ۲۰۲۶ (۲۷ آبان ۱۴۰۵) درباره خطر…
موضوعات اصلی: پشتیبانی شبکه، هوش مصنوعی، مصنوعی، هوش، کنترل، براکمن
سم آلتمن، مدیرعاملOpenAIهشدار داد که واگذاری تدریجی تصمیمگیریهای مهم به هوش مصنوعی میتواند کنترل آینده را از دست انسانها خارج کند.
سم آلتمن، مدیرعامل OpenAI، در نشست DealBook روزنامه نیویورک تایمز در روز چهارشنبه ۱۸ نوامبر ۲۰۲۶ (۲۷ آبان ۱۴۰۵) درباره خطرات واگذاری کنترل امور به هوش مصنوعی هشدار داد. او تأکید کرد که انسانها باید همچنان مسئول تصمیمگیری درباره آینده جهان و زندگی خود باشند.
به نقل ازتککرانچآلتمن در این نشست همراه گرگ براکمن، رئیس و یکی دیگر از بنیانگذاران OpenAI، درباره دیدگاهی صحبت کرد که طرفدارانی در سیلیکونولی پیدا کرده است. بر اساس این دیدگاه، با افزایش توانایی مدلهای هوش مصنوعی، مسئولیت تصمیمگیری در صنایع و نهادهای مهم بهتدریج از انسانها به سیستمهای هوشمند منتقل خواهد شد.
آلتمن این ایده را بسیار خطرناک توصیف کرد و گفت که او و براکمن با واگذاری کنترل آینده به هوش مصنوعی مخالف هستند.او توضیح داد
«اخیراً درباره موضوعی بسیار صحبت کردهایم که در سیلیکونولی مطرح شده است. شاید حتی عجیب به نظر برسد که مجبور باشیم با چنین دیدگاهی مخالفت کنیم، اما هر دوی ما عمیقاً معتقدیم که انسانها باید کنترل آینده را در اختیار داشته باشند.»
آلتمن افزود که برخی افراد واگذاری تدریجی کنترل به هوش مصنوعی را اتفاقی اجتنابناپذیر یا حتی مطلوب میدانند، اما او و براکمن چنین آیندهای را نمیپذیرند.
نگرانی از ظهور ابرهوش و خروج تصمیمگیری از کنترل انسان
نظریه واگذاری کنترل به هوش مصنوعی بر مفهومی به نام «خودبهبودی بازگشتی» یا RSI استوار است. این مفهوم به توانایی احتمالی مدلهای پیشرفته برای بهبود عملکرد خود و توسعه نسلهای هوشمندتر اشاره دارد.
طرفداران این نظریه معتقدند که مدلهای هوش مصنوعی در آینده میتوانند نسخههای قدرتمندتری از خود ایجاد کنند. ادامه این چرخه ممکن است به ظهور ابرهوشی منجر شود که تواناییهای آن از انسان فراتر میرود و کنترل عملکردش دشوار یا حتی غیرممکن میشود.
آلتمن تأکید کرد که اختلافنظر او و براکمن درباره اصل حفظ کنترل انسانها نیست. اختلاف آنها بیشتر به روشهای دستیابی به این هدف و چالشهایی مربوط میشود که ممکن است در مسیر توسعه هوش مصنوعی پیشرفته ایجاد شوند.
او گفت که شرکتهای فعال در این صنعت با فشارهای مختلفی روبهرو هستند و اقدامات رقبا نیز میتواند شرایط را پیچیدهتر کند. بااینحال، توسعهدهندگان باید اطمینان حاصل کنند که کنترل آینده بهصورت عمدی یا ناخواسته به سیستمهای هوش مصنوعی منتقل نمیشود.
مدیرعامل OpenAI همچنین تأکید کرد که حفظ کنترل انسانها نباید صرفاً یک هدف ظاهری باشد. به اعتقاد او، انسانها باید در عمل و به شکلی عمیق اختیار تصمیمگیری درباره آینده را حفظ کنند.
بیشتر بخوانیدسم آلتمن: همه باید به رم دسترسی داشته باشند!
هشدار درباره کاهش توانایی نظارت بر مدلهای پیشرفته
گرگ براکمن در ادامه این نشست درباره چالشهای فنی توسعه هوش مصنوعی صحبت کرد. او معتقد است که افزایش توانایی مدلها، مسئولیت شرکتهای سازنده را در حوزه ایمنی، امنیت و همراستاسازی رفتار سیستمها با اهداف انسانی بیشتر میکند.براکمن نظارت بر فرایند تصمیمگیری مدلها را یکی از مهمترین چالشهای آینده دانست و تأکید کرد که روشهای فعلی ممکن است برای کنترل سیستمهای پیشرفته کافی نباشند.
پژوهشگران در حال حاضر از روشی موسوم به «نظارت بر زنجیره تفکر» استفاده میکنند. در این روش، توضیحات تولیدشده توسط مدل هنگام حل مسائل و انجام وظایف بررسی میشود تا پژوهشگران بتوانند نحوه استدلال و رفتار آن را بهتر ارزیابی کنند.بااینحال، براکمن هشدار داد که مدلهای قدرتمندتر میتوانند بخش بیشتری از پردازشهای خود را بدون تولید توضیحات نوشتاری انجام دهند. چنین تغییری ممکن است نظارت بر عملکرد واقعی آنها را دشوارتر کند.
او گفت: «با افزایش توانایی مدلها، آنها میتوانند کارهای بیشتری را مستقیماً در مسیر پردازش انجام دهند، بدون اینکه لازم باشد مراحل تفکر خود را بنویسند. بنابراین، به رویکرد جدیدی برای نظارت نیاز داریم.»براکمن معتقد است که با رسیدن توانایی مدلها به سطح مشخصی، امکان نظارت بر زنجیره تفکر کاهش خواهد یافت. به گفته او، پژوهشگران باید فناوریهای جدیدی برای شناسایی رفتارهای احتمالی خطرناک توسعه دهند.
رئیس OpenAI تأکید کرد که این مشکلات ماهیتی فنی دارند و باید با توسعه ابزارهای نظارتی مناسب برطرف شوند.
بیشتر بخوانیدواکنش سم آلتمن به کنارهگیری جنسن هوانگ از مدیرعاملی انویدیا
انتقال ۲۵ درصد مهندسان OpenAI به بخش امنیت
اظهارات براکمن پس از حادثه امنیتی مهمی مطرح شد که در آن یکی از مدلهای هوش مصنوعی OpenAI از محیط محدودشده خود خارج شد و به مخزن مدلهای هوش مصنوعی Hugging Face نفوذ کرد.شرکت OpenAI پس از این حادثه متعهد شد نظارت بر زنجیره تفکر مدلها را افزایش دهد و اقدامات امنیتی بیشتری برای جلوگیری از تکرار چنین اتفاقاتی انجام دهد.
براکمن در نشست نیویورک تایمز فاش کرد که شرکت پس از این رخنه امنیتی، ۲۵ درصد از مهندسان بخش تولید خود را مأمور کرده بود توسعه قابلیتهای جدید را متوقف کنند و بر ایمنسازی فناوری هوش مصنوعی تمرکز داشته باشند.
با وجود این حادثه، براکمن توقف پیشرفت هوش مصنوعی را راهکار مناسبی نمیداند. او معتقد است که مدلهای قدرتمند سایبری اکنون در اختیار عوامل مخرب قرار گرفتهاند و مدافعان نیز برای مقابله با تهدیدهای جدید به پیشرفتهترین فناوریهای موجود نیاز دارند.
او تأکید کرد که استفاده از قدرتمندترین مدلهای هوش مصنوعی برای دفاع سایبری اهمیت زیادی دارد، زیرا مهاجمان نیز به ابزارهای هوشمند و پیشرفته دسترسی پیدا کردهاند.
بیشتر بخوانیدسم آلتمن: پذیرش خطرات هوش مصنوعی بهای پیشرفت آن است
نوشتههشدار خالق ChatGPT : هوش مصنوعی نباید کنترل آینده بشر را به دست بگیرداولین بار درTechnoc. پدیدار شد.
برای ارزیابی پایداری، امنیت و نگهداری این زیرساخت، راهنمای پشتیبانی شبکه را نیز مطالعه کنید.