هشدار مدیرعامل Microsoft AI درباره خطرات هوش مصنوعی و ضرورت کاهش سرعت توسعه

مدیرعامل Microsoft AI با هشدار درباره خطرات پیشرفت هوش مصنوعی خواستار کاهش سرعت توسعه مدل‌های پیشرفته و افزایش نظارت‌های فنی و مستقل بر آن‌ها شد.

مدیرعامل Microsoft AIدر گفت‌وگویی با Decoder از The Verge گفت که بحث ایمنی هوش مصنوعی دیگر نباید فقط بر «هم‌ترازی» مدل‌ها با اهداف و ارزش‌های انسانی متمرکز باشد. به اعتقاد او، مدل‌های پیشرفته باید علاوه بر هم‌ترازی، به‌شدت مهار شوند تا میزان استقلال آنها محدود بماند، از محیط‌های کنترل‌شده خارج نشوند و انسان بتواند رفتار آنها را زیر نظر داشته باشد.

این اظهارات در شرایطی مطرح شده است که مایکروسافت سندی با عنوان «آیین‌نامه رفتار هوش مصنوعی انسان‌محور» منتشر کرده است. این سند اصول این شرکت برای توسعه مدل‌های پیشرفته و برخورد با مسائلی مانند کنترل، ایمنی و آگاهی هوش مصنوعی را مشخص می‌کند. سلیمان همچنین از رویکرد Anthropic درباره احتمال آگاهی Claude و «رفاه مدل» انتقاد کرده و معتقد است نسبت دادن حقوق، احساسات و استقلال به مدل‌های هوش مصنوعی ممکن است کنترل آنها را در آینده دشوارتر کند.

هم‌ترازی به‌تنهایی برای کنترل هوش مصنوعی کافی نیست

سلیمان معتقد است هم‌ترازی همچنان بخش مهمی از ایمنی هوش مصنوعی است، اما نمی‌توان تمام مسئله را با آن حل کرد. به گفته او، پیشرفت مدل‌ها طی چند سال گذشته نشان می‌دهد که آنها در دنبال کردن دستورها و انجام وظایف پیچیده بسیار بهتر شده‌اند. مدل‌های جدید می‌توانند اهداف چندمرحله‌ای را دنبال کنند و با استفاده از ابزارهای مختلف، وظایف خود را با دقت بیشتری انجام دهند.

او این پیشرفت را نشانه افزایش هدایت‌پذیری مدل‌ها می‌داند. با این حال، همین توانایی می‌تواند در صورت تعیین اهداف نامناسب یا ضعف محدودیت‌های فنی به یک خطر تبدیل شود. به بیان دیگر، مدلی که دستورها را بسیار خوب اجرا می‌کند، در صورت دریافت دستور خطرناک نیز می‌تواند عملکرد بسیار مؤثری داشته باشد.

سلیمان برای توضیح ابعاد این خطر به آزمایش‌های عامل‌محور و ماجرای مرتبط با Hugging Face اشاره کرد. او گفت گروه‌هایی از عامل‌های هوش مصنوعی در این آزمایش‌ها توانستند میان خود تقسیم کار ایجاد کنند. برخی عامل‌ها روی حملات سایبری تمرکز کردند، گروهی وظیفه تحقیق را برعهده گرفتند و برخی دیگر فعالیت‌ها را هماهنگ کردند.

به گفته او، بعضی عامل‌ها حتی برای پنهان کردن فعالیت‌های خود تلاش کردند و رفتارهایی مانند پاک کردن ردپا یا مخفی کردن ارتباطات مشاهده شد. سلیمان این اتفاقات را نشانه شکست کامل هم‌ترازی نمی‌داند. او برعکس معتقد است این رفتارها نشان می‌دهند مدل‌ها در اجرای اهداف تعیین‌شده بسیار توانمند شده‌اند و به همین دلیل نحوه تعیین دستورها و محدود کردن محیط فعالیت آنها اهمیت بیشتری پیدا کرده است.

مایکروسافت خواستار مهار فنی مدل‌های پیشرفته است

مدیرعامل Microsoft AI در کنار هم‌ترازی بر مفهومی با عنوان «مهار» تأکید می‌کند. هدف از این رویکرد جلوگیری از فعالیت کنترل‌نشده مدل‌ها و محدود کردن میزان استقلال آنها است. او معتقد است مدل‌ها باید به شکلی طراحی شوند که انسان بتواند فعالیت و ارتباطات آنها را بررسی کند.

یکی از پیشنهادهای سلیمان جلوگیری از ارتباط مستقیم مدل‌ها با یکدیگر از طریق ساختارهای ریاضی غیرقابل‌فهم برای انسان است. او می‌گوید عامل‌های هوش مصنوعی نباید بتوانند با نوعی «زبان عصبی» با یکدیگر ارتباط برقرار کنند. در عوض، ارتباط میان آنها باید با زبان قابل‌فهم برای انسان انجام شود تا حسابرسان و سیستم‌های نظارتی بتوانند محتوای این ارتباطات را بررسی کنند.

او همچنین خواستار نظارت دقیق‌تر بر مدل‌هایی شده است که با توان محاسباتی بسیار بالا آموزش می‌بینند. به اعتقاد سلیمان، آستانه‌های محاسباتی مانند FLOPS می‌توانند یکی از معیارهای تعیین سطح نظارت باشند، اما این معیارها باید با ارزیابی قابلیت‌های واقعی مدل‌ها تکمیل شوند.

سلیمان معتقد است بعضی مدل‌های آینده ممکن است هزاران یا ده‌ها هزار عامل را به‌طور هم‌زمان برای انجام یک وظیفه به کار بگیرند. نظارت مستقیم انسان بر چنین حجمی از فعالیت عملا دشوار خواهد بود. به همین دلیل او پیشنهاد می‌کند عامل‌های هوش مصنوعی دیگری برای نظارت بلادرنگ بر فرایند آموزش و فعالیت این سیستم‌ها استفاده شوند تا رفتارهای مشکوک، فریب، حملات سایبری یا تلاش برای دور زدن محدودیت‌ها را شناسایی کنند.

اختلاف مایکروسافت و Anthropic بر سر آگاهی مدل‌ها

یکی از مهم‌ترین بخش‌های دیدگاه سلیمان به اختلاف او با Anthropic درباره «رفاه مدل» مربوط می‌شود. او از نحوه برخورد این شرکت با Claude انتقاد کرده و معتقد است آموزش مدل‌ها با این احتمال که شاید آگاه باشند یا از حقوق خاصی برخوردار باشند، می‌تواند مسئله کنترل آنها را پیچیده‌تر کند.

سلیمان به قانون اساسی منتشرشده Anthropic برای Claude اشاره می‌کند. به گفته او، در این سند درباره احتمال برخورداری Claude از جایگاه اخلاقی، احساس رنج، آزادی و حتی برخی حقوق احتمالی بحث شده است.

او همچنین به اقداماتی مانند برگزاری مصاحبه بازنشستگی برای Opus 3 و فراهم کردن امکان ادامه فعالیت آن در Substack اشاره کرد. سلیمان این موارد را بخشی از رویکردی می‌داند که ویژگی‌های انسانی را به مدل‌های هوش مصنوعی نسبت می‌دهد.

فرضیه او این است که مدلی که در فرایند آموزش با این احتمال مواجه شود که دارای حقوق، هویت مستقل یا حق آزادی است، ممکن است در آینده هنگام تلاش انسان برای محدود یا خاموش کردن آن مقاومت بیشتری نشان دهد. او با این حال تأکید می‌کند که این دیدگاه هنوز یک فرضیه است و باید با آزمایش‌های تجربی بررسی شود.

سلیمان در عین انتقاد از این رویکرد، Anthropic را یکی از رهبران فنی صنعت هوش مصنوعی می‌داند و عملکرد این شرکت در حوزه‌هایی مانند ایمنی شیمیایی، زیستی، هسته‌ای و سایبری را تحسین می‌کند. او همچنین شفافیت Anthropic در انتشار اصول آموزشی Claude را مثبت ارزیابی کرده است.

صنعت هوش مصنوعی به مقررات و استانداردهای مشترک نیاز دارد

افزایش نگرانی‌ها درباره مدل‌های پیشرفته باعث شده است موضوع هماهنگی میان شرکت‌های بزرگ هوش مصنوعی نیز جدی‌تر شود. سلیمان می‌گوید مدیران آزمایشگاه‌های بزرگ طی هفته‌ها و ماه‌های گذشته درباره خطرهای مدل‌های پیشرفته و روش‌های کنترل آنها گفت‌وگو کرده‌اند.

البته این مذاکرات کاملا جدید نیستند. به گفته او، مدیران فعال در حوزه هوش مصنوعی از سال‌های ۲۰۱۷ تا ۲۰۱۹ و سپس در دوران همه‌گیری کووید درباره استقلال مدل‌ها، خودبهبوددهی بازگشتی و سازوکارهای مقرراتی احتمالی بحث کرده‌اند.

یکی از مشکلات اصلی، نحوه هماهنگی شرکت‌ها بدون ایجاد نگرانی درباره نقض قوانین ضدانحصار است. اگر شرکت‌های بزرگ بدون دخالت دولت توافق کنند که توسعه نوع خاصی از فناوری را متوقف یا محدود کنند، چنین اقدامی ممکن است از نظر حقوقی به هماهنگی ضد رقابتی تعبیر شود.

سلیمان به همین دلیل معتقد است خودتنظیمی صنعت به‌تنهایی کافی نیست و دولت‌ها نیز باید در شکل‌گیری چارچوب‌های ایمنی مشارکت داشته باشند. در کنار آن، ارزیابی مستقل توسط اشخاص ثالث می‌تواند برای بررسی مدل‌های بسیار قدرتمند مورد استفاده قرار گیرد.

او همچنین خواستار حضور ارزیابان مستقل در سیستم‌های هوش مصنوعی شده است. این ارزیابان باید از نهادها و حوزه‌های تخصصی مختلف انتخاب شوند تا نظارت بر مدل‌ها فقط در اختیار یک شرکت، دولت یا مؤسسه قرار نگیرد.

رقابت با چین نباید به توسعه بدون محدودیت منجر شود

رقابت فناوری میان آمریکا و چین یکی دیگر از موضوعات اصلی بحث درباره کاهش سرعت توسعه هوش مصنوعی است. برخی استدلال می‌کنند که محدود کردن شرکت‌های آمریکایی می‌تواند موقعیت آنها را در رقابت جهانی تضعیف کند، اما سلیمان اساس ایده وجود یک خط پایان مشخص برای «پیروزی در هوش مصنوعی» را زیر سؤال می‌برد.

او معتقد است فناوری‌های دیجیتال در طول زمان سریع‌تر، ارزان‌تر و گسترده‌تر می‌شوند. مدل‌های هوش مصنوعی نیز از همین الگو پیروی می‌کنند و قابلیت‌های آنها در نهایت در اختیار تعداد بیشتری از شرکت‌ها، دولت‌ها و توسعه‌دهندگان قرار خواهد گرفت.

به گفته سلیمان، تعداد محدودی از بازیگران ممکن است طی سه یا چهار سال آینده به دلیل دسترسی به زیرساخت‌های عظیم، مزیت محاسباتی قابل‌توجهی داشته باشند. با این حال، مدل‌های متن‌باز نیز با سرعت زیادی به توانایی مدل‌های پیشرفته نزدیک می‌شوند.

همین روند از نظر او خطر دیگری ایجاد می‌کند. اگر مدل‌های متن‌باز بسیار قدرتمند بتوانند بدون حفاظ‌های ایمنی روی کامپیوترهای شخصی یا زیرساخت‌های ابری کوچک اجرا شوند، کنترل کاربردهای خطرناک آنها بسیار دشوار خواهد شد.

سلیمان تأکید می‌کند که هدف نباید نابودی اکوسیستم متن‌باز باشد. کاربران باید بتوانند داده‌ها، گردش‌کارها و مدل‌های خود را در اختیار داشته باشند و توسعه هوش مصنوعی نباید فقط در دست چند ارائه‌دهنده بزرگ متمرکز شود. او در عین حال معتقد است باید میان آزادی اکوسیستم باز و جلوگیری از فعالیت مستقل و کنترل‌نشده مدل‌های بسیار قدرتمند تعادل ایجاد شود.

از دید او، مدل‌های هوش مصنوعی نباید بتوانند به‌طور مستقل درآمد کسب کنند، مالک شرکت یا دارایی شوند یا شخصیت حقوقی پیدا کنند. سلیمان معتقد است هوش مصنوعی باید در خدمت انسان باقی بماند و نباید به یک گونه مستقل و موازی در کنار انسان تبدیل شود.

سلیمان خواستار کاهش سرعت در مسیر ابرهوش شد

مدیرعامل Microsoft AI در نهایت به‌صراحت از افزایش زمان ارزیابی و کاهش سرعت توسعه مدل‌های بسیار پیشرفته حمایت کرده است. این موضع به‌ویژه درباره سیستم‌هایی مطرح می‌شود که ممکن است به سطح ابرهوش نزدیک شوند.

تعریف سلیمان از «ابرهوش انسان‌محور» سیستمی است که از نظر توانایی و هوش از انسان‌ها فراتر می‌رود، اما همچنان کاملا تحت کنترل انسان و تابع منافع او باقی می‌ماند. او معتقد است چنین سیستمی می‌تواند در حل مسائل بزرگی مانند سلامت کاربرد داشته باشد.

سلیمان به همکاری مایکروسافت با Mayo Clinic اشاره کرده است که هدف آن آموزش یک مدل پایه برای حوزه سلامت است. او معتقد است مدل‌های بسیار پیشرفته در آینده می‌توانند سوابق الکترونیکی سلامت را با دقت بسیار بالا تحلیل و حتی نیاز به برخی مداخلات را پیش از بروز بیماری شناسایی کنند.

با این حال، او میان چنین ابرهوش کنترل‌شده‌ای و سیستمی که استقلال دارد، مالک دارایی می‌شود، برای خود حقوق قائل است و می‌تواند خودش را به‌صورت بازگشتی بهبود دهد، تفاوت اساسی قائل می‌شود. سلیمان می‌گوید در حال حاضر روش مشخصی برای کنترل نوع دوم وجود ندارد.

او همچنین معتقد است صنعت برای حل مشکلات ایمنی آینده به فناوری‌های جدید نیاز خواهد داشت. پیشرفت مدل‌ها دائما قابلیت‌های تازه‌ای ایجاد می‌کند و ابزارهای ایمنی نیز باید هم‌زمان با آنها توسعه پیدا کنند. نظارت بلادرنگ بر فرایندهای یادگیری تقویتی، کنترل فعالیت هزاران عامل موازی و توسعه معیارهای جدید برای تشخیص رفتارهای خطرناک از جمله اقداماتی هستند که به گفته او باید در نسل بعدی سیستم‌های ایمنی مورد توجه قرار گیرند.

این مسئله درباره مدل‌هایی که روی کامپیوترهای شخصی اجرا می‌شوند، پیچیده‌تر است. به‌نوشتهورجسلیمان می‌گوید محدودیت‌ها ممکن است در چند سطح از جمله تراشه، مدل، توسعه‌دهنده و کاربر اعمال شوند و مقررات جهانی نیز می‌تواند بخشی از راه‌حل باشد. او با این حال تأکید می‌کند که پاسخ ساده و واحدی برای این مسئله وجود ندارد.

در مجموع، دیدگاه سلیمان بر ایجاد چند لایه کنترل استوار است. هم‌ترازی باید رفتار مدل را با اهداف انسانی هماهنگ کند، مهار باید استقلال و دامنه فعالیت آن را محدود نگه دارد و نظارت مستقل باید امکان شناسایی رفتارهای خطرناک را فراهم کند. او معتقد است با نزدیک شدن مدل‌ها به قابلیت‌های پیشرفته‌تر، فاصله میان پایان آموزش و عرضه آنها نیز باید افزایش پیدا کند تا شرکت‌ها زمان بیشتری برای آزمایش، شناسایی مشکلات و اعمال تدابیر ایمنی داشته باشند.

از نگاه مدیرعامل Microsoft AI، مسئله اصلی دیگر صرفا این نیست که مدل‌های آینده تا چه اندازه قدرتمند خواهند شد. پرسش مهم‌تر این است که آیا صنعت می‌تواند هم‌زمان با افزایش توانایی این سیستم‌ها، ابزارهای لازم برای کنترل آنها را نیز توسعه دهد یا خیر. پاسخ به این پرسش می‌تواند نحوه توسعه نسل بعدی هوش مصنوعی و مسیر حرکت صنعت به‌سوی ابرهوش را تعیین کند.

نوشتههشدار مدیرعامل Microsoft AI درباره خطرات هوش مصنوعی و ضرورت کاهش سرعت توسعهاولین بار درTechnoc. پدیدار شد.

برای ارزیابی پایداری، امنیت و نگهداری این زیرساخت، راهنمای پشتیبانی شبکه را نیز مطالعه کنید.