ايتنا - نادلا: فرض کنید هوش مصنوعی شما هک شده؛ حالا یک ترمز اضطراری نیاز دارید
ساتیا نادلا، رئیس هیئت مدیره و مدیرعامل مایکروسافت، روز شنبه از ضرورت طراحی سامانه‌های هوش مصنوعی پیشرفته به‌گونه‌ای سخن گفت که دارای مکانیسم‌های مهار، نظارت مستقل و یک «ترمز اضطراری» باشند؛ سازوکاری که به افراد مجاز اجازه می‌دهد در میانه انجام یک وظیفه، مدل ر…
خلاصه تحلیلی خبر
ساتیا نادلا، رئیس هیئت مدیره و مدیرعامل مایکروسافت، روز شنبه از ضرورت طراحی سامانه‌های هوش مصنوعی پیشرفته به‌گونه‌ای سخن گفت که دارای مکانیسم‌های مهار، نظارت مستقل و یک «ترمز اضطراری» باشند؛ سازوکاری که به افراد مجاز اجازه می‌دهد در میانه انجام یک وظیفه، مدل ر…
موضوعات اصلی: پشتیبانی شبکه، هوش مصنوعی، هوش، مصنوعی، مدل، نادلا
ساتیا نادلا، رئیس هیئت مدیره و مدیرعامل مایکروسافت، روز شنبه از ضرورت طراحی سامانه‌های هوش مصنوعی پیشرفته به‌گونه‌ای سخن گفت که دارای مکانیسم‌های مهار، نظارت مستقل و یک «ترمز اضطراری» باشند؛ سازوکاری که به افراد مجاز اجازه می‌دهد در میانه انجام یک وظیفه، مدل را متوقف یا خاموش کنند.
نادلا این دیدگاه را در قالب یادداشتی مفصل در شبکه اجتماعی ایکس منتشر کرد. او در این یادداشت نوشت زمان آن رسیده که صنعت هوش مصنوعی «معماری اعتماد» خود را از نو ارزیابی کند و دیگر نباید با سامانه‌های هوش مصنوعی پیشرفته مانند مجموعه‌ای از جعبه‌سیاه‌های تودرتو برخورد کرد که صرفاً توصیه‌ها، پاسخ‌ها و اقدامات آن‌ها پذیرفته یا رد می‌شود.
به نوشته نادلا، باید همواره فرض بر این باشد که یک مدل هوش مصنوعی ممکن است دچار نفوذ یا اختلال شده باشد و از همان ابتدا باید آن را مهار کرد. او این رویکرد را به ترمز اضطراری تشبیه کرد و تأکید کرد هرچه مدل‌ها پیشرفته‌تر شوند، به فناوری‌های مهار پیچیده‌تر و استانداردشده‌تری نیاز خواهد بود.
بر اساس این گزارش، نادلا پیشنهاد داد لایه هماهنگ‌کننده باید از خود مدل جدا نگه داشته شود و کنترل دسترسی‌ها و اقدامات مدل در بیرون از آن انجام گیرد. او همچنین خواستار ثبت تمام اقدامات مهم مدل در قالب گزارش‌هایی غیرقابل‌دستکاری و قابل‌فهم برای انسان شد.
به گفته مدیرعامل مایکروسافت، قابل‌اعتمادترین سامانه‌های ابرهوشمند آینده، آنهایی نخواهند بود که بیشترین اعتماد به خودِ مدل دارند، بلکه سامانه‌هایی هستند که کمترین وابستگی را به اعتماد به مدل دارند. او طراحی بر مبنای اصول «قابلیت رصد» (observability) را یکی از ارکان این رویکرد دانست.
این اظهارات نادلا در حالی مطرح می‌شود که شماری از مدیران و پژوهشگران برجسته حوزه فناوری، از جمله بیل گیتس (بنیان‌گذار مایکروسافت)، داریو آمودی (مدیرعامل آنتروپیک)، سم آلتمن (مدیرعامل اوپن‌ای‌آی) و ایلان ماسک (مدیرعامل اسپیس‌ایکس)، بارها نسبت به کافی‌نبودن پروتکل‌های ایمنی هوش مصنوعی و سرعت بیش‌ازحد پیشرفت این فناوری هشدار داده‌اند.
در همین راستا، دونالد ترامپ، رئیس‌جمهور آمریکا، پیش‌تر با کندشدن روند توسعه هوش مصنوعی در این کشور مخالفت کرده بود، هرچند دولت او هم‌زمان یک کارگروه ویژه با محوریت ایمنی هوش مصنوعی را راه‌اندازی کرده است.
نادلا در بخشی از یادداشت خود تأکید کرد که نهادهای به‌کارگیرنده هوش مصنوعی‌های پیشرفته نباید صرفاً به تضمین‌های ارائه‌شده از سوی سازندگان مدل‌ها بسنده کنند و باید خود مسئولیت ایجاد لایه‌های مهار و نظارت را برعهده بگیرند.
نادلا این دیدگاه را در قالب یادداشتی مفصل در شبکه اجتماعی ایکس منتشر کرد. او در این یادداشت نوشت زمان آن رسیده که صنعت هوش مصنوعی «معماری اعتماد» خود را از نو ارزیابی کند و دیگر نباید با سامانه‌های هوش مصنوعی پیشرفته مانند مجموعه‌ای از جعبه‌سیاه‌های تودرتو برخورد کرد که صرفاً توصیه‌ها، پاسخ‌ها و اقدامات آن‌ها پذیرفته یا رد می‌شود.
به نوشته نادلا، باید همواره فرض بر این باشد که یک مدل هوش مصنوعی ممکن است دچار نفوذ یا اختلال شده باشد و از همان ابتدا باید آن را مهار کرد. او این رویکرد را به ترمز اضطراری تشبیه کرد و تأکید کرد هرچه مدل‌ها پیشرفته‌تر شوند، به فناوری‌های مهار پیچیده‌تر و استانداردشده‌تری نیاز خواهد بود.
معماری مبتنی بر عدم‌اطمینان به مدل
بر اساس این گزارش، نادلا پیشنهاد داد لایه هماهنگ‌کننده باید از خود مدل جدا نگه داشته شود و کنترل دسترسی‌ها و اقدامات مدل در بیرون از آن انجام گیرد. او همچنین خواستار ثبت تمام اقدامات مهم مدل در قالب گزارش‌هایی غیرقابل‌دستکاری و قابل‌فهم برای انسان شد.
به گفته مدیرعامل مایکروسافت، قابل‌اعتمادترین سامانه‌های ابرهوشمند آینده، آنهایی نخواهند بود که بیشترین اعتماد به خودِ مدل دارند، بلکه سامانه‌هایی هستند که کمترین وابستگی را به اعتماد به مدل دارند. او طراحی بر مبنای اصول «قابلیت رصد» (observability) را یکی از ارکان این رویکرد دانست.
زمینه گسترده‌تر نگرانی‌ها درباره ایمنی هوش مصنوعی
این اظهارات نادلا در حالی مطرح می‌شود که شماری از مدیران و پژوهشگران برجسته حوزه فناوری، از جمله بیل گیتس (بنیان‌گذار مایکروسافت)، داریو آمودی (مدیرعامل آنتروپیک)، سم آلتمن (مدیرعامل اوپن‌ای‌آی) و ایلان ماسک (مدیرعامل اسپیس‌ایکس)، بارها نسبت به کافی‌نبودن پروتکل‌های ایمنی هوش مصنوعی و سرعت بیش‌ازحد پیشرفت این فناوری هشدار داده‌اند.
در همین راستا، دونالد ترامپ، رئیس‌جمهور آمریکا، پیش‌تر با کندشدن روند توسعه هوش مصنوعی در این کشور مخالفت کرده بود، هرچند دولت او هم‌زمان یک کارگروه ویژه با محوریت ایمنی هوش مصنوعی را راه‌اندازی کرده است.
نادلا در بخشی از یادداشت خود تأکید کرد که نهادهای به‌کارگیرنده هوش مصنوعی‌های پیشرفته نباید صرفاً به تضمین‌های ارائه‌شده از سوی سازندگان مدل‌ها بسنده کنند و باید خود مسئولیت ایجاد لایه‌های مهار و نظارت را برعهده بگیرند.
برای ارزیابی پایداری، امنیت و نگهداری این زیرساخت، راهنمای پشتیبانی شبکه را نیز مطالعه کنید.