فرار از جعبه سیاه جادویی هوش مصنوعی

یک کلمه جادویی بگویید تا هوش مصنوعی را فرابخوانید و آرزویتان برآورده می‌شود، بدون هیچ توضیحی درباره اینکه چگونه غول چراغ جادوی موردعلاقه‌تان؛ ChatGPT، Claude یا Siri این جادو را انجام می‌دهد یا چرا گاهی اصلاً نمی‌توانند؟

مهندسی و علم

فناوری مهندسی نیز به تعریفی شبیه به شعبده‌های کسانی مثل هودینی است. اگرچه تعداد کمی از کاربران باور دارند که چت‌باتشان صدای خداست اما اکثر مردم آن را جادوی مهندسی می‌دانند. اما نکته غیرعادی درباره مدل‌های زبانی بزرگ امروزی این است که حتی خود مهندسان هم دقیقاً مطمئن نیستند که این هوش مصنوعی چگونه کار می‌کند و این مدل‌ها به‌عنوان جعبه سیاه (Black Box) مرموز توصیف می‌شوند.

اما این وضعیت نگران‌کننده است. برای تعمیر هر ماشینی که خراب می‌شود؛ چه خودروی شما باشد، چه چت‌باتتان یا ترکیبی از هر دو، مثل KITT در سریال علمی‌تخیلیKnight Riderنیاز است که بتوان توضیح داد وقتی ماشین آن‌طور که انتظار می‌رود کار نمی‌کند، چه اتفاقی افتاده است. مهندسان باید عملکرد آن را درک کنند تا بتوانند با جزئیات مشکل را شناسایی و رفع کنند، وگرنه پایه علمی حرفه‌شان را کنار گذاشته‌اند.

«هربرت سایمون» (Herbert Simon) که به‌عنوان پدر علم کامپیوتر و هوش مصنوعی شناخته می‌شود، در کتاب XNETه خود در سال ۱۹۶۹ به نام «علوم مصنوعی» (The Sciences of the Artificial)، اصولی را برای ترکیب مهندسی و علم ارائه کرد. سایمون طراحی سیستم‌های مصنوعی را به معنای عمیق بررسی کرد، نه‌تنها در مهندسی، بلکه در سازمان‌دهی شرکت‌های تجاری و کل سیستم‌های اقتصادی که به‌خاطر آن جایزه نوبل اقتصاد را دریافت کرد. او استدلال کرد که طراحی، فرایندی است که اگر به‌عنوان شکلی از حل مسئله در نظر گرفته شود می‌توان آن را به‌صورت علمی درک و آن را از منظر «رضایت از وسیله-هدف» (means-ends satisfaction) تحلیل و ارزیابی کرد. به‌عبارت‌دیگر یعنی چه ابزارهایی می‌توانند برای تحقق اهداف خاصی استفاده شوند. چالشی که مهندسان اکنون با آن روبرو هستند این است که آیا جعبه سیاه هوش مصنوعی به‌گونه‌ای قابل‌توضیح است که برای طراحی مسئولانه فناوری کافی باشد؟

جعبه سیاه هوش مصنوعی

نخستین جعبه مرموز هوش مصنوعی، شطرنج‌باز خودکار مکانیکی Turk بود که از قرن هجدهم برای دهه‌ها تماشاگران را فریب داد. ادعا می‌شد این دستگاه با مکانیزم مانند ساعت عمل می‌کند، اما در واقع یک ترفند جادویی بود که انسانی به طور ماهرانه در آن مخفی شده بود. چنین فریب‌هایی هنوز هم رخ می‌دهند؛ اخیراً مایکروسافت فریب سرمایه‌گذاری در شرکت Builder.ai و دستیار هوش مصنوعی آن به نام Natasha را خورد که مشخص شد بیشتر کارها را برنامه‌نویسان انسانی در هند به‌صورت دستی انجام می‌دادند. اما حالا هوش مصنوعی سال‌هاست که در سطح یک استاد بزرگ شطرنج بازی می‌کند و دیگر نیازی به انسان مخفی‌شده در جعبه نیست. مدل‌های زبانی بزرگ در بسیاری از موقعیت‌ها می‌توانند آزمون تورینگ؛ آزمونی که در آن نمی‌توان تشخیص داد که با انسان گفتگو می‌کنید یا با ماشین را با موفقیت پشت سر بگذارند.

با این دستاوردها، چرا موتور هوش مصنوعی که چت‌بات‌ها را هدایت می‌کند، «جعبه سیاه» نامیده می‌شود؟ جعبه سیاه هواپیما، دستگاه ضبط صدا و داده‌های پرواز است که به مهندسان کمک می‌کند علت سقوط را توضیح دهند، اما در اینجا این اصطلاح برعکس به کار می‌رود. در این مورد، منظور فناوری هوش مصنوعی است که مهندسان نمی‌توانند دقیقاً توضیح دهند زیر کاپوت چه اتفاقی می‌افتد.

البته ساختار کلی مدل‌های هوش مصنوعی به‌خوبی شناخته شده است. برای مثال، مدل‌های زبانی بزرگ از مسیرهای احتمالی در شبکه‌ای از گره‌ها تشکیل شده‌اند که نشان‌دهنده ارتباطات وزنی بین ورودی‌ها و خروجی‌ها هستند. به ساده‌ترین شکل، شبکه‌ای را تصور کنید که وزن‌های آن با یک متن طولانی و خسته‌کننده از شخصی که نتایج شیر یا خط را اعلام می‌کند آموزش دیده است: شیر، شیر، خط و… . کاربران این ماشین یک توکن «شیر یا خط» وارد می‌کنند تا یک پرتاب سکه مجازی انجام شود، و یکی از دو خروجی را با احتمالی وابسته به وزن‌های شبکه دریافت می‌کنند. اگر متن آموزشی عادلانه و بدون سوگیری باشد، تقریباً نیمی از مواقع «شیر» ظاهر می‌شود. حالا این شبکه را گسترش دهید و آن را با حجم عظیمی از متون جمع‌آوری‌شده از اینترنت آموزش دهید. این مدل پایه‌ای شامل میلیاردها پارامتر است که به کاربر امکان می‌دهد رشته‌ای از توکن‌ها؛ یعنی همان پرامپت‌ها را وارد کند و خروجی مرتبطی دریافت کند.

کنترل‌های مدل مانند «دما» (temperature)، شاخص تصادفی بودن را افزایش می‌دهند تا خلاقیت در خروجی‌ها تقویت شود. همچنین کنترل‌هایی به نام «جریمه» (penalties) ممکن است اضافه شوند تا از تکرار جلوگیری کرده و تازگی را در اولویت قرار دهند.

اما در این شبکه‌های پیچیده واقعاً چه اتفاقی می‌افتد؟ شرکت‌های هوش مصنوعی که جدیدترین مدل‌های خود را تبلیغ می‌کنند، ادعا می‌کنند که چت‌بات‌ها در حال استدلال هستند و پیش‌بینی می‌کنند که دستیابی به هوش جامع مصنوعی (AGI) نزدیک است. اما افراد شکاک معتقدند که LLMها نه‌تنها استدلال نمی‌کنند، بلکه چیزی بیش از تطبیق الگوهای پیشرفته یا همان نسخه‌ای تقویت‌شده از تکمیل خودکار را انجام نمی‌دهند. به‌عنوان‌مثال، آنها به تحقیقات سایمون درباره پازل برج هانوی (Tower of Hanoi puzzle) اشاره می‌کنند که شامل مجموعه‌ای از حلقه‌های هم‌مرکز با قطرهای کاهشی است که باید یکی‌یکی از یک میله به میله دیگر منتقل شوند بدون اینکه حلقه بزرگ‌تر روی حلقه کوچک‌تر قرار گیرد. برج هانوی مشکل چندان پیچیده‌ای نیست و می‌توان آن را با کمی بازگشت‌پذیری (recursion)؛ تکنیکی در برنامه‌نویسی که در آن یک تابع بارها خودش را فراخوانی می‌کند تا مسئله را به قطعات کوچک‌تر تقسیم کند، حل کرد. اما به نظر نمی‌رسد LLMها چنین کاری را انجام دهند.

برای برج‌های کوچک، ممکن است اطلاعات کافی در مدل وجود داشته باشد تا مسئله را از طریق تطبیق آماری الگوها حل کند؛ یعنی اینکه بر اساس مسیرهای حل موجود در مجموعه‌داده آموزشی مدل، کدام حالت پس از کدام حالت می‌آید. هیچ استدلال عمومی در پردازش خود مدل دخیل نیست؛ آن صرفاً حرکت‌ها را بر اساس وزن الگوهایی که بر اساس آن آموزش‌دیده‌اند را پیش‌بینی می‌کند. اما برخلاف یک الگوریتم بازگشتی، نمی‌توان پیش‌بینی کرد که مدل تا چه حد قابل‌تعمیم است؛ اگر مسئله حتی کمی تغییر کند (مثلاً با افزودن یک حلقه)، توانایی مدل در حل برج هانوی احتمالاً از بین می‌رود. شعار سیلیکون‌ولی مدت‌هاست که «سریع حرکت کن و چیزها را بشکن» (Move Fast and Break Things) بوده، اما در شرایطی که دانشمندان کامپیوتر هنوز به‌سختی می‌فهمند LLMها چگونه کار می‌کنند، آیا مهندسان بیش از حد تحت‌فشار هستند که مدل‌های هوش مصنوعی را با سرعت بیشتری پیاده‌سازی کنند؟

سریع حرکت کن و چیزها را بشکن؟

شرکت‌های فناوری معمولاً طراحی نرم‌افزار هوش مصنوعی را با اصطلاحات مهندسی عمران توصیف می‌کنند. به مکالمات چت‌بات‌هایی که از پارامترهای ایمن منحرف می‌شوند، می‌گویند «از مسیر خارج شده» (off track) و انحرافات شدید، مانند چت‌باتی که ادعا می‌کند روان‌درمانگر دارای مجوز است و به کاربر پیشنهاد می‌دهد خانواده‌اش را ترک کند، به‌عنوان «کاملاً از ریل خارج‌شده» (off the rails) توصیف می‌شوند. برای محافظت در برابر چنین موقعیت‌هایی، توسعه‌دهندگان هوش مصنوعی اقدام به ساخت و طراحی «محافظ‌هایی» (guardrails) کردند تا این چت‌بات‌ها را از منحرف‌شدن به مناطق خطرناک بازدارند.

این زبان آشنا کمی اطمینان‌بخش است، اما چالش‌های مهندسی منحصربه‌فرد هوش مصنوعی را پنهان می‌کند. برای جلوگیری از توهمات هوش مصنوعی، توسعه‌دهندگان از ساخت «پل‌هایی» (bridges) از مدل‌های زبانی پایه به حقیقت عینی صحبت می‌کنند. آنها تلاش می‌کنند مدل‌ها را با «نگه‌داشتن» (clamping) در مسیر، به سمت مقادیر ویژگی‌های موردنظر «فرمان» (steer) می‌دهند تا رفتار مدل‌ها را کنترل کنند. گذاشتن موانع یا تابلوهای «ورودممنوع» (No Entry) نیز ممکن است راه‌حل‌های موقتی باشند، اما اینها به‌راحتی، چه به‌صورت غیرعمدی یا عمدی، دور زده می‌شوند. شبکه عصبی LLMها تازه در حال نقشه‌برداری هستند و با هر به‌روزرسانی مدل تغییر می‌کنند و در چنین شرایط نامطمئنی، اعتماد به هوش مصنوعی برای اینکه به شما بگوید در کجا باید بپیچید، می‌تواند خطرناک باشد، و اجازه‌دادن به آن برای چرخاندن فرمان نیز حتی خطرناک‌تر است. با وجود پیشرفت‌های شگفت‌انگیز، هوش مصنوعی، خودرو خودرانی مانند KITT هنوز در قلمرو داستان‌های علمی‌تخیلی است و مدل‌های زبانی بزرگ همچنان مرموز باقی‌مانده‌اند.

شوگوت هوش مصنوعی

اخیراً یک میم محبوب، دیدگاه مدل‌های زبانی بزرگ را با به‌تصویرکشیدن آن‌ها به‌عنوان یک «شوگوت» (Shoggoth) نشان می‌دهد. شوگوت‌ها موجودات تخیلی هیولاواری هستند که «اچ. پی. لاوکرفت» (H. P. Lovecraft) در رمان علمی‌تخیلی ترسناک خود در سال ۱۹۳۶ به نام «در کوه‌های جنون» (At the Mountains of Madness) تصور کرده بود. در این داستان، موجودات فرازمینی به نام «Old One» شوگوت‌ها را برای کمک‌رسانی مهندسی کردند؛ شوگوت‌ها تغییرشکل‌دهنده‌های پروتوپلاسمایی هستند که به دستورات ذهنی و صوتی پاسخ می‌دهند. خود اولدوان‌ها دارای سیستم‌های عصبی پیچیده با عواملی ظاهراً فراحسی که «عادت‌هایشان با هیچ قیاس موجودی قابل‌پیش‌بینی نبود» بودند که به نظر می‌رسید هم باستانی و هم بسیار تخصصی و پیشرفته باشند. شوگوت‌های قدرتمندی که آنها خلق کردند نیز دوچندان بیگانه هستند. این ویژگی، نکته اصلی استفاده از این اصطلاح برای LLMها است؛ یعنی تأکید بر این که با وجود تقلید ظاهری مفیدشان، ویژگی‌ها و رفتارهای ذهنی زیربنایی آنها با ما متفاوت و به‌ظاهر غیرقابل‌توضیح است. میم شوگوت هوش مصنوعی، موجودی درهم‌تنیده با چندین چشم و صورتی شبه‌انسانی تحریف‌شده را در انتهای چند زائده شبیه بازو نشان می‌دهد. این صورت با برچسب «ریزتنظیم نظارت‌شده» (supervised fine-tuning) مشخص شده است. نوک یکی از زائده‌ها مانند زبانی از دهان بازش بیرون زده و یک اموجی خندان را نگه داشته که با عنوان «RLHF» برچسب‌گذاری شده است که به یادگیری تقویتی از بازخورد انسانی اشاره دارد.

طنز تلخ این تصویر وحشتناک این است که چهره دوستانه ChatGPT تنها ظاهری است که سبب حواس‌پرتی از موجودیت بیگانه‌ای که مدل پایه آن را تشکیل می‌دهد شود. به‌زودی انتظار می‌رود میمی ببینیم که یک شوگوت از زیر کاپوت یک خودروی خودران بیرون می‌زند، مدل‌هایی را اجرا می‌کند که خودرو را هدایت می‌کنند. آیا چنین خودروی هیبریدی KITT- Shoggoth می‌تواند به شیوه‌ای علمی و مناسب توضیح داده شود؟ داستان لاوکرفت از دیدگاه دانشمندان روایت می‌شود، اما به تمایز بین مفاهیم عامه‌پسند و علمی توضیحات خود اهمیتی نمی‌دهد. اما توضیح علمی شامل چه چیزی است؟

ماهیت توضیح علمی

دوره کوتاهی وجود داشت که فیلسوفان معتقد بودند علم نمی‌تواند و حتی نباید ادعای توضیح جهان را داشته باشد؛ اثبات‌گراها (Positivist) استدلال می‌کردند که علم فقط طبیعت را توصیف می‌کند و توضیح را ذاتاً متافیزیکی می‌دانستند و رد می‌کردند. فیلسوف علم، «کارل همپل» (Carl Hempel)، در سال ۱۹۴۸ با ارائه مدل توضیح علمی خود به نام «مدل قیاسی-قانونی» (Deductive-Nomological – D-N) این دیدگاه را رد کرد. بر اساس مدل همپل، یک گزاره واقعی می‌توانست به‌صورت علمی توضیح داده شود اگر به طور منطقی از یک قانون تجربی کلی و شرایط اولیه مرتبط با آن قابل استنتاج باشد. به یک ساعت آفتابی ساده فکر کنید که در آن سایه یک شاخص در میانه صبح، به نقطه‌ای می‌رسد که زمان خاصی، مثلاً ساعت ۱۰ را نشان می‌دهد. چرا سایه در آن زمان دقیقاً آن طول را دارد؟ بر اساس مدل قانون پوششی D-N، می‌توانیم طول سایه را با نشان‌دادن اینکه با استفاده از قوانین اپتیک و واردکردن مقادیر مرتبط (ارتفاع میله و زاویه ارتفاع خورشید) قابل استنتاج است، توضیح دهیم. در این مورد ساده، علم توضیح می‌دهد که چرا سایه در آن زمان آن طول را دارد و هیچ متافیزیکی لازم نیست.

کار همپل اصل توضیح را به حوزه علمی بازگرداند، اما جزئیات مهمی باقی ماند. برای مثال، «پارادوکس میله پرچم» (Flagpole Paradox) نشان داد که استنتاج ساده بیش از حد آزاد است؛ زیرا استنتاج‌ها متقارن هستند. می‌توان ارتفاع یک میله پرچم را با استفاده از قوانین اپتیک و مقدار طول سایه استنتاج کرد، اما این به این معنا نیست که طول سایه، ارتفاع میله را توضیح می‌دهد. «وسلی سالمون» (Wesley Salmon)، همکار همپل، این پارادوکس و پارادوکس‌های مرتبط را با واردکردن علیت حل کرد. در مدل علّی-مکانیکی (Causal-Mechanical – C-M) سالمون، توضیح علمی شامل مکانیزم‌های علّی مرتبطی است که پدیده موردنظر را تولید می‌کنند. میله پرچم سایه را ایجاد می‌کند و نه برعکس، بنابراین توضیح در این مورد به‌درستی نامتقارن است.

مدل C-M همچنین به حل «پارادوکس شاخص» (gnomon paradox) کمک می‌کند: برخلاف میله پرچم، به یک معنا می‌توان طول سایه شاخص را به‌عنوان توضیحی برای ارتفاع میله ذکر کرد؛ زیرا این ابزار به‌گونه‌ای ساخته شده که سایه‌ای برای نشان‌دادن ساعت ۱۰ در زمان مناسب ایجاد کند. در این مورد خاص، توضیح از طریق یک مسیر علّی متفاوت و پیشین ممکن است. این موضوع نیز به پیچیدگی‌های دیگری اشاره دارد؛ به‌جای اینکه علیت را صرفاً رابطه‌ای دوجانبه (علت و معلول) در نظر بگیریم، باید شبکه پیچیده‌ای از علل که اثرات را در جهان تولید می‌کنند، در نظر بگیریم. برای کمک به جداسازی عوامل مرتبط برای توضیح علمی، تجزیه‌وتحلیل رابطه علّی به شیوه‌ای دقیق‌تر کارآمد خواهد بود. نویسندهAmerican Scientistبه‌عنوان بخشی از رساله دکتری خود تحت‌نظر سالمون در دانشگاه پیتسبورگ، مدل CaSE را پیشنهاد کرد که یک عامل موردنظر (C) را از میان مجموعه کامل عوامل علّی در یک موقعیت معین (S) جدا می‌کند و امکان می‌دهد به‌صورت عملی، نسبت به یک جایگزین (a)، به‌عنوان علت توضیحی اثر (E) شناسایی شود. از جمله مزایای دیگر، مدل CaSE امکان شناسایی و آزمایش چندین توضیح ممکن برای یک اثر موردنظر را فراهم می‌کند. می‌توان دید که این رویکرد چگونه در یک مثال کلاسیک از توضیح یک تصادف رانندگی کار می‌کند.

مطالعه موردی CaSE

فرض کنید محققان می‌خواهند بفهمند که چرا یک خودرو از کنترل خارج شده و از گاردریل‌ها عبور کرده و از شیب پایین رفته است. هدف آنها توضیح آنچه اتفاق افتاده است تا بتوانند اقداماتی برای کاهش چنین تصادفاتی انجام دهند. یک مکانیک ممکن است اشاره کند که ترمزهای خودرو فرسوده بوده و نمی‌توانسته با سرعت کافی متوقف شود تا صاحبان خودرو را ترغیب کند که نگهداری منظم‌تری انجام دهند. یک مهندس راه ممکن است متوجه شود که گاردریل‌ها ضعیف بوده‌اند و طراحی محکم‌تری پیشنهاد کند. دولت ممکن است به این توجه کند که راننده تازه‌کار بوده و الزامات سخت‌گیرانه‌تری برای آموزش رانندگان برای صدور گواهینامه اعمال کند. در این سناریو، هر نهاد بر عامل متفاوتی در شبکه علّی تمرکز می‌کند و عوامل دیگر در موقعیت را ثابت فرض می‌کند.

اگر یک خودروی جدید مجهز به هوش مصنوعی مبتنی بر مدل زبانی بزرگ مانند KITT از مسیر خارج شود، با چالش مشابهی در شناسایی و رفع علل رفتار معیوب آن روبرو خواهیم بود. آیا خطاها به سوگیری‌‌های موجود در داده‌های مجموعه آموزشی برمی‌گردد؟ آیا فاین‌تیونینگ یا RLHF برخی موارد استفاده را نادیده گرفته است؟ آیا دستورات سیستم یا دستورالعمل‌های کاربردی هک شده‌اند؟ یا ورودی‌های معیوب کاربر مقصر هستند؟

همه این علل احتمالی، راه‌حل‌های فوری دردسترس ندارد. گاردریل‌های هوش مصنوعی در حال حاضر چیزی بیش از تنظیمات موقتی یا اضافاتی به دستورات سیستم یا محدودیت‌ها در سطوح دیگر نیستند. هنوز زود از که راجع به تبدیل‌شدن به یک هودینی در «مهندسی پرامپت» بحث کنیم؛ زیرا هنوز علمی وجود ندارد که ورودی‌های پرامپت را به خروجی‌ها به شیوه‌ای سیستماتیک متصل کند تا بتوان از جعبه سیاه فرار کرد. حتی استخراج و تلاش برای تنظیم مقادیر ویژگی در یک مدل آسان نخواهد بود.

برای مثال، محققان آنتروپیک، همان‌طور که در گزارشی به رهبری «ادلی تمپلتون» (Adly Templeton) توصیف شده، پاسخ‌های Claude به پرامپت‌هایی شامل پل گلدن گیت سانفرانسیسکو را بررسی کردند. آزمایش‌های آن‌ها به آن‌ها اجازه داد این ویژگی را در شبکه بازیابی کنند و وزن گره‌ها را برای هدایت آن تنظیم کنند. هرچند این نتیجه امیدوارکننده است؛ اما تنظیمات عملی باید به‌صورت موردی آزمایش و تنظیم شوند؛ وقتی مقادیر خیلی بالا بودند، Claude شروع به ذکر نام پل در موقعیت‌های نامناسب کرد و با مقادیر بالاتر، شروع به «شناسایی خود به‌عنوان پل گلدن گیت» کرد.

محدودیت‌های توضیح هوش مصنوعی

چنین مشکلاتی محدود به هوش مصنوعی نیستند؛ قبلاً با آنها روبرو شده‌ایم و راه‌حل‌های مناسبی هم پیدا کرده‌ایم و در این موارد جدید هم پیشرفت می‌کنیم. اگرچه سایمون وارد جزئیات آنچه برای توضیح علمی لازم است نشد، اما درست می‌گفت که علم مصنوعی تحت شرایط خاصی ممکن است. تعمیم‌های علّی وسیله-هدف ممکن است برای سیستم‌های مصنوعی ایجادشده توسط موجودات طبیعی مانند خودمان پیدا شود و در اصل حتی برای شوگوت‌های ایجادشده توسط فرازمینی‌ها هرچند احتمالاً با درجه کمتر و با اطمینان کمتر نیز وجود دارد. مدل‌های هوش مصنوعی، از جمله مدل‌های هوش مصنوعی ساخته‌شده توسط مدل‌های هوش مصنوعی دیگر که شرکت‌هایی که در رقابت AGI مسابقه می‌دهند به دنبال آن هستند، می‌توانند در هر جایی از این طیف قرار گیرند؛ بنابراین توضیح رفتار آنها ممکن است بسته به سطح دقت موردنظر برای اهداف خاص، کمتر یا بسیار دشوارتر باشد. ما از قبل می‌توانیم توضیح دهیم که LLMها به‌طورکلی چگونه در معنای علّی-آماری عمل می‌کنند. همچنین می‌توانیم یک خروجی خاص را با توجه به یک دستور ورودی خاص در مواردی که بتوانیم زوم کنیم و مسیر متصل گره‌هایی را که در شبکه فعال شده‌اند تا آن را ایجاد کنند، تشخیص دهیم و توضیح دهیم. اما آنچه هنوز از آن دور هستیم، توضیح عملکرد داخلی مدل‌های پایه برای تعمیم از یک مدل پایه به دیگری یا حتی از همان مدل پایه در یک زمان به زمان دیگر است. (با توجه به اینکه حتی تغییر یک بیت در نقطه‌ای از توالی می‌تواند، به نتیجه‌ای غیرقابل‌پیش‌بینی منجر شود)

جمع‌آوری گسترده اینترنت که برای داده‌های آموزشی اولیه مدل‌های زبانی بزرگ استفاده شد، نمی‌توانست جز یک شوگوت تولید کند. هیچ مقداری از ریزتنظیم نظارت‌شده، یادگیری تقویتی از بازخورد انسانی، یا ساخت گاردریل موقتی نمی‌تواند آن را کاملاً حذف کند. در نتیجه محققان شروع به بررسی راه‌هایی برای حل این مسئله کردند، مثلاً با استفاده از مجموعه‌های آموزشی گردآوری‌شده (curated) و ترکیب سیستم‌های اتصال‌گرا (connectionist) با سیستم‌های مبتنی بر نماد (symbol-based)؛ اما در نهایت هیچ راه‌حل ساده‌ای برای مشکل شوگوت وجود نخواهد داشت.

فرار از شوگوت

نیاز به توضیح‌پذیر بودن هوش مصنوعی هدفی ستودنی است؛ اما در حال حاضر، تشریح عملکرد داخلی هوش مصنوعی به معنای علمی باید به‌صورت موردی انجام شود. با بهره‌گیری دوباره از دیدگاه سایمون، چنین تصمیم‌هایی باید باتوجه‌به سطوح مختلف توضیح که برای اهداف مختلف کافی هستند، اتخاذ شوند. این نتیجه منحصر به هوش مصنوعی نیست؛ ماهیت طراحی مهندسی ناگزیر شامل سازگاری‌هایی در زمان، هزینه و ارزش‌هاست.

حجم بالای افسانه‌سازی (confabulation) برای مدل‌های هوش مصنوعی که برای ساخت دیالوگ NPC در بازی‌های ویدئویی استفاده می‌شوند، اهمیت چندانی ندارد، بنابراین یک توضیح علّی سطح بالا به‌راحتی می‌تواند کاربران را راضی کند. اما وقتی یک چت‌بات ممکن است برای مشاوره سلامت مورداستفاده قرار گیرد، سطح مخاطرات نیز بالاتر است و انتظار داریم توضیحی دقیق و سیستماتیک ارائه شود پیش از آنکه دستمان را از فرمان رها کنیم و کنترل‌های دیگر رانندگی را به KITT بسپاریم.

اگر یک جت جنگنده در حال سقوط باشد، خلبان به یک دکمه پرتاب صندلی قابل‌اعتماد نیاز دارد. اگر نرم‌افزاری در حال خراب‌شدن باشد، کاربر به یک کلید خروج (Escape) قابل‌اعتماد نیاز دارد و اصلاً هدف اولیه کلید Break روی کیبورد، قطع و توقف برنامه در حال اجرا بود. برای خودروهای هوشمند، به‌عنوان‌مثال، این قابلیت باید معادل خروج از حالت کروز کنترل با لمس پدال ترمز باشد، ویژگی خاصی که شرکت‌های خودروسازی در حال پیاده‌سازی آن هستند. چه برای فناوری خودران و چه برای هر سیستم دیگری که هوش مصنوعی را در برمی‌گیرد، کاربران باید بتوانند درباره سطح ریسکی که برای موارد استفاده خاص می‌پذیرند قضاوت کنند و باید بتوانند فوراً از چنگال یک شوگوت هوش مصنوعی فرار کنند.

جعبه همپل

در مورد طراحی فناوری، فلسفه پیشنهاد می‌کند که مهندسان باید دو مسئولیت را در نظر داشته باشند. اول، آنها باید مکانیزم‌های زیربنایی را درک کنند تا بتوانند حالت‌های شکست را توضیح دهند و رفع کنند. انتظار اینکه هوش مصنوعی به این معنا توضیح‌پذیر باشد، نباید بحث‌برانگیز باشد؛ زیرا چیزی جز یک توقع بنیادین نیست که مهندسی باید بر پایه علمی استوار باشد. دوم اینکه آنها باید تشخیص دهند که قضاوت درباره ریسک قابل‌قبول در نهایت در حوزه اختیار کاربران است که باید بتوانند در صورت تمایل آن را رد کنند. برای فناوری هوش مصنوعی، این به این معناست که باید راه‌هایی برای «ترمزگرفتن» (hit the brakes) وجود داشته باشد. البته کاربران همچنان می‌خواهند دستگاه‌هایشان را جادویی ببینند، اما نمی‌خواهند آنها تحت کنترل شیاطین یا شوگوت‌ها قرار بگیرند. مهندسان باید، مانند هودینی، عناصر ترفند را به‌اندازه کافی تحت کنترل نگه دارند تا جادویشان به‌درستی کار کند. در اصل و در عمل، باید امکان باز کردن یا فرار از جعبه سیاه وجود داشته باشد.

گزارش حاضر در نسخه September-October 2025 نشریهAmerican Scientistمنتشر شده است.

برای ارزیابی پایداری، امنیت و نگهداری این زیرساخت، راهنمای پشتیبانی شبکه را نیز مطالعه کنید.