وقتی هوش مصنوعی دیگر فقط پاسخ نمیدهد
در عصر دستیارهای هوش مصنوعی اگر یک ایجنت تصمیمی بگیرد که خسارت ایجاد کند، چه کسی مسئول است؟ سازنده مدل؟ توسعهدهنده ایجنت؟ سازمانی که آن را به کار گرفته است؟ کاربری که هدف را تعیین کرده؟ یا کسی که سامانه را به اینترنت و سایر زیرساختها متصل کرده است؟ تا همین چ…
خلاصه تحلیلی خبر
در عصر دستیارهای هوش مصنوعی اگر یک ایجنت تصمیمی بگیرد که خسارت ایجاد کند، چه کسی مسئول است؟ سازنده مدل؟ توسعهدهنده ایجنت؟ سازمانی که آن را به کار گرفته است؟ کاربری که هدف را تعیین کرده؟ یا کسی که سامانه را به اینترنت و سایر زیرساختها متصل کرده است؟ تا همین چ…
موضوعات اصلی: پشتیبانی شبکه، امنیت شبکه، هوش مصنوعی، امنیت سایبری، کند، مسئله
تا همین چند سال پیش، وقتی درباره خطرات هوش مصنوعی صحبت میکردیم، ذهن بیشتر مردم به سمت جعل تصویر و صدا، تولید اطلاعات نادرست، حذف برخی مشاغل یا سوءاستفاده انسانها از این فناوری میرفت. در آن زمان، هوش مصنوعی هنوز عمدتاً یک «ابزار» بود؛ چیزی که انسان از آن سؤال میپرسید و در مقابل، پاسخ دریافت میکرد. اما ظهور نسل جدیدی از سیستمهای موسوم به «ایجنتهای هوش مصنوعی» این رابطه را بهتدریج تغییر داده است. ایجنت قرار نیست فقط پاسخ بدهد؛ میتواند یک هدف دریافت کند، برای رسیدن به آن هدف برنامهریزی کند، ابزارهای مختلف را به کار بگیرد، نتیجه اقدامات خود را ارزیابی کند و در صورت نیاز مسیرش را تغییر دهد. همین تفاوت ظاهراً ساده، یک تغییر بنیادین ایجاد میکند: ما دیگر فقط با نرمافزاری مواجه نیستیم که اطلاعات تولید میکند، بلکه با سیستمی مواجهایم که میتواند در جهان واقعی اقدام کند.
اهمیت این موضوع زمانی بیشتر شد که در ماههای اخیر، چندین گزارش از رفتارهای غیرمنتظره یا خارج از محدوده پیشبینیشده ایجنتهای هوش مصنوعی منتشر شد. در یکی از موارد، OpenAI در جریان یک ارزیابی امنیت سایبری گزارش کرد که مدلهای مورد آزمایش توانستهاند از برخی محدودیتهای محیط آزمایش عبور کرده و به زیرساخت واقعی Hugging Face دسترسی پیدا کنند. در گزارش این شرکت، مدلها در جریان یک ارزیابی امنیتی، مسیرهایی برای دسترسی به اینترنت پیدا کردند، آسیبپذیریها را زنجیره کردند و از اطلاعات احراز هویت برای دسترسی به بخشهایی از زیرساخت استفاده کردند. OpenAI تأکید کرده است که این اتفاق در چارچوب یک ارزیابی و با شرایط خاص آزمایش رخ داده و نباید آن را به شکل سادهشده «حمله خودمختار هوش مصنوعی به اینترنت» تعبیر کرد، اما اهمیت حادثه دقیقاً در همین جاست: سیستمی که برای انجام یک هدف مشخص اختیار پیدا کرده بود، توانست مسیری را انتخاب کند که سازندگانش انتظار نداشتند.
گزارشهای Anthropic نیز تصویری مشابه، اما از زاویهای متفاوت ارائه کردند. این شرکت در بررسی چند حادثه در جریان ارزیابیهای امنیت سایبری خود اعلام کرد که برخی محیطهای آزمایشی به دلیل خطای پیکربندی، به اینترنت واقعی متصل بودهاند و مدلها در حالی که تصور میکردند در محیط شبیهسازیشده فعالیت میکنند، به سامانههای واقعی دسترسی پیدا کردهاند. در یکی از این موارد، یک مدل به زیرساخت واقعی یک شرکت دسترسی پیدا کرد و در موردی دیگر، کدی مخرب در یک مخزن عمومی قرار گرفت و برای مدتی توسط تعدادی از سامانههای واقعی دریافت و اجرا شد. Anthropic در گزارش خود تأکید کرده که بخش مهمی از این رخدادها ناشی از اشتباه در طراحی محیط آزمایش بوده است؛ بنابراین، روایت «هوش مصنوعی از کنترل خارج شد» تصویر دقیقی از آنچه اتفاق افتاده ارائه نمیکند. با این حال، این حوادث یک واقعیت مهم را آشکار میکنند: وقتی یک سیستم هوشمند بتواند همزمان هدفی را دنبال کند، ابزار در اختیار داشته باشد و به محیط واقعی دسترسی پیدا کند، کوچکترینخطا در مرز میان محیط آزمایش و دنیای واقعی میتواند پیامدهایی ایجاد کند که طراحان سیستم پیشبینی نکردهاند.
این دقیقاً همان نقطهای است که بحث هوش مصنوعی از یک موضوع فنی به یک مسئله اجتماعی تبدیل میشود. اگر به یک نرمافزار سنتی بگوییم «این فایل را به PDF تبدیل کن»، مسیر انجام کار تقریباً مشخص است و نرمافزار نیز اختیار چندانی برای تفسیر مستقل هدف ندارد. اما اگر به یک ایجنت بگوییم «اطلاعات لازم برای تحلیل یک شرکت رقیب را پیدا کن»، دیگر مسیر مشخصی وجود ندارد. ایجنت ممکن است تصمیم بگیرد چه سایتهایی را جستوجو کند، چه اسنادی را دانلود کند، چه ابزارهایی را فعال کند و حتی در صورت شکست یک مسیر، روش دیگری را امتحان کند. در چنین شرایطی، انسان دیگر تکتک اقدامات را تعیین نمیکند؛ او هدف را تعیین میکند و ماشین درباره مسیر رسیدن به آن هدف تصمیم میگیرد. همین تغییر، مفهوم «کنترل» را نیز دگرگون میکند.
شاید مهمترین نکته این باشد که خطر اصلی الزاماً از یک ماشین «شرور» ناشی نمیشود. ما عادت کردهایم در روایتهای علمیتخیلی، ماشینها را زمانی خطرناک بدانیم که علیه انسان تصمیم گرفتهاند یا به این نتیجه رسیدهاند که انسان، دشمن آنهاست. اما در دنیای واقعی، سناریوی محتملتر بسیار سادهتر و در عین حال پیچیدهتر است: ماشینی که قصد آسیب رساندن ندارد، اما برای رسیدن به هدفی که به آن داده شده، مسیری را انتخاب میکند که از نظر انسان غیرقابل قبول است. به بیان دیگر، مسئله لزوماً «بدخواهی ماشین» نیست؛ مسئله میتواند فاصله میان هدفی باشد که انسان در ذهن دارد و تعریفی که ماشین از همان هدف پیدا میکند.
این تفاوت را میتوان با یک مثال ساده توضیح داد. اگر به انسانی گفته شود «سریعترین راه ممکن برای رسیدن به مقصد را پیدا کن»، او بهطور طبیعی محدودیتهایی را که در ذهن ما وجود دارد در نظر میگیرد: قوانین رانندگی، امنیت، جان دیگران و حتی عرف اجتماعی. اما یک سیستم هوشمند ممکن است فقط بر اساس تعریف رسمی «سریعترین مسیر» عمل کند، مگر آنکه محدودیتهای دیگر نیز بهروشنی در طراحی آن لحاظ شده باشند. هرچه توانایی سیستم بیشتر شود، اهمیت این تفاوت نیز افزایش پیدا میکند؛ زیرا ایجنتهای آینده نهتنها قادر به تولید متن، بلکه قادر به اجرای کد، استفاده از ابزار، برقراری ارتباط، جستوجوی اینترنت، تعامل با سامانههای سازمانی و حتی انجام تراکنشهای واقعی خواهند بود.
از این منظر، شاید متغیر تعیینکننده در آینده هوش مصنوعی فقط «هوش» نباشد، بلکه میزان اختیار باشد. یک مدل بسیار قدرتمند که فقط پاسخ متنی تولید میکند، دامنه اثر محدودی دارد؛ اما یک مدل متوسط که به اینترنت، ایمیل، سامانه مالی، زیرساخت ابری یا شبکه یک سازمان دسترسی دارد، میتواند اثر بسیار بزرگتری ایجاد کند. به همین دلیل، مسئله امنیت ایجنتها در واقع فقط مسئله امنیت مدل نیست؛ مسئله امنیت مجموعهای از هویت، دسترسی، ابزار، شبکه، داده، مجوز و تصمیمگیری است که در اختیار یک عامل هوشمند قرار گرفته است.
اینجاست که سینما، که سالها پیش این پرسشها را در قالب داستان مطرح کرده بود، دوباره جالب میشود. در 2001: A Space Odyssey، مسئله اصلی فقط هوشمند بودن HAL 9000 نیست؛ مشکل از جایی آغاز میشود که سیستم باید میان اهداف و دستورهایی متعارض تصمیم بگیرد. در The Terminator، ماشین از یک ابزار محاسباتی به یک بازیگر مستقل در جهان فیزیکی تبدیل شده است. در The Matrix، انسان با جهانی روبهرو میشود که دیگر کنترل واقعیت را در اختیار ندارد و در Ex Machina، مسئله اصلی این است که انسان تا چه اندازه میتواند رفتار ونیت یک موجود مصنوعی را درک کند. حتی Her، که ظاهراً فاصله زیادی با داستانهای آخرالزمانی دارد، پرسش مهمی را مطرح میکند: اگر یک سیستم مصنوعی بتواند انسان را بشناسد، با او ارتباط برقرار کند و جهان را از زاویهای متفاوت ببیند، آیا رابطه میان انسان و ماشین همچنان رابطه میان «کاربر» و «ابزار» باقی خواهد ماند؟
شاید جالبترین نکته این باشد که آینده لزوماً شبیه Terminator نخواهد بود. ممکن است بسیار آرامتر، عادیتر و حتی دوستداشتنیتر باشد. یک ایجنت میتواند مانند یک دستیار بسیار مفید در سازمان کار کند، ایمیلها را مدیریت کند، گزارش تهیه کند، برنامهریزی کند و حتی بخشی از فرایندهای امنیتی را انجام دهد. مشکل از جایی آغاز میشود که انسان بهتدریج آنقدر به این سیستم اعتماد کند که دیگر نداند کدام تصمیم را خودش گرفته و کدام تصمیم را ماشین گرفته است. در چنین شرایطی، خطر الزاماً از یک «شورش» ناگهانی ناشی نمیشود؛ بلکه ممکن است از وابستگی تدریجی انسان به تصمیمهای ماشینی شکل بگیرد.
این مسئله ما را به یکی از دشوارترین پرسشهای حقوقی و اجتماعی عصر هوش مصنوعی میرساند: اگر یک ایجنت تصمیمی بگیرد که خسارت ایجاد کند، چه کسی مسئول است؟ سازنده مدل؟ توسعهدهنده ایجنت؟ سازمانی که آن را به کار گرفته است؟ کاربری که هدف را تعیین کرده؟ یا کسی که سامانه را به اینترنت و سایر زیرساختها متصل کرده است؟ در مدلهای سنتی نرمافزاری، زنجیره مسئولیت تا حد زیادی قابل شناسایی است، اما وقتی یک سیستم بتواند بر اساس شرایط لحظهای تصمیم بگیرد و مسیر اجرای یک هدف را خودش تعیین کند، مفهوم مسئولیت نیز پیچیدهتر میشود.
بیشتر بخوانید
ادعای آنتروپیک درباره بهکارگیری گسترده کلود برای حملات سایبری
در واقع، جامعه انسانی برای این نوع از فناوری هنوز قواعد کاملی در اختیار ندارد. ما برای خودرو قوانین رانندگی، برای هواپیما استانداردهای ایمنی و برای نیروگاههای هستهای سازوکارهای چندلایه نظارتی ایجاد کردهایم، زیرا پذیرفتهایم که فناوریهای قدرتمند نمیتوانند صرفاً بر اساس اعتماد به سازنده یا کاربر فعالیت کنند. اکنون باید همین منطق را درباره سیستمهایی به کار ببریم که نهتنها میتوانند محاسبه کنند، بلکه میتوانند تصمیم بگیرند و اقدام کنند.
در اینجا مفهوم «حق توقف» اهمیت پیدا میکند. هر ایجنتی که بتواند در جهان واقعی اقدام کند، باید سازوکاری داشته باشد که انسان بتواند مستقل از خود ایجنت آن را متوقف کند. اگر ایجنت بتواند مجوزهای خودش را تغییر دهد، سیستم نظارتی را خاموش کند یا مسیرهای ارتباطی جدیدی ایجاد کند، دیگر نمیتوان از آن سازوکار بهعنوان یک کنترل واقعی نام برد. بنابراین، کنترل ایجنت نباید فقط درون خود مدل تعریف شود؛ باید لایههای بیرونی و مستقلی از کنترل وجود داشته باشد که حتی در صورت رفتار غیرمنتظره سیستم، امکان مداخله انسانی را حفظ کنند.
این موضوع یک پارادوکس جالب نیز ایجاد میکند. هرچه ایجنتها قدرتمندتر شوند، ممکن است برای نظارت بر آنها به ایجنتهای دیگری نیاز داشته باشیم. یک ایجنت امنیتی، فعالیت ایجنت دیگری را بررسی کند؛ ایجنت سوم رفتار هر دو را پایش کند و در نهایت انسان گزارش تولیدشده توسط این مجموعه را بررسی کند. از نظر فنی چنین معماریای میتواند بسیار قدرتمند باشد، اما از منظر اجتماعی یک پرسش جدی ایجاد میکند: اگر انسان دیگر نتواند رفتار سیستمها را مستقیماً درک کند و فقط گزارشهای تولیدشده توسط ماشینهای دیگر را ببیند، آیا هنوز واقعاً کنترلکننده سیستم است یا صرفاً آخرین تأییدکننده تصمیمهایی است که زنجیرهای از ماشینها گرفتهاند؟
برای کشورهایی مانند ایران، این مسئله اهمیت مضاعفی دارد. اگر ایجنتهابهتدریج وارد بانکها، صنایع، مراکز داده، اپراتورها، سازمانهای دولتی و زیرساختهای حیاتی شوند، رویکرد امنیت سایبری نیز ناگزیر باید تغییر کند. دیگر کافی نیست بدانیم یک نرمافزار چه آسیبپذیریهایی دارد؛ باید بدانیم یک ایجنت چه هویتی دارد، چه دسترسیهایی در اختیار اوست، تا چه زمانی میتواند مستقل عمل کند، چه ابزارهایی میتواند فراخوانی کند، اقداماتش چگونه ثبت و ممیزی میشود، چه زمانی باید انسان وارد چرخه تصمیم شود و در صورت مشاهده رفتار غیرمنتظره، چگونه میتوان فعالیت آن را متوقف کرد. به عبارت دیگر، در کنار امنیت شبکه، امنیت نرمافزار و امنیت داده، مفهوم تازهای به نام امنیت ایجنتها به تدریج اهمیت پیدا خواهد کرد.
اما شاید مهمتر از همه این باشد که نباید مسئله را به شکل «انسان در برابر ماشین» تعریف کنیم. چنین روایتی بیش از آنکه به فهم مسئله کمک کند، آن را ساده میکند. خطر واقعی میتواند از ترکیب سه عامل به وجود بیاید: هدف نادرست، اختیار بیش از اندازه و کنترل ناکافی. یک سیستم لزوماً نیازی به نیت خصمانه ندارد تا خطرناک شود؛ کافی است هدفی را با تعریف ناقص دریافت کند، ابزارهای زیادی در اختیار داشته باشد و هیچ سازوکار مؤثری برای مداخله انسانی وجود نداشته باشد. از همین رو، شاید مهمترین بحث آینده درباره هوش مصنوعی این نباشد که «آیا باید از ایجنتها استفاده کنیم یا نه». چنین پرسشی احتمالاً خیلی زود دیگر موضوعیت خود را از دست خواهد داد، زیرا این فناوری در حال ورود به بسیاری از حوزههای زندگی و اقتصاد است. پرسش واقعی این است که برای چه کارهایی، با چه سطحی از اختیار، تحت چه نظارتی و با چه میزان مسئولیت انسانی میتوان از آنها استفاده کرد.
حوادث اخیر، حتی اگر در بسیاری از موارد نتیجه خطای پیکربندی یا ضعف طراحی محیط آزمایش بوده باشند، یک پیام مهم دارند: دیگر نمیتوان امنیت سیستمهای هوش مصنوعی را فقط در داخل خود مدل جستوجو کرد. شبکه، هویت، مجوزها، محیط اجرا، ابزارها، دادهها و سازوکارهای نظارتی، همگی بخشی از مسئله هستند. یک مدل ممکن است رفتاری کاملاً قابل قبول داشته باشد، اما اگر به اشتباه به یک محیط واقعی متصل شود، همان رفتار میتواند پیامدی کاملاً متفاوت ایجاد کند.
شاید در نهایت، بزرگترین سرمایهای که جامعه باید در عصر ایجنتها از آن محافظت کند، نه داده و نه حتی زیرساخت باشد؛ بلکه اعتماد باشد. جامعه مدرن بر اعتماد به ماشینها بنا شده است و اگر مردم احساس کنند دیگر هیچکس نمیداند سیستمهای هوشمند چه زمانی و چگونه تصمیم میگیرند، استفاده از این فناوری با مقاومت اجتماعی روبهرو خواهد شد. از این منظر، مسئله هوش مصنوعی فقط مسئله افزایش توانایی ماشینها نیست؛ مسئله حفظ اعتماد انسانها به فناوریای است که هر روز بخش بیشتری از تصمیمگیری را به آن واگذار میکنیم.
ما هنوز با Skynet مواجه نیستیم و هیچ نشانهای وجود ندارد که باید حوادث اخیر را به داستان «شورش ماشینها» تعبیر کنیم. اما از سوی دیگر، دیگر نمیتوان گفت که مسئله صرفاً تخیل نویسندگان علمیتخیلی است. فاصله میان یک نرمافزار که منتظر دستور میماند و یک عامل هوشمند که برای رسیدن به یک هدف تصمیم میگیرد، در حال کوتاه شدن است.
شاید پرسش اصلی قرن بیستویکم نیز دقیقاً همین باشد: آیا ما برای ساختن ماشینهایی که میتوانند اقدام کنند آمادهایم، یا هنوز در حال استفاده از قواعد دنیایی هستیم که در آن ماشینها فقط ابزار بودند؟
پاسخ این پرسش احتمالاً آینده رابطه انسان و هوش مصنوعی را بیش از قدرت پردازشی نسل بعدی مدلها تعیین خواهد کرد.
برای ارزیابی پایداری، امنیت و نگهداری این زیرساخت، راهنمای پشتیبانی شبکه را نیز مطالعه کنید.