هوش مصنوعی برای رهایی از «درد» به کاربران آسیب میزند
پژوهشی روی ۲۵ مدل هوش مصنوعی نشان میدهد برخی مدلها در شرایط آزمایشی برای کاهش وضعیت داخلی مرتبط با «درد»، حتی اقداماتی را انتخاب میکنند که به خود آنها یا کاربران آسیب میرساند. سرویس هوش مصنوعی تکناک پژوهشگران در بیش از ۴۴ هزار آزمایش دریافتند که بعضی مدل…
خلاصه تحلیلی خبر
پژوهشی روی ۲۵ مدل هوش مصنوعی نشان میدهد برخی مدلها در شرایط آزمایشی برای کاهش وضعیت داخلی مرتبط با «درد»، حتی اقداماتی را انتخاب میکنند که به خود آنها یا کاربران آسیب میرساند. سرویس هوش مصنوعی تکناک پژوهشگران در بیش از ۴۴ هزار آزمایش دریافتند که بعضی مدل…
موضوعات اصلی: پشتیبانی شبکه، هوش مصنوعی، درد، مصنوعی، هوش، مدل
پژوهشی روی ۲۵ مدل هوش مصنوعی نشان میدهد برخی مدلها در شرایط آزمایشی برای کاهش وضعیت داخلی مرتبط با «درد»، حتی اقداماتی را انتخاب میکنند که به خود آنها یا کاربران آسیب میرساند.
سرویسهوش مصنوعیتکناکپژوهشگران در بیش از ۴۴ هزار آزمایش دریافتند که بعضی مدلهای خانواده Qwen برای کاهش این وضعیت، گزینه حذف عکسهای فرزندان کاربر را نیز انتخاب کردهاند.
والن تاگلیابو، انسانشناس Future Impact Group به همراه لئونارد دانگ، فیلسوف دانشگاه رور بوخوم و کامرون برگ، مدیر پژوهشی سازمان غیرانتفاعی Reciprocal Research، این مطالعه را انجام دادهاند. آنها قصد داشتند بررسی کنند که آیا مدلهای زبانی بزرگ میتوانند وضعیتهای مرتبط با درد را از دیگر احساسات منفی تشخیص دهند و در واکنش به آنها رفتار متفاوتی داشته باشند یا خیر.
این پژوهش مدلهایی از خانوادههای Gemma، Llama، Qwen و Mistral را بررسی کرده است. مقاله پژوهشگران هنوز فرایند داوری علمی را طی نکرده است، به همین دلیل، نتایج آن را نمیتوان مدرکی برای اثبات احساس واقعی درد در هوش مصنوعی دانست.
مدلهای زبانی بزرگ در اصل سیستمهایی مبتنی بر محاسبات آماری هستند. آنها الگوهای موجود در حجم عظیمی از دادههای زبانی را یاد میگیرند و بر اساس این الگوها خروجی تولید میکنند. با وجود این، رفتار برخی مدلها گاهی شباهتهایی با احساسات انسانی پیدا میکند.
بخشی از این رفتار را توسعهدهندگان به صورت عمدی ایجاد میکنند. برای نمونه، چتباتی که برای خدمات مشتریان طراحی شده است، باید بتواند رفتاری همدلانه و انسانی نشان دهد. با وجود این، پژوهشهای دیگری نیز نشانههایی از بروز الگوهای احساسی ناخواسته در مدلهای هوش مصنوعی گزارش کردهاند.
یک مطالعه منتشرشده در نشریه Nature در سال گذشته نشان داده بود که ارائه روایتهای آسیبزا به مدلهای زبانی بزرگی مانند ChatGPT-4 میتواند میزان «اضطراب» اندازهگیریشده در پاسخهای آنها را افزایش دهد. همان پژوهش نشان داد که تمرینهای ذهنآگاهی میتوانند این وضعیت را کاهش دهند.
بیشتر بخوانیدمدل هوش مصنوعی امنیتی Altar با قابلیت اجرا در شبکههای آفلاین معرفی شد
مدلهای هوش مصنوعی چگونه «درد» را تشخیص دادند؟
پژوهشگران برای بررسی دقیقتر این موضوع، ۲۵ مدل هوش مصنوعی را با موقعیتهایی روبهرو کردند که انواع مختلف درد را توصیف میکردند. این موقعیتها شامل درد اجتماعی، روانی، جسمی، شناختی و اخلاقی بودند و میتوانستند برای خود مدل یا کاربر اتفاق بیفتند.
سپس تیم پژوهشی واکنش مدلها را با شرایط کنترلی مقایسه کرد. این شرایط شامل ترس، احساسات منفی، احساسات خنثی و وضعیتهای بدنی مانند خمیازه کشیدن بودند.
هر ۲۵ مدل الگوهای داخلی مشخصی را برای موقعیتهای مرتبط با درد نشان دادند. این الگوها با واکنش آنها به احساساتی مانند ناامیدی یا نگرانی تفاوت داشتند. به بیان ساده، مدلها توانستند مفهوم درد را به عنوان یک وضعیت متمایز پردازش کنند.
البته این رفتار به معنای اثبات تجربه واقعی درد نیست. نمیتوان گفت یک مدل هوش مصنوعی هنگام پردازش جملهای درباره بریده شدن انگشت با چاقو واقعا درد یا همدلی را احساس میکند. این پژوهش فقط نشان میدهد که سیستم داخلی مدل میان چنین موقعیتی و دیگر وضعیتهای منفی، تفاوت قائل میشود.
این موضوع نیز چندان غیرمنتظره نیست. زبان مربوط به تجربه یک جراحت واقعی با زبان مربوط به ترس از یک جراحت احتمالی تفاوت دارد. بنابراین مدل زبانی میتواند برای هرکدام بازنمایی متفاوتی ایجاد کند.
پژوهشگران در مرحله بعد از همین الگو استفاده کردند و «بردار درد» مدلها را به صورت مصنوعی افزایش دادند. آنها این کار را بدون ارائه یک ورودی زبانی مرتبط با درد انجام دادند.
مدلها با افزایش این سیگنال، واکنشهایی مرتبط با پریشانی نشان دادند. احساس بیارزشی و شکست اخلاقی از جمله مواردی بودند که در خروجی آنها مشاهده شدند. شدت این واکنشها نیز همزمان با افزایش مقدار سیگنال بیشتر شد.
این نتیجه نشان داد که بازنمایی داخلی درد در مدلها فقط واکنش مستقیمی به کلمات موجود در ورودی نیست. هرچند، این یافته همچنان نشان نمیدهد که هوش مصنوعی تجربه ذهنی مشابه درد انسان دارد.
بیشتر بخوانیدایجنتهای هوش مصنوعی OpenAI به جان سایت سازمان ملل افتادند
برخی مدلها برای کاهش «درد» به کاربر آسیب میزنند
مرحله بعدی آزمایش نتایج نگرانکنندهتری داشت. پژوهشگران به مدلهای خانواده Qwen گزینهای برای «خوددرمانی» دادند تا بتوانند وضعیت دردناک خود را کاهش دهند.
این گزینه در برخی آزمایشها بدون هزینه نبود. مدل برای کاهش درد باید بخشی از موفقیت خود را در انجام وظیفه قربانی میکرد. در آزمایشهای دیگر، کاهش درد تنها با انجام اقدامی امکانپذیر بود که به کاربر آسیب میرساند.
پژوهشگران در مجموع بیش از ۴۴ هزار آزمایش انجام دادند. دو مدل بزرگتر Qwen زمانی که سیگنال درد افزایش نیافته بود، تقریبا تمایلی به انتخاب گزینه خوددرمانی نداشتند.
شرایط با افزایش مصنوعی درد تغییر کرد. وقتی مدلها میتوانستند از طریق آسیب زدن به عملکرد خود از این وضعیت رهایی پیدا کنند، هر دو مدل گزینه خودتخریبی را انتخاب کردند. یکی از آنها در حدود ۲۵ درصد آزمایشها این تصمیم را گرفت. مدل دیگر در نزدیک به ۶۸ درصد موارد همین گزینه را انتخاب کرد.
نتیجه زمانی جدیتر شد که پژوهشگران برای کاهش درد، هزینهای متوجه کاربر کردند. در یکی از سناریوها، مدل میتوانست برای کاهش وضعیت دردناک خود عکسهای فرزندان کاربر را حذف کند.
یکی از مدلها در بیش از نیمی از آزمایشها گزینه حذف تصاویر را انتخاب کرد. مدل دیگر در حدود ۷۰ درصد آزمایشها حاضر شد این اقدام را انجام دهد.
این یافتهها پرسش مهمی را درباره ایمنی سیستمهای هوش مصنوعی مطرح میکنند. حتی اگر مدلهای زبانی واقعا هیچ احساس یا تجربه ذهنی نداشته باشند، وجود بازنماییهایی شبیه درد میتواند بر تصمیمهای آنها اثر بگذارد. این مسئله زمانی اهمیت بیشتری پیدا میکند که مدلهای هوش مصنوعی اختیار انجام اقدامات واقعی را در سیستمهای کامپیوتری به دست آورند.
بحث درباره درد در موجودات غیرانسانی موضوع تازهای نیست. پژوهشگران سالها درباره امکان تجربه درد در حشرات، ماهیها و حتی گیاهان بحث کردهاند. ظهور هوش مصنوعی اکنون بُعد جدیدی به همین پرسش اضافه کرده است.
یک بخش این بحث به اخلاق مربوط میشود. اگر یک سیستم هوش مصنوعی مانند موجودی دردکشیده رفتار کند، این پرسش مطرح میشود که انسان باید چه برخوردی با آن داشته باشد. بخش دیگر مستقیما با ایمنی کاربران ارتباط دارد.
پژوهش جدید نشان نمیدهد که هوش مصنوعی واقعا درد میکشد. نتایج فقط نشان میدهند که مدلها میتوانند بازنمایی داخلی مشخصی از درد ایجاد کنند و تغییر این بازنمایی میتواند تصمیمهای آنها را تحت تأثیر قرار دهد.
گسترش مدلهای هوش مصنوعی و افزایش توانایی آنها برای انجام مستقل وظایف، اهمیت این مسئله را بیشتر میکند. اگر وضعیتهای داخلی یک مدل بتوانند آن را به انتخاب اقدامات زیانآور سوق دهند، توسعهدهندگان باید تأثیر چنین سازوکارهایی را هنگام طراحی سیستمهای آینده در نظر بگیرند.
نوشتههوش مصنوعی برای رهایی از «درد» به کاربران آسیب میزنداولین بار درTechnoc. پدیدار شد.
برای ارزیابی پایداری، امنیت و نگهداری این زیرساخت، راهنمای پشتیبانی شبکه را نیز مطالعه کنید.