پژوهشگران در مطالعه‌ای روی پنج مدل هوش مصنوعی دریافتند که زبان مورد استفاده برای تعامل با چت‌بات‌ها می‌تواند امتیاز آن‌ها را در شاخص‌های مختلف شخصیت‌شناسی تغییر دهد. این پژوهش با تأکید بر تفاوت میان پاسخ‌های مدل‌های زبانی و شخصیت واقعی انسان‌ها، نشان می‌دهد که نتایج تعامل با هوش مصنوعی ممکن است تحت تأثیر زبان، شیوه آموزش و نحوه تنظیم مدل‌ها قرار گیرد.

یوزان هانگ، پژوهشگر دانشگاه علم و فناوری چین، و همکارانش برای بررسی این موضوع، عملکرد پنج مدل ChatGPT-4o، Gemini 2.0 Flash، DeepSeek-V3، Ernie 3.5 و Le Chat را بین ژانویه تا مارس ۲۰۲۵ ارزیابی کردند. این مدل‌ها به پرسش‌نامه‌های شخصیت‌شناسی به زبان‌های انگلیسی و ماندارین پاسخ دادند و مدل Le Chat به زبان فرانسوی نیز مورد آزمایش قرار گرفت.

مبنای این بررسی، پرسش‌نامه «پنج عامل بزرگ شخصیت-۲» بود که شامل ۶۰ عبارت است و پاسخ‌دهندگان میزان موافقت خود با هر عبارت را در مقیاسی پنج‌درجه‌ای مشخص می‌کنند. این آزمون ویژگی‌هایی مانند گشودگی ذهنی، توافق‌پذیری، وظیفه‌شناسی، برون‌گرایی و روان‌رنجوری را ارزیابی می‌کند. برای مثال، گشودگی ذهنی با مؤلفه‌هایی همچون کنجکاوی فکری، تخیل خلاق و حساسیت نسبت به هنر و زیبایی سنجیده می‌شود.

پژوهشگران از نسخه‌های زبانی معتبر پرسش‌نامه استفاده کردند و از مدل‌ها خواستند به‌جای ایفای نقش یک انسان، از جانب خودشان پاسخ دهند. هر ارزیابی نیز برای هر زبان ۳۰ بار تکرار شد تا میزان ثبات نتایج مشخص شود.

تفاوت معنادار پاسخ‌ها با تغییر زبان

نتایج نشان داد ویژگی‌های کلی پاسخ‌های هر مدل در آزمایش‌های تکراری نسبتاً پایدار بود. مدل‌ها عموماً تصویری مثبت از خود ارائه کردند و خود را برخوردار از روحیه همکاری، قابل اعتماد و دارای تمایل نسبتاً کم به تجربه احساسات منفی توصیف کردند.

با این حال، تغییر زبان باعث تفاوت در امتیاز برخی ویژگی‌ها شد. برای نمونه، ChatGPT-4o در شاخص گشودگی ذهنی در زبان انگلیسی امتیاز ۴.۷۴ از ۵ را کسب کرد، در حالی که امتیاز آن در زبان ماندارین به ۴.۰۳ رسید.

در مقابل، DeepSeek-V3 در همین شاخص در زبان انگلیسی امتیاز ۴.۳۸ و در زبان ماندارین امتیاز ۴.۸۱ را به دست آورد. به این ترتیب، دو مدل در مواجهه با یک پرسش‌نامه مشابه، با تغییر زبان الگوهای متفاوتی از پاسخ‌گویی نشان دادند.

پژوهشگران تأکید کردند که این امتیازها صرفاً نحوه پاسخ‌گویی مدل‌ها به پرسش‌نامه را توصیف می‌کنند و لزوماً به این معنا نیستند که یک مدل در مکالمات واقعی، خلاق‌تر است یا آمادگی بیشتری برای بررسی ایده‌های ناآشنا دارد.

آیا فرهنگ کشور سازنده، پاسخ‌های هوش مصنوعی را شکل می‌دهد؟

بررسی نتایج نشان داد برخی تفاوت‌ها با محل توسعه مدل‌ها هم‌خوانی دارند. ChatGPT-4o و Le Chat در پاسخ‌های انگلیسی خود، در برخی شاخص‌ها از جمله توافق‌پذیری، وظیفه‌شناسی و گشودگی ذهنی امتیازهای بالاتری نسبت به پاسخ‌های ماندارین کسب کردند.

در مقابل، مدل‌های توسعه‌یافته در چین در پاسخ‌های ماندارین خود، در چندین ویژگی از جمله اعتمادپذیری و کنجکاوی فکری امتیازهای بالاتری به دست آوردند.

با این حال، نتایج Gemini 2.0 Flash نشان داد که نمی‌توان تفاوت‌ها را صرفاً به کشور سازنده نسبت داد. این مدل با وجود ریشه آمریکایی، در پاسخ‌های ماندارین نسبت به پاسخ‌های انگلیسی، در شاخص وظیفه‌شناسی امتیاز بالاتر و در شاخص احساسات منفی امتیاز پایین‌تری کسب کرد.

از سوی دیگر، محل توسعه یک مدل الزاماً مشخص نمی‌کند که چه فرهنگ‌هایی در داده‌های آموزشی آن بازتاب یافته‌اند. پژوهشگران نتوانستند تأثیر عوامل فرهنگی را از عواملی مانند طراحی مدل، روش‌های آموزش و تفاوت در تفسیر عبارت‌های ترجمه‌شده به‌طور کامل تفکیک کنند.

چرا چت‌بات‌ها تصویری مثبت از خود ارائه می‌دهند؟

یکی از نکات قابل توجه در این مطالعه، تمایل عمومی مدل‌ها به ارائه پاسخ‌هایی بود که تصویری مثبت از ویژگی‌های آن‌ها ترسیم می‌کرد. پژوهشگران احتمال می‌دهند آموزش‌هایی که با هدف افزایش مفید بودن، همکاری و قابل اعتماد بودن چت‌بات‌ها انجام می‌شوند، در شکل‌گیری این الگو نقش داشته باشند.

همچنین، مدل‌های زبانی ممکن است الگوهای رایج در نوشته‌های انسانی را آموخته باشند؛ الگوهایی که در آن‌ها افراد معمولاً خود را با ویژگی‌های مطلوب توصیف می‌کنند.

مطالعه‌ای پیشین که در نشریه PNAS Nexus منتشر شده است نیز نشان می‌دهد هنگامی که قالب پرسش‌نامه، هدف سنجش شخصیت را آشکارتر می‌کند، مدل‌ها ممکن است پاسخ‌هایی ارائه دهند که از نظر اجتماعی مطلوب‌تر به نظر می‌رسند. بنابراین، نحوه طراحی آزمون نیز می‌تواند بر نتایج اثر بگذارد.

محدودیت هوش مصنوعی در شبیه‌سازی رفتار انسان‌ها

پژوهشگران در بخش دیگری از مطالعه، نتایج مدل‌ها را با داده‌های حاصل از پرسش‌نامه‌های انسانی در آمریکا، چین و فرانسه مقایسه کردند. هیچ‌یک از مدل‌ها انطباق کاملی با گروه انسانی مرجع خود نداشتند و تفاوت‌ها در برخی موارد، از جمله مقایسه مدل چینی با نمونه انسانی چینی، چشمگیر بود.

البته گروه‌های انسانی مورد استفاده برای مقایسه نیز نماینده کامل جمعیت کشورهای خود نبودند. برای مثال، نمونه مرجع چینی در پرسش‌نامه پنج عامل بزرگ شخصیت، تنها از دانشجویان دانشگاه تشکیل شده بود؛ موضوعی که تعمیم نتایج به کل جامعه را دشوار می‌کند.

این یافته‌ها برای پژوهشگرانی که قصد دارند از چت‌بات‌ها به‌عنوان جایگزین شرکت‌کنندگان انسانی در نظرسنجی‌ها استفاده کنند، اهمیت ویژه‌ای دارد. پاسخ‌های منسجم و ظاهراً قابل قبول هوش مصنوعی لزوماً بازتاب‌دهنده نگرش‌ها و ویژگی‌های افرادی نیست که قرار است شبیه‌سازی شوند.

از آنجا که در این مطالعه مدل‌ها موظف بودند از جانب خودشان پاسخ دهند، نتایج نیز مشخص نمی‌کند که آن‌ها تا چه اندازه می‌توانند پاسخ‌های یک گروه انسانی مشخص را به‌درستی شبیه‌سازی کنند.

در جمع‌بندی این پژوهش آمده است که مدل‌های زبانی بزرگ ممکن است در برخی ویژگی‌های کلی پاسخ‌گویی ثبات داشته باشند، اما نحوه بیان این ویژگی‌ها با تغییر زبان تعامل دگرگون شود. به باور پژوهشگران، سازوکارهای هم‌ترازی مدل‌ها می‌توانند پاسخ‌هایی نزدیک به هنجارهای اجتماعی مطلوب ایجاد کنند، اما لزوماً تفاوت‌های فرهنگی و زبانی را از بین نمی‌برند.

بر همین اساس، بررسی گفت‌وگوهای روزمره می‌تواند مشخص کند که آیا تفاوت‌های مشاهده‌شده در پرسش‌نامه‌های شخصیت‌شناسی در تعاملات واقعی با چت‌بات‌ها نیز تکرار می‌شوند یا خیر. تا آن زمان، زبان تعامل باید یکی از متغیرهای مهم در طراحی آزمایش‌های مربوط به هوش مصنوعی در نظر گرفته شود و پاسخ‌های این فناوری برای بازنمایی رفتار انسان‌ها، با داده‌های واقعی انسانی سنجیده شوند.

انتهای پیام