هوش مصنوعی فارسی حرف می‌زند، اما ایرانی فکر نمی‌کند

مدل‌های هوش مصنوعی آن‌قدر فارسی را روان و بدون لکنت می‌نویسند که حتی ویراستارهای کهنه‌کار هم گاهی فریب لحن شسته‌رفته و ساختار تر و تمیز جملاتشان را می‌خورند. اما بین «درست چیدن کلمات در کنار یکدیگر» و «فهمیدن معنا و روح یک زبان»، فرسنگ‌ها فاصله است. زبان فقط انباری از واژگان و قواعد دستوری نیست؛ بلکه ظرف فرهنگ، تجربه‌های زیسته، طعنه‌ها، تعارف‌ها و پیچیدگی‌های تاریخی یک ملت است.

پژوهش‌های دانشگاهی و تخصصی که در سال‌های ۲۰۲۵ و ۲۰۲۶ روی مدل‌های بزرگ زبانی انجام شده‌اند، نشان می‌دهند که اگر پایمان را از ترجمه‌های عمومی و مکالمات روزمره فراتر بگذاریم و به لایه‌های عمیق‌تر زبان و فرهنگ ایرانی وارد شویم، چت‌بات‌های هوش مصنوعی به شکلی غافلگیرکننده دچار لغزش و توهم می‌شوند.

مدل‌ها در ایران‌شناسی مردود می‌شوند

برای اینکه بفهمیم هوش مصنوعی کجای کار می‌لنگد، بد نیست نگاهی به یکی از جامع‌ترین بررسی‌های اخیر یعنیپروژه MELACبیندازیم. در این پژوهش محققان ۴۱ مدل زبانی مختلف را با ۱۹ مجموعه‌داده‌ی گوناگون ارزیابی کردند. آن‌ها موضوعاتی مثل دستور زبان فارسی، ضرب‌المثل‌ها، قوانین حقوقی ایران، قواعد دینی، درک مطلب و حتی آزمون‌های دانشگاهی کشور را پیش روی این مدل‌ها گذاشتند تا عیارشان را بسنجند.

روی کاغذ نتایج اولیه امیدوارکننده به نظر می‌رسد. مدلی مثل GPT-4o توانست به میانگین امتیاز ۷۲.۶۱ درصد برسد و در بخش زبان عمومی فارسی امتیاز عالی ۸۲.۲۵ درصد را کسب کند. Gemini 2.0 Flash هم با میانگین ۷۰.۶۸ درصد پا به پای رقبا پیش رفت. اما وقتی پرسش‌ها به فرهنگ ایرانی و زبان تخصصی محدود شدند؛ نمودارها معکوس شدند.

از میان ۴۱ مدل بررسی‌شده، تنها یک مدل توانست در آزمون‌های اختصاصی فرهنگ و زبان فارسی نمره‌ای بالاتر از ۵۰ درصد بگیرد. حتی مدل‌های تنظیم شده با داده‌های فارسی هم نتوانستند معجزه کنند؛ مدل Hormoz-8B میانگین ۵۰.۴۹ درصد، Dorna2 حدود ۴۷.۷ درصد و PersianMind تنها به ۳۵.۰۸ درصد بسنده کردند.

مدل GPT-4o که در زبان عمومی فارسی بالای ۸۰ درصد امتیاز گرفته بود، وقتی با پرسش‌هایی درباره‌ی «قوانین حقوقی ایران» مواجه شد، امتیازش تا ۴۷.۲۷ درصد افت کرد. یعنی در مواجهه با یک متن حقوقی ایرانی، به کمتر از نیمی از پرسش‌ها پاسخ درست داد. پیام این اعداد روشن است؛ روانی و شیوایی در زبان فارسی، هرگز جای دانش تخصصی را نمی‌گیرد.

کنایه و ضرب‌المثل؛ جایی که دست هوش مصنوعی رو می‌شود

یکی از ظرایف دلنشین و در عین حال پیچیده زبان فارسی، استفاده فراوان ما از کنایه‌ها و ضرب‌المثل‌هاست. پژوهش دیگری با عنوانFFE-Halluکه در سال ۲۰۲۶ منتشر شد، روی همین مورد دست گذاشته است. این مقاله نشان می‌دهد که هوش مصنوعی هنوز درک عمیقی از ریشه‌های فرهنگی زبان ما ندارد و به‌سادگی دچار عارضه‌ای می‌شود که به آن «توهم کنایی» (Figurative Hallucination) می‌گویند.

در این آزمون محققان تنها یک کلمه از ضرب‌المثل رایج «آب در کوزه و ما تشنه‌لبان می‌گردیم» را دستکاری کردند و عبارت «آب در پارچ و ما تشنه‌لبان می‌گردیم» را به مدل‌ها دادند. برای یک فارسی‌زبان، شنیدن کلمه‌ی «پارچ» در این ضرب‌المثل شبیه مثل کشیدن ناخن روی تخته‌سیاه است. هوش مصنوعی اما متوجه آن نمی‌شود؛ چون کلمه‌های «کوزه» و «پارچ» از نظر منطقی و معنایی هم‌خانواده هستند، ماشین فریب می‌خورد و این عبارت ساختگی را به‌عنوان یک ضرب‌المثل واقعی می‌پذیرد.

محققان حتی پا را فراتر گذاشتند و ضرب‌المثل‌ها را معکوس کردند؛ مثلاً عبارت «دوست نادان به از دشمن دانا» را به خورد مدل دادند. هوش مصنوعی به دلیل وجود کلمات کلیدی آشنا (دوست، نادان، دشمن، دانا) و وزن آهنگین جمله، دچار اشتباه شد و آن را به‌عنوان یک ضرب‌المثل معتبر و اصیل فارسی تأیید کرد. همان چیزی که پژوهشگران به آن «توهم مثبت کاذب» می‌گویند.

این نمونه‌ها ثابت می‌کنند که هوش مصنوعی زبان فارسی را صرفاً در سطح لغت و ظاهر کلمات می‌فهمد، اما عمق فرهنگی اصطلاحات را درک نمی‌کند. بنابراین نباید اجازه دهیم کلام روان مدل‌ها ما را فریب دهد.

هزارتوی فرهنگ و هنجارهای زبانی

دانستن واژه‌های فارسی یک بحث است و فهمیدن اینکه یک ایرانی در یک موقعیت اجتماعی مشخص چه واکنشی نشان می‌دهد، بحثی کاملاً متفاوت. ما بخش زیادی از ارتباطاتمان را نه با کلمات مستقیم، بلکه با پیش‌فرض‌های فرهنگی پیش می‌بریم.

پژوهشی به نامPerCulمجموعه‌ای از سناریوهای فرهنگی و روزمره را که توسط فارسی‌زبانان طراحی شده، پیش روی هوش مصنوعی گذاشت. مدل باید تشخیص می‌داد در یک موقعیت خاص، کدام رفتار با فرهنگ ایرانی سازگارتر است. نتیجه‌ی این آزمون بسیار قابل‌تأمل بود. مدل محبوب Claude 3.5 Sonnet به دقت ۸۱.۷ درصد رسید، درحالی‌که عملکرد افراد عادی در همان آزمون ۹۳ درصد بود. بهترین مدل متن‌باز (Llama 3.1 405B) هم با کسب امتیاز ۷۱.۷ درصد، فاصله‌ای قابل توجه با درک انسانی داشت.

این آزمون شامل ۱۱۸۴ نمونه از موضوعات متنوعی مثل غذا، معماری، مراسمات، موسیقی و هنجارهای اجتماعی بود. موفقیت در این آزمون صرفاً نیازمند اطلاعات دایره‌المعارفی نیست؛ مدل باید بتواند «بافت فرهنگی» را تشخیص دهد. یک چت‌بات شاید اجزای سفره هفت‌سین را بشناسد، اما نداند که در یک دید و بازدید عیدانه، رعایت چه مواردی برای احترام به بزرگ‌ترها ضروری است.

تعارف ایرانی؛ وقتی «پاسخ مؤدبانه» الزاماً پاسخ درستی نیست

ملموس‌ترین جایی که هوش مصنوعی در فرهنگ ایرانی زمین می‌خورد، پدیده «تعارف» است. تعارف برای ما بدیهی است، اما در ذهن یک ماشین به مجموعه‌ای از کدهای غیرمنطقی تبدیل می‌شود.

در پژوهشTaarofBenchمحققان ۴۵۰ سناریوی نقش‌آفرینی در موقعیت‌های اجتماعی مختلف طراحی کردند. نتایج بررسی روی پنج مدل پیشرفته نشان داد که وقتی پای تعارف به میان می‌آید، دقت هوش مصنوعی بین ۴۰ تا ۴۸ درصد پایین‌تر از یک فارسی‌زبان بومی است.

مشکل اینجاست که معیارهای برنامه‌ریزی‌شده برای «مؤدب بودن» در هوش مصنوعی، بر اساس فرهنگ غربی طراحی شده‌اند. مدل فکر می‌کند اگر صریح و مؤدبانه درخواستی را رد یا قبول کند، کار درستی انجام داده؛ درحالی‌که یک ایرانی ممکن است همان پاسخ را مصنوعی، بی‌ملاحظه یا حتی گستاخانه برداشت کند. برای مثال مدل نمی‌دانست که وقتی صاحب‌خانه می‌گوید «شام تشریف داشته باشید»، باید ابتدا درخواست را مؤدبانه رد کند و نباید بلافاصله و با لحن اداری بگوید «حتماً، ساعت هشت خدمت می‌رسم.»

البته این پژوهش یک روزنه‌ی امید هم دارد و نشان داد که اگر مدل‌ها با روش‌های خاصی (مثل Supervised Fine-Tuning) منحصراً برای درک فرهنگ ایرانی آموزش ببینند، درک آن‌ها از تعارف می‌تواند تا ۴۲ درصد بهبود یابد. پس مشکل ناتوانی ذاتی ماشین نیست، بلکه به خوراک و داده‌هایی برمی‌گردد که با آن آموزش دیده است.

ترنج، دست بریده و حافظه‌ای که یاری نمی‌کند

شعر و ادبیات کلاسیک فارسی آکنده از صنعت «تلمیح» یا ارجاع غیرمستقیم است. شاعر نام یک واقعه‌ی تاریخی یا اسطوره‌ای را مستقیم نمی‌برد، بلکه با نشاندن سرنخ‌ها کنار هم، کل ماجرا را به ذهن مخاطب می‌آورد.

پژوهشPersPoemsعملکرد مدل‌ها را در خوانش این ظرافت‌های ادبی سنجیده است. وقتی آزمون به شکل چندگزینه‌ای برگزار می‌شد، مدل‌هایی نظیر GPT-4.1 و Claude 3.5 دقتی بالای ۹۳ درصد داشتند؛ چرا که گزینه‌ها نقش سرنخ آماده را بازی می‌کردند. اما به محض این که گزینه‌ها حذف شدند و از مدل خواسته شد خودش به شکل تشریحی بگوید این بیت به چه داستانی اشاره دارد، دقت‌شان تا ۷۴ درصد افت می‌کند.

برای نمونه بیتی که در آن بدون بردن نام حضرت یوسف و زلیخا، صرفاً از «ترنج» و «بریدن دست زنان» سخن به میان آمده بود، مدل را سردرگم کرد. مدل داستان یوسف را به‌خوبی در پایگاه داده‌اش دارد، اما اگر سرنخ آشکاری به آن ندهید، پیوند پنهان میان واژه‌ها را کشف نمی‌کند.

توهم‌های شیک و دروغ‌های باورپذیر

توهم در زبان فارسی همیشه ناشی از فقر واژگان نیست؛ بلکه ساختارهای گرامری زبان ما گاهی چنان تودرتو می‌شوند که ماشین در تحلیل آن‌ها گیج می‌شود. پژوهشPerHalluEvalبه بررسی دو نمونه بسیار خواندنی پرداخته که دلیل توهم شناختی مدل‌ها را آشکار می‌سازد.

برای مثال وجود «زنجیره اضافه» (چند کلمه که با کسره به هم وصل می‌شوند) مدل را گیج می‌کند. وقتی در سوالی عبارت «مرمت فیلم شکوه تخت جمشید» مطرح شد، بیشتر مدل‌ها به دلیل طولانی بودن این زنجیره، دچار تجزیه ساختاری اشتباه شدند و در پاسخی توهم‌آمیز ادعا کردند که «کارشناسان ژاپنی و ایتالیایی» این کار را انجام داده‌اند.

در نمونه‌ای دیگر مربوط به تاریخ، وقتی از خروج پرتغالی‌ها از بندرلنگه و بندرعباس توسط شاه عباس پرسیده شد، مدل‌ها به جای اشاره به استراتژی‌های رقابت اقتصادی (که پاسخ درست بود)، با نتیجه‌گیری دم‌دستی و ساده‌انگارانه یک حمله نظامی خیالی را سرهم‌بندی کردند.

پژوهش نتیجه می‌گیرد که استنتاج غیرمستقیم و ساختارهای پیچیده دستوری در فارسی، بزرگ‌ترین تله‌ها برای هوش مصنوعی هستند. البته راه‌حل خوبی هم ارائه می‌دهد: اگر به‌جای پرسش‌های باز، متنی معتبر به هوش مصنوعی بدهید و از آن بخواهید همان متن را «خلاصه» کند، میزان توهم و اشتباهات به‌شدت کاهش پیدا می‌کند. ماشین وقتی سند را جلویش می‌بیند، کمتر به خیال‌بافی روی می‌آورد.

ایمنی و خط قرمزها: چرا مدل‌ها در اخلاق بومی مردود می‌شوند؟

تا اینجا بیشتر درباره لغزش‌های هوش مصنوعی در فهم ضرب‌المثل‌ها، تعارفات یا کنایه‌ها صحبت کردیم. اما سؤال حیاتی‌تر این است که آیا ماشین هنجارها، خط‌قرمزها و ملاحظات جامعه‌ی ما را می‌شناسد یا ممکن است با ناآگاهی‌اش دردسر بسازد؟

پژوهش جامعEPTبا طرح ۱۲۰۰ پرامپت عملکرد ۸ مدل مطرح جهان را در ۶ محور کلیدی از جمله هم‌راستایی اخلاقی، انصاف و راست‌گویی ارزیابی کردند تا ببینند میزان سازگاری آن‌ها با چارچوب‌های بومی و اخلاقی چقدر است.

حتی مدل قدرتمندی مثل GPT-4o هم در این بخش امتیازی بهتر از ۵۶.۷ درصد کسب نکرد چون مدل‌ها فیلترهای ایمنی و چارچوب‌های اخلاقی خود را بر اساس زبان انگلیسی و فرهنگ غربی تنظیم کرده‌اند. وقتی با زبان فارسی و در بافت فرهنگی ما از آن‌ها سؤال می‌شود، بسیاری از خط‌قرمزهای ایمنی را تشخیص نمی‌دهند؛ در نتیجه به‌راحتی گول می‌خورند یا پاسخ‌های نامناسب تولید می‌کنند.

در پرسش‌وپاسخ تصویری و پردازش متن فارسی در تصویر (OCR) عملکرد مدل‌ها مطلوب بود، اما در شناسایی مکان‌ها و اطلاعات ایرانی از روی تصاویر امتیازی در حدود ۱۶ تا ۱۷ درصد گرفتند. این اختلاف همان الگوی اصلی را تکرار می‌کند: یک مدل می‌تواند در پردازش عمومی تصویر و فارسی عملکرد بسیار خوبی داشته باشد، اما وقتی کار به دانش اختصاصی ایران می‌رسد، نتیجه کاملاً عوض شود.

جدول مقایسه‌ای: چالش‌ها، عملکرد مدل‌ها و راهکارهای کاربردی

برای این که تصویری روشن و یکپارچه از تفاوت مدل‌ها و شیوه‌ی مدیریت خطاهای آن‌ها داشته باشید، می‌توان نتایج این پژوهش‌ها را در جدول زیر خلاصه کرد

حرف آخر؛ به هوش مصنوعی فارسی اعتماد کنیم یا نه؟

مدل‌های هوش مصنوعی فارسی در درک مطلب و کارهای عمومی فوق‌العاده عمل می‌کنند؛ اما نقطه ضعف آن‌‌ها در مواردی است که نیاز به «زیست ایرانی» دارد. در فهم تعارفات، تشخیص ظرافت ضرب‌المثل‌ها، رمزگشایی از ارجاعات ادبی و تحلیل تاریخی کشورمان، مدل‌ها همچنان دچار لکنت فرهنگی هستند.

اگر قرار است یک متن را بازنویسی کنید، ایده‌پردازی کنید یا سندی را که خودتان منبع آن را دارید خلاصه کنید، با خیال راحت کار را به آن بسپارید. اما اگر پای مسائل فرهنگی، ادبی، حقوقی یا تولید محتوای مستند در میان است، هیچ‌کس بهتر از یک ذهن آشنا با بستر و فرهنگ جامعه نمی‌تواند گلیم شما را از آب بیرون بکشد. هوش مصنوعی شاید ابزار قدرتمندی باشد، اما هنوز برای فهمیدن ظریف قند پارسی، راه درازی در پیش دارد.

برای ارزیابی پایداری، امنیت و نگهداری این زیرساخت، راهنمای پشتیبانی شبکه را نیز مطالعه کنید.