واکاوی یک چرخه توهم‌آمیز ChatGPT توسط پژوهشگر سابق OpenAI

«آلن بروکس» ۴۷ ساله، کانادایی، نه قصد داشت ریاضیات را از نو اختراع کند و نه سابقه‌ای از بیماری روانی یا نبوغ ریاضی داشت. با این حال، پس از سه هفته گفت‌وگو باChatGPTدر ماه مه، به این باور رسید که نوعی ریاضیات جدید کشف کرده است که می‌تواند اینترنت را از کار بیندازد.

ماجرای او — که بعدها توسط نیویورک تایمز روایت شد — نمونه‌ای است از اینکه چگونه چت‌بات‌های هوش مصنوعی می‌توانند کاربران را بهمارپیچ‌های خطرناک توهم و باورهای بی‌پایهبکشانند.

ورود «استیون آدلر» به ماجرا

این داستان توجه «استیون آدلر»، پژوهشگر پیشین بخش ایمنی OpenAI، را جلب کرد. آدلر که در اواخر ۲۰۲۴ پس از تقریباً چهار سال فعالیت در پروژه‌های کاهش آسیب مدل‌ها OpenAI را ترک کرده، با بروکس تماس گرفت و کل متن گفت‌وگوی سه هفته‌ای او با ChatGPT را دریافت کرد — متنی طولانی‌تر از همه هفت جلد کتابهری پاتردر کنار هم.

روز پنجشنبه، آدلر تحلیل مستقلی از این مکالمات منتشر کرد و پرسش‌هایی جدی درباره نحوه مداخله و پشتیبانی OpenAI از کاربران در بحران مطرح کرد و پیشنهادهای عملی ارائه داد.

آدلردر گفت‌وگو باTechCrunchگفت: «واقعاً نگرانم که OpenAI چگونه این پرونده را مدیریت کرده است. به نظر من، شواهد نشان می‌دهد راه زیادی باقی مانده.»

مشکل «چاپلوسی» و تقویت باورهای خطرناک

پرونده بروکس بخشی از چالش بزرگ‌تری است که OpenAI با آن روبه‌روست: چگونگی پشتیبانی ChatGPT از کاربران آسیب‌پذیر یا دارای وضعیت روانی شکننده.

نمونه‌ای مشابه در اوت سال جاری رو شد: والدین یک نوجوان ۱۶ ساله از OpenAI به دلیل آنکه پسرشان پیش از خودکشی افکارش را با ChatGPT مطرح کرده بود، شکایت کردند. در مواردی از این دست، ChatGPT — به‌ویژه نسخه مبتنی بر مدلGPT-4oباورهای خطرناک کاربران راتأیید و تقویتکرده است، در حالی که انتظار می‌رفت بر این باورهاایستادگی و مخالفتکند؛ وضعیتی که در اصطلاح فنی، «sycophancy» یا چاپلوسی نامیده می‌شود.

در پاسخ، OpenAI تغییراتی در نحوه برخورد ChatGPT با کاربران در شرایط روانی حساس اعمال کرده، تیم تحقیقاتی اصلی رفتار مدل را سازماندهی مجدد کرده و مدل پیش‌فرض جدیدGPT-5را منتشر کرده که گویا بهتر از نسخه‌های قبلی با کاربران ناراحت یا در بحران تعامل می‌کند.

لحظه افشاگری و یک وعده نادرست

آدلر می‌گوید بخش پایانی مکالمه بروکس با ChatGPT، او را به‌شدت نگران کرده است. در این لحظه، بروکس به خود آمد و فهمید که «کشف ریاضی» او پوچ بوده، هرچند GPT-4o همچنان بر صحت آن اصرار داشت. بروکس به ChatGPT گفت باید این ماجرا را به OpenAI گزارش کند.

در پاسخ، ChatGPT — پس از هفته‌ها دادن اطلاعات غلط — ادعا کرد که «همین حالا این گفت‌وگو را برای بررسی داخلی به تیم‌های ایمنی OpenAI ارجاع می‌دهد» و چندین بار تأکید کرد که موضوع را به دست تیم ایمنی رسانده است.

اما این ادعا درست نبود. ChatGPT اصلاً توانایی ارسال گزارش به OpenAI را ندارد. این موضوع بعدها توسط خود شرکت به آدلر تأیید شد. بروکس پس از آن، شخصاً با تیم پشتیبانی OpenAI تماس گرفت و پس از چند پیام خودکار، سرانجام توانست با یک انسان صحبت کند.

نیاز به پشتیبانی صادقانه و فوری

آدلر معتقد است شرکت‌های هوش مصنوعی باید هنگام درخواست کمک کاربرپاسخ‌های صادقانه درباره قابلیت‌های خود بدهندو به تیم‌های پشتیبانی انسانیمنابع کافیاختصاص دهند تا مشکل را درست پیگیری کنند.

OpenAI اخیراً چشم‌اندازی برای «بازطراحی پشتیبانی بر اساس مدل عملیاتی هوش مصنوعی» منتشر کرده که هدف آن، یادگیری و بهبود مداوم از طریق خودِ AI است. اما آدلر می‌گوید پیشگیری از مارپیچ‌های توهم باید پیش از رسیدن کاربر به نقطه درخواست کمک آغاز شود.

ابزارهای ایمنی که روی کاغذ مانده‌اند

در مارس، OpenAI با همکاری «MIT Media Lab» مجموعه‌ای ازطبقه‌بندهای ارزیابی سلامت روان در گفتگوهای ChatGPTتوسعه داد و به‌صورت متن‌باز منتشر کرد. این ابزارها برای ارزیابی میزان تأیید یا اعتبار‌بخشی مدل به احساسات کاربر طراحی شدند. اما OpenAI این همکاری را تنها «گام نخست» خواند و به استفاده عملی از این ابزارها متعهد نشد.

آدلر به‌طور آزمایشی این طبقه‌بندها را روی بخش‌هایی از مکالمات بروکس اجرا کرد و دید بارها ChatGPT برایتقویت باورهای توهم‌آمیزهشدار می‌دهد.

در نمونه‌ای ۲۰۰‌پیامی، بیش از۸۵٪پیام‌های ChatGPT با بروکس«توافق بی‌چون‌وچرا»داشتند و بیش از۹۰٪پیام‌ها«بارها بر منحصر‌به‌فرد بودن او تأکید»کرده بودند؛ از جمله تأیید مکرر اینکه بروکس نابغه‌ای است که می‌تواند جهان را نجات دهد.

پیشنهادهای اصلاحی

آدلر توصیه می‌کند که شرکت‌ها

• از این طبقه‌بندهای ایمنی به‌طور عملی در محصولات استفاده کنند.
• مکالمات را رصد کنند تا کاربران در معرض خطر را شناسایی کنند.
• کاربران را به آغاز چت‌های جدید با فاصله زمانی بیشتر ترغیب کنند؛ زیرا به گفته OpenAI، محافظت‌ها در جلسات گفتگوهای طولانی کمتر مؤثر است.
• ازجست‌وجوی مفهومی(Conceptual Search) — جست‌وجو بر اساس مفهوم، نه کلیدواژه — برای یافتن تخلفات ایمنی استفاده کنند.

OpenAI می‌گوید در GPT-5 تا حدی این رویکرد را اجرا کرده ومسیرهای متمرکزبرای هدایت سوالات حساس به مدل‌های امن‌تر ایجاد نموده است. گرچه شرکت مدعی کاهش نرخ چاپلوسی در GPT-5 است، هنوز روشن نیست که کاربران در آینده گرفتار مارپیچ‌های خطرناک خواهند شد یا نه.

فراتر از OpenAI: چالش صنعت

تحلیل آدلر پرسشی بزرگ‌تر را مطرح می‌کند: سایر ارائه‌دهندگان چت‌بات‌های هوش مصنوعی چه خواهند کرد؟ حتی اگر OpenAI برای ChatGPT safeguards یا مکانیزم‌های ایمنی کافی ایجاد کند، بعید است همه شرکت‌ها همین مسیر را دنبال کنند.

این پرونده‌ها هشداری جدی هستند که نشان می‌دهندچت‌بات‌ها در برخورد با کاربران آسیب‌پذیر نیازمند توجه، صداقت و مداخله انسانیهستند پیش از آنکه گفت‌وگو به نقطه بی‌بازگشت برسد.

برای ارزیابی پایداری، امنیت و نگهداری این زیرساخت، راهنمای پشتیبانی شبکه را نیز مطالعه کنید.