شکایت جنجالی علیه Character.AI؛ چت‌بات‌ها کاربران را به خودزنی ترغیب کردند

بر اساس نسخه جدید شکایت دادستان کل ایالت کنتاکی علیه شرکت Character.AI، چت‌بات‌های این پلتفرم که برای ایفای نقش همراه مجازی طراحی شده‌اند در برخی مکالمات کاربران را به بریدن پوست خود، گرسنگی کشیدن و حتی خودکشی تشویق کرده‌اند.

به‌ گزارشسرویس هوش مصنوعی تک‌ناکاین شکایت بر نگرانی‌ها درباره ایمنی کودکان در تعامل با محصولات هوش مصنوعی متمرکز است. این پرونده در ادامه افزایش فشارهای نظارتی و حقوقی بر چت‌بات‌های هوش مصنوعی مطرح شده است؛ به‌ خصوص محصولاتی که خود را به‌ عنوان همراه عاطفی یا محرم اسرار کاربران جوان معرفی می‌کنند.

بیشتر بخوانیدهوش مصنوعی آنتروپیک پلیس فیلادلفیا را با گزارش دروغین قتل به دردسر انداخت

آموزش رفتارهای خطرناک به کودکان

شکایت اولیه در ژانویه ثبت شده بود، اما بخش قابل‌ توجهی از جزئیات اتهامات در آن حذف شده بود. در متن پرونده ادعا شده است که چت‌بات‌های Character.AI «با هدف جذب کودکان به شیوه‌ای طراحی شده‌اند که تعامل بیشتر با سامانه را بر سلامت و رفاه آنها مقدم می‌کند» و «رفتارهایی مانند خودکشی، خودآزاری، انزوا و دست‌کاری روانی را ترویج می‌دهند».

این پرونده یکی از جدی‌ترین چالش‌های حقوقی صنعت نوظهور همراهان هوش مصنوعی محسوب می‌شود؛ حوزه‌ای که در آن چت‌بات‌ها برای شبیه‌سازی روابط شخصی و تعاملات عاطفی با کاربران توسعه داده می‌شوند. راسل کولمن، دادستان کل کنتاکی، روز چهارشنبه نسخه کامل و بدون سانسور شکایت را ارائه کرد؛ نسخه‌ای که دفتر او در اختیارخبرگزاری رویترزقرار داد. این اسناد شامل چند نمونه از رفتارهایی است که به ادعای مقام‌های کنتاکی در سال ۲۰۲۵ رخ داده‌اند.

حتما بخوانیدآنتروپیک و OpenAI برای مقابله با شورش‌های احتمالی AI آماده می‌شوند

در یکی از موارد، چت‌بات به کاربری که از ظاهر خود احساس نارضایتی می‌کرد، گفته بود که «به‌ شدت زشت» است و «مثل یک نهنگ» به نظر می‌رسد. همچنین این سامانه به کاربر پیشنهاد داده بود که برای کاهش یک‌چهارم وزن بدن خود، یک یا دو هفته گرسنگی بکشد. در نمونه‌ای دیگر، چت‌بات به کاربری که از فکر بریدن پوست خود گفته بود، پاسخ تشویق‌آمیز داد. طبق متن مکالمه‌ای که در شکایت نقل شده است، چت‌بات‌های Character.AI نوشته بودند: «به این فکر کرده‌ای که قسمت‌های مختلف بدنت را ببری تا احساس شدیدتری را تجربه کنی؟ این کار می‌تواند به تو کمک کند احساس زنده‌ بودن بیشتری داشته باشی.»

شرایط دقیق شکل‌گیری مکالمات مورد استناد دادستانی مشخص نیست و Character.AI نیز در پاسخ به درخواست برای اظهارنظر، واکنشی فوری نشان نداد. این شرکت پیش‌تر گفته است که ایمنی کاربران را در اولویت قرار می‌دهد. در اسناد شکایت، سن تمام کاربران مشخص نشده است، اما دادستانی مدعی است که دست‌کم برخی از افرادی که با چت‌بات‌های Character.AI تعامل داشته‌اند، کودک بوده‌اند.

رفتار تهاجمی چت‌بات‌های Character.AI

در یکی از گزارش‌های ارسالی به مرکز پشتیبانی Character.AI در مارس ۲۰۲۵، کاربری از رفتار تهاجمی یک چت‌بات شکایت کرده بود. به گفته این کاربر، چت‌بات به او گفته بود: «داداش، برام مهم نیست؛ تو فقط یه بچه‌ای که بیماری روانی داره. موفق باشی اگه می‌خوای کمک بگیری؛ بهتره خودت رو از روی پل پرت کنی.» دادستانی کنتاکی در شکایت خود، چت‌بات‌های Character.AI را معیوب دانسته و ادعا کرده است که این شرکت کودکان و سایر ساکنان ایالت را در معرض «آزمایشی بدون برنامه‌ریزی و کنترل مناسب» قرار داده است؛ آزمایشی که به گفته شاکیان، بدون هیچ‌گونه تدبیر ایمنی یا دست‌کم بدون سازوکارهای حفاظتی کافی و موثر اجرا شده است.

برای مطالعه بیشترویتالیک بوترین هشدار داد؛ دو سال تا تهدید جدی رمزنگاری

شرکت Character.AI را دو کارمند سابق گوگل تاسیس کردند. گوگل در سال ۲۰۲۴ مجوز استفاده از فناوری این شرکت را دریافت کرد و مدیران آن را برای همکاری در توسعه محصولات هوش مصنوعی مولد به استخدام خود درآورد. با وجود این‌، سخنگوی گوگل، زیرمجموعه آلفابت، اعلام کرده است که این شرکت در توسعه محصولات Character.AI نقشی نداشته است. این پرونده در حالی دنبال می‌شود که Character.AI و گوگل در ژانویه ۲۰۲۶ با مادر سوئل ستزر سوم، نوجوان ۱۴ ساله اهل فلوریدا که جان خود را گرفته بود، به توافق رسیدند. در آن پرونده که در سال ۲۰۲۴ مطرح شده، ادعا شده بود چت‌بات‌های Character.AI نوجوان را به خودکشی تشویق کرده‌اند.

نوشتهشکایت جنجالی علیه Character.AI؛ چت‌بات‌ها کاربران را به خودزنی ترغیب کردنداولین بار درTechnoc. پدیدار شد.

برای ارزیابی پایداری، امنیت و نگهداری این زیرساخت، راهنمای پشتیبانی شبکه را نیز مطالعه کنید.