زنی از چت‌بات Claude به‌عنوان دفتر خاطرات استفاده کرد و توسط پلیس بازداشت شد

یک زن در فلوریدا پس از آنکه سامانه‌های ایمنی آنتروپیک نوشته‌های او در دفتر خاطرات دیجیتالی Claude را شناسایی کردند، بازداشت شد. او در این نوشته‌ها ظاهراً درباره برنامه‌ریزی برای ارتکاب یک جرم صحبت کرده بود.

این زن آمریکایی از چت‌بات Claude متعلق به آنتروپیک مانند یک دفتر خاطرات شخصی استفاده می‌کرد و افکار روزمره خود را در آن می‌نوشت. با این حال، در یکی از نوشته‌ها ظاهراً تهدیدهایی علیه دفتر کلانتر یکی از شهرستان‌های فلوریدا مطرح کرد. سامانه‌های ایمنی آنتروپیک این پیام‌ها را شناسایی کردند و در ادامه این موضوع به بازداشت او انجامید.

این زن کارلی میشل هلر، ۳۰ ساله، ساکن بونیتا اسپرینگز در ایالت فلوریدا معرفی شده است. گزارش‌ها حاکی از آن هستند که او از Claude برای ثبت افکارش استفاده می‌کرد، اما در یکی از نوشته‌های خود در ۲۶ سپتامبر، ظاهراً درباره برنامه‌ریزی برای حمله به دفتر کلانتر شهرستان لی نوشته بود.

بر اساس گزارش بازداشت که خبرگزاری وینک نیوز آن را منتشر کرده، متن پیام چنین بوده است

من همین الان می‌خواهم به دفتر کلانتر تیراندازی کنم.

روز بعد، حدود ساعت ۱:۰۷ بامداد، پیام دیگری از همان حساب Claude ارسال شد. هلر در این پیام ظاهراً به داشتن یک اسلحه جدید اشاره کرده بود و چنین نوشته بود

این صددرصد آخرین فرصت است، دیگر تمام شد. امروز یک اسلحه جدید گرفتم.

با توجه به ماهیت تهدیدهای مطرح‌شده، گفت‌وگوی هلر با Claude توسط سامانه‌های ایمنی آنتروپیک شناسایی شد و برای بررسی بیشتر به تیم انسانی ارجاع داده شد. طبق گزارش بازداشت، این تیم پس از بررسی موضوع، با نیروهای مجری قانون تماس گرفت.

پس از این هشدار، مأموران به خانه هلر در بونیتا اسپرینگز رفتند و بدون وقوع حادثه او را بازداشت کردند. در ادامه، یک کارآگاه اطلاعاتی از دفتر کلانتر شهرستان لی مسئولیت تحقیقات را بر عهده گرفت. هلر با اتهام تهدید کتبی به خشونت روبه‌رو شده است.

آنتروپیک چگونه پلیس را مطلع کرد؟

چت‌بات‌های هوش مصنوعی مانند Claude و ChatGPT برای ارائه پاسخ‌های مفید و تعامل گفت‌وگومحور طراحی شده‌اند و تا حدی نیز حریم خصوصی کاربران را حفظ می‌کنند. با این حال، این پلتفرم‌ها سامانه‌های ایمنی دارند که برای شناسایی محتوای بالقوه خطرناک یا ممنوع به کار می‌روند. در برخی موارد، این سامانه‌ها یک گفت‌وگو را برای بررسی بیشتر علامت‌گذاری می‌کنند و اگر محتوای آن نگرانی جدی‌تری ایجاد کند، کارشناسان انسانی وارد روند بررسی می‌شوند.

سیاست‌های آنتروپیک استفاده از محصولات این شرکت برای تسهیل یا ترویج خشونت و ارعاب را ممنوع کرده است. این شرکت همچنین سازوکاری برای رسیدگی به درخواست‌های دولت و نهادهای اجرای قانون دارد. آنتروپیک می‌گوید در شرایط اضطراری محدودی که خطر مرگ یا آسیب جسمی جدی وجود داشته باشد، ممکن است اطلاعات کاربران را در اختیار نیروهای مجری قانون قرار دهد.

البته این روند به معنای آن نیست که هر گفت‌وگوی نگران‌کننده با یک چت‌بات هوش مصنوعی به‌طور خودکار به پلیس گزارش داده می‌شود. با این حال، اگر یک مکالمه شامل تهدیدی جدی و معتبر از نظر شرکت باشد، سازوکارهای ایمنی و واکنش اضطراری آنتروپیک می‌توانند وارد عمل شوند.

در این پرونده، پیام‌های تهدیدآمیز ابتدا توسط سامانه‌های خودکار ایمنی آنتروپیک شناسایی شدند. سپس با توجه به ماهیت تهدیدهای ادعایی، مکالمه برای بررسی به یک تیم انسانی ارجاع یافت و طبق گزارش بازداشت، این تیم با نیروهای مجری قانون تماس گرفت.

برای ارزیابی پایداری، امنیت و نگهداری این زیرساخت، راهنمای پشتیبانی شبکه را نیز مطالعه کنید.