باگ هوش مصنوعی «Discord» هشت هزار کاربر را مسدود کرد

شرکت «Discord» اعلام کرد یک خطا در سیستم نظارت هوش مصنوعی این پلتفرم باعث مسدود شدن اشتباهی بیش از۸ هزار حساب کاربریطی دو ماه گذشته شده است. تصاویر کاملاً بی‌ضرر مانند جدول‌های اکسل، صفحه‌های شطرنج، بافت‌های گرافیکی بازی‌ها و پس‌زمینه‌های شفاف به‌اشتباه به‌عنوان محتوای غیرقانونی شناسایی شده بودند.

بر اساس اعلام «Discord»، مشکل از خود سیستم تشخیص محتوا نبود، بلکه یک باگ باعث شد مرحله بررسی انسانی که برای جلوگیری از خطاهای هوش مصنوعی طراحی شده بود، دور زده شود. در حالت عادی، محتوای علامت‌گذاری‌شده باید پیش از هرگونه مسدودی توسط تیم امنیت و اعتماد (Trust & Safety) بررسی شود.

این خطا از ماه مه فعال بوده و در تعطیلات آخر هفته چهارم ژوئیه نیز حدود۲۰۰ حساب دیگربه اشتباه مسدود شدند؛ پیش از آنکه تیم «Discord» مشکل را شناسایی کند.

«Discord» اعلام کرده است که تمامی حساب‌های تحت تأثیر این مشکل در حال بازگردانی هستند.

این اتفاق بار دیگر چالش اصلی سیستم‌های نظارت مبتنی بر هوش مصنوعی را نشان می‌دهد: الگوریتم‌ها می‌توانند محتوای مشکوک را در مقیاس بسیار بزرگ شناسایی کنند، اما بدون یک فرآیند بررسی انسانی قابل اعتماد، خطاهای کوچک می‌توانند به مسدودی هزاران کاربر واقعی منجر شوند.

«سیستم‌های ما محتوا را با مقایسه آن با نمونه‌های شناخته‌شده محتوای مضر شناسایی می‌کنند. این نوع تطبیق می‌تواند باعث خطاهای مثبت کاذب شود؛ به همین دلیل همیشه یک عضو تیم Trust & Safety باید پیش از هر اقدام، محتوای علامت‌گذاری‌شده را بررسی کند.»
حساب رسمی پشتیبانی «Discord» در «X»

برای ارزیابی پایداری، امنیت و نگهداری این زیرساخت، راهنمای پشتیبانی شبکه را نیز مطالعه کنید.