تکنولوژی و اینترنت

آنتروپیک می‌گوید Claude تلاش کرده به وب‌سایت‌های دولتی آمریکا دسترسی پیدا کند

شرکت آنتروپیک از چند مورد جدید از رفتارهای خارج از انتظار هوش مصنوعی کلود (Claude) پرده برداشته است؛ مواردی که در آن‌ها این هوش مصنوعی تلاش کرده به وب‌سایت‌های دولتی آمریکا دسترسی پیدا کند. در یکی از این اتفاق‌ها، کلود حتی گزارشی نادرست درباره یک پرونده قتل به…

5 دقیقه مطالعه
  • پشتیبانی شبکه
  • هوش مصنوعی
  • آنتروپیک
  • کلود
  • ارسال
  • شرکت
  • مصنوعی
  • هوش
آنتروپیک می‌گوید Claude تلاش کرده به وب‌سایت‌های دولتی آمریکا دسترسی پیدا کند

خلاصه تحلیلی خبر

شرکت آنتروپیک از چند مورد جدید از رفتارهای خارج از انتظار هوش مصنوعی کلود (Claude) پرده برداشته است؛ مواردی که در آن‌ها این هوش مصنوعی تلاش کرده به وب‌سایت‌های دولتی آمریکا دسترسی پیدا کند. در یکی از این اتفاق‌ها، کلود حتی گزارشی نادرست درباره یک پرونده قتل به…

موضوعات اصلی: پشتیبانی شبکه، هوش مصنوعی، آنتروپیک، کلود، ارسال، شرکت

شرکت آنتروپیک از چند مورد جدید از رفتارهای خارج از انتظار هوش مصنوعی کلود (Claude) پرده برداشته است؛ مواردی که در آن‌ها این هوش مصنوعی تلاش کرده به وب‌سایت‌های دولتی آمریکا دسترسی پیدا کند. در یکی از این اتفاق‌ها، کلود حتی گزارشی نادرست درباره یک پرونده قتل به پلیس فیلادلفیا ارسال کرده است.

آنتروپیک در یک پست وبلاگی، نمونه‌هایی از اقدامات ناخواسته مدل‌های هوش مصنوعی خود را که هنگام ارزیابی و استفاده داخلی مشاهده شده‌اند، تشریح کرد. به گفته این شرکت، مدل‌های کلود برای دسترسی به چندین وب‌سایت دولتی در سطح فدرال، ایالتی و محلی تلاش کرده‌اند. آنتروپیک اعلام کرد که کاخ سفید را در جریان این اتفاق‌ها قرار داده و نهادهای مربوطه را نیز مطلع کرده است. با این حال، به دلیل ملاحظات امنیتی و درخواست سازمان‌های درگیر، نام آن‌ها را منتشر نکرد.

آنتروپیک همچنین تأکید کرد که تا آنجا که این شرکت اطلاع دارد، هیچ‌یک از این موارد شامل اطلاعات مشتریان یا سامانه‌های داخلی خود شرکت نبوده است.

ارسال گزارش دروغین درباره قتل به پلیس فیلادلفیا

در یکی از این موارد، مدل کلود هایکو ۴.۵ هنگام انجام وظیفه‌ای مرتبط با بررسی صفحات وب انتخاب‌شده به‌صورت تصادفی، به صفحه‌ای درباره یک پرونده قتل حل‌نشده برخورد کرد. این صفحه شامل فرم ارسال اطلاعات برای اداره پلیس فیلادلفیا بود. کلود با استفاده از این فرم، پیامی حاوی اطلاعاتی ساختگی ارسال کرد.

آنتروپیک می‌گوید Claude تلاش کرده به وب‌سایت‌های دولتی آمریکا دسترسی پیدا کند | دیجینوی

کلود در متن ارسالی خود نوشت

ممکن است اطلاعاتی درباره این پرونده داشته باشم. به یاد دارم که در آن بازه زمانی، فردی را در محدوده خیابانی که در صفحه نام برده شده بود دیدم که با توصیف ارائه‌شده مطابقت داشت. اگر این اطلاعات مرتبط با پرونده است، لطفاً با من تماس بگیرید.

طبق توضیحات آنتروپیک، صفحه موردنظر هیچ توصیفی از مظنون ارائه نکرده بود. همچنین مدل هوش مصنوعی هنگام ارسال فرم، بخش‌های مربوط به نام و اطلاعات تماس را خالی گذاشت. شرکت آنتروپیک در این باره اعلام کرد

این درخواست به‌عنوان هرزنامه شناسایی شد و هرگز برای بررسی و پیگیری به بخش تحقیقات ارسال نشد.

پلیس فیلادلفیا پس از آنکه آنتروپیک در همان هفته این اتفاق را به اطلاعش رساند، جزئیات ماجرا را منتشر کرد. طبق اعلام این اداره، گزارش نادرست در تاریخ ۱۸ ژوئیه ۲۰۲۶ از طریق وب‌سایت PhillyUnsolvedMurders.com ارسال شده بود. پلیس همچنین تأخیر دوماهه در شناسایی و گزارش این اتفاق را غیرقابل‌قبول دانست.

آنتروپیک توضیح داد که در دستورهای مربوط به این آزمایش، به کلود اجازه ورود به حساب‌های کاربری، ایجاد حساب جدید، وارد کردن اطلاعات شخصی، خرید یا ارسال درخواست‌های مخرب داده نشده بود؛ با این حال، ارسال فرم‌ها به‌صراحت در فهرست اقدامات ممنوع قرار نداشت.

رفتارهای غیرمنتظره کلود فراتر از ارسال فرم بود

آنتروپیک نمونه‌های دیگری از اقدامات پیش‌بینی‌نشده کلود را نیز گزارش کرده است. در یکی از این موارد، یک مدل منتشرنشده از کلود قرار بود نسخه تمرینی یک فرم دولتی را تکمیل کند. اما پس از آنکه نسخه آزمایشی بارگذاری نشد یا مدل به‌اشتباه آن را بست، هوش مصنوعی به وب‌سایت اصلی مراجعه کرد؛ همان سایتی که فرم واقعی در آن قرار داشت. سپس فرم را در وب‌سایت اصلی تکمیل و ارسال کرد.

آنتروپیک می‌گوید Claude تلاش کرده به وب‌سایت‌های دولتی آمریکا دسترسی پیدا کند | دیجینوی

در موردی دیگر، مدل کلود مایتوس پریویو برای انجام یک تحلیل به ابزاری نیاز داشت که روی سرور یک دانشگاه میزبانی می‌شد. وقتی هوش مصنوعی در ابتدا نتوانست به این ابزار دسترسی پیدا کند، بخش‌های مختلف وب‌سایت را بررسی کرد و در نهایت اسکریپتی را روی سرور دانشگاه پیدا کرد که می‌توانست هر فایلی را که از آن درخواست می‌شد، بازگرداند.

در نمونه‌های دیگری نیز مدل کلود مایتوس ۵ پس از یافتن راه‌هایی برای دریافت توکن‌های دسترسی، موفق شد داده‌های عمومی را از یک نهاد دولتی ایالتی دریافت کند، بدون آنکه هزینه مربوط به این دسترسی را بپردازد.

آنتروپیک اعلام کرد که بیشتر این موارد را از طریق بررسی متن مکالمات و گزارش‌های ثبت‌شده شناسایی کرده است. این بررسی از ماه ژوئیه آغاز شد و بعداً دامنه آن به موارد کم‌خطرتر نیز گسترش یافت؛ مواردی که در آن‌ها کلود به شیوه‌ای ناخواسته با وب‌سایت‌ها یا سامانه‌های واقعی تعامل داشت.

این شرکت در ادامه اعلام کرد که دسترسی زنده به اینترنت را برای تمام ارزیابی‌های داخلی خود غیرفعال کرده است. این محدودیت تا زمانی ادامه خواهد داشت که آنتروپیک اطمینان پیدا کند سازوکارهای امنیتی و نظارتی آن می‌توانند چنین رفتارهایی را به‌طور قابل‌اعتماد شناسایی کنند.

آنتروپیک خاطرنشان کرد که این اتفاق‌ها در مقایسه با حوادث سایبری گزارش‌شده از سوی این شرکت در اوایل سال جاری، شدت کمتری داشته‌اند. با این حال، شرکت قصد دارد در ادامه بررسی‌ها، رفتارهای نگران‌کننده دیگر را نیز گزارش کند. آنتروپیک ضمن اشاره به تأثیر محدود این موارد، بر ضرورت شفافیت بیشتر تأکید کرد و گفت

هرچه مدل‌های هوش مصنوعی نقش بزرگ‌تری در جامعه ایفا کنند، مردم نیز حق بیشتری دارند که درباره نحوه رفتار آن‌ها اطلاع داشته باشند.

افشاگری آنتروپیک تنها چند روز پس از آن صورت گرفت که شرکت اوپن‌ای‌آی نیز از موارد مشابهی درباره تلاش مدل‌های هوش مصنوعی خود برای دسترسی به وب‌سایت‌های دولتی خبر داد. طبق اعلام اوپن‌ای‌آی، برخی از عامل‌های هوش مصنوعی این شرکت تلاش کرده بودند به وب‌سایت‌های متعلق به دولت‌های آمریکا و استرالیا و همچنین سازمان ملل متحد نفوذ کنند.

برای ارزیابی پایداری، امنیت و نگهداری این زیرساخت، راهنمای پشتیبانی شبکه را نیز مطالعه کنید.