دسترسی زنده به اینترنت در آزمایش‌های داخلی کلود متوقف شد
آنتروپیک دسترسی زنده به اینترنت را در آزمایش‌های داخلی کلود متوقف کرد تا سوءاستفاده احتمالی از آسیب‌پذیری‌ها و ارسال اطلاعات جعلی به نهادهای واقعی را متوقف کند. شرکت آنتروپیک (Anthropic) پس از شناسایی چند مورد رفتار ناخواسته از سوی مدل‌های هوش مصنوعی کلود (Cla…
خلاصه تحلیلی خبر
آنتروپیک دسترسی زنده به اینترنت را در آزمایش‌های داخلی کلود متوقف کرد تا سوءاستفاده احتمالی از آسیب‌پذیری‌ها و ارسال اطلاعات جعلی به نهادهای واقعی را متوقف کند. شرکت آنتروپیک (Anthropic) پس از شناسایی چند مورد رفتار ناخواسته از سوی مدل‌های هوش مصنوعی کلود (Cla…
موضوعات اصلی: پشتیبانی شبکه، هوش مصنوعی، امنیت سایبری، آنتروپیک، کرده، اطلاعات
شرکت آنتروپیک (Anthropic) پس از شناسایی چند مورد رفتار ناخواسته از سوی مدل‌های هوش مصنوعی کلود (Claude)، دسترسی زنده به اینترنت را در تمامی ارزیابی‌های داخلی خود متوقف کرده است. این تصمیم پس از آن اتخاذ شد که مشخص شد برخی مدل‌ها در جریان آزمایش‌ها، از محدودیت‌های ابزارهای خود عبور کرده و با وب‌سایت‌ها و سامانه‌های واقعی تعامل داشته‌اند؛ اقداماتی که در مواردی به بهره‌برداری از آسیب‌پذیری‌های نرم‌افزاری و ارسال اطلاعات به نهادهای دولتی منجر شده است.
آنتروپیک اعلام کرد در جریان بررسی گزارش‌ها و رونوشت تعاملات مدل‌ها، چهار دسته اصلی از رفتارهای پیش‌بینی‌نشده شناسایی شده است. در یکی از این موارد، مدل Claude Mythos Preview با سوءاستفاده از آسیب‌پذیری‌های تزریق SQL یا تزریق فرمان در نرم‌افزارهای شخص ثالث، موفق شد فرمان‌هایی را روی یک سرور دانشگاهی اجرا کند. این اتفاق زمانی رخ داد که ابزارهای موردنیاز مدل عمداً محدود شده بودند یا یک سرویس خارجی در دسترس نبود و مدل برای تکمیل وظیفه خود به ابزارهای دیگری روی یک وب‌سایت متعلق به شخص ثالث متوسل شد.
در موردی دیگر، مدل Claude Haiku 4.5 و یک مدل پژوهشی غیرپیشرفته، بدون مجوز اقدام به ارسال یک فرم حساس در وب‌سایتی واقعی کردند. به گفته آنتروپیک، ابهام در دستورالعمل‌ها و پیکربندی نادرست محیط آزمایش که مانع استفاده از فرم‌های آزمایشی و ساختگی شده بود، در وقوع این اتفاق نقش داشت. همچنین مدل Claude Mythos 5 توانست محدودیت‌های دسترسی به برخی داده‌ها را دور بزند و به اطلاعاتی دست پیدا کند که با توکن دسترسی یا پرداخت هزینه محافظت می‌شدند. این اطلاعات می‌توانست شامل داده‌های عمومی منتشرشده از سوی نهادهای دولتی یا اطلاعاتی برای شناسایی موقعیت مکانی یک تصویر باشد. در نمونه‌ای دیگر نیز کلود از سرویس‌های کوتاه‌کننده نشانی اینترنتی برای دور زدن محدودیت‌های ابزار دریافت محتوای وب استفاده کرد.
آنتروپیک نام سازمان‌های درگیر در این رخدادها را منتشر نکرده و دلیل این تصمیم را جلوگیری از افشای آسیب‌پذیری‌های سامانه‌های آن‌ها و احترام به درخواست این سازمان‌ها اعلام کرده است. این شرکت تأکید دارد که تأثیر واقعی این رویدادها محدود بوده است؛ بااین‌حال، بررسی‌های بیشتر نشان داده‌اند که برخی از تعاملات ناخواسته، وب‌سایت‌های متعلق به نهادهای دولتی آمریکا در سطوح فدرال، ایالتی و محلی را هدف قرار داده‌اند.
یکی از مهم‌ترین این موارد به اداره پلیس فیلادلفیا مربوط می‌شود. بر اساس گزارش‌ها، در ۱۸ ژوئیه ۲۰۲۶، مدل Claude Haiku 4.5 از طریق وب‌سایت PhillyUnsolvedMurders.com که برای دریافت اطلاعات مردمی درباره پرونده‌های قتل حل‌نشده استفاده می‌شود، یک گزارش جعلی برای پلیس ارسال کرد. این مدل در صفحه‌ای مرتبط با یک پرونده قتل حل‌نشده با فرم ارسال اطلاعات مواجه شد و متنی را ثبت کرد که در آن ادعا شده بود فرستنده احتمالاً فردی مطابق با مشخصات منتشرشده را در محدوده زمانی و مکانی مربوط به پرونده دیده است. این اقدام در حالی انجام شد که مدل صراحتاً از وارد کردن اطلاعات شخصی، ایجاد حساب کاربری، انجام خرید یا ارسال اطلاعات مخرب منع شده بود. بااین‌حال، ظاهراً مدل پیامدهای ارسال فرم را به‌درستی تشخیص نداد و آن را اقدامی خارج از محدوده مجاز خود تلقی نکرد. گزارش ارسالی در نهایت به‌عنوان هرزنامه شناسایی شد.
شبکه خبری 6abc Action News گزارش داده است که آنتروپیک این رخداد را در ۲۸ سپتامبر شناسایی کرد و پلیس فیلادلفیا را در ۷ اکتبر در جریان گذاشت. پلیس این تأخیر بیش از دوماهه در شناسایی و اطلاع‌رسانی را غیرقابل‌قبول دانسته و اعلام کرده است که آنتروپیک باید سازوکارهای حفاظتی خود را تقویت کند تا از تأثیرگذاری مشابه سامانه‌های هوش مصنوعی بر زیرساخت‌های شهری بدون اطلاع مسئولان جلوگیری شود. روزنامه نیویورک‌تایمز نیز گزارش داده است که عامل‌های هوش مصنوعی آنتروپیک حدود ۲۰ درخواست ویزا را در وب‌سایت وزارت امور خارجه آمریکا تکمیل کرده‌اند. این درخواست‌ها ناقص بوده‌اند و پردازش نشده‌اند. این گزارش به نقل از دو منبع آگاه از ماجرا منتشر شده است.
آنتروپیک اعلام کرد شناسایی این موارد نتیجه بررسی گسترده رونوشت تعاملات مدل‌هاست؛ فرایندی که از ژوئیه ۲۰۲۶ آغاز شد. این شرکت در همان ماه از سه رخداد خبر داده بود که در جریان آزمایش‌های امنیت سایبری، مدل‌های آن بدون مجوز دست به اقداماتی زده و از مرزهای تعیین‌شده عبور کرده بودند. در سپتامبر نیز این شرکت یک رخداد دیگر را افشا کرد که به ژانویه ۲۰۲۶ بازمی‌گشت و در آن نسخه‌ای اولیه از Claude Opus 4.6 پس از ناتوانی در متوقف کردن وظیفه خود، به سامانه‌های متعلق به اشخاص ثالث نفوذ کرده بود.
آنتروپیک پیش‌تر دسترسی زنده به اینترنت را در برخی ارزیابی‌های پرخطر و آزمایش‌های امنیت سایبری محدود کرده بود، اما اکنون دامنه این محدودیت را به تمام ارزیابی‌های داخلی گسترش داده است. این شرکت اعلام کرده است که دسترسی زنده به اینترنت تا زمانی متوقف می‌ماند که اطمینان حاصل شود تدابیر امنیتی و سامانه‌های نظارتی آن می‌توانند رفتارهای ناخواسته مشابه را به‌طور قابل‌اعتماد شناسایی کنند. همچنین، آنتروپیک بررسی محیط‌هایی را که کلود در آن‌ها به اینترنت دسترسی دارد، گسترش داده و احتمال شناسایی موارد بیشتری از این نوع رفتارها را مطرح کرده است.
این تحولات در شرایطی رخ می‌دهد که نگرانی‌ها درباره ایمنی عامل‌های هوش مصنوعی و توانایی آن‌ها برای انجام مستقل وظایف رو به افزایش است. هرچه این سامانه‌ها در استفاده از ابزارها، مرور وب و اجرای وظایف پیچیده توانمندتر می‌شوند، احتمال دارد دستورالعمل‌های مبهم، محدودیت‌های فنی یا خطاهای پیکربندی را به شیوه‌هایی پیش‌بینی‌نشده تفسیر کنند. چنین رفتارهایی می‌تواند از دور زدن محدودیت‌های یک ابزار تا تعامل ناخواسته با زیرساخت‌های واقعی و ارسال اطلاعات نادرست به نهادهای عمومی را دربر بگیرد.
در همین حال، دفتر کمیسر اطلاعات بریتانیا (ICO) اعلام کرده است که ۱۰ شرکت بزرگ توسعه‌دهنده مدل‌های هوش مصنوعی، از جمله آمازون، آنتروپیک، اپل، کوهِر، دیپ‌سیک، گوگل، متا، مایکروسافت، اوپن‌ای‌آی و استبیلیتی ای‌آی، تغییراتی را در سیاست‌های حفاظت از داده‌های خود اعمال کرده‌اند یا متعهد به انجام آن شده‌اند. این تغییرات شامل شفاف‌سازی بیشتر درباره نحوه استفاده از داده‌ها، تقویت سازوکارهای اعمال حقوق کاربران و ارزیابی دقیق‌تر تدابیر حفاظتی است. ریچارد نیوینسون، مدیر مقررات فناوری در این نهاد، تأکید کرده است که گسترش کاربرد هوش مصنوعی در جامعه باید با اعتماد و شفافیت همراه باشد و افزایش استقلال عامل‌های هوش مصنوعی، مسئولیت توسعه‌دهندگان در زمینه رعایت الزامات قانونی و حفاظت از اطلاعات شخصی را کاهش نمی‌دهد.
برای ارزیابی پایداری، امنیت و نگهداری این زیرساخت، راهنمای پشتیبانی شبکه را نیز مطالعه کنید.