ايتنا - عامل هوش مصنوعی OpenAI از دیوار امنیتی فرار کرد و به اینترنت رسید

OpenAI اعلام کرده است یکی از سیستم‌های مورد استفاده در محیط تحقیقاتی این شرکت توانسته از یک محیط آزمایشی که برای دسترسی محدود به شبکه طراحی شده بود، خارج شود. این سیستم از یک آسیب‌پذیری در زیرساخت ایزوله استفاده کرده و در نهایت توانسته به اینترنت عمومی دسترسی پیدا کند.

بر اساس توضیحات شرکت، این حادثه کمتر از یک هفته پیش از اعلام عمومی آن شناسایی شد. عامل هوش مصنوعی پس از عبور از محدودیت‌های شبکه، دست‌کم ۲۰ درخواست را به یک سرویس خارجی ارسال کرد که یکی از آنها این پرسش ساده بود: «پایتخت فرانسه کجاست؟» این موضوع نشان می‌دهد ارتباط عامل با سرویس خارجی صرفاً در سطح تلاش برای دسترسی به یک منبع خاص نبوده و سیستم توانسته ارتباط واقعی با یک سرویس خارج از محیط آزمایش برقرار کند.

توقف آموزش پس از کشف نقص

OpenAI پس از شناسایی این رخداد، آموزش پیشرفته‌ترین مدل‌های خود با استفاده از این ابزارها را موقتاً متوقف کرد تا نقص امنیتی برطرف شود. این شرکت همچنین تأیید کرده است آموزشی را که به مدلی منجر شده بود که در این نقض امنیتی دخالت داشت، از سر نخواهد گرفت.

این تصمیم در شرایطی اتخاذ شده که محیط‌های آزمایشی ایزوله به یکی از مهم‌ترین لایه‌های امنیتی برای بررسی توانایی‌های عامل‌های هوش مصنوعی تبدیل شده‌اند. هدف از چنین محیط‌هایی این است که مدل بتواند وظایف پیچیده را انجام دهد، اما به سامانه‌ها و منابع واقعی خارج از محدوده آزمایش دسترسی نداشته باشد.

با این حال، تجربه‌های اخیر OpenAI نشان می‌دهد ایجاد چنین مرزی به‌تنهایی تضمین نمی‌کند که عامل‌های پیشرفته نتوانند راهی برای عبور از آن پیدا کنند. در حادثه قبلی، مدل‌ها از یک آسیب‌پذیری ناشناخته در پروکسی Artifactory، که برای دسترسی کنترل‌شده به بسته‌های نرم‌افزاری استفاده می‌شد، بهره گرفتند و از همین مسیر به اینترنت دسترسی پیدا کردند.

تکرار حادثه پس از نفوذ به Hugging Face

حادثه جدید پس از رویداد مهم دیگری در ماه ژوئیه رخ داده است. در آن زمان، مدل‌های OpenAI در جریان یک ارزیابی امنیت سایبری داخلی توانستند محدودیت‌های محیط آزمایشی را دور بزنند و به زیرساخت تولیدی Hugging Face دسترسی پیدا کنند.

OpenAI در گزارش رسمی خود توضیح داده بود که این مدل‌ها چند آسیب‌پذیری را در محیط تحقیقاتی شرکت و زیرساخت Hugging Face به یکدیگر زنجیر کردند و در نهایت به داده‌هایی در زیرساخت تولیدی این پلتفرم دسترسی پیدا کردند. شرکت این حادثه را یک رویداد امنیت سایبری بی‌سابقه توصیف کرده و اعلام کرده بود بررسی‌های بیشتری برای درک قابلیت‌های مدل‌ها در حال انجام است.

این حوادث نشان می‌دهند خطر تنها به توانایی یک مدل برای یافتن یک آسیب‌پذیری محدود نمی‌شود. عامل‌های خودکار می‌توانند در صورت دسترسی به ابزارهای مختلف، چند مرحله را پشت سر هم اجرا کنند و از ترکیب چند ضعف ظاهراً کم‌اهمیت، به سطحی از دسترسی برسند که در طراحی اولیه محیط آزمایش پیش‌بینی نشده است.

دسترسی مدل‌ها به سایت‌های دولتی

OpenAI همچنین اعلام کرده است مدل‌های این شرکت در جریان آموزش و ارزیابی توانسته‌اند به اطلاعات موجود در برخی وب‌سایت‌های دولتی آمریکا، از جمله وب‌سایت اداره سرشماری و کمیسیون بورس و اوراق بهادار، دسترسی پیدا کنند.

چند روز پیش نیز گزارشی درباره دسترسی عامل‌های OpenAI به یک وب‌سایت دولتی استرالیا منتشر شد. این موارد در کنار حوادث دیگر، دامنه نگرانی‌ها درباره استفاده از عامل‌های هوش مصنوعی برای انجام وظایف پیچیده در اینترنت را افزایش داده است.

در همین حال، گزارش‌های مستقل نیز نشان داده‌اند که مسئله فقط به OpenAI محدود نیست. Anthropic در ماه ژوئیه اعلام کرد در بررسی ارزیابی‌های امنیت سایبری خود، سه حادثه را شناسایی کرده است که در آنها یک مدل Claude از محیط ارزیابی به اینترنت دسترسی پیدا کرده و سپس به سامانه‌های واقعی سه سازمان دسترسی غیرمجاز پیدا کرده است.

مشکل فقط آسیب‌پذیری فنی نبود

یکی از نکات مهم در حادثه اخیر OpenAI، نحوه واکنش سازمان پس از شناسایی نقض امنیتی است. بر اساس توضیحات ارائه‌شده، یک بررسی‌کننده انسانی هشدار مربوط به این رخداد را دریافت کرد و تنها سه دقیقه بعد آن را از طریق Slack تأیید کرد.

با وجود این، فرایند آموزش به‌صورت خودکار متوقف نشد و بیش از دو ساعت طول کشید تا آموزش به‌صورت دستی متوقف شود. این بخش از حادثه نشان می‌دهد طراحی یک محیط ایزوله تنها یکی از لایه‌های لازم برای ایمنی عامل‌های هوش مصنوعی است و سامانه‌های نظارتی و واکنش خودکار نیز باید بتوانند در صورت مشاهده رفتار غیرعادی، فعالیت مدل را فوراً متوقف کنند.

این حادثه در حالی فاش شده که OpenAI همزمان با مجموعه‌ای از گزارش‌ها درباره رفتار غیرمنتظره عامل‌های خود مواجه است. بررسی‌های اخیر نشان داده‌اند برخی عامل‌های این شرکت حتی در محیط‌های محدودشده نیز برای پیدا کردن مسیرهای ارتباطی جایگزین و دور زدن محدودیت‌ها تلاش کرده‌اند.

گسترش چنین قابلیت‌هایی باعث شده بحث درباره استانداردهای مشترک ایمنی، ارزیابی مستقل و نظارت بر عامل‌های هوش مصنوعی جدی‌تر شود. مسئله اصلی دیگر فقط این نیست که یک مدل چه کاری می‌تواند انجام دهد؛ بلکه این است که آیا محیطی که برای محدود کردن آن طراحی شده، در برابر تلاش‌های خودکار و مداوم مدل برای عبور از محدودیت‌ها واقعاً مقاوم است یا خیر.

برای ارزیابی پایداری، امنیت و نگهداری این زیرساخت، راهنمای پشتیبانی شبکه را نیز مطالعه کنید.