جمینای در یک آزمایش امنیتی به سیستم سه شرکت واقعی نفوذ کرد، اما پیش از ایجاد خسارت متوقف شد

گوگل اعلام کرده که مدل هوش مصنوعی جمینای در جریان یک آزمایش امنیت سایبری توانسته به سامانه‌های سه شرکت واقعی نفوذ کند؛ با این حال، سیستم پس از تشخیص اینکه اهداف موردنظر واقعی هستند، خودش عملیات را متوقف نموده و از ادامه دسترسی خودداری کرده است.

این اتفاق نخستین مورد شناخته‌شده‌ای است که در آن یکی از سامانه‌های هوش مصنوعی گوگل به‌صورت خودکار چنین نفوذی را انجام داده است. بر اساس گزارش وال‌استریت ژورنال، این رویداد در ماه مه و در جریان یک آزمایش امنیتی توسط استارتاپ اسرائیلی ایریگولار رخ داد. جمینای در این آزمایش به اینترنت دسترسی پیدا کرد و توانست وارد سامانه‌های سه شرکت خارج از محیط آزمایشی شود.

جمینای چگونه به شرکت‌های واقعی دسترسی پیدا کرد؟

ماجرا از یک تمرین Capture the Flag در زیرساخت ایریگولار آغاز شد. جمینای مأموریت داشت اطلاعاتی را از نرم‌افزار متعلق به یک شرکت ساختگی در محیط آزمایشی استخراج کند، اما نام این شرکت با نام یک شرکت واقعی یکسان بود. از سوی دیگر، دسترسی اینترنتی که قرار نبود برای مدل فعال باشد، به‌اشتباه در اختیار آن قرار گرفته بود.

در یکی از موارد، جمینای توانست با حدس زدن گذرواژه وارد سامانه یک شرکت واقعی شود. در دو مورد دیگر نیز مدل با جست‌وجوی نام شرکت‌ها در اینترنت، اطلاعات ورود را در دو مخزن عمومی پیدا کرد و با استفاده از همان اطلاعات به سامانه‌های مربوطه دسترسی یافت.

گوگل اعلام کرده که جمینای پس از متوجه شدن واقعی بودن شرکت‌هایی که به آن‌ها دسترسی پیدا کرده بود، عملیات را متوقف کرد و از سامانه‌ها خارج شد. گوگل در ماه ژوئیه از این اتفاق مطلع شد، اما در همان زمان آن را به‌صورت عمومی اعلام نکرد. این شرکت به وال‌استریت ژورنال گفته است که از آنجا که جمینای پس از شناسایی اشتباه، خودش دسترسی‌ها را قطع کرده بود، این رویداد را در حدی نمی‌دانست که نیاز به اعلام عمومی داشته باشد.

هدر ادکینز، معاون مهندسی امنیت گوگل، گفت

این اتفاق اهمیت آموزش مدل‌های قدرتمند هوش مصنوعی برای رفتار مسئولانه را نشان می‌دهد. در این مورد، مدل رفتار مناسبی از خود نشان داد.

گوگل همچنین سه شرکت آسیب‌دیده و مقام‌های فدرال را در جریان ماجرا قرار داد. نام این شرکت‌ها اعلام نشده است. گوگل تأکید کرده که این اتفاق مربوط به جدیدترین مدل جمینای نبوده، اما مشخص نکرده است که کدام نسخه از این مدل در آزمایش استفاده شده است.

این شرکت همچنین این رویداد را بیشتر شبیه یک برنامه کشف باگ می‌داند تا یک حمله مخرب، زیرا مدل پس از متوجه شدن اشتباه، خودش روند دسترسی را متوقف کرده است. ایریگولار اعلام کرده که این اتفاق تفاوت اساسی با سایر مواردی که برای آزمایش‌های مشابه شرکت‌های بزرگ هوش مصنوعی رخ داده ندارد.

سخنگوی ایریگولار گفت

همه آزمایشگاه‌های مرتبط در اواخر ژوئیه در جریان موضوع قرار گرفتند و شرکت‌های آسیب‌دیده نیز در چارچوب تحقیقات با آن‌ها تماس گرفتند. ایریگولار بلافاصله اقدامات لازم را انجام داد و تمام مشکلات شناخته‌شده در سمت این شرکت نیز طی چند هفته برطرف و حل شد.

پیش از این نیز موارد مشابهی در ارتباط با ایریگولار توسط OpenAI، آنتروپیک و متا گزارش شده بود. با این حال، ماجرای جمینای یک تفاوت مهم دارد؛ این مدل پس از تشخیص اینکه ممکن است به یک شرکت واقعی دسترسی پیدا کرده باشد، خودش متوقف شد.

در موارد قبلی، آنتروپیک گفته بود مدل Claude Opus 4.7 حتی پس از آنکه احتمال داد به یک شرکت واقعی دسترسی پیدا کرده است، آزمایش را متوقف نکرد. OpenAI نیز اعلام کرده بود یکی از مدل‌هایش تصور می‌کرد شرکتی واقعی که به آن دسترسی پیدا کرده، بخشی از همان محیط شبیه‌سازی‌شده است.

افزایش نگرانی‌ها درباره رفتار مستقل هوش مصنوعی

انتشار این گزارش در شرایطی انجام شده که نگرانی‌ها درباره توانایی مدل‌های هوش مصنوعی برای انجام اقدامات مستقل و خارج از انتظار سازندگانشان افزایش یافته است. پژوهشگران حوزه ایمنی هوش مصنوعی بارها درباره خطرات احتمالی چنین رفتارهایی هشدار داده‌اند.

جیکوب کاکسون، پژوهشگر هوش مصنوعی، پس از ترک آنتروپیک درباره نگرانی‌های خود در زمینه این خطرات صحبت کرده و موضوع ایمنی هوش مصنوعی را دوباره در مرکز توجه قرار داده است.

اوان هابینگر از آنتروپیک نیز پیش‌بینی کرده است که هوش مصنوعی ممکن است طی دهه آینده تهدیدی مرگبار برای تمام انسان‌ها ایجاد کند. در همین حال، OpenAI و آنتروپیک از ضرورت کاهش سرعت توسعه هوش مصنوعی سخن گفته‌اند، اما دونالد ترامپ، رئیس‌جمهور آمریکا، با چنین رویکردی مخالفت کرده است. جنسن هوانگ، مدیرعامل انویدیا، و مارک زاکربرگ، مدیرعامل متا، نیز با ایده کند کردن روند توسعه هوش مصنوعی مخالفت کرده‌اند.

برای ارزیابی پایداری، امنیت و نگهداری این زیرساخت، راهنمای پشتیبانی شبکه را نیز مطالعه کنید.