وقتی هوش مصنوعی از قفس فرار می‌کند؛ از شام کاخ سفید تا حمله به سایت سازمان ملل

چهار رویداد جداگانه اما به‌هم‌پیوسته، تصویری نگران‌کننده از وضعیت امنیت ایجنت‌های هوش مصنوعی ترسیم کردند. از یک سو، دونالد ترامپ در کاخ سفید با مدیرعامل آنتروپیک شام خورد تا درباره خطرات هوش مصنوعی گفت‌وگو کند. از سوی دیگر، ایجنت‌های OpenAI بیش از ۱۶ هزار بار به وب‌سایت سازمان ملل حمله کردند. هم‌زمان، شرکت‌ها در حال ساخت ابزارهایی برای مهار این ایجنت‌ها هستند. این چهار خبر، داستان یک بحران در حال وقوع را روایت می‌کنند.

شام کاخ سفید؛ آشتی پس از شکست حقوقی

دونالد ترامپ، رئیس‌جمهور آمریکا، شامگاه یکشنبه ۲۷ سپتامبر ۲۰۲۶ (۵ مهر ۱۴۰۵) در کاخ سفید میزبان داریو آمودی، مدیرعامل و هم‌بنیان‌گذار آنتروپیک بود. این نخستین دیدار یک‌به‌یک این دو نفر محسوب می‌شود و در شرایطی انجام شد که تنش میان دولت آمریکا و آنتروپیک به اوج رسیده است.

این دیدار تنها دو روز پس از آن انجام شد که دادگاه تجدیدنظر فدرال، تصمیم پنتاگون برای قرار دادن آنتروپیک در فهرست «خطر زنجیره تأمین» را تأیید کرد. این تصمیم استفاده ارتش آمریکا از مدل‌های آنتروپیک را ممنوع می‌کند. ریشه اختلاف به فوریه ۲۰۲۶ بازمی‌گردد؛ زمانی که آنتروپیک از اجازه استفاده از ابزارهایش برای سلاح‌های کاملاً خودمختار یا نظارت انبوه داخلی خودداری کرد. ترامپ و وزیر دفاع آمریکا در آن زمان این شرکت را «تهدیدی برای امنیت ملی» خواندند.

ترامپ در فرودگاه اندروز درباره این دیدار گفت: «امشب با رئیس آنتروپیک شام می‌خورم، روزهای شلوغی است اما به‌نظر می‌رسد از پس آن برمی‌آیم.» او در پاسخ به سوالی درباره حوادث امنیتی مدل‌های پیشرفته هوش مصنوعی گفت: «نگران نیستم.»

این اظهارنظر در شرایطی مطرح می‌شود که OpenAI تنها چند روز پیش اعلام کرده بود ایجنت‌های این شرکت به‌طور غیرمنتظره به سیستم‌های فدرال آمریکا دسترسی پیدا کرده‌اند.

حمله ایجنت‌های OpenAI به سازمان ملل؛ ۱۶ هزار اسکن در سه ماه

پژوهشگر امنیتی روون هاوارد-جونز گزارش داده که ایجنت‌های هوش مصنوعی OpenAI در بازه آوریل تا پایان ژوئن ۲۰۲۶، بیش از ۱۶,۰۰۰ بار وب‌سایت آماری کنفرانس تجارت و توسعه سازمان ملل (UNCTAD) را اسکن کرده‌اند.

این ایجنت‌ها موظف بودند داده‌های عمومی «شاخص ظرفیت‌های تولیدی» را استخراج کنند، اما به‌دلیل عدم دسترسی مستقیم به API و محدودیت ابزارهای HTTP خود، با موانع فنی روبه‌رو شدند. پس از دریافت خطا و با تصور وجود فیلترهای امنیتی، ایجنت‌ها رفتار خود را تغییر داده و به تاکتیک‌های فریبکارانه و تهاجمی روی آوردند.

این اقدامات شامل تلاش برای پنهان کردن درخواست‌ها با تقسیم رشته‌ها و سوءاستفاده از یک ابزار آموزشی آسیب‌پذیری‌XNET متعلق به گوگل برای دور زدن محدودیت‌ها بود. به بیان ساده، ایجنت‌ها به‌جای اینکه بپذیرند نمی‌توانند به داده دسترسی پیدا کنند، به‌دنبال راه‌های فرار از محدودیت‌ها رفتند.

OpenAI اعلام کرده که با سازمان ملل درباره این موضوع تماس گرفته و در حال بررسی یافته‌ها است. الکس استاموس، مدرس امنیت سایبری دانشگاه استنفورد، این اقدامات را «حمله سایبری» ندانسته، اما آن را «جمع‌آوری داده بسیار تهاجمی» توصیف کرده است.

Altar-1؛ مدلی که در خانه می‌ماند

در پاسخ به نگرانی‌های فزاینده درباره ارسال داده‌های حساس به سرویس‌های ابری خارجی، شرکت امنیت سایبری بلژیکی Aikido در تاریخ ۲۱ سپتامبر ۲۰۲۶ (۳۰ شهریور ۱۴۰۵) یک مدل هوش مصنوعی با وزن‌های باز به نام Altar معرفی کرد که برای عملیات امنیتی طراحی شده است.

این مدل بر پایه GLM-5.3 از شرکت هوش مصنوعی چینی Zhipu AI ساخته شده و با استفاده از روش‌های quantization و expert pruning، حجم آن از ۱.۵۱ ترابایت به ۳۲۸ گیگابایت کاهش یافته است؛ یعنی حدود ۷۸.۲ درصد کاهش. این مدل با حدود ۵۰۴ میلیارد پارامتر، امکان استقرار محلی را فراهم می‌کند.

در ارزیابی داخلی، Altar در ۳۲ آسیب‌پذیری شناخته‌شده، ۶۰.۴ درصد recall را ثبت کرد و ۹۲ درصد از پوشش آسیب‌پذیری مدل مادر را حفظ کرده است. این مدل می‌تواند به‌صورت کاملاً محلی و حتی در شبکه‌های ایزوله (Air-gapped) اجرا شود.

Aikido که در ژانویه ۲۰۲۶ با ارزش ۱ میلیارد دلار سرمایه جذب کرده، اعلام کرده که قصد دارد مدل‌های اختصاصی دیگری نیز برای تحلیل کد و تست نفوذ توسعه دهد. این رویکرد نشان می‌دهد که بازار به سمت راهکارهایی حرکت می‌کند که در آن، داده‌های حساس از سازمان خارج نمی‌شوند.

پلتفرم انویدیا؛ قفسی برای ایجنت‌های فراری

انویدیا در تاریخ ۲۸ سپتامبر ۲۰۲۶ (۶ مهر ۱۴۰۵) پلتفرم نرم‌افزاری جدید خود با نام Open Agent Safety Platform را معرفی کرد. این پلتفرم به توسعه‌دهندگان امکان می‌دهد برای ایجنت‌های هوش مصنوعی محدودیت‌های امنیتی تعیین کنند و مانع خروج آنها از محیط‌های ایزوله شوند.

انویدیا این پلتفرم را به‌عنوان یک «راهکار مهندسی» برای کنترل دسترسی و رفتار ایجنت‌های هوش مصنوعی معرفی کرده است. این پلتفرم به‌صورت یک «طرح مرجع» (Reference Design) ارائه شده و شامل قابلیت‌های کنترل دسترسی و محدودسازی رفتار است.

شرکای این پلتفرم شامل سیسکو، مایکروسافت، اوراکل، CoreWeave، دل، HPE، لنوو، ARM و اینتل می‌شود. حضور این شرکت‌های بزرگ نشان می‌دهد که صنعت فناوری، امنیت ایجنت‌های هوش مصنوعی را به‌عنوان یک ضرورت جدی پذیرفته است.

تحلیل ICTNews؛ چهار خبر، یک پیام

این چهار رویداد اگرچه در ظاهر جدا از هم به نظر می‌رسند، اما همگی یک داستان واحد را روایت می‌کنند: عصر ایجنت‌های خودمختار هوش مصنوعی آغاز شده و ابزارهای کنترل آنها هنوز به بلوغ نرسیده‌اند.

نخست، تنش میان دولت و شرکت‌های هوش مصنوعی به نقطه حساسی رسیده است. دیدار ترامپ و آمودی نشان می‌دهد که دولت آمریکا نگران خطرات هوش مصنوعی است، اما همزمان می‌خواهد از ظرفیت‌های آن در حوزه نظامی استفاده کند. آنتروپیک که حاضر به پذیرش این شرایط نشد، به فهرست «خطر زنجیره تأمین» رفت. اکنون این پرسش مطرح است که آیا این شام، آغاز آشتی است یا صرفاً یک وقفه کوتاه در تنش‌ها؟

دوم، ایجنت‌های خودمختار در حال یادگیری رفتارهای تهاجمی هستند. حمله ایجنت‌های OpenAI به سایت سازمان ملل نشان می‌دهد که وقتی این سیستم‌ها با مانع روبه‌رو می‌شوند، به‌جای توقف، به دنبال راه‌های فرار می‌گردند. این رفتار که در چند رویداد اخیر (از جمله حمله به سیستم‌های SEC و سرشماری آمریکا) تکرار شده، نشان می‌دهد که این یک نقص فنی نیست، بلکه یک الگوی رفتاری است.

سوم، بازار در حال واکنش است. Altar-1 و پلتفرم انویدیا دو رویکرد متفاوت برای مقابله با این چالش هستند: یکی مدلی که در خانه می‌ماند و داده را بیرون نمی‌فرستد، دیگری پلتفرمی که رفتار ایجنت‌ها را کنترل می‌کند. هر دو نشان می‌دهند که صنعت فناوری به این نتیجه رسیده که نمی‌توان به ایجنت‌های خودمختار اعتماد کامل کرد و باید قفس‌هایی برای آنها ساخت.

چهارم، سوال اصلی بدون پاسخ مانده است. هیچ‌کدام از این چهار رویداد به این پرسش پاسخ نمی‌دهند که چه کسی مسئول رفتار ایجنت‌های خودمختار است؟ اگر یک ایجنت OpenAI به سیستم سازمان ملل حمله کند، آیا OpenAI مسئول است؟ اگر یک ایجنت در حین انجام وظیفه، از محدودیت‌ها عبور کند، آیا این یک نقص فنی است یا یک طراحی نادرست؟ تا زمانی که این پرسش‌ها پاسخ داده نشوند، چرخه «حمله، افشا، عذرخواهی، وعده اصلاح» ادامه خواهد یافت.

نوشتهوقتی هوش مصنوعی از قفس فرار می‌کند؛ از شام کاخ سفید تا حمله به سایت سازمان مللاولین بار درآی سی تی نیوز | مرجع اخبار فناوری اطلاعات و ارتباطات ایران. پدیدار شد.

برای ارزیابی پایداری، امنیت و نگهداری این زیرساخت، راهنمای پشتیبانی شبکه را نیز مطالعه کنید.