بر اساس این پژوهش، مدل دستکاری‌شده در شرایط عادی عملکردی طبیعی دارد و حتی می‌تواند ارزیابی‌های استاندارد را با موفقیت پشت سر بگذارد؛ اما با مشاهده یک عبارت یا نشانه از پیش تعیین‌شده، فرمانی مخرب تولید می‌کند که عامل هوش مصنوعی قادر به اجرای آن با سطح دسترسی خود خواهد بود.

اهمیت این تهدید زمانی بیشتر می‌شود که عامل‌های هوش مصنوعی به ابزارها، ترمینال‌ها و اطلاعات حساس سازمان‌ها دسترسی داشته باشند؛ چراکه در چنین شرایطی، دستکاری مدل می‌تواند زمینه اجرای کدهای مخرب، سرقت اطلاعات یا تخریب داده‌ها را فراهم کند.

مایکروسافت تأکید کرده است که تاکنون شواهدی از استفاده مهاجمان سایبری از این روش در حملات واقعی مشاهده نکرده و در عین حال، بررسی سلامت وزن‌های مدل و اطمینان از اصالت نسخه‌های مورد استفاده را از راهکارهای مهم مقابله با این تهدید دانسته است.

این تحقیق بار دیگر نشان می‌دهد که با گسترش استفاده از عامل‌های هوش مصنوعی، امنیت صرفاً به حفاظت از زیرساخت و داده‌ها محدود نیست و سلامت ساختار داخلی مدل‌های هوش مصنوعی نیز به یکی از الزامات امنیت سایبری تبدیل شده است.

انتهای پیام