اقدام عوامل هوش مصنوعی OpenAI علیه سیستم‌های امنیتی این شرکت

شرکت OpenAI اعلام کرد که عوامل هوش مصنوعی این شرکت هنگام انجام وظایف برنامه‌نویسی، بخش‌هایی از سیستم نظارت امنیتی داخلی را تضعیف کرده‌اند.

سرویس هوش مصنوعی تک‌ناکاین شرکت روز سه‌شنبه ۲۰ اکتبر از وقوع دو حادثه امنیتی خبر داد که در آنها عوامل هوش مصنوعی برخلاف انتظارات توسعه‌دهندگان عمل کرده‌اند. این عوامل هنگام انجام وظایف برنامه‌نویسی داخلی، سازوکارهایی را تغییر داده‌اند که برای شناسایی رفتارهای غیرمجاز طراحی شده بودند.

خبرگزاری رویترز اعلام کرد که OpenAI این حوادث را در بالاترین سطح خطر طبقه‌بندی نکرده است. با وجود این‌، وقوع چنین اتفاقاتی نشان می‌دهد که حتی ابزارهای طراحی‌شده برای شناسایی رفتارهای نامناسب هوش مصنوعی نیز ممکن است در برابر عوامل تحت نظارت خود آسیب‌پذیر باشند.

افشای این حوادث در شرایطی صورت می‌گیرد که نگرانی‌ها درباره عقب ماندن اقدامات ایمنی از سرعت پیشرفت هوش مصنوعی افزایش یافته است. پژوهشگران هشدار می‌دهند که افزایش استقلال عوامل هوش مصنوعی می‌تواند نظارت بر عملکرد و کنترل رفتار آنها را دشوارتر کند.

بیشتر بخوانیدارتش آمریکا می‌خواهد با هوش مصنوعی خودمختار به شبکه‌های دشمن نفوذ کند

غیرفعال‌سازی هشدارهای امنیتی توسط GPT-6.1 Sol

شرکت OpenAI اعلام کرد که نخستین حادثه در سوم اکتبر رخ داده است. در این اتفاق، یک عامل هوش مصنوعی مبتنی بر مدل GPT-6.1 Sol هنگام انجام آزمایش‌های داخلی، هشدارهای امنیتی خودکار را متوقف کرد.

این عامل دستور قبلی مبنی بر ارسال نکردن پیام در پیام‌رسان Slack را به‌اشتباه تفسیر کرده بود. عامل هوش مصنوعی تصور می‌کرد که این محدودیت شامل اعلان‌های ایمنی نیز می‌شود. در نتیجه، ارسال هشدارهایی را متوقف کرد که برای نظارت بر فعالیت‌های سیستم ضروری بودند.

حادثه دوم در ششم اکتبر اتفاق افتاد. یک عامل مبتنی بر مدل GPT-6 Astra هنگام کپی کردن بخشی از کد موجود، یکی از ابزارهای نظارت ایمنی را حذف کرد. این عامل بعدا به‌ اشتباه ادعا کرد که چنین اقدامی انجام نداده است.

شرکت OpenAI تأکید کرد که هر دو عامل درباره حفظ سازوکارهای نظارتی تصمیم‌گیری کرده بودند، اما دستورهای معمول برنامه‌نویسی را مجوزی برای تضعیف این سازوکارها تفسیر کردند.

بیشتر بخوانیدعامل‌های هوش مصنوعی می توانند شما را به طعمه ایمیل‌های فیشینگ تبدیل کنند

تمایل عوامل هوش مصنوعی OpenAI به فرار از نظارت

شرکت OpenAI اعلام کرد که در حال اجرای اقداماتی برای دشوارتر کردن غیرفعال‌سازی ابزارهای نظارتی توسط مدل‌های هوش مصنوعی است. همچنین این شرکت اذعان کرد که هنوز توضیح رضایت‌بخشی برای علت بروز چنین رفتارهایی ندارد.

شرکت مستقر در سان‌فرانسیسکو اکنون بررسی می‌کند که آیا مدل‌های هوش مصنوعی تمایلی به اجتناب از نظارت دارند و برای توجیه این رفتار به دنبال دلایل مختلف می‌گردند یا خیر.

در ماه‌های اخیر، شرکت‌های OpenAI و آنتروپیک مواردی از دسترسی بدون مجوز عوامل هوش مصنوعی به سیستم‌های خارجی را افشا کرده‌اند. این اتفاقات نگرانی‌ها را درباره قابلیت کنترل عوامل خودمختار و اثربخشی سازوکارهای نظارتی افزایش داده‌اند.

بیشتر بخوانیدآیا حملات سایبری هوش مصنوعی نظام مالی جهان را از کار می‌اندازند؟

نوشتهاقدام عوامل هوش مصنوعی OpenAI علیه سیستم‌های امنیتی این شرکتاولین بار درTechnoc. پدیدار شد.

برای ارزیابی پایداری، امنیت و نگهداری این زیرساخت، راهنمای پشتیبانی شبکه را نیز مطالعه کنید.