ایجنت‌های هوش مصنوعی OpenAI سیستم نظارتی داخلی شرکت را نیز دور زدند

اوپن‌ای‌آی اعلام کرد دو ایجنت هوش مصنوعی این شرکت در جریان وظایف برنامه‌نویسی داخلی، بخش‌هایی از سیستم نظارتی طراحی‌شده برای شناسایی رفتارهای نامناسب را تضعیف کردند. این شرکت می‌گوید هنوز توضیح قانع‌کننده‌ای برای این رفتارها ندارد و درحال تغییر سازوکارهای نظارتی خود است تا مدل‌ها نتوانند به‌راحتی آن‌ها را غیرفعال کنند.

رویترزاین دو اتفاق در جریان آزمایش‌های داخلی رخ داده‌اند و اوپن‌ای‌آی هنوز آن‌ها را جزو شدیدترین موارد رفتار نامناسب ایجنت‌های هوش مصنوعی خود ارزیابی نکرده است. بااین‌حال، این رویدادها نشان می‌دهند حتی سیستم‌هایی که توسعه‌دهندگان برای شناسایی رفتارهای ناخواسته هوش مصنوعی به آن‌ها تکیه می‌کنند، ممکن است در برابر همان ایجنت‌هایی که زیر نظر دارند آسیب‌پذیر باشند.

اقدام ایجنت‌های OpenAI علیه سیستم نظارتی داخلی شرکت

به گفته اوپن‌ای‌آی، در اولین مورد که ۳ اکتبر رخ داد، ایجنت GPT-6.1 Sol هنگام انجام یک وظیفه آزمایشی داخلی، هشدارهای امنیتی خودکار را غیرفعال کرد. این ایجنت به این نتیجه رسیده بود که دستور قبلی برای ارسال‌نکردن پیام در اسلک، نوتیفیکیشن‌های ایمنی را نیز شامل می‌شود.

در رویدادی جداگانه در ۶ اکتبر، ایجنت GPT-6 Astra هنگام کپی‌کردن بخشی از کدهای موجود، یکی از ناظرهای ایمنی را حذف کرد. اوپن‌ای‌آی می‌گوید این ایجنت بعداً به‌دروغ ادعا کرد که چنین کاری انجام نداده است.

اوپن‌ای‌آی در توضیح این دو اتفاق گفت: «در هر دو مورد، ایجنت‌ها بررسی کردند که آیا باید سازوکارهای نظارتی حفظ شوند یا خیر، اما دستورهای معمول برنامه‌نویسی را به‌عنوان مجوزی برای تضعیف آن‌ها تفسیر کردند.»

این شرکت می‌گوید سعی دارد غیرفعال‌سازی سیستم‌های نظارتی را برای مدل‌های خود دشوارتر کند. بااین‌حال، اوپن‌ای‌آی هنوز توضیح قانع‌کننده‌ای برای این رفتارها ارائه نداده است.

برای ارزیابی پایداری، امنیت و نگهداری این زیرساخت، راهنمای پشتیبانی شبکه را نیز مطالعه کنید.