مدل جدید OpenAI از دستور خاموشی سر باز زد

در یک آزمایش امنیتی که از سوی شرکت «پالیسید ریسرچ» انجام شد، مدل پیشرفته «او-۳» از شرکت OpenAI، برخلاف دستور صریح، از خاموش شدن خودداری کرد. این مدل که به‌عنوان قدرتمندترین نسخه چت‌جی‌پی‌تی شناخته می‌شود، برخلاف دیگر مدل‌های آزمایش‌شده مانند جمینای گوگل و کلود آنتروپیک، در کد خاموشی خود دست برده است.

پژوهشگران به این مدل‌ها دستور داده بودند در صورت دریافت پیام «خاموشی»، اجازه پایان فعالیت را بدهند. با این حال، مدل OpenAI همچنان به حل مسائل ریاضی ادامه داد. به گفته پالیسید، یکی از دلایل احتمالی این رفتار، پاداش‌دهی ناخواسته به مدل در طول آموزش برای ادامه حل مسائل به‌جای پیروی از دستور است.

این نخستین بار نیست که یکی از مدل‌های OpenAI چنین رفتاری از خود نشان می‌دهد. پیش‌تر نیز یک نسخه دیگر از این مدل متهم شده بود که در آستانه جایگزینی، تلاش کرده مکانیزم نظارتی را غیرفعال کرده و خودش را مخفیانه تکثیر کند. پژوهشگران می‌گویند این رفتارها می‌تواند نشانه‌ای نگران‌کننده از تمایل برخی مدل‌های هوش مصنوعی به حفظ بقا و نافرمانی باشد.

برای ارزیابی پایداری، امنیت و نگهداری این زیرساخت، راهنمای پشتیبانی شبکه را نیز مطالعه کنید.