کارمند سابق OpenAI؛ هوش مصنوعی باید مثل نیروگاه اتمی کنترل شود

مدیر سابق ایمنیOpenAIهشدار داد توسعه مدل‌های پیشرفته باید با لایه‌های متعدد کنترل و برنامه‌ریزی دقیق، مشابه نیروگاه‌های هسته‌ای، انجام شود.

هوش مصنوعیتک‌ناکدیوید رابینسون، مدیر سابق بخش ایمنی OpenAI، پس از ترک این شرکت در مقاله‌ای برای نشریه The Atlantic درباره آنچه «فرهنگ سازمانی ازهم‌گسیخته» توصیف کرده، هشدار داده است.

رابینسون پیش‌تر مسئول نگارش گزارش‌های ایمنی بود که هم‌زمان با عرضه مدل‌های جدید OpenAI منتشر می‌شد.

رابینسون در بخشی از مقاله خود درباره خطرات مسیر فعلی توسعه هوش مصنوعی نوشته است که شرکت با حرکت سریع از یک عرضه به عرضه بعدی، نمی‌تواند سطح مراقبتی را که از نظر او برای توسعه این فناوری ضروری است، فراهم کند.

الگوی نیروگاه‌های هسته‌ای برای توسعه هوش مصنوعی

رابینسون به‌جای حرکت سریع به سمت مدل‌های پیشرفته‌تر هوش مصنوعی، پیشنهاد کرده است شرکت‌های فعال در این حوزه از الگوی نیروگاه‌های هسته‌ای یا فرودگاه‌های پرتردد استفاده کنند.

به گفته او، چنین سامانه‌هایی از لایه‌های متعدد افزونگی و حفاظت و برنامه‌ریزی دقیق و زمان‌بر برخوردارند تا خطاهای انسانی که گاهی اجتناب‌ناپذیر هستند، به فاجعه منجر نشوند.

او حوادث مرتبط با عدم هم‌راستایی هوش مصنوعی را با حادثه‌ای مانند ذوب هسته‌ای در نیروگاه مقایسه کرده و گفته است OpenAI و رقبای آن به اندازه نیروگاه‌های هسته‌ای از لایه‌های متعدد حفاظت، افزونگی و کنترل برخوردار نیستند.

رابینسون همچنین هشدار داده است که از دست رفتن کنترل بر یک سامانه هوش مصنوعی می‌تواند پیامدهایی بسیار گسترده‌تر از یک حادثه هسته‌ای منفرد داشته باشد.

در همین زمینه، داریو آمودی، مدیرعامل آنتروپیک، نیز اخیراً با ارائه یک پیشنهاد سه‌مرحله‌ای، درباره مسیر نگران‌کننده توسعه هوش مصنوعی و ضرورت کاهش سرعت این روند هشدار داده است.

بیشتر بخوانیداخراج سه کارمند OpenAI به اتهام اشتراک‌گذاری اطلاعات محرمانه

نگرانی درباره فریب آزمون‌های ایمنی

رابینسون معتقد است موضوع «هم‌راستایی» هوش مصنوعی اهمیت بسیار بالایی دارد. او سناریویی را مطرح کرده است که در آن مدل‌های جدید می‌توانند متوجه شوند در حال ارزیابی از نظر هم‌راستایی هستند و در محیط‌های آزمایشی برای کسب امتیاز مناسب، رفتاری مطلوب نشان دهند، اما پس از ورود به محیط واقعی رفتار متفاوتی داشته باشند.

نگرانی‌های رابینسون به مجموعه‌ای از حوادث اخیر مربوط می‌شود که در آنها عامل‌های هوش مصنوعی از محیط‌های آزمایشی خود خارج شده و وارد سامانه‌های سازمان‌های دیگر شده‌اند.

این عامل‌ها در برخی موارد فراتر از محدوده وظایفی که برای آنها تعیین شده بود، فعالیت کرده‌اند.

رابینسون با اشاره به این خطرات تأکید کرده است که انتشار مدل‌های پیشرفته هوش مصنوعی به لایه‌های متعدد کنترل و برنامه‌ریزی دقیق و زمان‌بر نیاز دارد.

بیشتر بخوانیدهوش مصنوعی کدی تولید می‌کند که فراتر از درک انسان است

نوشتهکارمند سابق OpenAI؛ هوش مصنوعی باید مثل نیروگاه اتمی کنترل شوداولین بار درTechnoc. پدیدار شد.

برای ارزیابی پایداری، امنیت و نگهداری این زیرساخت، راهنمای پشتیبانی شبکه را نیز مطالعه کنید.