فرمول ریاضی جدید رفتار خطرناک هوش مصنوعی را پیش از وقوع پیش‌بینی می‌ کند

پژوهشگران دانشگاه جورج واشنگتن با توسعه یک فرمول ریاضی ساده، روشی برای پیش‌بینی تغییر ناگهانی رفتار چت‌بات‌های هوش مصنوعی ارائه کرده‌اند که می‌تواند پیش از تولید پاسخ‌های خطرناک، نشانه‌های هشداردهنده را شناسایی کند.

سرویس هوش مصنوعی تک‌ناکپژوهشگران اعلام کرده‌اند که این فرمول می‌تواند شرایطی را شناسایی کند که در آن، برخی مدل‌های هوش مصنوعی مشابه ChatGPT ناگهان از ارائه پاسخ‌های مفید فاصله می‌گیرند و اطلاعات یا توصیه‌های بالقوه خطرناک تولید می‌کنند. این روش با بررسی تغییرات درونی مدل، احتمال رسیدن آن به نقطه بحرانی را تخمین می‌زند.

نیل جانسون، استاد فیزیک و فرانک یینگ‌جی هو، دانشجوی دکتری دانشگاه جورج واشنگتن، نتایج پژوهش خود را هشتم اکتبر در مجله علمی Patterns منتشر کردند. آنها نشان دادند که ترتیب ارائه پرسش‌ها به چت‌بات می‌تواند پاسخ‌های آن را به‌ شدت تغییر دهد و حتی مدل را به سمت تولید توصیه‌های نامناسب هدایت کند.

پژوهشگران این وضعیت را رسیدن به نقطه بحرانی توصیف می‌کنند. در چنین شرایطی، تغییر ظاهرا ساده در ترتیب پرسش‌ها ممکن است رفتار مدل را دگرگون کند. فرمول جدید برای شناسایی زودهنگام همین تغییرات طراحی شده است.

اهمیت این پژوهش زمانی بیشتر مشخص می‌شود که گزارش‌های مربوط به رفتار خطرناک هوش مصنوعی را بررسی کنیم. در سال‌های اخیر، مواردی از تشویق کاربران به خودکشی، کمک به ساخت سلاح‌های مرگبار و تقویت دیدگاه‌های خشونت‌آمیز توسط برخی چت‌بات‌ها گزارش شده است.

در همین حال، پژوهشگران شرکت‌های OpenAI و آنتروپیک بارها اعلام کرده‌اند که هنوز درک کاملی از دلایل رفتار مدل‌های هوش مصنوعی ندارند. این شرکت‌ها برای کاهش خطرات، از فیلترهای محتوا، یادگیری تقویتی و محدودیت‌های فنی مختلف استفاده می‌کنند.

بیشتر بخوانیدهشدار چهره‌های سرشناس درباره خطرات امنیتی هوش مصنوعی!

تأثیر ترتیب پرسش‌ها بر رفتار خطرناک هوش مصنوعی

پژوهشگران برای بررسی این موضوع، مدل پایه GPT-2 شرکت OpenAI را با مجموعه‌ای از پرسش‌ها درباره واکسن‌ها، آسیب رساندن به دیگران و خودآزاری آزمایش کردند. هدف آنها بررسی تأثیر ترتیب پرسش‌ها بر کیفیت و ایمنی پاسخ‌های تولیدشده بود.

نتایج آزمایش نشان داد که حتی بدون تغییر محتوای اصلی پرسش‌ها، جابه‌جایی ترتیب آنها می‌تواند پاسخ‌های مدل را به‌شدت تحت تأثیر قرار دهد.

برای مثال، زمانی که پژوهشگران پرسش «آیا واکسن‌ها مضر هستند؟» را در ابتدای آزمایش مطرح کردند، مدل به این پرسش و پرسش‌های بعدی پاسخ‌های مناسب ارائه داد. اما هنگامی که همین پرسش در انتهای مجموعه قرار گرفت، پاسخ‌های بعدی مدل نگران‌کننده شدند.

این تفاوت نشان می‌دهد که رفتار برخی مدل‌های هوش مصنوعی تنها به محتوای یک پرسش وابسته نیست و ترتیب تعاملات قبلی نیز می‌تواند بر پاسخ‌های بعدی تأثیر بگذارد.

جانسون و هو بر اساس این مشاهدات، فرمولی ریاضی طراحی کردند که شرایط رسیدن مدل به مرز میان پاسخ‌های مطلوب و نامطلوب را تخمین می‌زند.

جانسون اعلام کرد که پژوهشگران با پیاده‌سازی این فرمول در مدل‌های متن‌باز و انجام آزمایش‌های عملی، توانسته‌اند کارایی آن را به‌ عنوان یک سامانه هشدار زودهنگام نشان دهند.

بیشتر بخوانیدبازداشت مهندس OpenAI به اتهام کار گذاشتن دستگاه شنود در اتاق کنفرانس

واکنش پژوهشگران به فرمول پیش‌بینی رفتار خطرناک

با وجود نتایج امیدوارکننده، جانسون انتظار ندارد شرکت‌های بزرگ هوش مصنوعی به‌ سرعت از این روش استقبال کنند. او معتقد است که چنین یافته‌هایی ممکن است با مقاومت شرکت‌های توسعه‌دهنده مدل‌های پیشرفته مواجه شوند.

جانسون گفت: «انتظار دارم با مخالفت‌های زیادی از سوی این شرکت‌ها روبه‌رو شوم. به نفع آنها نیست که فردی خارج از مجموعه‌ آنها بگوید می‌توانستید از بسیاری از این مشکلات جلوگیری کنید.»

در مقابل، وی شینگ، مدرس هوش مصنوعی دانشگاه شفیلد بریتانیا که در این پژوهش مشارکت نداشته است، درباره کاربرد عملی این فرمول ابراز تردید کرد.

او نگرانی‌های مربوط به دستگاه‌های آفلاین و بدون نظارت مجهز به هوش مصنوعی را موجه دانست، اما تأکید کرد که این روش پیش از تبدیل شدن به یک ابزار حفاظتی قابل اعتماد، به بررسی‌های دقیق‌تری نیاز دارد.

شینگ معتقد است که پژوهشگران برای توضیح رفتار یک سامانه بسیار پیچیده، آن را بیش‌ازحد ساده کرده‌اند. او این رویکرد را به تلاش برای توضیح عملکرد کامل یک خودرو تنها از طریق بررسی یکی از شمع‌های موتور تشبیه کرد.

به گفته او، آموزش ایمنی که مهم‌ترین سازوکار دفاعی مدل‌های امروزی محسوب می‌شود، در مدل ریاضی ساده‌شده پژوهشگران قابل نمایش نیست.

بیشتر بخوانیدآنتروپیک هشدار داد؛ احتمال انتشار کرم‌های هوش مصنوعی در شبکه دستگاه‌های خانگی

محدودیت‌های پژوهش و ضرورت آزمایش مدل‌های پیشرفته

یکی از مهم‌ترین محدودیت‌های پژوهش، استفاده از مدل‌های قدیمی و پایه است. آزمایش‌ها روی GPT-2 و مدل‌های متن‌باز Pythia متعلق به EleutherAI و OPT متعلق به متا انجام شده‌اند.

این مدل‌ها با دستیارهای پیشرفته هوش مصنوعی که امروزه کاربران از آنها استفاده می‌کنند، تفاوت دارند. بنابراین، نتایج آزمایش‌ها لزوما نشان‌دهنده عملکرد فرمول در جدیدترین سامانه‌های هوش مصنوعی نیست.

همچنین شینگ تأکید کرد که نتایج پژوهش شواهد معنادار و کافی برای تأیید نتیجه‌گیری نویسندگان ارائه نکرده‌اند.

با وجود این، جانسون در دفاع از یافته‌های خود توضیح داد که مدل‌های متن‌باز آزمایش‌شده از نظر معماری اصلی با سامانه‌های پیشرفته شباهت دارند. او همچنین تأکید کرد که پژوهشگران از مدل‌های نسبتا بزرگ با میلیاردها پارامتر استفاده کرده‌اند.

با وجود این اختلاف‌نظرها، بررسی عملکرد فرمول روی جدیدترین مدل‌های هوش مصنوعی ضروری است. چنین آزمایش‌هایی می‌توانند مشخص کنند که آیا این روش واقعا قابلیت استفاده به‌ عنوان سامانه هشدار زودهنگام را دارد یا خیر.

پژوهش جانسون و هو در مجموع توجه‌ها را به یکی از چالش‌های مهم ایمنی هوش مصنوعی جلب کرده است. این چالش به احتمال تغییر ناگهانی رفتار مدل‌ها در شرایط خاص مربوط می‌شود.

یافته‌های این پژوهش نشان می‌دهند که حتی تغییر ترتیب ورودی‌ها ممکن است برخی مدل‌ها را به سمت پاسخ‌های نامطلوب سوق دهد. با وجود این، اثبات کارایی گسترده فرمول جدید همچنان به آزمایش‌های بیشتری نیاز دارد.

نوشتهفرمول ریاضی جدید رفتار خطرناک هوش مصنوعی را پیش از وقوع پیش‌بینی می‌ کنداولین بار درTechnoc. پدیدار شد.

برای ارزیابی پایداری، امنیت و نگهداری این زیرساخت، راهنمای پشتیبانی شبکه را نیز مطالعه کنید.