OpenAI به دنبال پژوهشگرانی‌ که نگران هوش‌ مصنوعی هستند

چرا بزرگ‌ترین آزمایشگاه هوش مصنوعی جهان روی «ایمنی» سرمایه‌گذاری می‌کند؟ در دنیایی که مدل‌های هوش مصنوعی با سرعتی سرسام‌آور توسعه می‌یابند، یک سوال مهم اغلب در سایه می‌ماند: آیا این سیستم‌ها واقعاً امن هستند؟

OpenAI با راه‌اندازی یک بورس پژوهشی شش‌ماهه، نشان داده که این سوال را جدی می‌گیرد. این شرکت از پژوهشگران مستقل خواسته بود تا رویایمنی هوش مصنوعیکار کنند؛ نه کسانی که هوش مصنوعی می‌سازند، بلکه کسانی که وظیفه‌شانزیر سوال بردنآن است.

ایمنی هوش مصنوعی به چه معناست؟

وقتی از «ایمنی» در هوش مصنوعی حرف می‌زنیم، منظورمان چیزی فراتر از جلوگیری از هک یا حمله سایبری است. ایمنی یعنی

• مدل هوش مصنوعیآنچه را که نباید بگوید، نگوید
• در موقعیت‌های پیچیدهرفتار قابل پیش‌بینیداشته باشد
• آسیب غیرعمدیبه کاربر یا جامعه نرساند
• وقتی اشتباه می‌کند، اشتباهشقابل شناسایی و اصلاحباشد

به زبان ساده‌تر یک هوش مصنوعی «امن» (Secure) ممکن است در برابر هکرها محافظت شده باشد، اما هوش مصنوعی «ایمن» (Safe) آن است که خودش رفتار درست داشته باشد؛ حتی بدون نظارت.

بورس پژوهشی ایمنی OpenAI

این بورس پژوهشی از سپتامبر ۲۰۲۶ تا فوریه ۲۰۲۷ اجرا خواهد شد و پژوهشگران پذیرفته‌شده روی موضوعاتی کار می‌کنند که مستقیماً با آینده هوش مصنوعی گره خورده است

ارزیابی ایمنی (Safety Evaluation)یکی از چالش‌های اصلی هوش مصنوعی این است که ابزارهای دقیقی برای سنجش ایمنی آن نداریم. آیا می‌توان معیارهایی طراحی کرد که به‌درستی نشان دهد یک مدل تا چه اندازه قابل اعتماد است؟

اخلاق و مسئولیت‌پذیری (Ethics)وقتی هوش مصنوعی تصمیم می‌گیرد، بر اساس چه ارزش‌هایی عمل می‌کند؟ چه کسی پاسخگوی پیامدهای این تصمیم‌هاست؟

پایداری و مقاومت مدل‌ها (Robustness)آیا می‌توان با دستکاری‌های ظریف یا ورودی‌های غیرمنتظره، مدل را از مسیر درست خارج کرد؟ چقدر می‌توان به رفتار مدل در شرایط غیرعادی اطمینان داشت؟

راهکارهای مقیاس‌پذیر کاهش ریسک (Scalable Mitigations)با بزرگ‌تر و پیچیده‌تر شدن مدل‌ها، روش‌های کنونی کاهش خطر کافی نیستند. چطور می‌توان راهکارهایی طراحی کرد که با رشد مدل‌ها همگام باشند؟

حفاظت از حریم خصوصی (Privacy-Preserving Safety)چطور می‌توان سیستم‌های هوش مصنوعی را ایمن نگه داشت بدون اینکه داده‌های شخصی کاربران در معرض خطر قرار گیرد؟

نظارت بر عامل‌های خودمختار (Agentic Oversight)نسل جدید هوش مصنوعی دیگر فقط به سوال‌ها پاسخ نمی‌دهد، بلکه مستقلاً تصمیم می‌گیرد، برنامه‌ریزی می‌کند و عمل می‌کند. نظارت بر این سیستم‌ها یکی از پیچیده‌ترین چالش‌های پیش روست.

جلوگیری از سوءاستفاده‌های پرخطر (High-Severity Misuse)هوش مصنوعی می‌تواند برای اهداف بسیار خطرناک مورد سوءاستفاده قرار گیرد. شناسایی این حوزه‌ها و طراحی سازوکارهای پیشگیرانه از اولویت‌های این برنامه است.

چه کسانی مخاطب این برنامه هستند؟

نکته جالب این برنامه آن است که OpenAI صراحتاً اعلام کردهمدرک تحصیلیمعیار اصلی نیست. افراد با پیشینه‌های متنوع از جمله علوم کامپیوتر، علوم اجتماعی، امنیت سایبری، حریم خصوصی و حتی تعامل انسان_رایانه می‌توانستند درخواست دهند. آنچه اهمیت داشتتوانایی پژوهشی، قدرت تحلیل و توان اجرابود.

پژوهشگران پذیرفته‌شده علاوه بر حقوق ماهانه و دسترسی به منابع محاسباتی، از راهنمایی مستقیم متخصصان OpenAI بهره‌مند می‌شوند. در پایان دوره نیز هر نفر باید یک خروجی ملموس ارائه دهد؛ این خروجی می‌تواند در قالب یک مقاله علمی، ابزار ارزیابی (Benchmark) یا مجموعه داده (Dataset) باشد؛ چیزی که نه فقط برای OpenAI، بلکه برای کل جامعه پژوهشی هوش مصنوعی ارزشمند است.

بهترین ایده‌ها از بیرون دیوارهای شرکت‌های بزرگ می‌آیند

بورس‌های پژوهشی در حوزه هوش مصنوعی، فارغ از موضوع آن‌ها، یکی از مؤثرترین روش‌ها برای پیشبرد دانش این حوزه هستند. وقتی یک پژوهشگر مستقل بدون فشار تجاری و بدون محدودیت‌های یک شرکت خاص روی یک مسأله تمرکز می‌کند، نتایجی تولید می‌شود که اغلب در محیط‌های داخلی شرکت‌ها امکان‌پذیر نیست.

این مدل در دنیا سابقه‌ای موفق دارد. Google از طریق برنامهGoogle PhD Fellowshipسالانه ده‌ها پژوهشگر دکترا را در حوزه‌های مختلف هوش مصنوعی از جمله یادگیری ماشین، پردازش زبان طبیعی و بینایی ماشین حمایت مالی می‌کند. Microsoft نیز با برنامهMicrosoft Research PhD Fellowshipهمین مسیر را دنبال می‌کند. در سطح غیرانتفاعی، بنیادOpen Philanthropyمیلیون‌ها دلار به پژوهشگران مستقل هوش مصنوعی اختصاص داده وAI2وابسته به آلن تورینگ نیز برنامه‌های مشابهی برای جذب استعدادهای مستقل اجرا می‌کند.

آنچه همه این برنامه‌ها مشترکاً نشان می‌دهند این است کهپیشرفت واقعی هوش مصنوعی تنها در اتاق‌های بسته شرکت‌های بزرگ اتفاق نمی‌افتد.ایده‌های تازه، زوایای دید متفاوت و نقدهای سازنده اغلب از بیرون می‌آیند. هر چه شرکت‌های بزرگ بیشتر به این سمت حرکت کنند که دانش را از انحصار خارج کنند و به پژوهشگران مستقل فرصت بدهند، کل اکوسیستم هوش مصنوعی از آن سود خواهد برد.

برای ارزیابی پایداری، امنیت و نگهداری این زیرساخت، راهنمای پشتیبانی شبکه را نیز مطالعه کنید.