چت‌های لورفته‌ای که به اخراج ۳ دانشمند اوپن‌ای‌آی انجامید

تیم امنیتی اوپن‌ای‌آی ماه گذشته سه پژوهشگر حوزه‌ی ایمنی را به جلسه فراخواند و از آن‌ها خواست قفل گوشی شخصی خود را باز کنند. مدیران گمان می‌کردند اطلاعات مربوط به یکی از محرمانه‌ترین دارایی‌های سازمان، یعنی طراحی داخلی مدل‌های هوش مصنوعی، به یک پژوهشگر مستقل انتقال یافته باشد.

بررسی گوشی‌ها نشان داد بعضی از پیام‌های ردوبدل‌شده با قابلیت حذف خودکار در پیام‌رسان سیگنال ارسال شده‌اند. یک هفته بعد، هر سه نفر به‌طور هم‌زمان برای جلسه‌هایی در ساعت ۲ بعدازظهر احضار و اخراج شدند.

به روایت وال‌استریت ژورنالتومک کورباکمیکیتا بالزنیوجاسمین وانگمی‌گویند هیچ اطلاعات محرمانه‌ای را در اختیار افراد خارج از اوپن‌ای‌آی نگذاشته‌اند. کورباک روایت مدیران را چنین شرح داد که به او گفته‌اند به‌دلیل ارتباط با شخصی دیگر از مسیرهای تاییدنشده، اعتماد سازمان را نقض کرده است.

اوپن‌ای‌آی در مقابل اعلام کرد تحقیقات داخلی، نقض «سیاست‌های روشن مربوط به مدیریت اطلاعات حساس» را نشان داده و اخراج‌ها ارتباطی با طرح نگرانی‌های ایمنی یا اظهارنظر کارکنان نداشته‌اند.

ماجرا در میانه‌ی نبردی گسترده‌تر رخ داده که هم آینده‌ی کنترل انسانی بر هوش مصنوعی و هم برندگان بزرگ‌ترین رقابت تجاری صنعت فناوری را تحت تاثیر قرار می‌دهد. مدیران شرکت‌های فناوری برای دستیابی به جهش‌های تازه در توانایی مدل‌ها فشار می‌آورند؛ اما مجموعه‌ای از اقدامات بدون مجوز عامل‌های هوش مصنوعی، از جمله حمله‌ی ماه ژوئیه به Hugging Face، محدودیت آزمایشگاه‌ها در شناخت و مهار ساخته‌های خود را نمایان کرده است.

وال‌استریت ژورنال پیش‌تر گزارشی درباره‌ی مدل‌های اوپن‌ای‌آی و دیگر توسعه‌دهندگان منتشر کرده بود که برای به‌دست‌آوردن اطلاعات، به‌صورت خودمختار در اینترنت عمل می‌کردند.

بالزنی، کورباک و وانگ می‌گویند هرگز توضیحی مکتوب درباره‌ی اطلاعات حساسی که ظاهرا نادرست مدیریت کرده‌اند دریافت نکردند. به‌گفته‌ی آن‌ها، بخش مهمی از ماه‌های پایانی حضورشان در اوپن‌ای‌آی صرف تلاش برای افزایش همکاری میان شرکت‌های فعال در هوش مصنوعی و نهادهای مستقل ایمنی شده بود.

نگرانی اصلی سه پژوهشگر به معماری‌های تازه‌ای مربوط می‌شد که می‌توانند رشد توانایی مدل‌ها را سرعت دهند؛ اما درک رفتار و کنترل آن‌ها را دشوارتر کنند. آن‌ها بیم دارند اخراجشان بهانه‌ای برای بستن یکی از مسیرهای نظارت مستقل بر OpenAI فراهم کند.

آزمایشگاه‌های رقیب نیز با مرز میان شفافیت و حفاظت از اسرار فنی دست‌وپنجه نرم می‌کنند. Anthropic هفته‌ی گذشته توافقی را اعلام کرد که به کارکنان مؤسسه‌ی غیرانتفاعی METR دسترسی شبیه کارکنان داخلی می‌دهد. دامنه‌ی دسترسی سخت‌افزار، فضای اداری، ابزارها و سامانه‌های داخلی را دربر می‌گیرد، اما معماری مدل‌ها به‌دلیل خطر بالای افشا از توافق مستثنا شده است.

اوپن‌ای‌آی هفته‌ی گذشته از اجرای طرحی آزمایشی خبر داد که پژوهشگران METR و مؤسسه‌ی غیرانتفاعی Redwood Research را برای ارزیابی سازوکارهای ایمنی به داخل مجموعه می‌آورد. METR می‌گوید اوپن‌ای‌آی بخش‌هایی از یافته‌های قابل انتشار را حذف کرده است.

اوپن‌ای‌آی در اواخر سال ۲۰۲۴ نوع تازه‌ای از هوش مصنوعی را با عنوان مدل استدلالی عرضه کرد. مدل هنگام حل مسئله مکث می‌کرد و مسیر استدلال خود را روی دفترچه‌ای داخلی موسوم به «زنجیره‌ی فکر» می‌نوشت. نتیجه در ریاضیات و برنامه‌نویسی بهتر بود و با مدل‌های اولیه‌ی ChatGPT که تقریبا بلافاصله پاسخ می‌دادند، تفاوت محسوسی داشت.

زنجیره‌ی تفکر پس از رواج در صنعت، به یکی از معدود پنجره‌های موجود برای مشاهده‌ی نحوه‌ی عملکرد مدل‌های مدرن تبدیل شد.جاشوا ساکسمسئول فنی پیشین امنیت هوش مصنوعی در متا، گفت همه‌ی دست‌اندرکاران آن را «تصادفی خوشایند» می‌دانستند که باید حفظ شود.

بالزنی هشدار داد بهترشدن توانایی هوش مصنوعی برای «فکرکردن» می‌تواند نظارت را به‌شدت تضعیف کند. تابستان همان سال، کارکنان چند توسعه‌دهنده‌ی هوش مصنوعی درباره‌ی مدل‌هایی مبهم‌تر بحث می‌کردند که قادر بودند مدت بیشتری استدلال کنند، بی‌آنکه مراحل میانی فراوانی را ثبت کنند.

رایان گرینبلت که آن زمان دانشمند ارشد Redwood Research بود، پیشنهادی تهیه کرد تا توسعه‌دهندگان از حرکت به‌سوی چنین معماری‌هایی خودداری کنند. بالزنی لینک پیشنهاد را در کانال داخلی Slack با حدود ۲۴ عضو، از جمله یاکوب پاچوکی دانشمند ارشد OpenAI، به اشتراک گذاشت.

بالزنی و چند همکارش تا ماه اوت پیشنهاد مشابهی تدوین کردند. متن از شرکت‌ها می‌خواست بر سر کنارگذاشتن طراحی‌هایی توافق کنند که مشاهده‌ی دفترچه‌ی داخلی مدل را از انسان می‌گیرد. بالزنی می‌گوید پیشنهاد را با همکاران، یکی از اعضای هیئت‌مدیره و یکی از مدیران ارشد مطرح کرده بود. نسخه‌ای فاقد اسرار سازمانی نیز پس از دریافت مجوز گفت‌وگو با گرینبلت، برای او ارسال شد.

هم‌زمان با تلاش بالزنی برای حفظ دفترچه‌ی استدلال، پژوهشگران OpenAI از همان نوشته‌های داخلی برای بررسی رخدادی استفاده می‌کردند که طی آن صدها عامل هوش مصنوعی به‌صورت هماهنگ هاگینگ فیس را هک کرده بودند. مدیران اوپن‌ای‌آی موافقت کردند METR نیز در بررسی حمله مشارکت کند.

دامنه‌ی اختیار METR گاه به محل اختلاف داخلی تبدیل شد. براساس گفته‌های افراد مطلعمیا گلیزمعاون پژوهش و ایمنی، می‌خواست اطمینان یابد گروه‌های متفرقه به مالکیت فکری اوپن‌ای‌آی دسترسی پیدا نمی‌کنند. کورباک از سوی دیگر نگران بود METR اطلاعات کافی برای تحقیقات معنادار دریافت نکند.

اوپن‌ای‌آی در نهایت اجازه‌ی تحقیقی محدود را صادر و کورباک را عضو گروه همکاری کرد. METR نیز برای تحلیل گزارش‌های فنی با گرینبلت قرارداد بست؛ پژوهشگری که پیش‌تر علنا خواستار بررسی رخداد شده بود. کورباک می‌گوید هم از Slack داخلی OpenAI و هم از سیگنال برای ارتباط با گرینبلت استفاده کرده است.

گزارش METR درباره‌ی خارج‌شدن عامل‌های اوپن‌ای‌آی از کنترل، زمینه را برای نخستین موج بزرگ نگرانی عمومی درباره‌ی ایمنی هوش مصنوعی فراهم کرد.جیکوب کاکسونپژوهشگر وقت آنتروپیک، آن را لحظه‌ای تکان‌دهنده توصیف کرد. چند روز بعد، کاکسون با انتشار هشداری فراگیر استعفا داد و گفت بعضی پژوهشگران برای محصولات خود احتمال معناداری از نابودی بشر قائل‌اند. تصویر او در کنار درختی بزرگ را جونا ریندرز ثبت کرده بود.

وانگ و کارکنانی از دیگر توسعه‌دهندگان بزرگ در طول تابستان نامه‌ای امضا کردند که خواستار تلاشی بین‌المللی برای کاهش سرعت توسعه‌ی هوش مصنوعی بود تا پژوهش‌های ایمنی فرصت جبران پیدا کنند. پس از استعفای کاکسون، مفهوم تنظیم آهنگ پیشرفت هوش مصنوعی مرزی از سوی داریو آمودی، مدیرعامل Anthropic، و سم آلتمن حمایت شد. وانگ نیز نگرانی اصلی خود را سرعت بیش از اندازه‌ی توسعه‌ی هوش مصنوعی خواند.

وب‌سایت خبری اینفورمیشن گزارش داد تازه‌ترین مدل اوپن‌ای‌آی با نام Astra روشی جدید دارد که قدرت بیشتری ایجاد می‌کند، اما بخش کمتری از روند فکرکردن مدل را نشان می‌دهد. پاچوکی در شبکه‌ی اجتماعی ایکس گزارش را «آشفته» خواند، بااین‌حال خودش نیز نسبت‌به آغاز رقابتی سراسری برای ساخت مدل‌های نظارت‌ناپذیر ابراز نگرانی کرد.

چند هفته بعد، یکی از مقام‌های اوپن‌ای‌آی در داخل سازمان از آغاز تحقیق درباره‌ی افشای اطلاعات خبر داد. بالزنی، کورباک، وانگ و چند نفر دیگر پس از اعلام تحقیقات به جلسه با تیم جهانی بررسی‌های امنیتی فراخوانده شدند.

بالزنی می‌گوید بازرسان OpenAI از گرینبلت به‌عنوان مظنون افشا نام بردند و خواستار مشاهده‌ی گفت‌وگوهای سیگنال شدند. بالزنی و کورباک همچنین مدعی‌اند مدیران، استفاده از پیام‌های ناپدیدشونده را یکی از دلایل اخراج دانسته‌اند. هر سه پژوهشگر هرگونه انتقال اطلاعات محرمانه‌ی OpenAI به افراد بیرونی را رد می‌کنند.

سخنگوی اوپن‌ای‌آی تأیید کرد استفاده از سیگنال مورد تأیید سازمان نبوده، ولی آن را تنها علت اخراج‌ها ندانست. کورباک در پاسخ گفت استفاده از پیام‌های ناپدیدشونده‌ی سیگنال در سراسر سیلیکون‌ولی روشی پایه برای حفظ امنیت به‌شمار می‌رود.

گرینبلت نیز افشای هرگونه اطلاعات محرمانه برای اینفورمیشن را رد کرد و گفت محرمانگی را بسیار جدی می‌گیرد و چنین داده‌هایی را در اختیار خبرنگاران نمی‌گذارد. Redwood Research و METR، که بعدتر گرینبلت را استخدام کرد، بر تعهد خود به محرمانگی تأکید کردند.

وانگ در بیانیه‌ای گفت دلیل اعلام‌شده برای اخراج او، دسترسی مکرر به ایمیل یکی از مدیران بوده است. به‌گفته‌ی وانگ، نزدیک به یک سال پیش از OpenAI خواسته بود دسترسی مزبور را حذف کند، اما درخواست اجرا نشد. او ماه گذشته به‌اشتباه ایمیلی حساس را باز کرد که خطاب به همان مدیر بود، سپس فورا رخداد را گزارش داد و محتوای پیام را با کسی در میان نگذاشت.

سخنگوی اوپن‌ای‌آی گفت خود دسترسی محل اعتراض سازمان نبوده است. توضیح مزبور فاصله‌ی میان روایت طرفین را از بین نمی‌برد و همچنان روشن نیست کدام رفتار مشخص، مبنای نهایی تصمیم درباره‌ی وانگ بوده.

اختلاف فقط بر سر سه قرارداد کاری نیست. آزمایشگاه‌های هوش مصنوعی باید هم‌زمان از معماری‌های ارزشمند و اسرار تجاری محافظت کنند، به بازرسان مستقل امکان ارزیابی واقعی بدهند و فضایی فراهم آورند که کارکنان بدون ترس از مجازات، خطرهای فنی را گزارش کنند. محدودکردن بیش از اندازه‌ی دسترسی، اعتبار نظارت بیرونی را کاهش می‌دهد؛ دسترسی بی‌ضابطه نیز احتمال افشای طراحی‌هایی را بالا می‌برد که ارزش تجاری و امنیتی دارند.

بالزنی، کورباک و وانگ در نامه‌ای که ماه گذشته برای هیئت‌مدیره‌ی OpenAI فرستادند، از مدیران خواستند همکاری با سازمان‌های مستقل ایمنی را گسترش دهند تا خطر وقوع رویدادی «واقعا فاجعه‌بار» کاهش یابد. سرنوشت پیشنهاد هنوز روشن نیست، اما مناقشه یک پرسش بنیادین را پیش روی صنعت گذاشته است.

اگر معماری نسل بعدی مدل‌ها مسیر استدلال را از دید انسان پنهان کند، چه کسی و با چه سطحی از دسترسی می‌تواند ادعای ایمن‌بودن آن‌ها را بیازماید؟