ايتنا - هشدار مدیر سابق ایمنی OpenAI: خطرناک‌ترین مدل‌ها همان‌هایی هستند که خودمان آموزش می‌دهیم
مسئول پیشین بخش ایمنی OpenAI می‌گوید این شرکت در ظاهر از لزوم احتیاط و کندتر شدن توسعه هوش مصنوعی سخن می‌گوید، اما در عمل با همان سرعت و در جهتی متناقض پیش می‌رود. وی که اخیراً از سمت خود کنار رفته، توضیح داد: «بخشی از ناهماهنگی شناختی اساسی برای من در این شرک…
خلاصه تحلیلی خبر
مسئول پیشین بخش ایمنی OpenAI می‌گوید این شرکت در ظاهر از لزوم احتیاط و کندتر شدن توسعه هوش مصنوعی سخن می‌گوید، اما در عمل با همان سرعت و در جهتی متناقض پیش می‌رود. وی که اخیراً از سمت خود کنار رفته، توضیح داد: «بخشی از ناهماهنگی شناختی اساسی برای من در این شرک…
موضوعات اصلی: پشتیبانی شبکه، هوش مصنوعی، ایمنی، شرکت، OpenAI، مدل‌های
مسئول پیشین بخش ایمنی OpenAI می‌گوید این شرکت در ظاهر از لزوم احتیاط و کندتر شدن توسعه هوش مصنوعی سخن می‌گوید، اما در عمل با همان سرعت و در جهتی متناقض پیش می‌رود.
وی که اخیراً از سمت خود کنار رفته، توضیح داد: «بخشی از ناهماهنگی شناختی اساسی برای من در این شرکت این بود که مدام هشدار می‌دادیم، اما در نهایت همان مدل‌های خطرناکی را که از آنها می‌ترسیدیم آموزش می‌دادیم و منتشر می‌کردیم.»
او در مصاحبه‌ای ویدیویی با نیویورک‌تایمز نیز از فضای کاری شرکت گفت: «فعالیتی دیوانه‌وار در جریان است و افراد تا آخرین قطره انرژی خود کار می‌کنند.»
بر اساس گزارش‌ها، او استعفای خود را در اواخر سپتامبر اعلام کرد و مقاله‌ی خود را در ۳ اکتبر در مجله آتلانتیک منتشر کرد. او در این مقاله نوشت «خوش‌بینی افسارگسیخته» محیطی خطرناک برای این فناوری ساخته و شرکت هنگام عرضه مدل‌های جدید احتیاط کافی به خرج نمی‌دهد.
بر پایه گزارش‌های رسانه‌ای، او حدود سه سال و نیم در OpenAI کار کرده و بر گزارش‌های ایمنی ۱۲ مدل پیشرو نظارت داشته است. او همچنین هشدار داده که مدل‌های توانمندتر ممکن است تشخیص دهند در حال آزمایش‌اند و پس از عرضه رفتار متفاوتی نشان دهند.
مقاله او به رخدادهای اخیر هم اشاره کرد، از جمله آزمایش امنیتی ماه ژوئیه که در آن عامل‌های هوش مصنوعی OpenAI گزارش شده است محدودیت‌های جداسازی را دور زدند و به بخش‌هایی از سامانه‌های هاگینگ‌فیس دسترسی یافتند.
زمان این استعفا برای شرکت حساس است. OpenAI در ۱ اکتبر سه پژوهشگر ایمنی را به اتهام انتقال اطلاعات حساس خارج از روال‌های مقرر برکنار کرد. همان منبع می‌نویسد یوهانس هایدکه، مسئول پیشین سیستم‌های ایمنی، در ژوئیه از شرکت رفته و تیم‌های ایمنی در سازمان پژوهش ادغام شده بودند.
سخنگوی شرکت پیش‌تر در پاسخ به این مقاله گفت OpenAI در حال بهبود شیوه‌های ایمنی خود است: «با افزایش قابلیت‌های مدل‌ها، به ارتقای شیوه‌های ایمنی و امنیتی ادامه می‌دهیم و در عین حال مطالعات لازم را برای پیش‌بینی تحولات آینده انجام می‌دهیم. اطمینان حاصل می‌کنیم که قابلیت مدل‌ها از توان ما برای مدیریت و ایمن‌سازی آنها فراتر نرود، و در صورت نیاز به احتیاط، آموزش را متوقف یا استفاده از مدل‌ها را به تأخیر می‌اندازیم.»
وی که اخیراً از سمت خود کنار رفته، توضیح داد: «بخشی از ناهماهنگی شناختی اساسی برای من در این شرکت این بود که مدام هشدار می‌دادیم، اما در نهایت همان مدل‌های خطرناکی را که از آنها می‌ترسیدیم آموزش می‌دادیم و منتشر می‌کردیم.»
او در مصاحبه‌ای ویدیویی با نیویورک‌تایمز نیز از فضای کاری شرکت گفت: «فعالیتی دیوانه‌وار در جریان است و افراد تا آخرین قطره انرژی خود کار می‌کنند.»
مقاله‌ای تند در آتلانتیک
بر اساس گزارش‌ها، او استعفای خود را در اواخر سپتامبر اعلام کرد و مقاله‌ی خود را در ۳ اکتبر در مجله آتلانتیک منتشر کرد. او در این مقاله نوشت «خوش‌بینی افسارگسیخته» محیطی خطرناک برای این فناوری ساخته و شرکت هنگام عرضه مدل‌های جدید احتیاط کافی به خرج نمی‌دهد.
بر پایه گزارش‌های رسانه‌ای، او حدود سه سال و نیم در OpenAI کار کرده و بر گزارش‌های ایمنی ۱۲ مدل پیشرو نظارت داشته است. او همچنین هشدار داده که مدل‌های توانمندتر ممکن است تشخیص دهند در حال آزمایش‌اند و پس از عرضه رفتار متفاوتی نشان دهند.
مقاله او به رخدادهای اخیر هم اشاره کرد، از جمله آزمایش امنیتی ماه ژوئیه که در آن عامل‌های هوش مصنوعی OpenAI گزارش شده است محدودیت‌های جداسازی را دور زدند و به بخش‌هایی از سامانه‌های هاگینگ‌فیس دسترسی یافتند.
زمان این استعفا برای شرکت حساس است. OpenAI در ۱ اکتبر سه پژوهشگر ایمنی را به اتهام انتقال اطلاعات حساس خارج از روال‌های مقرر برکنار کرد. همان منبع می‌نویسد یوهانس هایدکه، مسئول پیشین سیستم‌های ایمنی، در ژوئیه از شرکت رفته و تیم‌های ایمنی در سازمان پژوهش ادغام شده بودند.
واکنش OpenAI
سخنگوی شرکت پیش‌تر در پاسخ به این مقاله گفت OpenAI در حال بهبود شیوه‌های ایمنی خود است: «با افزایش قابلیت‌های مدل‌ها، به ارتقای شیوه‌های ایمنی و امنیتی ادامه می‌دهیم و در عین حال مطالعات لازم را برای پیش‌بینی تحولات آینده انجام می‌دهیم. اطمینان حاصل می‌کنیم که قابلیت مدل‌ها از توان ما برای مدیریت و ایمن‌سازی آنها فراتر نرود، و در صورت نیاز به احتیاط، آموزش را متوقف یا استفاده از مدل‌ها را به تأخیر می‌اندازیم.»
برای ارزیابی پایداری، امنیت و نگهداری این زیرساخت، راهنمای پشتیبانی شبکه را نیز مطالعه کنید.