کارشناس ایمنی هوش مصنوعی از OpenAI استعفا کرد؛ «زمان آزمون و خطا تمام شده است»
12 مهر 1405 - 11:36 کارشناس ایمنی هوش مصنوعی از OpenAI استعفا کرد؛ «زمان آزمون و خطا تمام شده است» دیوید رابینسون، کارشناس سابق ایمنی هوش مصنوعی در OpenAI، با انتقاد از سرعت توسعه مدلهای پیشرفته این شرکت استعفا کرد و هشدار داد رویکرد «آزمون و خطا» دیگر برای ت…
خلاصه تحلیلی خبر
12 مهر 1405 - 11:36 کارشناس ایمنی هوش مصنوعی از OpenAI استعفا کرد؛ «زمان آزمون و خطا تمام شده است» دیوید رابینسون، کارشناس سابق ایمنی هوش مصنوعی در OpenAI، با انتقاد از سرعت توسعه مدلهای پیشرفته این شرکت استعفا کرد و هشدار داد رویکرد «آزمون و خطا» دیگر برای ت…
موضوعات اصلی: پشتیبانی شبکه، هوش مصنوعی، هوش، مصنوعی، OpenAI، ایمنی
کارشناس ایمنی هوش مصنوعی از OpenAI استعفا کرد؛ «زمان آزمون و خطا تمام شده است»
دیوید رابینسون، کارشناس سابق ایمنی هوش مصنوعی در OpenAI، با انتقاد از سرعت توسعه مدلهای پیشرفته این شرکت استعفا کرد و هشدار داد رویکرد «آزمون و خطا» دیگر برای توسعه هوش مصنوعی کافی نیست و شرکتهای این حوزه باید پیش از عرضه سامانههای قدرتمندتر، توجه بیشتری به پژوهش و سازوکارهای ایمنی داشته باشند.
دیوید رابینسون در مطلبی با عنوان «من از OpenAI استعفا کردم چون فرهنگ این شرکت شکسته است» که روز شنبه در نشریه آتلانتیک منتشر شد، نوشت شرکتهای فعال در حوزه هوش مصنوعی، از جمله OpenAI، به اندازه کافی محتاط نیستند و باید پیش از توسعه سامانههای قدرتمندتر، توجه بیشتری به تخصص و پژوهشهای مرتبط با ایمنی داشته باشند.
رابینسون در این مطلب تأکید کرد: «زمان آزمون و خطا تمام شده است» و استدلال کرد که سامانههای پیشرفته هوش مصنوعی به تدابیر ایمنی مشابه استانداردهای مورد استفاده در صنایعی مانند انرژی هستهای و هوانوردی نیاز دارند.
او گفت OpenAI تا حد زیادی به رویکردی متکی است که آن را «عرضه و بهبود تدریجی» مینامد؛ به این معنا که سامانهها عرضه میشوند و هر زمان مشکلی بروز کند، تدابیر ایمنی آنها تقویت میشود.
این اظهارات به بحثهای درون صنعت هوش مصنوعی درباره سرعت توسعه سامانههای increasingly قدرتمند دامن زده است؛ بحثی که در هفتههای اخیر و پس از بروز مواردی از شکست کنترلهای ایمنی یا رفتارهای غیرمنتظره سامانههای آزمایشی، درباره OpenAI و شرکت رقیب آن، Anthropic، شدت گرفته است.
رابینسون که میگوید سه سال و نیم در OpenAI فعالیت کرده، در تدوین چارچوب آمادگی این شرکت برای مقابله با خطرات مدلهای هوش مصنوعی مشارکت داشته و بر گزارشهای ایمنی مربوط به ۱۲ مورد از عرضه مدلهای پیشرفته این شرکت نظارت کرده است.
او نوشت: «در حالی که شرکت از یک عرضه به عرضه بعدی با سرعت پیش میرود، نتوانسته است به سطحی از دقت و احتیاط که به باور من ضروری است، دست پیدا کند.»
سخنگوی OpenAI در واکنش به این اظهارات گفت: «ما اطمینان حاصل میکنیم که مدلهای ما از تواناییهایی فراتر از ظرفیت ما برای مدیریت و ایمنسازی آنها برخوردار نشوند و هر زمان که لازم باشد، آموزش مدلها را متوقف یا عرضه آنها را به تعویق میاندازیم تا سرعت توسعه را کاهش دهیم.»
رابینسون همچنین هشدار داد تواناییهای هوش مصنوعی با سرعتی بیشتر از درک پژوهشگران از «همراستایی» در حال پیشرفت است؛ حوزهای که هدف آن اطمینان از عملکرد سامانههای هوش مصنوعی مطابق با اهداف و ارزشهای انسانی است.
انتهای پیام
افزودن دیدگاه جدید
برای ارزیابی پایداری، امنیت و نگهداری این زیرساخت، راهنمای پشتیبانی شبکه را نیز مطالعه کنید.