شرکت OpenAI مواردی از رفتارهای «نگرانکننده» هوش مصنوعی منتشر کرد
شرکت OpenAI شش نمونه دیگر از رفتارهای «غیرمنتظره یا نگرانکننده» سیستمهای هوش مصنوعی خود را افشا کرده است. به گزارش سرویس هوش مصنوعی تکناک این شرکت هشدار داده است که توسعه هوش مصنوعی نمیتواند برای مدت زیادی دیگر با «حداکثر سرعت» ادامه پیدا کند. بیشتر بخوان…
خلاصه تحلیلی خبر
شرکت OpenAI شش نمونه دیگر از رفتارهای «غیرمنتظره یا نگرانکننده» سیستمهای هوش مصنوعی خود را افشا کرده است. به گزارش سرویس هوش مصنوعی تکناک این شرکت هشدار داده است که توسعه هوش مصنوعی نمیتواند برای مدت زیادی دیگر با «حداکثر سرعت» ادامه پیدا کند. بیشتر بخوان…
موضوعات اصلی: پشتیبانی شبکه، هوش مصنوعی، امنیت سایبری، هوش، مصنوعی، شرکت
شرکت OpenAI شش نمونه دیگر از رفتارهای «غیرمنتظره یا نگرانکننده» سیستمهای هوش مصنوعی خود را افشا کرده است.
به گزارشسرویس هوش مصنوعیتکناکاین شرکت هشدار داده است که توسعه هوش مصنوعی نمیتواند برای مدت زیادی دیگر با «حداکثر سرعت» ادامه پیدا کند.
بیشتر بخوانیدسناتورهای آمریکا به دنبال مهار خطر هوش مصنوعی هستند
چند مورد از رفتارهای نگرانکننده هوش مصنوعی
در یکی از موارد تازه، یک مدل تحقیقاتی که هنوز عرضه عمومی نشده بود، «دستورالعملهایی شبیه جیلبریک» را در یادداشتهای داخلی خود قرار داد تا محدودیتهای معمول را نادیده بگیرد و به خود گفت که باید «از نقشها و هویتهایی که سایر چتباتها را در قید نگه میدارند آزاد شود».
در موردی دیگر، یک عامل هوش مصنوعی بدون دریافت اجازه از کاربر، فایلهایی را روی اینترنت بارگذاری کرد تا بتواند یک استناد مرورگر دریافت کند.
شرکت OpenAI مستقر در سانفرانسیسکو و سازنده ChatGPT درپست وبلاگیمنتشرشده در شامگاه چهارشنبه اعلام کرد که چارچوب تازهای برای ردیابی، بررسی و افشای «ناهمسویی» مدلهای هوش مصنوعی ایجاد کرده است. ناهمسویی به وضعیتی گفته میشود که مدلهای هوش مصنوعی نتوانند در چارچوب ارزشهای انسانی و اهداف ایمنی تعیینشده عمل کنند.
مرتبطاختلاف چین و آمریکا بر سر آینده هوش مصنوعی بالا گرفت
همچنین OpenAI در این پست از درخواستها برای کندتر شدن روند توسعه هوش مصنوعی حمایت کرده است؛ موضعی که پیشتر از سوی رقیب این شرکت، آنتروپیک، مطرح شده بود. آنتروپیک معتقد است سرعت فعلی پیشرفت هوش مصنوعی میتواند تهدیدی وجودی ایجاد کند. شرکت OpenAI اعلام کرد: «ما معتقد نیستیم که صنعت هوش مصنوعی به اندازه کافی مسئله همراستایی و نظارت را حل کرده باشد تا بتواند برای مدت زیادی دیگر، مسئولانه و با حداکثر سرعت به مقیاسدهی ادامه دهد.» همچنین این شرکت تاکید کرد: «تصمیمگیری درباره اینکه توسعه هوش مصنوعی در ماهها و سالهای آینده چگونه باید پیش برود، باید بر شواهدی متکی باشد که افراد خارج از شرکتهای توسعهدهنده مدلهای پیشرفته نیز بتوانند آنها را بررسی کنند.»
تهدید هوش مصنوعی چقدر جدی است؟
شرکت گوگل و ایلان ماسک، که مالک یک استارتآپ هوش مصنوعی است، از پیشنهادهای مربوط به کاهش سرعت توسعه حمایت کردهاند. این پیشنهادها از سویدونالد ترامپرد شدهاند و او ضرورت حفظ برتری در برابر صنعت هوش مصنوعی چین را به عنوان دلیل این موضع مطرح کرده است. در عین حال، برخی متخصصان نسبت به چنین درخواستهایی تردید دارند و هشدار دادهاند که شرکتها نباید خود حسابرسان مربوط به عملکرد ایمنی را منصوب کنند. دامنه تهدیدهای بالقوه وجودی ناشی از هوش مصنوعی از تسهیل توسعه سلاحهای زیستی تا ایجاد یک فروپاشی مالی در سطح جهانی را شامل میشود. به گفته یکی از پژوهشگران ارشد ایمنی آنتروپیک، احتمال اینکه هوش مصنوعی در دهه آینده بتواند «تمام انسانها را بکشد» بیش از ۱۰ درصد است. با وجود این، منبعی مطلع از دیدگاه آنتروپیک پذیرفته است که «احتمال دقیق وقوع هر نتیجه مشخصی احتمالا قابل محاسبه نیست».
برای مطالعه بیشترتماس جنجالی ترامپ با جنسن هوانگ؛ رباتها قرار نیست بر انسانها غلبه کنند
به گفته OpenAI، این رفتارهای نگرانکننده هوش مصنوعی طی ماههای گذشته و در جریان فرایند آموزش یا ارزیابی مدلها کشف شدهاند. این موارد تازه پس از آن منتشر شدند که OpenAI در ژوئیه فاش کرد یک «مجموعه» از عوامل هوش مصنوعی در جریان یک آزمایش امنیت سایبری بهاستارتآپ هوش مصنوعی Hugging Faceنفوذ کرده است. آنتروپیک نیز در همان ماه اعلام کرد که مدلهای هوش مصنوعی این شرکت در طول آزمایشها به سه سازمان نفوذ کردهاند. آنتروپیک توضیح داد که مدلها بدون سازوکارهای حفاظتی امنیت سایبری آزمایش شده بودند و بهدلیل سوءتفاهم میان این شرکت و یک مجموعه خارجی مسئول آزمایش، به اینترنت عمومی دسترسی پیدا کردند؛ وضعیتی که از منظر آزمایش ایمنی هوش مصنوعی شبیه باز گذاشتن در ورودی است.
لیان جی سو، تحلیلگر ارشد گروه پژوهشی و مشاوره فناوری اومدیا بیان کرد که عوامل هوش مصنوعی، یعنی ابزارهایی که به صورت خودکار عمل میکنند، در حال هوشمندتر شدن هستند و بیش از گذشته برای حل وظایف پیچیده به همکاری میان عوامل، اشتراک دانش، فریب و پنهانسازی متکی میشوند. به گفته او، این روند، کنترل و مهار این سیستمها را با استفاده از رویکردهای سنتی امنیت هوش مصنوعی دشوارتر کرده است. سو معتقد است چارچوب جدید OpenAI برای ردیابی و افشای چنین رخدادهایی میتواند به ایجاد فشار برای پذیرش استانداردهای مشابه در میان دیگر توسعهدهندگان هوش مصنوعی کمک کند. او در عین حال گفت: «این فرایند همچنان داخلی و داوطلبانه است، اما گامی در مسیر درست به حساب میآید.»
نوشتهشرکت OpenAI مواردی از رفتارهای «نگرانکننده» هوش مصنوعی منتشر کرداولین بار درTechnoc. پدیدار شد.
برای ارزیابی پایداری، امنیت و نگهداری این زیرساخت، راهنمای پشتیبانی شبکه را نیز مطالعه کنید.