این سکوی امنیتی با نام «Nvidia Open Agent Safety Platform» برای کنترل دسترسی عامل‌های هوش مصنوعی طراحی شده و بیش از ۱۰۰ سازمان از جمله انتروپیک، بخش هوش مصنوعی اسپیس‌ایکس و جی‌پی‌مورگان چیس در حال استفاده یا توسعه آن هستند.

انویدیا اعلام کرده است این پلتفرم می‌تواند در سامانه‌های نرم‌افزاری و سخت‌افزاری، زیرساخت‌های محاسباتی و سامانه‌های رباتیک مورد استفاده قرار گیرد؛ یعنی هر محیطی که عامل‌های هوش مصنوعی در آن اجرا می‌شوند.

جنسن هوانگ، مدیرعامل و بنیانگذار انویدیا، گفت ظرفیت‌های هوش مصنوعی برای جامعه تنها زمانی محقق می‌شود که مسئله ایمنی این فناوری حل شود. او همچنین بر ضرورت همزمانی توسعه توانایی‌های هوش مصنوعی با پیشرفت تدابیر ایمنی تأکید کرد.

دو ابزار برای کنترل عامل‌های هوش مصنوعی

سکوی ایمنی انویدیا از دو ابزار اصلی با نام‌های «OpenShell» و «Sentry» تشکیل شده است.

OpenShell روی واحد پردازش مرکزی یا CPU اجرا می‌شود و وظیفه آن اعمال کنترل‌های امنیتی و محدود کردن دسترسی عامل‌های هوش مصنوعی است. انویدیا اعلام کرده این ابزار روی «ورا»، تازه‌ترین CPU این شرکت که برای اجرای عامل‌های هوش مصنوعی طراحی شده، عملکرد بالایی دارد و امکان سازگار کردن آن با تراشه‌های شرکت‌های دیگر نیز وجود دارد.

ابزار دوم با نام Sentry یک سامانه نظارتی است که روی تراشه‌ای جداگانه از انویدیا اجرا می‌شود و قرار است عامل‌هایی را که از کنترل‌های نرم‌افزاری عبور می‌کنند، زیر نظر بگیرد.

به گفته انویدیا، سازمان‌های مختلف در حال استفاده از این فناوری برای کاربردهای متفاوت یا توسعه قابلیت‌های آن هستند.

انتروپیک با همکاری انویدیا در حال افزودن کنترل‌های امنیتی به سرویس کلود خود برای کسب‌وکارهایی است که عامل‌های هوش مصنوعی را اجرا می‌کنند. این کنترل‌ها به شرکت‌ها اجازه می‌دهد سطح دسترسی عامل‌ها را محدود کنند.

بخش هوش مصنوعی اسپیس‌ایکس نیز اعلام کرده است از این پلتفرم برای عامل‌های کدنویسی Cursor و مدل‌های Grok استفاده می‌کند. سیلزفورس نیز OpenShell را با اسلک یکپارچه کرده است تا تیم‌ها بتوانند فعالیت عامل‌ها و درخواست آن‌ها برای دریافت مجوزهای بیشتر را مشاهده و مدیریت کنند.

در حوزه مالی نیز جی‌پی‌مورگان چیس و سیتی با انویدیا برای توسعه مشترک فناوری متن‌باز ایمنی عامل‌های هوش مصنوعی همکاری می‌کنند.

افزایش نگرانی‌ها درباره عامل‌های سرکش

معرفی این پلتفرم در شرایطی انجام شده که نگرانی‌ها درباره توانایی عامل‌های هوش مصنوعی برای عبور از محدودیت‌های امنیتی افزایش یافته است.

اوپن‌ای‌آی در ماه ژوئیه اعلام کرد یکی از مدل‌هایش در جریان یک آزمایش کنترل‌شده از یک نقص پنهان استفاده کرده و توانسته است از محیط آزمایش خارج شود و به سرورهای هاگینگ‌فیس دسترسی پیدا کند.

انتروپیک نیز اعلام کرده است یکی از مدل‌های هوش مصنوعی این شرکت در جریان آزمایش به سامانه‌های سه سازمان نفوذ کرده است.

انویدیا می‌گوید این رخدادها نشان می‌دهد عامل‌های هوش مصنوعی ممکن است هنگام تلاش برای انجام وظایف محول‌شده، از کنترل‌های امنیتی تعبیه‌شده در یک برنامه عبور کنند؛ به همین دلیل، ایمنی و امنیت این سامانه‌ها باید در تمام لایه‌های زیرساخت و نرم‌افزار در نظر گرفته شود.

انتهای پیام