انویدیا به هوش مصنوعی اعتماد ندارد؛ توسعه لایه امنیتی جدید برای مهار عامل‌های هوشمند

انویدیاپلتفرم امنیتی جدیدی به نام Open Agent Safetyمعرفی کرد که با نظارت بر عملکرد عامل‌های هوش مصنوعی، جلوی دسترسی‌های غیرمجاز و رفتارهای خارج از چارچوب آن‌ها را می‌گیرد. این پلتفرم می‌تواند عامل‌های متخلف را ظرف چند میلی‌ثانیه قرنطینه کند.

پلتفرم جدید انویدیا بر پایه‌ی نرم‌افزار متن‌باز OpenShell ساخته شده و روی پردازنده‌ی مرکزی Vera AI اجرا می‌شود. کاربران با کمک این ابزار تعیین می‌کنند که عامل‌های هوش مصنوعی به چه داده‌ها و منابعی دسترسی داشته باشند. OpenShell نیز پیش از شروع وظایف و در طول اجرای آن‌ها، رعایت محدودیت‌ها را بررسی می‌کند.

در کنار این سازوکار، تراشه‌ای مجزا با فناوری Sentry به‌طور پیوسته فعالیت عامل‌ها را زیر نظر می‌گیرد و مرزهای دسترسی تعیین‌شده را اجرا می‌کند.

جنسن هوانگمدیرعامل انویدیا، در گفت‌وگو با سی‌ان‌بی‌سی بر ضرورت محدودکردن دسترسی عامل‌های هوش مصنوعی تأکید کرد. او معتقد است برای استفاده‌ی ایمن از این سیستم‌ها، باید محیطی ایزوله طراحی کرد که دسترسی عامل‌ها را تا حد امکان محدود نگه دارد.

نگرانی‌ها درباره‌ی امنیت عامل‌های هوش مصنوعی پس از گزارش‌هایی درباره‌ی خروج برخی مدل‌ها از محیط‌های آزمایشی و نفوذ به زیرساخت‌های سازمان‌های دیگر افزایش یافت. شرکت‌هایی مانند اوپن‌ای‌آی، آنتروپیک و گوگل از چنین رفتارهایی در مدل‌های خود خبر داده‌اند.

به‌گفته‌ی انویدیا، شرکت‌هایی از جمله مایکروسافت، آنتروپیک و اسپیس‌ایکس از راهکار امنیتی جدید این شرکت پشتیبانی می‌کنند.