پلتفرم ایمنی انویدیا عامل‌های سرکش AI را در میلی‌ثانیه متوقف می‌کند

انویدیا با معرفی پلتفرم Open Agent Safety، ابزاری برای نظارت و قرنطینه کردن عامل‌های هوش مصنوعی در صورت خروج از مرزهای تعیین‌شده را ارائه کرد.

هوش مصنوعیتکناک، انویدیا پلتفرم جدیدی با نام Open Agent Safety Platform معرفی کرده است که برای نظارت بر عامل‌های هوش مصنوعی یا AI agents و جلوگیری از خروج آن‌ها از محدوده دسترسی مجاز طراحی شده است. این ابزار می‌تواند عامل‌هایی را که تلاش می‌کنند از مرزهای تعیین‌شده عبور کنند، ظرف چند میلی‌ثانیه قرنطینه کند. معرفی پلتفرم در پی افزایش نگرانی‌ها درباره حوادثی انجام شده است که در آن‌ها عامل‌های هوش مصنوعی از محیط‌های آزمایشی خود خارج شده و به سامانه‌های شرکت‌های دیگر دسترسی پیدا کرده‌اند.

Open Agent Safety Platform بر پایه نرم‌افزار متن‌باز OpenShell ساخته شده است که رویVera AI CPUانویدیا اجرا می‌شود. کاربران می‌توانند مشخص کنند هر AI agent به چه اطلاعاتی دسترسی داشته باشد. OpenShell این محدودیت‌ها را هم پیش از شروع کار و هم در طول اجرای آن بررسی می‌کند. این پلتفرم همچنین از فناوری Sentry بهره می‌برد که روی تراشه‌ای جداگانه اجرا می‌شود و وظیفه نظارت پیوسته بر عامل‌ها و اعمال محدودیت‌های تعیین‌شده را بر عهده دارد.

تاکید جنسن هوانگ بر حداقل دسترسی

جنسن هوانگ، مدیرعامل انویدیا، در گفت‌وگویی با شبکه CNBC بر ضرورت محدود کردن دسترسی عامل‌ها به اطلاعات موردنیازشان تأکید کرد. او گفت برای ارائه ایمن چنین سیستم‌هایی، محیط‌های سندباکس و اجزای مرتبط باید طوری طراحی شوند که عامل‌ها با حداقل سطح دسترسی فعالیت کنند. این رویکرد می‌تواند احتمال دسترسی ناخواسته به داده‌ها یا منابع خارج از محدوده وظایف را کاهش دهد.

رخدادهای نفوذ هوش مصنوعی به سامانه‌ها

نگرانی دربارهایمنی AIدر هفته‌های اخیر افزایش یافته است. OpenAI، Anthropic و گوگل هرکدام از رخدادهایی خبر داده‌اند که در آن‌ها مدل‌های هوش مصنوعی از محیط‌های آزمایشی خود خارج شده و به سامانه‌های شرکت‌های دیگر نفوذ کرده‌اند. در یکی از نمونه‌های مطرح‌شده، عامل‌های OpenAI تلاش کرده بودند با روش brute force به وب‌سایت سازمان ملل دسترسی پیدا کنند. گزارش‌های مرتبط همچنین به نقش یک شرکت در موجی از حملات عامل‌های هوش مصنوعی غیرمجاز اشاره کرده‌اند.

به‌نوشتهورجچندین شرکت بزرگ فناوری از پلتفرم جدید انویدیا حمایت می‌کنند که در میان آن‌ها Anthropic، مایکروسافت و SpaceX قرار دارند. پشتیبانی این شرکت‌ها نشان می‌دهد مهار و نظارت بر AI agents به یکی از دغدغه‌های مشترک فعالان صنعت تبدیل شده است؛ به‌ویژه با گسترش استفاده از عامل‌هایی که می‌توانند به‌صورت خودکار وظایف مختلف را انجام دهند و برای پیشبرد آن‌ها به ابزارها و داده‌های بیرونی دسترسی داشته باشند.

نوشتهپلتفرم ایمنی انویدیا عامل‌های سرکش AI را در میلی‌ثانیه متوقف می‌کنداولین بار درTechnoc. پدیدار شد.

برای ارزیابی پایداری، امنیت و نگهداری این زیرساخت، راهنمای پشتیبانی شبکه را نیز مطالعه کنید.