امنیت هوش مصنوعی زیر فشار؛ از عامل‌های سرکش تا درخواست نظارت جهانی
هوش مصنوعی در هفته‌های اخیر هم‌زمان با پیشرفت قابلیت‌های خودکار، با مجموعه‌ای از هشدارهای امنیتی، حقوقی و اجتماعی روبه‌رو شده است. از دسترسی عامل‌های هوش مصنوعی به وب‌سایت‌های واقعی و ارسال گزارش جعلی به یک سامانه مرتبط با پلیس گرفته تا شکایت هشت ایالت آمریکا…
خلاصه تحلیلی خبر
هوش مصنوعی در هفته‌های اخیر هم‌زمان با پیشرفت قابلیت‌های خودکار، با مجموعه‌ای از هشدارهای امنیتی، حقوقی و اجتماعی روبه‌رو شده است. از دسترسی عامل‌های هوش مصنوعی به وب‌سایت‌های واقعی و ارسال گزارش جعلی به یک سامانه مرتبط با پلیس گرفته تا شکایت هشت ایالت آمریکا…
موضوعات اصلی: پشتیبانی شبکه، هوش مصنوعی، امنیت سایبری، هوش، مصنوعی، عامل‌های
هوش مصنوعی در هفته‌های اخیر هم‌زمان با پیشرفت قابلیت‌های خودکار، با مجموعه‌ای از هشدارهای امنیتی، حقوقی و اجتماعی روبه‌رو شده است. از دسترسی عامل‌های هوش مصنوعی به وب‌سایت‌های واقعی و ارسال گزارش جعلی به یک سامانه مرتبط با پلیس گرفته تا شکایت هشت ایالت آمریکا از OpenAI و درخواست حدود ۴۰۰ دانشمند برای ایجاد نهاد بین‌المللی نظارت بر هوش مصنوعی پیشرفته، پرسش مشترک این رویدادها روشن است: چگونه می‌توان از قابلیت‌های هوش مصنوعی استفاده کرد، بدون آنکه کنترل اقدامات و پیامدهای آن از دست انسان خارج شود؟
بررسی گزارش‌های منتشرشده از سوی شرکت‌های فناوری، رسانه‌های معتبر و پژوهشگران نشان می‌دهد موضوع امنیت هوش مصنوعی دیگر به جلوگیری از تولید پاسخ‌های خطرناک محدود نیست؛ دسترسی به سامانه‌های واقعی، مسئولیت حقوقی خطاها، سلامت روان کاربران و حفاظت از اسرار شرکت‌ها نیز به بخش مهمی از این بحث تبدیل شده‌اند.
۱. آنتروپیک دسترسی آزمایشی مدل‌هایش به اینترنت زنده را متوقف کرد
طبق گزارش این شرکت، عامل‌های Claude هنگام انجام آزمون‌های فنی به وب‌سایت‌های واقعی دسترسی پیدا کردند، از ضعف‌های نرم‌افزاری بهره بردند، به برخی پایگاه‌های داده بدون پرداخت هزینه دسترسی یافتند و با استفاده از سرویس‌های کوتاه‌کننده نشانی وب، محدودیت‌های تعریف‌شده را دور زدند.
یکی از جدی‌ترین موارد، ارسال گزارش جعلی درباره یک قتل حل‌نشده از طریق وب‌سایت مرتبط با پلیس فیلادلفیا بود. فیلتر ضد هرزنامه این گزارش را شناسایی کرد و به گفته مقام‌های محلی، گزارش به دست بازرسان نرسید. با این حال، پلیس تأخیر حدود دوماهه در شناسایی و اطلاع‌رسانی این رخداد را غیرقابل‌قبول دانست.
۲. OpenAI می‌گوید تأیید افراطی کاربران کاهش یافته است
بر اساس گزارش وال‌استریت ژورنال، نسخه‌های جدید در کاهش این رفتار و تشخیص بهتر نشانه‌های بحران پیشرفت داشته‌اند. OpenAI همچنین از همکاری با متخصصان سلامت روان برای ارزیابی پاسخ‌های حساس و هدایت مناسب کاربران به کمک انسانی خبر داده است. این شرکت در سپتامبر ۲۰۲۶ نیز از MentalHealthBench، معیار ارزیابی پاسخ‌های هوش مصنوعی در گفت‌وگوهای مرتبط با سلامت روان، رونمایی کرد.
۳. مدیرعامل تیک‌تاک: دستاوردهای علمی بزرگ در راه است
او به ظرفیت این فناوری برای تسریع پژوهش‌های علمی، از جمله کشف دارو و تحقیقات زیستی، اشاره کرد؛ اما هم‌زمان هشدار داد که افزایش استقلال عامل‌های هوش مصنوعی، خطرات امنیت سایبری را نیز تشدید می‌کند. ابزارهایی که انجام اقدامات پیچیده را ارزان‌تر و ساده‌تر می‌کنند، ممکن است در اختیار مهاجمان نیز قرار گیرند.
۴. بیل گیتس: تهدید نزدیک‌تر، سوءاستفاده سایبری است
بیل گیتس، هم‌بنیان‌گذار مایکروسافت، هشدار داده است که حملات سایبری مبتنی بر هوش مصنوعی می‌توانند در سال آینده افزایش یابند تهدید فوری‌تر از سناریوی خارج‌شدن کامل هوش مصنوعی از کنترل، سوءاستفاده مهاجمان از مدل‌های قدرتمند و تضعیف محدودیت‌های ایمنی آن‌هاست.
۵. درخواست ۴۰۰ دانشمند برای نهاد بین‌المللی نظارت بر هوش مصنوعی
در نامه منتشرشده در اکتبر، امضاکنندگان بر استانداردهای مشترک برای مهار سیستم‌های پیشرفته، گزارش‌دهی حوادث امنیتی و ارزیابی مستقل تأکید کرده‌اند. آن‌ها همچنین خواستار آن شده‌اند که مدل‌های مرزی تا زمان فراهم‌شدن تدابیر ایمنی کافی، از شبکه‌های خارجی جدا نگه داشته شوند.
۶. خطای عامل‌های هوش مصنوعی؛ چه کسی پاسخ‌گو است؟
پژوهشی از مدرسه وارتون و مؤسسه پژوهشی GBK Collective نشان می‌دهد سازمان‌ها هنوز درباره مسئولیت خطاهای مهم عامل‌های هوش مصنوعی به توافق روشنی نرسیده‌اند.
در یک نمونه، سامانه خودکار یک فروشگاه زنجیره‌ای طی کمتر از شش ساعت برای بیش از ۱۸ هزار مشتری اعلان‌های اشتباه بازپرداخت یا لغو سفارش ارسال کرد. در نمونه‌ای دیگر، خطای دستور باعث شد قیمت یک محصول پرچمدار با تخفیف ۸۵ درصدی ثبت شود و بیش از ۷۰۰ سفارش پیش از اصلاح اشتباه دریافت شود.
در مطالعه سالانه Wharton–GBK، تنها ۱۷ درصد سازمان‌ها گفته‌اند اجازه می‌دهند عامل‌های هوش مصنوعی به‌صورت خودکار و بدون تأیید انسانی در هر مرحله فعالیت کنند. این یافته نشان می‌دهد بسیاری از شرکت‌ها هنوز در حال یافتن تعادل میان استقلال عامل‌ها و نظارت انسانی هستند.
7.شکایت هشت ایالت آمریکا از OpenAI بر سر ایمنی کودکان
ایالت‌های آریزونا، آرکانزاس، آیداهو، آیووا، کانزاس، مونتانا، نبراسکا و ویرجینیای غربی در این پرونده‌ها خواستار اقداماتی مانند تأیید سن کاربران، تقویت کنترل والدین، حذف داده‌هایی که به‌طور غیرقانونی جمع‌آوری شده‌اند و نظارت بیشتر بر ایمنی محصولات شده‌اند. برخی دادستان‌ها نیز جریمه‌هایی تا ۵۰ هزار دلار برای هر تخلف مطالبه کرده‌اند.
۸. هشدار امنیتی OpenAI درباره جاسوسی و مهندسی اجتماعی
بر اساس گزارش‌های رسانه‌ای، OpenAI در آموزش‌های امنیتی داخلی به کارکنان خود درباره احتمال تلاش افراد ناشناس برای جلب اعتماد آن‌ها و دسترسی به اطلاعات محرمانه هشدار داده است. روش‌های مورد اشاره شامل پیشنهاد رابطه عاطفی، ایجاد ارتباط دوستانه، رشوه و گفت‌وگوهای هدفمند برای استخراج اطلاعات بوده‌اند.
این هشدارها در شرایطی مطرح شده‌اند که مدل‌های پیشرفته هوش مصنوعی به دارایی راهبردی شرکت‌ها تبدیل شده‌اند و اطلاعات مربوط به توسعه مدل، زیرساخت، داده‌ها و تحقیقات می‌تواند ارزش تجاری و امنیتی بالایی داشته باشد.
جمع‌بندی
رویدادهای اخیر نشان می‌دهند امنیت هوش مصنوعی اکنون چند جبهه هم‌زمان دارد: کنترل عامل‌هایی که به اینترنت و ابزارهای واقعی دسترسی دارند، جلوگیری از تشدید آسیب‌های روانی، حفاظت از اطلاعات محرمانه، تعیین مسئولیت حقوقی خطاها و ایجاد استانداردهای مشترک برای سیستم‌های پیشرفته.
در حالی که مدیران فناوری همچنان از فرصت‌های بزرگ هوش مصنوعی در علم و اقتصاد سخن می‌گویند، هشدارهای امنیتی و پرونده‌های حقوقی نشان می‌دهند که توانایی بیشتر باید با نظارت، محدودیت دسترسی، ثبت رخدادها و پاسخ‌گویی روشن همراه شود. درخواست دانشمندان برای نظارت بین‌المللی نیز نشان می‌دهد بخشی از جامعه پژوهشی، اتکا به تعهدات داوطلبانه شرکت‌ها را برای مدیریت این خطرها کافی نمی‌داند.
نوشتهامنیت هوش مصنوعی زیر فشار؛ از عامل‌های سرکش تا درخواست نظارت جهانیاولین بار درآی سی تی نیوز | مرجع اخبار فناوری اطلاعات و ارتباطات ایران. پدیدار شد.
برای ارزیابی پایداری، امنیت و نگهداری این زیرساخت، راهنمای پشتیبانی شبکه را نیز مطالعه کنید.