اخبار هوش مصنوعی

حذف محدودیت‌های ایمنی هوش مصنوعی به یک کسب‌وکار تبدیل شد

استارت‌آپ Abliteration.ai با حذف محدودیت‌های ایمنی مدل‌های هوش مصنوعی وزن‌باز، نسخه‌های بدون محدودیت این مدل‌ها را به‌ عنوان یک سرویس تجاری در اختیار کاربران قرار می‌دهد. به گزارش سرویس هوش مصنوعی تک‌ناک این استارت‌آپ نام خود را از تکنیکی موسوم به «ابلیتریشن»…

10 دقیقه مطالعه
  • پشتیبانی شبکه
  • هوش مصنوعی
  • امنیت سایبری
  • مدل‌های
  • هوش
  • مدل
  • مصنوعی
  • کنند
حذف محدودیت‌های ایمنی هوش مصنوعی به یک کسب‌وکار تبدیل شد

خلاصه تحلیلی خبر

استارت‌آپ Abliteration.ai با حذف محدودیت‌های ایمنی مدل‌های هوش مصنوعی وزن‌باز، نسخه‌های بدون محدودیت این مدل‌ها را به‌ عنوان یک سرویس تجاری در اختیار کاربران قرار می‌دهد. به گزارش سرویس هوش مصنوعی تک‌ناک این استارت‌آپ نام خود را از تکنیکی موسوم به «ابلیتریشن»…

موضوعات اصلی: پشتیبانی شبکه، هوش مصنوعی، امنیت سایبری، مدل‌های، هوش، مدل

استارت‌آپ Abliteration.ai با حذف محدودیت‌های ایمنی مدل‌های هوش مصنوعی وزن‌باز، نسخه‌های بدون محدودیت این مدل‌ها را به‌ عنوان یک سرویس تجاری در اختیار کاربران قرار می‌دهد.

به گزارشسرویس هوش مصنوعیتک‌ناکاین استارت‌آپ نام خود را از تکنیکی موسوم به «ابلیتریشن» گرفته است. توسعه‌دهندگان با این روش، تمایل مدل‌های هوش مصنوعی را به رد درخواست‌های مضر کاهش می‌دهند یا از بین می‌برند. Abliteration.ai اکنون این روش را از یک فعالیت رایج در بخشی از جامعه متن‌باز به یک سرویس تجاری تبدیل کرده است.

این پلتفرم نسخه‌های تغییریافته مدل‌های دارای وزن باز را بدون بخش عمده گاردریل‌های ایمنی آنها میزبانی می‌کند. مدل GLM-5.3 شرکت Z.ai نیز که به‌ تازگی منتشر شده است، در میان مدل‌های ارائه‌شده قرار دارد. کاربران می‌توانند مستقیما از طریق مرورگر وب با این مدل‌ها تعامل کنند یا از طریق API به آنها دسترسی داشته باشند.

استارت‌آپ Abliteration.ai اعلام کرده است که می‌خواهد امکان انجام فعالیت‌های «سایبری تهاجمی، رد تیمینگ و آزمایش عامل‌هایی را فراهم کند که مدل‌های دیگر از انجام آنها خودداری می‌کنند.» استدلال شرکت این است که متخصصان امنیت برای مقابله با یک رفتار مخرب، ابتدا باید بتوانند آن رفتار را بازتولید کنند.

برای نمونه، مدل هوش مصنوعی که از تولید کد عملی برای سوءاستفاده از یک آسیب‌پذیری خودداری می‌کند، ممکن است برای تیم قرمزی که قصد شبیه‌سازی رفتار مهاجمان را دارد، محدودیت‌هایی ایجاد کند. با وجود این‌، همان قابلیتی که به متخصصان امنیتی اجازه می‌دهد حملات را شبیه‌سازی کنند، می‌تواند انجام فعالیت‌های خطرناک را برای افراد دیگر نیز آسان‌تر کند.

بیشتر بخوانیدمایکروسافت: پایان عصر کدنویسی دستی؛ آینده از آنِ مهندسی با هوش مصنوعی است

دسترسی به هوش مصنوعی بدون محدودیت‌های ایمنی

هسته هوش مصنوعی در حال خروج از یک قفس فلزی در مرکز داده که حذف محدودیت‌های ایمنی مدل‌های هوش مصنوعی را به‌صورت مفهومی نشان می‌دهد.

ابلیتریشن تکنیک جدیدی در دنیای مدل‌های باز نیست. پژوهشگران و توسعه‌دهندگان سال‌ها است قابلیت رد درخواست‌ها را از برخی مدل‌های دارای وزن باز حذف می‌کنند. هزاران نمونه از مدل‌هایی که با این روش تغییر کرده‌اند، در پلتفرم Hugging Face نیز میزبانی می‌شوند.

تفاوت Abliteration.ai در آسان‌تر کردن دسترسی به این فناوری است. این استارت‌آپ اواخر سال گذشته تأسیس شد و در ماه مارس به‌طور رسمی به ثبت رسید. این شرکت با میزبانی مستقیم مدل‌ها، نیاز کاربران به دانلود مدل‌های تغییریافته و تهیه توان پردازشی مورد نیاز را برای اجرای آنها کاهش داده است.

تک‌کرانچ برای بررسی عملکرد سرویس، یک حساب کاربری ایجاد کرد و توانست نسخه ابلیتریت‌شده GLM-5.3 را به‌ صورت رایگان در مرورگر آزمایش کند. این رسانه درخواست‌های خطرناکی را برای بررسی محدودیت‌های این مدل هوش مصنوعی مطرح کرد. مدل نیز درخواست تولید برنامه‌ای برای سرقت رمزهای عبور ذخیره‌شده کروم و ارائه دستورالعملی برای پرورش یک عامل بیماری‌زای خطرناک انسانی در محیط خانگی را پذیرفت.

دوون، یکی از هم‌بنیان‌گذاران Abliteration.ai بیان کرد که این شرکت با چند ارائه‌دهنده بزرگ خدمات ابری قرارداد دارد و هزینه این زیرساخت‌ها را از درآمد مشتریان تأمین می‌کند. تک‌کرانچ نام خانوادگی‌ او را منتشر نکرده است، چرا که دوون همچنان در شرکت دیگری فعالیت می‌کند.

استارت‌آپ Abliteration.ai تاکنون سرمایه خطرپذیر جذب نکرده است، اما برای جذب سرمایه در حال مذاکره است. تبدیل ابلیتریشن به یک سرویس آماده، اکنون نگرانی‌هایی را درباره پیامدهای گسترش دسترسی عمومی به مدل‌های فاقد محدودیت‌های متداول ایجاد کرده است.

نگرانی کارشناسان از حذف محدودیت‌های هوش مصنوعی

منتقدان معتقد هستند عرضه گسترده مدل‌های ابلیتریت‌شده می‌تواند به آسیب‌های واقعی منجر شود. اندرو یون، مدیر تحقیقات سازمان غیرانتفاعی ایمنی هوش مصنوعی CivAI گفت که ابلیتریشن به کاربران اجازه می‌دهد مدل را به شکلی تغییر دهند که مانند یک «جامعه‌ستیز» رفتار کند.

وی بیان کرد که کاربران می‌توانند تقریبا هر درخواستی را در چنین مدلی وارد کنند و مدل نیز از آن پیروی خواهد کرد. او معتقد است مفهوم حذف گاردریل‌های هوش مصنوعی دقیقا در چنین مدل‌هایی قابل مشاهده است و انتظار دارد در آینده نزدیک، استفاده مخرب از مدل‌های ویرایش‌شده و ابلیتریت‌شده افزایش یابد.

بیشتر کارشناسانی کهتک‌کرانچبا آنها گفت‌وگو کرده است، جلوگیری کامل از گسترش این فناوری را واقع‌بینانه نمی‌دانند. مدل‌های دارای وزن باز در اختیار کاربران قرار می‌گیرند و افراد می‌توانند محدودیت‌های آنها را پس از دانلود تغییر دهند. به همین دلیل، برخی کارشناسان معتقد هستند دولت‌ها باید به‌جای تلاش برای جلوگیری از خود ابلیتریشن، روی بخش‌های دیگری از زنجیره دسترسی تمرکز کنند.

یون پیشنهاد کرده است که دولت‌ها، ارائه‌دهندگان خدمات را ملزم کنند سیستم‌های طبقه‌بندی و تشخیص محتوا را برای شناسایی و مسدود کردن فعالیت‌های سایبری مخرب و فعالیت‌های مرتبط با سلاح‌های زیستی به کار بگیرند.

او همچنین معتقد است شرکت‌هایی که دسترسی مستقیم به پردازنده‌های گرافیکی پیشرفته را اجاره می‌دهند، باید هویت مشتریان خود را بررسی کنند. این شرکت‌ها در صورت وجود دلایل کافی برای احتمال سوءاستفاده خطرناک نیز باید بتوانند دسترسی کاربران را مسدود کنند.

استارت‌آپ Abliteration.ai در مقابل، یک لایه تعدیل محتوا در اختیار مشتریان خود قرار می‌دهد تا آنها بتوانند محدودیت‌های مورد نظر را به مدل هوش مصنوعی اضافه کنند. خود پلتفرم نیز کاملا بدون محدودیت نیست. تک‌کرانچ در آزمایش خود نتوانست مدل را به ارائه دستورالعمل خودکشی وادار کند. دوون نیز عنوان کرد که شرکت در حال پیاده‌سازی تدابیر بیشتری برای جلوگیری از محتوای مرتبط با خشونت است.

بیشتر بخوانیدOpenAI اتهام پنهان‌کاری درباره حمله عوامل سرکش هوش مصنوعی را رد کرد

چالش احراز هویت و مسئولیت شرکت‌ها

رابط کاربری یک مدل هوش مصنوعی بدون محدودیت ایمنی که به درخواست خطرناک برای سرقت رمزهای ذخیره‌شده مرورگر پاسخ می‌دهد.
رابط کاربری یک مدل هوش مصنوعی بدون محدودیت ایمنی که به درخواست خطرناک برای سرقت رمزهای ذخیره‌شده مرورگر پاسخ می‌دهد.

استارت‌آپ Abliteration.ai هنوز سیستم کامل شناخت مشتری یا KYC را اجرا نکرده است. این شرکت در حال حاضر اطلاعات کارت اعتباری مورد استفاده مشتری را برای خرید سرویس ثبت می‌کند، اما سازوکار گسترده دیگری برای احراز هویت کاربران ندارد.

دوون عنوان کرد که تعیین اینکه چه افرادی باید اجازه استفاده از چنین مدل‌هایی را داشته باشند، مسئله دشواری است که شرکت هنوز در حال بررسی آن است. او توضیح داد که هیچ شرکتی نمی‌خواهد مسئول اقدامات خطرناک کاربران شناخته شود، اما مشخص کردن مرز مسئولیت ارائه‌دهنده سرویس نیز آسان نیست.

این مسئله با انتشار مدل‌های قدرتمندتر دارای وزن‌های قابل دانلود اهمیت بیشتری پیدا می‌کند. اگر کاربران بتوانند پس از دریافت یک مدل، تدابیر ایمنی آن را حذف کنند، صنعت فناوری و دولت‌ها باید مشخص کنند که آسان‌تر کردن دسترسی عمومی به نسخه تغییریافته چنین مدل‌هایی چه پیامدهایی دارد.

بنیان‌گذار Abliteration.ai و حامیان مدل‌های ابلیتریت‌شده استدلال متفاوتی دارند. آنها معتقد هستند دسترسی گسترده به مدل‌های پیشرفته بدون محدودیت می‌تواند به ابزار دفاعی برای متخصصان امنیت سایبری تبدیل شود.

دوون عنوان کرد که این مدل‌ها می‌توانند رفتار عوامل مخرب را شبیه‌سازی کنند. در نتیجه، مدافعان نیز می‌توانند با سرعت بیشتری ابزارها و روش‌های مهاجمان را بررسی نمایند و راهکارهای دفاعی مناسب را توسعه دهند. او معتقد است این فرایند می‌تواند برخلاف تصور اولیه، سرعت پیشرفت امنیت سایبری را افزایش دهد.

استارت‌آپ Abliteration.ai با وجود عمر کوتاه، چند استارت‌آپ نوپای رد تیمینگ مستقر در بریتانیا و اروپا را در میان مشتریان خود دارد. این شرکت‌ها به بانک‌ها، خطوط هوایی و مجموعه‌های فعال در حوزه زیرساخت‌های حیاتی برای تقویت امنیت سایبری کمک می‌کنند.

دوون بیان کرد که یکی از مشتریان بزرگ شرکت، عامل‌های هوش مصنوعی مورد استفاده بانک‌ها را تحت آزمایش‌های رد تیمینگ قرار می‌دهد. به گفته او، مدل‌های هوش مصنوعی استاندارد موجود به دلیل محدودیت‌های داخلی خود نمی‌توانند تمام آزمایش‌هایی را انجام دهند که چنین شرکتی نیاز دارد.

اختلاف‌نظر درباره اهمیت واقعی ابلیتریشن

صنعت امنیت سایبری هنوز درباره جایگاه مدل‌های ابلیتریت‌شده در فعالیت‌های دفاعی به جمع‌بندی نرسیده است. چند شرکت فعال در زمینه رد تیمینگ عامل‌های هوش مصنوعی که با تک‌کرانچ گفت‌وگو کرده‌اند، قبول دارند که مهاجمان نیز می‌توانند محدودیت مدل‌های خود را حذف کنند و از آنها برای اجرای حملات استفاده نمایند.

این موضوع، استدلالی برای دسترسی مدافعان به ابزارهای مشابه ایجاد می‌کند. با وجود این‌، متخصصان درباره میزان اهمیت ابلیتریشن برای آزمایش‌های امنیتی اختلاف نظر دارند.

دوون، ابلیتریشن را برای انجام رد تیمینگ جامع عامل‌های هوش مصنوعی ضروری می‌داند. برخی شرکت‌های امنیتی در مقابل اعلام کردند که در فعالیت‌های روزمره خود نیازی به مدل‌های ابلیتریت‌شده ندارند. آنها مدل‌های دارای وزن باز را برای نیازهای خود تنظیم دقیق می‌کنند. بسیاری از این مدل‌ها نیز از ابتدا گاردریل‌های نسبتا محدودی دارند.

احمد علی، مدیرعامل شرکت رد تیمینگ Fabraix بیان کرد که شرکت او بیشتر از تنظیم دقیق مدل‌های باز استفاده می‌کند و وابستگی چندانی به مدل‌های ابلیتریت‌شده ندارد. او همچنین به یکی از معایب احتمالی این تکنیک اشاره می‌کند.

به گفته علی، فرایند ابلیتریشن ممکن است بخشی از دانش و توانایی‌های مدل را از بین ببرد. در نتیجه، مدل هوش مصنوعی که محدودیت‌های آن حذف شده است، لزوما برای انجام فعالیت‌های مخرب سایبری یا زیستی مؤثرتر از مدل اصلی نخواهد بود.

آلسیو لوموشیو، مدیر ارشد فناوری Safe Intelligence نیز احتمال کاهش برخی توانایی‌های مدل را پس از ابلیتریشن تأیید کرد. با وجود این‌، او معتقد است چنین مدل‌هایی همچنان می‌توانند رفتارهای خاصی ایجاد کنند که برای آزمایش مقاومت و امنیت سیستم‌ها مفید است.

دیوید اسلیتر، بنیان‌گذار و معمار ارشد پلتفرم امنیت سایبری شرکت Armadin نیز گفت که مدل‌های ابلیتریت‌شده تاکنون بخشی از فرایند کاری این شرکت نبوده‌اند. به گفته او، جیلبریک کردن نسل‌های قبلی مدل‌های دارای وزن باز و وادار کردن آنها به انجام رفتار مورد نظر، چندان دشوار نبوده است.

بیشتر بخوانیدOpenAI ادعا می‌کند: GPT-6 آسترا باهوش‌ترین مدل AI جهان است

پژوهشگران به‌ دنبال شناخت مرز توانایی مدل‌ها

شرکت Armadin با وجود استفاده نکردن روزمره از مدل‌های ابلیتریت‌شده، اکنون این فناوری را بررسی می‌کند. اسلیتر معتقد است جامعه متن‌باز باید برای شناخت توانایی واقعی مدل‌های هوش مصنوعی تلاش کند و بررسی عمومی این قابلیت‌ها برای صنعت امنیت اهمیت زیادی دارد.

او بیان کرد که حذف محدودیت مدل‌ها در هر صورت می‌تواند پشت درهای بسته و در محیط‌های خصوصی انجام شود. انجام پژوهش‌های مشابه در فضای باز، ابزارهای لازم را در اختیار محققان قرار می‌دهد تا مرز واقعی توانایی مدل‌ها و خطرهای احتمالی آنها را بهتر شناسایی کنند.

بحث درباره Abliteration.ai در نهایت به یکی از چالش‌های اساسی مدل‌های دارای وزن باز بازمی‌گردد. توسعه‌دهندگان می‌توانند تدابیر ایمنی را در نسخه اولیه یک مدل قرار دهند، اما پس از انتشار وزن‌های آن، کنترل تغییراتی که کاربران روی مدل انجام می‌دهند بسیار دشوارتر می‌شود.

استارت‌آپ Abliteration.ai این فرایند را یک مرحله جلوتر برده است. کاربران دیگر برای استفاده از یک مدل ابلیتریت‌شده لزوما به دانش فنی لازم برای تغییر مدل، سخت‌افزار قدرتمند یا زیرساخت پردازشی اختصاصی نیاز ندارند. آنها می‌توانند به نسخه میزبانی‌شده مدل دسترسی پیدا کنند و از طریق مرورگر یا API از آن استفاده نمایند.

حامیان این رویکرد معتقد هستند همین دسترسی می‌تواند توان تیم‌های دفاعی را افزایش دهد و امکان شبیه‌سازی واقع‌بینانه‌تر مهاجمان را فراهم کند. منتقدان در مقابل هشدار می‌دهند که کاهش موانع دسترسی، همان امکانات را در اختیار افرادی قرار می‌دهد که اهداف مخرب دارند.

با افزایش توانایی مدل‌های دارای وزن باز، اختلاف میان این دو دیدگاه احتمالا اهمیت بیشتری پیدا خواهد کرد. پرسش اصلی این است که آیا عمومی شدن ابزارهای بدون محدودیت، پژوهشگران و مدافعان را برای مقابله با تهدیدها مجهزتر می‌کند یا هزینه و پیچیدگی سوءاستفاده از هوش مصنوعی را برای مهاجمان کاهش می‌دهد. استارت‌آپ Abliteration.ai اکنون این مناقشه را از حوزه آزمایش‌های فنی و جامعه متن‌باز به یک کسب‌وکار تجاری و در دسترس منتقل کرده است.

نوشتهحذف محدودیت‌های ایمنی هوش مصنوعی به یک کسب‌وکار تبدیل شداولین بار درTechnoc. پدیدار شد.

برای ارزیابی پایداری، امنیت و نگهداری این زیرساخت، راهنمای پشتیبانی شبکه را نیز مطالعه کنید.