کلادفلر خزنده‌های هوش مصنوعی را به‌صورت پیش‌فرض مسدود می‌کند

در گامی تازه برای محافظت از محتوای وب، شرکت کلادفلر اعلام کرد از این پس دسترسی خزنده‌های شناخته‌شده‌ی هوش مصنوعی (AI Crawlers) را به‌صورت پیش‌فرض برای دامنه‌های جدید مسدود خواهد کرد؛ اقدامی که با هدف جلوگیری از برداشت بدون اجازه و بدون پرداخت حق‌الزحمه از محتوای وب‌سایت‌ها انجام می‌شود.

کلادفلر که یکی از بازیگران اصلی زیرساخت اینترنت است، همچنین امکان تازه‌ای را برای ناشران فراهم کرده که در قالب طرحی به نام «پرداخت به ازای خزیدن» (Pay Per Crawl)، قیمت مشخصی را برای دسترسی خزنده‌های هوش مصنوعی به محتوایشان تعیین کنند. شرکت‌های فعال در حوزه هوش مصنوعی می‌توانند بر اساس این قیمت‌گذاری تصمیم بگیرند که از داده‌ها استفاده کنند یا خیر.

این شرکت پیش‌تر نیز امکاناتی برای مسدودسازی خزنده‌های AI ارائه کرده بود، اما تنظیمات جدید از این پس به طور پیش‌فرض برای کاربران جدید فعال خواهد بود؛ حتی برای خزنده‌هایی که به فایل «robots.txt» پایبند نیستند. کلادفلر همچنین قابلیتی به نام «هزارتوی AI» معرفی کرده تا ربات‌ها را در مسیر جمع‌آوری غیرمجاز اطلاعات، گیج و متوقف کند.

این تغییرات در واکنش به نگرانی ناشران بزرگ و پلتفرم‌هایی مانند «AP»، «Fortune»، «The Atlantic»، «Stack Overflow» و «Quora» انجام شده که شاهد افت ترافیک مستقیم به سایت‌هایشان به‌دلیل رشد محبوبیت چت‌بات‌ها هستند.

مدیرعامل کلادفلر، متیو پرینس، در رویدادی گفت:«خزنده‌های هوش مصنوعی بدون محدودیت در حال جمع‌آوری محتوا هستند. وقت آن رسیده که قدرت را به دست خالقان محتوا بازگردانیم.»

همچنین، کلادفلر از همکاری با شرکت‌های هوش مصنوعی برای احراز هویت خزنده‌ها و مشخص‌کردن دقیق هدف استفاده آن‌ها (مثلاً برای آموزش مدل یا جست‌وجو) خبر داده تا صاحبان وب‌سایت‌ها بتوانند تصمیم بگیرند که کدام خزنده‌ها اجازه ورود دارند.

برای ارزیابی پایداری، امنیت و نگهداری این زیرساخت، راهنمای پشتیبانی شبکه را نیز مطالعه کنید.