غول‌های هوش مصنوعی دستور مشترکی برای جلوگیری از استخراج اطلاعات سایت‌ها معرفی کردند

شرکت‌های گوگل، آنتروپیک، OpenAI و مایکروسافت متعهد شده‌اند که از یک دستورالعمل تازه در فایل robots.txt پشتیبانی کنند. این سازوکار جدید به ناشران و مالکان وب‌سایت‌ها اجازه می‌دهد تا ترجیحات و تمایلات خود را در زمینه جمع‌آوری داده‌های سایت (اسکرپینگ) برای آموزش مدل‌های هوش مصنوعی تعیین کنند. این شرکت‌ها طرحی را پذیرفته‌اند که هم‌اکنون در کارگروه مهندسی اینترنت (IETF) در دست بررسی قرار دارد و توسط «کوین کلی»، مدیر فنی بخش استانداردهای آنتروپیک، تدوین شده است.

در‌حال‌حاضر، مدیران وب‌سایت‌ها باید برای مدیریت دسترسی‌ها، ابزار اختصاصی (Crawler) هر شرکت را جداگانه شناسایی کرده و برای تک‌تک سرویس‌ها قوانین مجزایی در فایل تنظیمات خود بنویسند. این پیشنهاد جدید با تغییر شرایط باعث می‌شود تا تمام شرکت‌های هوش مصنوعی نام‌برده، یک نشانه و سیگنال مشترک را شناسایی کنند و به آن پایبند بمانند.

استانداردسازی دستورهای robots.txt برای جلوگیری از اسکرپینگ

ناشران برای اعمال این محدودیت، فقط باید بخش کاربری مشخصی موسوم به User-Agent را در فایل robots.txt وب‌سایت خود ایجاد کنند

User-Agent: __usage_ai-training Disallow: / Allow: /press-kit/

با اجرای این دستور، ابزارهایی که به‌طور اختصاصی برای جمع‌آوری داده با هدف آموزش هوش مصنوعی طراحی شده‌اند، به‌طور کامل متوقف خواهند شد. بخش Allow این امکان را در اختیار مدیران قرار می‌دهد تا دسترسی این ابزارها را برای قسمت‌های خاصی از صفحات مانند پوشه اطلاعات خبری و مطبوعاتی آزاد بگذارند. این تنظیمات مانع بررسی و جست‌وجوی کلی ربات‌ها در سایت نمی‌شود و اثری بر ایندکس شدن محتوا یا نمایش سایت در نتایج جستجوی گوگل نخواهد داشت. برای مثالگوگل این کد دستوری رادقیقاً معادل تابلوی ایست برای ربات جمع‌آوری داده‌ی Google-Extended قلمداد می‌کند؛ رباتی که صفحات وب را منحصراً جهت آموزش مدل‌های خانواده جمینای جمع‌آوری می‌کند.

البته باید در نظر داشت که این دستور فرایندهای اسکرپینگ قبلی را باطل نخواهد کرد؛ به این معنی که اگر این شرکت‌ها داده‌های یک وب‌سایت را در گذشته دریافت کرده باشند، آن اطلاعات همچنان در پایگاه داده آنها باقی می‌ماند. بنابراین این سازوکار تنها جلوی جمع‌آوری داده‌ها از کل سایت یا صفحات معین را در آینده خواهد گرفت.

آنتروپیک هم‌اکنون پشتیبانی از این دستور را آغاز کرده است، مایکروسافت تاریخ ۱ فوریه ۲۰۲۷ را برایآغاز پشتیبانی رسمیتعیین کرده، گوگل در اوایل سال ۲۰۲۷ آن را اجرایی می‌کند وOpenAI نیز متعهد شدهاست تا ظرف ماه‌های آینده این سیگنال مشترک را به سیستم‌های خود اضافه کند.

برای ارزیابی پایداری، امنیت و نگهداری این زیرساخت، راهنمای پشتیبانی شبکه را نیز مطالعه کنید.