همان‌طور که اوپن‌ای‌آی و گوگل در بیانیه‌های خود توضیح داده‌اند، مالکان وب‌سایت‌ها در حال حاضر باید خزنده‌XNET را به‌صورت جداگانه شناسایی کنند و برای هر ارائه‌دهنده هوش مصنوعی، قوانین مستقلی تعریف کنند. پیشنهاد کلی این فرایند را ساده‌تر می‌کند و به چندین شرکت هوش مصنوعی امکان می‌دهد از یک سیگنال مشترک پیروی کنند.

بر اساس این پیشنهاد، ناشران باید یک عامل کاربری (User Agent) جدید را در فایلrobots.txtتعریف کنند که به‌طور خاص برای مدیریت دسترسی به محتوای وب‌سایت‌ها با هدف آموزش هوش مصنوعی طراحی شده است.

خزنده وب یا ربات خزنده، برنامه‌ای خودکار است که در اینترنت حرکت می‌کند، از صفحات وب‌سایت‌ها بازدید و اطلاعات آن‌ها را جمع‌آوری می‌کند.

این سازوکار به مالکان وب‌سایت‌ها امکان می‌دهد خزنده‌های مخصوص جمع‌آوری داده برای آموزش مدل‌های هوش مصنوعی را مسدود کنند. همچنین بخش «مجاز کردن» (Allow) به مدیران وب‌سایت‌ها اجازه می‌دهد استخراج داده برای آموزش هوش مصنوعی را به بخش‌های مشخصی از صفحات محدود کنند.

با این حال، دستورالعمل جدید مربوط به عامل‌های کاربری، مانع خزش وب‌سایت‌ها به‌طور کلی نمی‌شود و از نمایش محتوای آن‌ها در نتایج جست‌وجوی گوگل نیز جلوگیری نمی‌کند. برای مثال، گوگل این دستورالعمل را به‌عنوان علامت توقف برای رباتی به نام Google-Extended تفسیر می‌کند؛ رباتی که وب‌سایت‌ها را برای جمع‌آوری محتوا و استفاده از آن در آموزش مدل‌های هوش مصنوعی جمینای می‌خزد.

نکته دیگر اینکه این دستورالعمل نمی‌تواند بر داده‌هایی که شرکت‌ها پیش‌تر استخراج کرده‌اند، تأثیر بگذارد. در واقع، اگر خزنده‌ای قبلاً از وب‌سایتی بازدید کرده باشد، شرکت مربوطه همچنان به محتوای جمع‌آوری‌شده دسترسی خواهد داشت. بنابراین، این سازوکار صرفاً از استخراج داده‌XNET‌سایت‌ها یا صفحات مشخص در آینده جلوگیری می‌کند.

آنتروپیک پشتیبانی از این دستورالعمل جدید را آغاز کرده است. مایکروسافت نیز اعلام کرده از یکم فوریه ۲۰۲۷ از آن پشتیبانی خواهد کرد. گوگل قصد دارد این اقدام را از اوایل سال ۲۰۲۷ اجرایی کند و اوپن‌ای‌آی نیز متعهد شده است طی ماه‌های آینده آن را به کار بگیرد.