مزایای robots.txt و روش ساختن آن در وب سایت
روش ساخت و ایجاد فایل robots.txt برای وب سایت،محدود کردن موتور های جستجو برای ایندکس کردن صفحات،جلوگیری از ایندکس شدن مطالب تکراری با فایل robots.txt
خلاصه تخصصی مقاله
روش ساخت و ایجاد فایل robots.txt برای وب سایت،محدود کردن موتور های جستجو برای ایندکس کردن صفحات،جلوگیری از ایندکس شدن مطالب تکراری با فایل robots.txt
موضوعات اصلی: پشتیبانی شبکه، robots، فایل، سایت، صفحات، جستجو
سایت شما بی فایده می باشد اگر توسطموتور های جستجوایندکس نشود.اگر می خواهید در نتایج جستجو دیده شوید ، باید به موتور های جستجو دسترسی داده شود. البته بعضی از مواقع احتیاج می باشد که قسمتی از وب سایت شما مانند اسناد خصوصی و صفحات غیر مرتبط قابل دسترسی نباشند. در این مقاله شما خواهید آموخت که چگونه مدیریت دسترسی برای موتور های جستجو را از طریقrobots.txtانجام دهید.
مزایای فایل robots.txt
قبل از اینکه به جزئیات چگونگی ایجاد یک فایل robots.txt و robots متا تگ بپردازیم، باید نگاهی به مزایای آن بیندازیم.
اکنون ما می دانیم که به چه علت باید دسترسی موتور های جستجو را مدیریت کنیم.حالا زمان یاد گیری چگونگی انجام آن می باشد.
زمانیکه خزنده وب سایت شما را بازدید می کند ،به دنبال robots.txt می گردد. این فایل به خزنده دستورالعملی می دهد بابت اینکه کدام صفحات را ایندکس کن و کدام صفحات را نادیده بگیر.
باایجاد فایل robots.txtشما می توانید از دسترسی موتور های جستجو به برخی از قسمت XNET سایتتان جلوگیری کنید.
فایل robots.txt در مسیر دایرکتوری وب سایت شما قرار می گیرد.به طور مثال : www.yoursite.com/robots.txt
هشدار: اگر شما فایل robots.txt را به سایت خود اضافه کرده اید ، لطفا" چندین بار آن را چک کنید .احیانا" ممکن است سهوا" دسترسی خزنده ها را به صفحات مهم وب سایت خود بسته باشید.
هر رکورد شامل دو بخش می باشد: user-agent و disallow
بخش user-agentمشخص می کند که کدام خزنده ها باید از اطلاعات disallow استفاده کنند.
بخش disallowمشخص می کند که خزنده های مجاز کدام بخش از وب سایت را نمی توانند ایندکس کنند.
مزایای فایل robots.txt
قبل از اینکه به جزئیات چگونگی ایجاد یک فایل robots.txt و robots متا تگ بپردازیم، باید نگاهی به مزایای آن بیندازیم.1- جلوگیری از ایندکس شدن مطالب تکراری با فایل robots.txt
متن های تکراری تلاش های شما برایبهینه سازی وب سایتو نمایش در رتبه های بالای موتور های جستجو را کم رنگ خواهد کرد. استفاده ازفایل robotsو برچسب با مسدود کردن صفحات تکراری می تواند مشکل را برطرف کند.2- استفاده از فایل robots.txt برای صفحات ناقص وب سایت
اگر صفحه جدیدی را در وب سایت ایجاد کرده اید که هنوز ناقص می باشد، با استفاده از فایل robots می توانید از ایندکس شدن آن صفحه در موتور های جستجو جلوگیری کنید تا زمانی که آن صفحه را کامل کنید.3- محدود کردن موتور های جستجو برای ایندکس کردن صفحات یا فایل های محرمانه با فایل robots.txt
بعضی از وب سایت ها صفحات محرمانه ای دارند که آن را با استفاده از قرار دادن امکان login مسدود کرده اند.یک روش آسان برای مخفی کردن آن صفحات وب سایت از موتور های جستجواستفاده از فایل robots.txtمی باشد.اکنون ما می دانیم که به چه علت باید دسترسی موتور های جستجو را مدیریت کنیم.حالا زمان یاد گیری چگونگی انجام آن می باشد.
فایل robots.txt چیست ؟
خزنده ها می خواهند تا آنجایی که ممکن می باشد وب سایت را ایندکس کنند ، مگر آنکه شما به آنها مطالبی را اطلاع بدهید.زمانیکه خزنده وب سایت شما را بازدید می کند ،به دنبال robots.txt می گردد. این فایل به خزنده دستورالعملی می دهد بابت اینکه کدام صفحات را ایندکس کن و کدام صفحات را نادیده بگیر.
باایجاد فایل robots.txtشما می توانید از دسترسی موتور های جستجو به برخی از قسمت XNET سایتتان جلوگیری کنید.
فایل robots.txt در مسیر دایرکتوری وب سایت شما قرار می گیرد.به طور مثال : www.yoursite.com/robots.txt
هشدار: اگر شما فایل robots.txt را به سایت خود اضافه کرده اید ، لطفا" چندین بار آن را چک کنید .احیانا" ممکن است سهوا" دسترسی خزنده ها را به صفحات مهم وب سایت خود بسته باشید.
روش ساخت و ایجاد فایل robots.txt برای وب سایت
Robots.txt یک فایل متنی ساده می باشد با چند رکورد.هر رکورد شامل دو بخش می باشد: user-agent و disallow
بخش user-agentمشخص می کند که کدام خزنده ها باید از اطلاعات disallow استفاده کنند.
بخش disallowمشخص می کند که خزنده های مجاز کدام بخش از وب سایت را نمی توانند ایندکس کنند.
برای ارزیابی پایداری، امنیت و نگهداری این زیرساخت، راهنمای پشتیبانی شبکه را نیز مطالعه کنید.