اسکریپت ساخت فایل های Robots.txt

قبل از هرچیز اگر با فایل های robots.txt آشنا نیستید لازم است این بند را همراه ما باشید تا کمی با فایل های robots.txt آشنا شوید: وظیفه اصلی و مهم فایل Robots.txt در سایت، ایجاد محدودیت در دسترسی ربات های موتور جستجوی گوگل به محتوای سایت می باشد. همانطور که می دانید تمام ربات ها به صورت خودکار عمل می‌کنند و قبل از ورود به هرسایت و صفحه ای، از وجود فایل Robots.txt جهت مشخص شدن محدودیت های تعریف شده اطمینان حاصل می کنند. با تعریف قوانین مختلف در فایل های Robots.txt میتوان محدودیت های خاصی را برای ربات های جستجوگر در نظر گرفت که مهم ترین آن ایندکس شدن صفحات خاص می باشد. امروز در بیست اسکریپت اسكريپتي را در زمینه ساخت فایل های Robots.txt آماده دانلود کرده ایم که توسط آن به راحتی می توانید فایل های Robots.txt را ساخته و با وجود تنظیمات 22 خزنده و جستجوگر به قعالیت و ذخیره سازی بپردازید.

برخی امکانات قابل استفاده در اسكريپت ساخت فایل Robots.txt :

• تعیین وضعیت Index بر روی جستجوگرها و تعریف محدودیت های خاص
• مخفی کردن تمام تصاویر موجود بر روی سایت از دید موتورهای جستجو
• مخفی سازی فایل های خاص و دلخواه از دید موتورهای جستجو
• محدود کردن یک تصویر بر روی سایت از دید موتورهای جستجو
• اعمال محدودیت روی سایت یا یک صفحه خاص
• و…