ارزدیجیتال
حراجی دامنه های ویژهمشاهده





پلتفرم رپورتاژ آگهی و بک لینک تسمینو
تبلیغات
تبلیغات
تبلیغات تبلیغات
تبلیغات ژاکت, مرجع خرید قالب و افزونه وردپرسی اورجینال

مسدود کردن ربات گوگل و سایر ربات ها با کمک Robots.txt و htaccess و متا تگ ها

آموزش ها , مقالات,آموزش,ترفند

این واقعیت که کاربران اینترنت هرچه را می خواهند باید دریافت کنند قابل انکار نیست، اما شما به عنوان مدیر یک سایت باید بدانید که حذف برخی صفحات از لیست نتایج جستجوی کاربر می تواند کاربر را بهتر به هدف خود برساند. به عبارتی شما می توانید برخی از منابع وب خود را از دسترس کاربران خارج کنید. در این مقاله قرار است باهم نگاهی به تکنیک هایی بیندازیم که می توانید از آنها برای مسدود کردن دسترسی به بخش های خاصی از منبع وب خود استفاده کنید.

مسدود کردن ربات گوگل و سایر ربات ها با کمک Robots.txt و htaccess و متا تگ ها

  • تنظیم پسورد

مسدود کردن دسترسی بر اساس htaccess-password یک راه واقعا مفید برای غیرقابل دسترس کردن برخی از بخش های منبع وب برای افراد غریبه است. با این حال، یک مشکل نگران کننده وجود دارد، اگر از نسخه دمو وب سایت خود استفاده می کنید، هیچ امکانی برای دائمی کردن این پسورد وجود ندارد.

  • Robots.txt

اگر مایل به استفاده از روش قبل نبودید، گوگل جایگزین دیگری به ما ارائه می دهد. روش دوم در واقع استفاده از robots.txt است. این ابزار به موتورهای جستجوگر اطلاع می دهد که برخی از قسمت های وب سایت در نتایج نمایش داده شده به کاربر گنجانده نمی شوند.
برای فعال کردن این ابزار از کد زیر استفاده کنید:

User-agent: * Disallow: / 

متاسفانه حتی این روش همیشه معتبر و قابل اعتماد نیست. مهندس نرم افزار گوگل، مت کاتس، تاکید می کند که موتورهای جستجو همچنان این صفحات را بدون توجه به robots.txt به عنوان نتایج مرتبط با درخواست مشتریان طبقه بندی می کنند.

  • استفاده از دستورات کاربردی .htaccess

اگر می‌خواهید دسترسی Google به منبع وب شما ممنوع شود، می‌توانید از htaccess استفاده کنید و موارد زیر را کدنویسی کنید:

RewriteEngine on

RewriteCond %{HTTP_USER_AGENT} AltaVista [OR]

RewriteCond %{HTTP_USER_AGENT} Googlebot [OR]

RewriteCond %{HTTP_USER_AGENT} msnbot [OR]

RewriteCond %{HTTP_USER_AGENT} Slurp

RewriteRule ^.*$ "http\:\/\/htmlremix\.com" [R=301,L]

مطمئن شوید که URL پیش فرض را با URL خود جایگزین کرده اید.

  • متا تگ ها

با استفاده از متا تگ noindex در کد HTML می توانید وب سایت خود را از نتایج موتور جستجوی گوگل ناپدید کنید. در حین اسکن، ربات ها منبع وب شما را از موتورهای جستجو حذف می کنند. حتی اگر سایت های دیگر به وب سایت شما ارجاع داشته باشند.
 

به یاد داشته باشید که این ابزار فقط در صورتی درست کار می کند که منبع وب شما با کمک فایلی به نام Robots.txt مسدود شده باشد. در غیر این صورت، اسکنر ابزار شما را شناسایی نمی کند و تمام تلاش شما بیهوده خواهد بود و منبع وب شما همچنان در لیست صفحات نتایج جستجوی کاربر وجود خواهد داشت. به خصوص اگر وب سایت های دیگر به سایت شما ارجاع داشته باشند. جدای از این، متا تگ noindex در صورتی موثر خواهد بود که به منبع وب خود دسترسی روت نداشته باشید.
 

برای جلوگیری از ایندکس شدن صفحه خود از طریق وب اسکنرهای دیگر، باید متا تگ زیر را در قسمتی به نام <head> قرار دهید:

<meta name="robots" content="noindex">

اگر می خواهید دسترسی را فقط برای Google مسدود کنید، کد زیر را امتحان کنید:

<meta name="googlebot" content="noindex">

توجه داشته باشید که برخی از اسکنرها این اقدامات شما (متا تگ noindex) را به شیوه ای خاص تفسیر می کنند و ممکن است حتی پس از این عملیات، صفحه شما همچنان در بسیاری از موتورهای جستجو قابل مشاهده باشد.

 

حتی پس از پیاده سازی کدها، این احتمال وجود دارد که منبع وب شما، در لیست صفحات نتایج جستجوی کاربر باقی بماند. این اتفاق دلایل متعددی دارد، یکی از این دلایل ممکن است سپری نشدن زمان کافی برای تشخیص متا تگ توسط سیستم باشد. در این صورت این روش را با کمک اپلیکیشنی به نام Fetch دوباره انجام دهید. حتی پس از این کار هم ممکن است سیستم همچنان وب سایت شما را شناسایی کند. در این مرحله باید تگ را دوباره بررسی کنید.
 

این احتمال وجود دارد که سیستم فقط تگ شما را نبیند، فایل robots.txt خود را ویرایش کنید. سپس، کل فرآیند را دوباره امتحان کنید اما این بار از برنامه ای به نام Tester استفاده کنید.
 

امیدوارم آموزش بالا بتواند مشکل شما را حل کند.

این مقاله چقدر براتون مفید بود؟

از ۱ تا ۵ امتیاز بدید.

میانگین رتبه 5 / 5. تعداد رای : 2

تا حالا کسی رای نداده! اولین نفر شما باشید.

دانلود

هاست ارزان، لایت اسپید، سرور مجازی منطبق با اسکریپت های 20script کلیک کنید >

خرید ارز
مطلب مفیدی بود ؟
نویسنده : تیم محتوای 20اسکریپت 0 آموزش ها , مقالات,آموزش,ترفند
لینک کوتاه مطلب : https://www.20script.ir/?p=64306
کلمات کلیدی پست :
مطالب مرتبط
39,360افزونه ارسال مطلب اتوماتیک به تلگرام برای وردپرس تاریخ : 2016/04/5
35,724دانلود نرم افزار ربات اینستاگرام Instabot.pw Pro تاریخ : 2018/07/13
19,323افزونه ارسال خودکار مطالب به تلگرام WP Telegram تاریخ : 2017/10/21
61,833افزونه وردپرس ربات کپی کننده مطالب Scrapes تاریخ : 2019/08/22
برخی از قالب های وبلاگ - بیست اسکریپت
قالب عشق بین انگشت هاقالب عشق بین انگشت ها
قالب دخترونه و آرایشقالب دخترونه و آرایش
قالب زیبای ماشینقالب زیبای ماشین
قالب فانتزی و طنز چِشمقالب فانتزی و طنز چِشم
قالب دختر رویاییقالب دختر رویایی
قالب وبلاگ دکوراسیونقالب وبلاگ دکوراسیون
قالب وبلاگ کلبه و درختقالب وبلاگ کلبه و درخت
قالب دختر زیباقالب دختر زیبا
قالب پسرونه غمگینقالب پسرونه غمگین
قالب عاشقانه قلبقالب عاشقانه قلب
بیست اسکریپت
اسکریپت
profile
sourceforge
profile webmaster
profile check
checker list
checker
checker
upload file