بهینه‌سازی robots.txt در وردپرس برای موتورهای جستجو

همه ما به عنوان صاحبان وبسایت به SEO اهمیت می‌دهیم. در واقع در نظر گرفتن فاکتورهای اساسی در سئو برایمان سودمند بوده و به ارتقای وبسایتمان کمک شایانی می‌کند. در وردپرس نیز موضوع به همین صورت است و ما برای اینکه بتوانیم سئوی وردپرس را بهبود بخشیم از گزینه‌هایی اساسی در این راستا کمک می‌گیریم. یکی از فاکتورهای مهم بهینه‌سازی robots.txt در وردپرس است. فایل robots.txt یک ابزار قدرتمند برای شما به حساب می‌آید و به عنوان شخصی که به سئوی وبسایتتان اهمیت می‌دهید، حتما باید آن را در نظر بگیرید. و البته برخی از اشتباهات رایج در این حوزه را دور بریزید! عجله نکنید، به شما خواهم گفت.

بهینه‌سازی robots.txt در وردپرس

به مرور زمان گوگل عملکرد خود را تغییر داد و به همین دلیل مواردی که چند سال پیش در موردش می‌دانستید دیگر کار نمی‌کند. بنابراین برای اینکه بتوانید بروز باشید باید اطلاعات جدید بهینه‌سازی robots.txt در وردپرس را داشته باشید. به همین دلیل تصمیم گرفتیم این موضوع را در این مقاله برایتان توضیح دهیم. برای کمک به سئوی سایتتان همراه ما باشید…

بررسی کامل وبسایت توسط گوگل

گوگل با سال‌های اولیه که کودکی نوپا بود فرق‌های بسیاری کرده و با پیشرفت‌هایی که داشته در حال حاضر می‌تواند تمامی بخش‌های یک وبسایت را تحت نظارت خود گرفته و بررسی کند. (پس مطمئن باشید که نمی‌توانید از زیر ذره‌بین آن جان سالم به در ببرید 🙂 )
یکی از مواردی که باید در بهینه‌سازی robots.txt در وردپرس در نظر داشته باشید، این است که هرگز فایل‌های CSS و جاوا اسکریپت را مسدود نکنید. در گذشته، مسدود کردن دسترسی به wp-includes و پوشه افزونه‌ها به کمک فایل robots.txt در وردپرس کار رایجی بود که در حال حاضر قابل قبول نیست!

بسیاری از بهترین قالب‌های وردپرس، درخواست‌های ناسازگاری با جاوا اسکریپت ارسال می‌کنند که به آن‌ها ایجکس گفته می‌شود و به محتوا یا هر امکان دیگری در صفحات وب اضافه می‌شوند. خوشبختانه این مشکلات در وردپرس ۴٫۴ برطرف شد و هسته وردپرس نیز بروزرسانی گردید.

robots.txt برخی لینک‌ها را نادیده می‌گیرد

نکته بسیار مهمی که باید در نظر داشته باشید این است که اگر از robots.txt برای مسدود کردن آدرس یا urlها استفاده می‌کنید، مانع از بررسی موتورهای جستجو در وبسایتتان خواهید شد. این بدان معناست که مانع از توزیع لینک‌های با ارزش در urlها خواهید شد.

اگر در بخشی از وبسایت لینک‌های زیادی موجود است و نمی‌خواهید در موتور جستجو نمایش داده شود، آن را توسط robots.txt بلاک نکنید بلکه به جای آن تز no-index و nofollow کمک بگیرید. این‌گونه به موتورهای جستجو این امکان را می‌دهید تا به طور مناسب لینک‌ها را در وبسایت توزیع کنند.

نمونه‌‌ای از عملکرد robots.txt

با تمام مواردی که گفته شد پس با robots.txt چه باید کرد و چگونه بهینه‌سازی robots.txt در وردپرس را انجام دهیم؟ بسیار تمییز کار می‌کنیم و تقریبا قرار نیست چیزی را بلاک یا مسدود کنیم! این بدان معناست که نباید مسیر wp-content/plugins را مسدود کنیم، همچنین نیازی به مسدودسازی
wp-include نیست. زیرا کدهای جاوا اسکریپت در صورت لزوم باید بتوانند وارد سایت شوند، زیرا بعضی قالب‌ها از آن‌ها استفاده می‌کنند.

برای بهینه‌سازی robots.txt در وردپرس نیازی به بلاک کردن wp-admin نیست. و دلیل آن بسیار ساده است: اگر شما آن را مسدود کنید اما شخضی به صورت شانسی آن را بیابد، خیلی راحت با کد [inurl:wp-admin] می‌تواند سایت شما را یافته و به آن نفوذ کند. پس باید تدابیر دیگری اندیشید! مثل استفاده از افزونه‌های امنیتی.

با robots.txt چه باید کرد؟

از تمام این حرف‌ها که بگذریم، باید بدانیم که با robot.txt چه باید کرد؟
به کنسول گوگل وارد شوید و در زیر گزینه Crawl به گزینه Fetch and google می‌رسید، از گزینه Fetch and render options استفاده کنید.

چنانچه با وارد کردن وبسایتتان در این بخش و کلیک روی گزینه مورد نظر با خطاهایی مواجه شدید و سایت را دقیقا همانند آنچه در مرورگر باز می‌گردید، مشاهده نکردید باید در صدد رفع آن خطاها باشید و برای بهینه‌سازی robots.txt در وردپرس، آن خطاها را در این فایل یافته و حذف کنید.

نتیجه گیری

در مبحث سئو، لطفا با دقت پیش روید. فاکتورهایی که در سال‌های گذشته آموخته‌اید شاید به کارتان نیاید و تغییری در آن‌ها رخ داده باشد. در مورد بهینه‌سازی robots.txt در وردپرس امروز صحبت کرده‌ایم و برخی از تصورات درستی که امروزه در سئو نادرست است را خدمتتان عرض کردیم. امیدواریم با کمک آن بتوانید تغییراتی عظیم انجام دهید.