اضافه کردن نقشه سایت به robots.txt
نقش اصلی فایل robots.txt در صفحات وب این است که این فایل در پوشه‌ی روت وبسایت شما قرار می‌گیرید و دسترسی و عدم دسترسی به مسیرها و دایرکتوری‌ها برای ربات‌های خزشگر را تعیین کند. در واقع این فایل قوانین دسترسی ربات‌های خزشگر مثل ربات موتور جستجوی گوگل را تعیین می‌کند. در این بخش به آموزش اضافه کردن نقشه‌ی سایت به فایل robots.txt می‌پردازیم.
اضافه کردن نقشه سایت به robots.txt
نقشه‌ی سایت در واقع یک فایل xml است که درون آن اطلاعات موجود محتوای سایت شما موجود است. (نقشه سایت چیست؟) این فایل به موتورهای جستجو برای خزش ساده‌تر محتوای سایت شما کمک می‌کند و در بحث‌های سئو و بهینه سازی وبسایت اهمیت بسیار بالایی دارد. وجود فایل نقشه‌ی سایت اجباری نیست ولی در صورت وجود این فایل بسیار روی روند خزش شدن صفحات سایت شما افزایش خواهد یافت.
برای افزودن آدرس نقشه‌ی سایت به فایل robots.txt مراحل زیر را دنبال کنید:
- ابتدا وارد کنترل پنل هاست خود شوید.
- بعد از ورود به کنترل پنل هاست وارد فایل منیجر خود شوید.
- از وجود فایل‌های sitemap.xml و robots.txt در مسیر روت هاست خود اطمینان حاصل کنید و اگر این فایل‌ها وجود ندارند آن‌ها را بسازید.
نکته: این فایل‌ها به صورت پیشفرض در سایت‌های وردپرسی ساخته می‌شوند و به صورت داینامیک ایجاد و مدیریت می‌شوند.
نکته: در سایت‌های برگرفته شده از سیستم مدیریت محتوای وردپرس با کمک افزونه یا پلاگین Yoast Seo این دو فایل به سادگی مدیریت و ساخته می‌شود. - در هر حال برای ادامه فایل robots.txt را باز کنید و آن‌را به حالت ویرایش ببرید.
- در انتهای این فایل در صورت نبودن کد زیر آن‌را اضافه کنید:
Sitemap: https://camelcase.ir/sitemap_index.xml
- بعد از پایان کار وارد این لینک بشوید و از مشکل نداشتن فایل robots.txt خود اطمینان حاصل کنید.
تذکر مهم: فایل robots.txt به شدت دارای اهمیت است پس این فایل را به شدت با وسواس ویرایش کنید که صفحات سایت خود را در نتایج موتورهای جستجو از دست ندهید و بازدیدکننده‌ی خود را ممکن است با اشتباه کوچک به طور کامل از دست بدهید.
برای افزایش سرعت سایت خود روی این لینک کلیک کنید. اگر راه‌های بهتری برای انجام افزودن نقشه سایت به فایل robots.txt دارید این روش را در بخش نظرات همین نوشته برای ما بنویسید.