جلوگیری از خزش سایت با کمک robots.txt

جلوگیری از خزش سایت با کمک robots.txt

فایل robots.txt یک فایل متنی می باشد که در مسیر اصلی یا root سایت شما قرار می گیرد که شما می‌توانید قوانین خزش صفحات خود را برای موتورهای جستجوی مختلف تعیین کنید و موتورهای جستجو از قوانین مورد ثبت شما در این فایل تبعیت دارند. در این نوشته به شما نحوه‌ی جلوگیری از ایندکس شدن کل سایت شما با کمک فایل robots.txt را بررسی می‌کنیم.

جلوگیری از خزش سایت با کمک robots.txt

معمولا گاهی برخی از وبسایت‌ها به صورت خصوصی منتشر می‌شود و به هر دلیلی با مدل بیزنس آن سرویس نیاز است از ایندکس شدن صفحات آن سایت جلوگیری شود؛ برای جلوگیری از ایندکس شدن تمام صفحات یک سایت توسط موتورهای جستجوگر فایل robots.txt را در مسیر root سایت خود باز کنید و یا اگر این فایل را ندارید آن‌را بسازید.

بعد از باز شدن این فایل کافیست قطعه کد زیر را در این فایل قرار بدهید و فایل را ذخیره کنید:

User-agent: * Disallow: /

خب حالا به موتورهای جستجوگر نظیر گوگل، بینگ و … این موضوع را اعمال می‌کنید که قصد ندارید صفحات سایت شما توسط آن‌ها ایندکس شود.

پیشنهاد نویسنده: اضافه کردن نقشه سایت به robots.txt

اگر آموزش‌های بیش‌تری در ارتباط با فایل robots.txt دارید در بخش نظرات به ما اعلام کنید تا در لیست انتشار قرار بگیرد.