جلوگیری از خزش سایت با کمک robots.txt
فایل robots.txt یک فایل متنی می باشد که در مسیر اصلی یا root سایت شما قرار می گیرد که شما می توانید قوانین خزش صفحات خود را برای موتورهای جستجوی مختلف تعیین کنید و موتورهای جستجو از قوانین مورد ثبت شما در این فایل تبعیت دارند.
در این نوشته به شما نحوه ی جلوگیری از ایندکس شدن کل سایت شما با کمک فایل robots.txt را بررسی می کنیم.
همراه ما باشید.
جلوگیری از خزش سایت با کمک robots.txt
معمولا گاهی برخی از وبسایت ها به صورت خصوصی منتشر می شود و به هر دلیلی با مدل بیزنس آن سرویس نیاز است از ایندکس شدن صفحات آن سایت جلوگیری شود؛ برای جلوگیری از ایندکس شدن تمام صفحات یک سایت توسط موتورهای جستجوگر فایل robots.txt را در مسیر root سایت خود باز کنید و یا اگر این فایل را ندارید آنرا بسازید.
بعد از باز شدن این فایل کافیست قطعه کد زیر را در این فایل قرار بدهید و فایل را ذخیره کنید:
User-agent: * Disallow: /
خب حالا به موتورهای جستجوگر نظیر گوگل، بینگ و … این موضوع را اعمال می کنید که قصد ندارید صفحات سایت شما توسط آنها ایندکس شود.
اگر آموزش های بیشتری در ارتباط با فایل robots.txt دارید در بخش نظرات به ما اعلام کنید تا در لیست انتشار قرار بگیرد.
موفق باشید.