جلوگیری از خزش سایت با کمک robots.txt

جلوگیری از خزش سایت با کمک robots.txt

فایل robots.txt یک فایل متنی می باشد که در مسیر اصلی یا root سایت شما قرار می گیرد که شما می توانید قوانین خزش صفحات خود را برای موتورهای جستجوی مختلف تعیین کنید و موتورهای جستجو از قوانین مورد ثبت شما در این فایل تبعیت دارند.

در این نوشته به شما نحوه ی جلوگیری از ایندکس شدن کل سایت شما با کمک فایل robots.txt را بررسی می کنیم.

همراه ما باشید.

 

جلوگیری از دانلود فایل های با پسوند خاص در htaccess

 

جلوگیری از خزش سایت با کمک robots.txt

جلوگیری از خزش سایت با کمک robots.txt
جلوگیری از خزش سایت با کمک robots.txt

معمولا گاهی برخی از وبسایت ها به صورت خصوصی منتشر می شود و به هر دلیلی با مدل بیزنس آن سرویس نیاز است از ایندکس شدن صفحات آن سایت جلوگیری شود؛ برای جلوگیری از ایندکس شدن تمام صفحات یک سایت توسط موتورهای جستجوگر فایل robots.txt را در مسیر root سایت خود باز کنید و یا اگر این فایل را ندارید آنرا بسازید.

بعد از باز شدن این فایل کافیست قطعه کد زیر را در این فایل قرار بدهید و فایل را ذخیره کنید:

خب حالا به موتورهای جستجوگر نظیر گوگل، بینگ و … این موضوع را اعمال می کنید که قصد ندارید صفحات سایت شما توسط آنها ایندکس شود.

 

اضافه کردن نقشه سایت به robots.txt

 

اگر آموزش های بیشتری در ارتباط با فایل robots.txt دارید در بخش نظرات به ما اعلام کنید تا در لیست انتشار قرار بگیرد.

موفق باشید.

برای امتیاز به این نوشته کلیک کنید!
[کل: 0 میانگین: 0]
با دوستانتان به اشتراک بگذارید

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

*

code