با اینکه موتورهای جستجو تامین کننده اصلی ترافیک وب سایت ها هستند، اما در برخی موارد مدیران سایت ها علاقه ای به ایندکس شدن توسط موتورهای جستجوگر ندارند. اگر شما هم از چنین خواسته ای دارید، تا انتهای نوشته با ما همراه باشید.
نمایش به موتورهای جستجو در تنظیمات وردپرس
وردپرس به هنگام نصب از شما می پرسد که می خواهید سایتتان توسط موتورهای جستجو دیده شود یا خیر؟ حال اگر آن موقع این گزینه را تغییر نداده باشید، همچنان این امکان وجود دارد! کافیست به قسمت تنظیمات->خواندن مراجعه کنید.
همانطور که در تصویر مشاهده می کنید، در این صفحه قسمتی به عنوان نمایش به موتورهای جستجو وجود دارد که با تیک زدن به این گزینه می توانید از ایندکس شدن سایت خود جلوگیری کنید.
با انجام این کار وردپرس چند تغییر را در در سایت اعمال می کند که یکی از آنها اضافه شدن کد زیر به قسمت head صفحات است:
این خط به موتورهای جستجو اعلام می کند که از ایندکس کردن صفحه صرف نظر کنند. اما وردپرس فقط به این کار بسنده نکرده و کد زیر را به فایل robots.txt نیز اضافه می کند:
User-agent: * Disallow: /
فایل robots.txt را می توان اولین فایلی دانست که خزنده های موتورهای جستجو ابتدا آن را می خوانند و سپس به خزش در سایت می پردازند. در واقع این فایل مشخص کننده حدود خزنده ها بوده و به آنها مشخص می کند که چه کارهایی می توانند انجام دهند و یا ندهند. در کد بالا به خزنده ها اعلام شده است که مجوز خزش در سایت را ندارند.
