اگر شما از مدیران وب سایت های وردپرسی باشید و تحقیقاتی در زمینه بهبود سئوی سایتتان کرده باشید حتما عبارت robots.txt را شنیده یا خوانده اید. شاید در تحقیقاتتان به اهمیت و نحوه عملکرد این فایل پی برده باشید و البته شاید هم تا کنون آنچنان که باید به اهمیت و نقشی که این فایل در بهبود سئوی شما بازی می کند، پی نبرده باشید.
ما در این آموزش در مورد فایل robots.txt اطلاعاتی را به شما خواهیم داد که به شما در بهبود سئوی سایتتان کمک خواهد کرد. پس تا انتها با ما همراه باشید.
وظیفه اساسی فایل robots.txt برقراری ارتباط با موتورهای جستجوگر نظیر گوگل، بینگ و… جهت شناسایی صفحات و نوشته هایی که باید ایندکس شوند، می باشد.
آیا واقعا به فایل Robots.txt نیاز است؟
هر چند عدم وجود فایل robots.txt باعث توقف موتورهای جستجوگر در خزش و ایندکس صفحات سایتتان نمی شود، اما اگر می خواهید XML sitemap سایتتان را برای موتورهای جستجو ارسال کنید به شدت توصیه می کنیم که یک فایل robots.txt بسازید.
Robots.txt کجاست و آن را چگونه می توان درست کرد؟
فایل robots.txt معمولاً در شاخه اصلی یا همان root هاست شما قرار دارد. این فایل نظیر بسیاری از فایل های دیگر پوسته یک فایل عادی متنی بوده و شما با ابزارهای ویرایش متن نظیر Notpade امکان باز کردن و ویرایش آن را خواهید داشت.
اگر شما فایل robots.txt را در شاخه اصلی سایتتان مشاهده نکردید، یکی از آن را بسازید. برای این کار یک فایل جدید متنی در نوت پد باز کنید و آن را با نام robots.txt ذخیره کرده و از طریق FTP و یا File Manger سی پنل در شاخه اصلی هاستتان آپلود کنید.
چگونه از Robots.txt استفاده کنیم؟
نحوه استفاده از این فایل آسان است. در خط اول محتویات این فایل، معمولا شما باید نام user agent را وارد کنید. user agent در واقع نام موتورهای جستجوگری است که تلاش می کنید به آن ها متصل شوید. مثلا Googlebot یا Bingbot . برای استفاده از همه موتورهای جستجو از نماد ستاره (*) می توانید استفاده کنید.
در چند خط بعدی فایل ربات، دستور العمل هایی برای اجازه و یا عدم اجازه ایندکس بخش های مختلف سایت را به موتورهای جستجوگر می دهید. برای نمونه به کد زیر توجه کنید:
User-Agent: * Allow: /wp-content/uploads/ Disallow: /wp-content/plugins/ Disallow: /readme.html
بهینه سازی Robots.txt برای بهبود سئو
در راهنمای وب مستران، گوگل به وب مستران توصیه می کند که از robots.txt برای پنهان کردن محتواهای ضعیف سایت خود استفاده نکنند. اگر شما فکر می کنید که از robots.txt برای توقف ایندکس صفحاتی نظیر دسته بندی ها و سایر صفحات آرشیوی در گوگل استفاده کنید، باید گفت که راهکار غیر معقولانه ای را در پیش گرفته اید.
به یاد داشته باشید که هدف robots.txt دادن دستوراتی به ربات های جستجو است در مورد این که از محتویات به دست آمده از خزششان در سایت، چه کارهایی انجام دهند.
در وردپرس افزونه هایی وجود دارند که به شما اجازه می دهد متا تگ هایی که دوست ندارید در صفحات آرشیوی تان پیگیری و ایندکس شوند را اضافه کنید. البته ما به شما توصیه نمی کنیم که این کار را انجام دهید اما انتخاب با شما خواهد بود.
شما نیاز به اضافه کردن صفحاتی مانند صفحه ورود، صفحه عضویت و پیشخوان وردپرس به فایل robots.txt ندارید. زیرا، آن ها صفحاتی هستند که تگ های ایندکس شده به عنوان متا تگ توسط وردپرس را دارا نیستند.
توصیه می شود که اجازه دسترسی به فایل readme.html در robots.txt سایتتان را ندهید. این فایل می تواند توسط شخصی استفاده شود که تلاش می کند از فایل readme.html برای اجرای یک کوئری مخرب جهت قرار دادن در یک سایت وردپرس با استفاده از یک نسخه خاص، استفاده کند. پس از آن دیگر فایل readme.html نمی تواند تگ هایی را بپذیرد که شما را از حملات (هک) محافظت می کند.
شما همچنین می توانید دایرکتوری افزونه وردپرس خود را غیر فعال کنید. این یک استراتژی برای امنیت سایتتان و جلوگیری از حمله به افزونه های آسیب پذیر خاص می باشد.
اضافه کردن XML Sitemap به فایل Robots.txt
اگر شما از افزونه Yoast Seo یا افزونه های دیگری که نقشه XML سایتتان را می سازند، استفاده می کنید، آن ها به طور خودکار عبارات مربوط به نقشه سایت (sitemap) را به فایل robots.txt اضافه می کنند. اما اگر افزونه ای این امکان را نداشته باشد، لینکی را به نقشه های XML سایتتان نشان خواهد داد که می توانید به صورت دستی قطعه کدهای زیر را به فایل robots.txt اضافه کنید.
Sitemap: https://www.example.com/post-sitemap.xml Sitemap: https://www.example.com/page-sitemap.xml
یک فایل Robots.txt باید چگونه به نظر برسد؟
معمولا تعداد بسیار زیادی از وبلاگ ها از فایل های robots.txt بسیار ساده ای استفاده می کنند. البته محتویات آن ها وابستگی زیادی به نیازهای سایتشان دارد.
User-agent: * Disallow: Sitemap: https://www.example.com/post-sitemap.xml Sitemap: https://www.example.com/page-sitemap.xml
قطعه کد ساده بالا می گوید که همه ربات ها، همه صفحات سایت را ایندکس و برای نقشه XML سایت آماده کنند.
در زیر یک قطعه کد پیچیده تر دیگر فایل robots.txt را برای استفاده شما آورده ایم:
User-Agent: * Allow: /?display=wide Allow: /wp-content/uploads/ Disallow: /wp-content/plugins/ Disallow: /readme.html Disallow: /refer/ Sitemap: https://www.wpbeginner.com/post-sitemap.xml Sitemap: https://www.wpbeginner.com/page-sitemap.xml Sitemap: https://www.wpbeginner.com/deals-sitemap.xml Sitemap: https://www.wpbeginner.com/hosting-sitemap.xml
خب! این نوشته هم به پایان رسید. امیدواریم اطلاعات مفیدی در مورد فایل robots.txt و نحوه عملکرد آن کسب کرده باشید.
