فایل robots.txt چیه؟

robot

فایل robots.txt به موتورهای جستجو نشون می ده که اجازه دسترسی به چه قسمتهایی را دارند؟! یعنی شما اگر قسمتی از صفحات سایتتون را برای موتورهای جستجو و کاربران مناسب نمی بینید، باید در این فایل مشخص کنید که موتورهای جستجو به این بخش راه پیدا نکنند. البته با متاتگ NOINDEX و همچنین پسورد گذاری پوشه ها در فایل .htaccess هم میشه این کارو کرد!

فایل robots.txt چیه؟

تمامی موتورهای جستجو با مشاهده علامت * دیگه به پوشه هایی که شما مشخص کردید وارد نمیشن. البته شما میتونید این محدودیت را فقط برای یک یا چند روبوت جستجوگر بزارید. کد زیر نمونه ای از فایل robots.txt هستش:

فایل robots.txt چیه؟

فایل robots.txt چیه؟

در این فایل همه روبوتهای جستجوگر از دسترسی به پوشه ی privatefolder و صفحه privatefile.html منع شده اند. شما اگه در خط اول بجای * اسم روبوت مربوطه را بنویسید، اون روبوت از ورود منع میشه.

البته دوستانی که با برنامه نویسی آشنایی ندارند،بهتره که اصلا دست به این فایل نزارند و اون را ویرایش نکنند. دوستانی هم که نیاز به فایل روبوت خاصی دارند و میخواهند قسمتی را محدود کنند و به کمک نیاز دارند، بگن که تا کمکشون کنیم.

در زیر نمونه های آماده فایل روبوت برای بعضی از انواع سایت ها قرار داره که میتونید دانلود کنید و در سایت خودتون قرار بدید:

فایل robots.txt وردپرس

فایل robots.txt جوملا

فایل robots.txt اپن کارت

No votes yet.
Please wait...
  • بازدید: 2,517 بار
  • ۳۹ دیدگاه
امیر حیدری
دوست دارم مبانی بهینه سازی و سئو سایت را بصورت اصولی و به دور از هرگونه دروغ و بزرگنمایی به وبمسترها ارائه بدم...
۳۹ دیدگاه در "فایل robots.txt چیه؟"
  • مصطفي

    سلام ببخشید روم نمیشه بگم ولی
    فایل زیر را دانلود کنند و در قسمت روت سایتشون قرار بدند.

    روت سایت کجا هست

    • admin

      منظور پوشه اصلیه که فایل index یا home سایتتون در اونجا قرار داره

  • http://www.20dl.ir

    باسلام بر شما
    من سایت دانلود دارم این فایلو دانلود کنم مشکلی نداره اگه میشه برای سایت من به ادرس۲۰dl.ir
    یه فایل درست کنید ممنون میشم

    • admin

      سلام
      نه موردی نداره.ولی شما سیستمت وردپرسه و میتونی از متن فایل خود سایت استفاده کنی یعنی ۳eo.ir/robots.txt

  • محسن

    میشه یه آموزش ویرایش این فایل رو بهم بدید ممنون میشم

    با تشکر از محبت شما

    • admin

      چشم محسن جان.شما بفرمایید چیا لازمه تا توضیح بدم

  • محسن

    داش امیر در مورد اینکه چطوری اجازه دسترسی بدیم محدودیت ایجاد کنیم برای سئو چطوری استفاده کنیم و کلا یه آموزش جامع مثل آموزش های کاملت که هست

    • admin

      به روی چشم.سعی می کنم همین چند روزه همین نوشته را به روزرسانیش کنم

  • http://www.20dl.ir

    سلام دوست گرامی
    من همین فایلی که شما بالا معرفی کردی من گذاشتم توی سایت
    والان توی گوگل وبمستر قسمت Crawl errors
    جلوی Restricted by robots.txt
    نوشته ۲۵۸۸۶۰
    میخواستم بدونم این چیه ارور هست یا چیز دیگری راهنمایی کنید ممنون

    • admin

      سلام
      این مربوط میشه به اینکه از ایندکس یکسری فایل ها جلوگیری شده. چیز بدی نیست و برای یکسری فایل ها و فولدرها لازمه

      • http://www.20dl.ir

        باسلام واحترام بر شما
        اقا من این فایلو پاک کردم چون میخوام همه به همه مطالب دسترسی داشته باشن بدون محدودیت خواهش میکنم یه فایل رباط برام بساز که همه چیز ازاد باشه بدون هیچ محدودیتی ممنون میشم اگه بسازی خدانگهدار

        • admin

          سلام
          فایلی که تو نوشته هست برای همین کاره.همه چیز توش آزاده!

  • رسول

    سلامی دوباره و خسته نباشید به شما

    میشه یه نگاه به فایل ربوت من بندازید

    www,funfar.ir/robots.txt

    نظر شما چیه میشه یه فایل روبوت خوب بهم معرفی کنید تا ازش استفاده کنم

    • admin

      سلام و ممنون
      ببینید فایل روبوت برای هر سایتی متفاوته.ما الان سایت داریم که یکسری از صفحاتش از تو قالب فراخوانی میشه. پس نمیشه پوشه wp-includes را تو اون سایت محدود کرد
      ولی خوب یکسری چیزها عموما دسترسی بهشون بسته میشه.
      فایل خود سایت سئو را یک نگاهی بندازید

  • Reza

    سلام و خسته نباشید. مطالبتون بی نظیر و عالیه. یه سوال : واسه وبلاگ ها چی ؟ اونا که به روت دسترسی ندارن ؟ اصلا لازمه تغییری توش ایجاد کنند ؟ چون گوگل آنالیتیکس به من یه ارور در خصوص robot.txt میده.

    • admin

      سلام و ممنون بابات لطفتون
      نه خوب متاسفانه وبلاگ ها این امکان را ندارن ولی خوب کم کم سیستم های وبلاگ دهی هم دارن این امکان را میدن

  • محمدامین

    سلام من میخوام اگر میشه کمکم کنید تا یه فایل روبوت درست کنم.
    دو دامین دارم :vestel-dl.com و vestel-dl.mihanblog.com و نمیخوام که دامین میهن بلاگم ایندکس شه و میخوام همه ی ایندکسا و بازدیدا بره واسه دامنه دات کامم.
    بعد این از نظر سئو اشکالی نداره؟بعد یه وقت مشکل نشه واسه دامنه دات کامم؟اگر میشه برام بسازید.ممنون و سپاس فراوان امیر جون.

    • admin

      سلام
      حالا یه سوالی؟
      شما که وبلاگ هستید این فایل روبوت را کجا میخواهید بزارید؟

  • محمدامین

    راستی چون وبلاگه و هاست اختصاصی نیست بعد از ساختن فایل روبوت چطور ازش استفاده کنم؟

    • admin

      متاسفناه امکان استفادش تو وبلاگ ها فعلا وجود نداره جز بلاگر که این امکان را داده

    • فرزاد

      بجای دانلود فایل html روباتها کدی که گوگل آنالیستیک میده را در هدر وبلاگ میتونی بگذاری

  • مهدی

    تو فایل robots.txt سایت سئو sitemap رو از نوع xml.gz گذاشتید کدوم بهتره xml با xml.gz

    • امیر حیدری

      فرقی ندارن. هر دو مرود قبوله ولی تو روبوت تکست معموله اون را بنویسن

  • مجله اینترنتی EWK

    سلام یه سری برنامه هست که کل سایتو کپی میکنه استفاده از فایل مذکور چه عکس اعملی نسبت به این برنامه ها داره؟

    • امیر حیدری

      سلام
      منظورتون این برنامه هاییه که از خبرخوان استفاده می کنه؟
      بعد این چه ربطی به فایل روبوت داره؟

  • رسول

    یه سوالی برام پیش اومده بود تو فایل ربوت بعضی از ادرس ها با / تموم میشه بعضی ها نه
    مثل زیر

    بی /
    Disallow: /cgi-bin

    با /
    Disallow: /wp-admin/

    فرق این دوتا چیه و کدوم ادرس ها آخرش باید / باشته باشه کدوم ها نه ؟؟؟؟

    • امیر حیدری

      سلام
      کلا فولدرها با / بسته میشن که هم نشون داده بشه فولدره و هم اینکه هر چی داخلشه را شامل میشه
      البته این فقط برای رعایت یه ریتم هست و اصلا فرقی نمیاره

  • mohsen

    سلام
    این واسه وردپرسی ها
    اما نکته مهم رو دقت کنید
    در قسمتی که نقشه سایت هست اون دقیق بزتید وبا توجه به تنظیماتی که در مدیریت انجام دادید ادرس نقشه رو بزنید .به www خیلی توجه کنید.یعنی با اشتباه تون به راحتی سایت رو به فنا میدید

    ########################

    # All Bots
    User-agent: *
    Disallow: /cgi-bin
    Disallow: /wp-admin/
    Disallow: /wp-content/
    Disallow: /wp-includes/
    Disallow: /readme.html
    Disallow: /license.txt
    Disallow: /search/
    Disallow: /*?
    Disallow: /*.php$
    Disallow: /*.js$
    Disallow: /*.inc$
    Disallow: /*.css$
    Disallow: /*.gz$
    Disallow: /*.wmv$
    Disallow: /*.cgi$
    Disallow: /*.xhtml$
    Disallow: /*rurl=*
    Allow: /sitemap.xml$

    # Dugg Mirror
    User-agent: duggmirror
    Disallow: /

    # Google AdSense
    User-agent: Mediapartners-Google
    Disallow:
    Allow: /

    # Sitemap
    Sitemap: http://netkde.ir/sitemap.xml

    ########################

  • ali

    User-agent: Mediapartners-Google*
    Disallow:

    User-agent: *
    Disallow: /admin.php
    Disallow: /admin/
    Disallow: /db/
    Disallow: /images/
    Disallow: /includes/
    Disallow: /install/
    Disallow: /themes/
    Disallow: /blocks/
    Disallow: /modules/
    Disallow: /language/
    ———————————-
    سلام وقت بخیر داداش این روبات منه فک میکنم همش به روی موتورهای جستجو گر بسته باشه؟! واسه همین آمار سایت پایینه؟

    • امیر حیدری

      سلام
      نه فقط به نظر من پوشه image را بزار باز باشه.یعنی از تو کد حذف کن.وگرنه پوشه هایی که نباید ایندکس بهش را بسته و موردی نداره

  • hesam

    سلام متاسفانه نمیدونم ربات چیه که در بخش تنظیمات سایتم ازم میخواد؟

  • امیر

    ممنون

  • سوگند

    سلام
    ممنونم. عالی بود

  • حسین

    سلام فیل robots.txt من را اگر ممکنه زحمتش را بکشید ببینید بهینس یعنی خوبه افزایش سرعت ایندیکس داره برام؟

    • امیر حیدری

      سلام
      خوبه ولی کلا فایل روبوت ربط خاصی به افزایش سرعت ایندکس نداره!

  • حسین

    با سلام من یک مشکلی داشتم که اصلا صفحه های سایتم ایندیکس نمیشن http://www.tanhamusic.net/page/2/
    این نمونه صفحه های سایتم
    اگر ممکنه کمکم کنید دلایل و رفع این مشکل را بهم بگید ممنون میشوم با تشکر

    • امیر حیدری

      سلام
      این صفحه که زدید همون بهتره که ایندکس نشه چون صفحه ارزشمندی نیست
      ولی اگه مشکل مربوط به مطالبتون هم هست که اون دیگه خیلی بد میشه
      ولی همین مورد هم اگه میخواهید ایندکس بشه به احتمال زیاد تو تنظیمات افزونه های سئو زدید که ایندکس نشه و باید تیک مربوطه را بردارید تا ایندکس بشه

  • masterweb

    عالی بود…

  • بازتاب: جدیدترین نسخه حرفه ای افزونه سئو All In One SEO Pack Pro