فایل robots.txt چیست؟

فایل robots.txt چیست؟

فایل robots.txt به موتورهای جستجو نشون می ده که اجازه دسترسی به چه قسمتهایی را دارند؟! یعنی شما اگر قسمتی از صفحات سایتتون را برای موتورهای جستجو و کاربران مناسب نمی بینید، باید در این فایل مشخص کنید که موتورهای جستجو به این بخش راه پیدا نکنند. البته با متاتگ NOINDEX و همچنین پسورد گذاری پوشه ها در فایل .htaccess هم میشه این کارو کرد!

تمامی موتورهای جستجو با مشاهده علامت * دیگه به پوشه هایی که شما مشخص کردید وارد نمیشن. البته شما میتونید این محدودیت را فقط برای یک یا چند روبوت جستجوگر بزارید. کد زیر نمونه ای از فایل robots.txt هستش:

فایل robots.txt چیست؟

در این فایل همه روبوتهای جستجوگر از دسترسی به پوشه ی privatefolder و صفحه privatefile.html منع شده اند. شما اگه در خط اول بجای * اسم روبوت مربوطه را بنویسید، اون روبوت از ورود منع میشه.

البته دوستانی که با برنامه نویسی آشنایی ندارند،بهتره که اصلا دست به این فایل نزارند و اون را ویرایش نکنند. دوستانی هم که نیاز به فایل روبوت خاصی دارند و میخواهند قسمتی را محدود کنند و به کمک نیاز دارند، بگن که تا کمکشون کنیم.

در زیر نمونه های آماده فایل روبوت برای بعضی از انواع سایت ها قرار داره که میتونید دانلود کنید و در سایت خودتون قرار بدید:

فایل robots.txt وردپرس

فایل robots.txt جوملا

فایل robots.txt اپن کارت

  • تاریخ انتشار: 3 دی 1389
  • 44 دیدگاه

44 دیدگاه در "فایل robots.txt چیست؟"
  • مصطفي

    سلام ببخشيد روم نميشه بگم ولي
    فایل زیر را دانلود کنند و در قسمت روت سایتشون قرار بدند.

    روت سايت کجا هست

    • admin

      منظور پوشه اصلیه که فایل index یا home سایتتون در اونجا قرار داره

  • http://www.20dl.ir

    باسلام بر شما
    من سايت دانلود دارم اين فايلو دانلود كنم مشكلي نداره اگه ميشه براي سايت من به ادرس20dl.ir
    يه فايل درست كنيد ممنون ميشم

    • admin

      سلام
      نه موردی نداره.ولی شما سیستمت وردپرسه و میتونی از متن فایل خود سایت استفاده کنی یعنی 3eo.ir/robots.txt

  • محسن

    میشه یه آموزش ویرایش این فایل رو بهم بدید ممنون میشم

    با تشکر از محبت شما

    • admin

      چشم محسن جان.شما بفرمایید چیا لازمه تا توضیح بدم

  • محسن

    داش امیر در مورد اینکه چطوری اجازه دسترسی بدیم محدودیت ایجاد کنیم برای سئو چطوری استفاده کنیم و کلا یه آموزش جامع مثل آموزش های کاملت که هست

    • admin

      به روی چشم.سعی می کنم همین چند روزه همین نوشته را به روزرسانیش کنم

  • http://www.20dl.ir

    سلام دوست گرامي
    من همين فايلي كه شما بالا معرفي كردي من گذاشتم توي سايت
    والان توي گوگل وبمستر قسمت Crawl errors
    جلوي Restricted by robots.txt
    نوشته 258860
    ميخواستم بدونم اين چيه ارور هست يا چيز ديگري راهنمايي كنيد ممنون

    • admin

      سلام
      این مربوط میشه به اینکه از ایندکس یکسری فایل ها جلوگیری شده. چیز بدی نیست و برای یکسری فایل ها و فولدرها لازمه

      • http://www.20dl.ir

        باسلام واحترام بر شما
        اقا من اين فايلو پاك كردم چون ميخوام همه به همه مطالب دسترسي داشته باشن بدون محدوديت خواهش ميكنم يه فايل رباط برام بساز كه همه چيز ازاد باشه بدون هيچ محدوديتي ممنون ميشم اگه بسازي خدانگهدار

        • admin

          سلام
          فایلی که تو نوشته هست برای همین کاره.همه چیز توش آزاده!

  • رسول

    سلامی دوباره و خسته نباشید به شما

    میشه یه نگاه به فایل ربوت من بندازید

    www,funfar.ir/robots.txt

    نظر شما چیه میشه یه فایل روبوت خوب بهم معرفی کنید تا ازش استفاده کنم

    • admin

      سلام و ممنون
      ببینید فایل روبوت برای هر سایتی متفاوته.ما الان سایت داریم که یکسری از صفحاتش از تو قالب فراخوانی میشه. پس نمیشه پوشه wp-includes را تو اون سایت محدود کرد
      ولی خوب یکسری چیزها عموما دسترسی بهشون بسته میشه.
      فایل خود سایت سئو را یک نگاهی بندازید

  • Reza

    سلام و خسته نباشید. مطالبتون بی نظیر و عالیه. یه سوال : واسه وبلاگ ها چی ؟ اونا که به روت دسترسی ندارن ؟ اصلا لازمه تغییری توش ایجاد کنند ؟ چون گوگل آنالیتیکس به من یه ارور در خصوص robot.txt میده.

    • admin

      سلام و ممنون بابات لطفتون
      نه خوب متاسفانه وبلاگ ها این امکان را ندارن ولی خوب کم کم سیستم های وبلاگ دهی هم دارن این امکان را میدن

  • محمدامین

    سلام من میخوام اگر میشه کمکم کنید تا یه فایل روبوت درست کنم.
    دو دامین دارم :vestel-dl.com و vestel-dl.mihanblog.com و نمیخوام که دامین میهن بلاگم ایندکس شه و میخوام همه ی ایندکسا و بازدیدا بره واسه دامنه دات کامم.
    بعد این از نظر سئو اشکالی نداره؟بعد یه وقت مشکل نشه واسه دامنه دات کامم؟اگر میشه برام بسازید.ممنون و سپاس فراوان امیر جون.

    • admin

      سلام
      حالا یه سوالی؟
      شما که وبلاگ هستید این فایل روبوت را کجا میخواهید بزارید؟

  • محمدامین

    راستی چون وبلاگه و هاست اختصاصی نیست بعد از ساختن فایل روبوت چطور ازش استفاده کنم؟

    • admin

      متاسفناه امکان استفادش تو وبلاگ ها فعلا وجود نداره جز بلاگر که این امکان را داده

    • فرزاد

      بجای دانلود فایل html روباتها کدی که گوگل آنالیستیک میده را در هدر وبلاگ میتونی بگذاری

  • مهدی

    تو فایل robots.txt سایت سئو sitemap رو از نوع xml.gz گذاشتید کدوم بهتره xml با xml.gz

    • امیر حیدری

      فرقی ندارن. هر دو مرود قبوله ولی تو روبوت تکست معموله اون را بنویسن

  • مجله اینترنتی EWK

    سلام یه سری برنامه هست که کل سایتو کپی میکنه استفاده از فایل مذکور چه عکس اعملی نسبت به این برنامه ها داره؟

    • امیر حیدری

      سلام
      منظورتون این برنامه هاییه که از خبرخوان استفاده می کنه؟
      بعد این چه ربطی به فایل روبوت داره؟

  • رسول

    یه سوالی برام پیش اومده بود تو فایل ربوت بعضی از ادرس ها با / تموم میشه بعضی ها نه
    مثل زیر

    بی /
    Disallow: /cgi-bin

    با /
    Disallow: /wp-admin/

    فرق این دوتا چیه و کدوم ادرس ها آخرش باید / باشته باشه کدوم ها نه ؟؟؟؟

    • امیر حیدری

      سلام
      کلا فولدرها با / بسته میشن که هم نشون داده بشه فولدره و هم اینکه هر چی داخلشه را شامل میشه
      البته این فقط برای رعایت یه ریتم هست و اصلا فرقی نمیاره

  • mohsen

    سلام
    این واسه وردپرسی ها
    اما نکته مهم رو دقت کنید
    در قسمتی که نقشه سایت هست اون دقیق بزتید وبا توجه به تنظیماتی که در مدیریت انجام دادید ادرس نقشه رو بزنید .به www خیلی توجه کنید.یعنی با اشتباه تون به راحتی سایت رو به فنا میدید

    ########################

    # All Bots
    User-agent: *
    Disallow: /cgi-bin
    Disallow: /wp-admin/
    Disallow: /wp-content/
    Disallow: /wp-includes/
    Disallow: /readme.html
    Disallow: /license.txt
    Disallow: /search/
    Disallow: /*?
    Disallow: /*.php$
    Disallow: /*.js$
    Disallow: /*.inc$
    Disallow: /*.css$
    Disallow: /*.gz$
    Disallow: /*.wmv$
    Disallow: /*.cgi$
    Disallow: /*.xhtml$
    Disallow: /*rurl=*
    Allow: /sitemap.xml$

    # Dugg Mirror
    User-agent: duggmirror
    Disallow: /

    # Google AdSense
    User-agent: Mediapartners-Google
    Disallow:
    Allow: /

    # Sitemap
    Sitemap: http://netkde.ir/sitemap.xml

    ########################

  • ali

    User-agent: Mediapartners-Google*
    Disallow:

    User-agent: *
    Disallow: /admin.php
    Disallow: /admin/
    Disallow: /db/
    Disallow: /images/
    Disallow: /includes/
    Disallow: /install/
    Disallow: /themes/
    Disallow: /blocks/
    Disallow: /modules/
    Disallow: /language/
    ———————————-
    سلام وقت بخیر داداش این روبات منه فک میکنم همش به روی موتورهای جستجو گر بسته باشه؟! واسه همین آمار سایت پایینه؟

    • امیر حیدری

      سلام
      نه فقط به نظر من پوشه image را بزار باز باشه.یعنی از تو کد حذف کن.وگرنه پوشه هایی که نباید ایندکس بهش را بسته و موردی نداره

  • hesam

    سلام متاسفانه نمیدونم ربات چیه که در بخش تنظیمات سایتم ازم میخواد؟

  • امیر

    ممنون

  • سوگند

    سلام
    ممنونم. عالی بود

  • حسین

    سلام فیل robots.txt من را اگر ممکنه زحمتش را بکشید ببینید بهینس یعنی خوبه افزایش سرعت ایندیکس داره برام؟

    • امیر حیدری

      سلام
      خوبه ولی کلا فایل روبوت ربط خاصی به افزایش سرعت ایندکس نداره!

  • حسین

    با سلام من یک مشکلی داشتم که اصلا صفحه های سایتم ایندیکس نمیشن http://www.tanhamusic.net/page/2/
    این نمونه صفحه های سایتم
    اگر ممکنه کمکم کنید دلایل و رفع این مشکل را بهم بگید ممنون میشوم با تشکر

    • امیر حیدری

      سلام
      این صفحه که زدید همون بهتره که ایندکس نشه چون صفحه ارزشمندی نیست
      ولی اگه مشکل مربوط به مطالبتون هم هست که اون دیگه خیلی بد میشه
      ولی همین مورد هم اگه میخواهید ایندکس بشه به احتمال زیاد تو تنظیمات افزونه های سئو زدید که ایندکس نشه و باید تیک مربوطه را بردارید تا ایندکس بشه

  • masterweb

    عالی بود…

  • بازتاب: جدیدترین نسخه حرفه ای افزونه سئو All In One SEO Pack Pro

  • بازتاب: دانلود رایگان نرم افزار ساخت متا تگ

  • مجید فرد

    سلام، سایت رو معرفی کردم به گوگل ولی بعد از 2 روز این پیام برام ارسال شده
    Indexed, though blocked by robots.txt
    اصلا وب سایت در گوگل سرچ نمیشه، برای رفع این مشکل منو راهنمایی کنید باتشکر…

    • بنی طبا

      سلام . دوست عزیز خوب طبق این پیام و اینکه میگید ایندکس نشده که مشخصه فایل روبوت ایراد داره و دسترسی روبوت ها را احتمالا بستید

  • علی فاتحی

    سلام
    ممنون
    برای ورژن های مختلف اپن کارت فرقی نمیکنه؟

    • بنی طبا

      سلام. ممکن هست که با اضافه شدن یا تغییر نام پوشه ها نیاز به تغییر باشه.