سئو | آموزش سئو و بهینه سازی سایت

  • فایل robots.txt چیه؟

  • این فایل به موتورهای جستجو نشون می ده که اجازه دسترسی به چه قسمتهایی را دارند؟!

    .

    .

    robot

    یعنی شما اگر قسمتی از صفحات سایتتون را برای موتورهای جستجو و کاربران مناسب نمی بینید،باید در این فایل مشخص کنید که موتورهای جستجو به این بخش راه پیدا نکنند.البته با متاتگ NOINDEX و همچنین پسورد گذاری پوشه ها در فایل .htaccess هم میشه این کارو کرد!

    تمامی موتورهای جستجو با مشاهده علامت * دیگه به پوشه هایی که شما مشخص کردید وارد نمیشن.البته شما میتونید این محدودیت را فقط برای یک یا چند روبوت جستجوگر بزارید.کد زیر نمونه ای از فایل robots.txt هستش:

    .

    .

    robots.txt

    در این فایل همه روبوتهای جستجوگر از دسترسی به پوشه ی privatefolder و صفحه privatefile.html منع شده اند.شما اگه در خط اول بجای * اسم روبوت مربوطه را بنویسید،اون روبوت از ورود منع میشه.

    البته دوستانی که با برنامه نویسی آشنایی ندارند،لازم نیست این فایل را دستکاری کنند و میتونند فایل زیر را دانلود کنند و در قسمت روت سایتشون قرار بدند.

    robots.txt

    دوستانی هم که نیاز به فایل روبوت خاصی دارند و میخواهند قسمتی را محدود کنند و به کمک نیاز دارند،بگن که تا کمکشون کنم.

    Print Friendly
    No votes yet.
    Please wait...

    امیر حیدری

    دوست دارم مبانی بهینه سازی و سئو سایت را بصورت اصولی و به دور از هرگونه دروغ و بزرگنمایی به وبمسترها ارائه بدم...
    امیر حیدری

    ۳۷ ديدگاه

    1. مصطفي گفت:

      سلام ببخشید روم نمیشه بگم ولی
      فایل زیر را دانلود کنند و در قسمت روت سایتشون قرار بدند.

      روت سایت کجا هست

    2. باسلام بر شما
      من سایت دانلود دارم این فایلو دانلود کنم مشکلی نداره اگه میشه برای سایت من به ادرس۲۰dl.ir
      یه فایل درست کنید ممنون میشم

    3. محسن گفت:

      میشه یه آموزش ویرایش این فایل رو بهم بدید ممنون میشم

      با تشکر از محبت شما

    4. محسن گفت:

      داش امیر در مورد اینکه چطوری اجازه دسترسی بدیم محدودیت ایجاد کنیم برای سئو چطوری استفاده کنیم و کلا یه آموزش جامع مثل آموزش های کاملت که هست

    5. سلام دوست گرامی
      من همین فایلی که شما بالا معرفی کردی من گذاشتم توی سایت
      والان توی گوگل وبمستر قسمت Crawl errors
      جلوی Restricted by robots.txt
      نوشته ۲۵۸۸۶۰
      میخواستم بدونم این چیه ارور هست یا چیز دیگری راهنمایی کنید ممنون

    6. رسول گفت:

      سلامی دوباره و خسته نباشید به شما

      میشه یه نگاه به فایل ربوت من بندازید

      www,funfar.ir/robots.txt

      نظر شما چیه میشه یه فایل روبوت خوب بهم معرفی کنید تا ازش استفاده کنم

      • امیر حیدری admin گفت:

        سلام و ممنون
        ببینید فایل روبوت برای هر سایتی متفاوته.ما الان سایت داریم که یکسری از صفحاتش از تو قالب فراخوانی میشه. پس نمیشه پوشه wp-includes را تو اون سایت محدود کرد
        ولی خوب یکسری چیزها عموما دسترسی بهشون بسته میشه.
        فایل خود سایت سئو را یک نگاهی بندازید

    7. Reza گفت:

      سلام و خسته نباشید. مطالبتون بی نظیر و عالیه. یه سوال : واسه وبلاگ ها چی ؟ اونا که به روت دسترسی ندارن ؟ اصلا لازمه تغییری توش ایجاد کنند ؟ چون گوگل آنالیتیکس به من یه ارور در خصوص robot.txt میده.

      • امیر حیدری admin گفت:

        سلام و ممنون بابات لطفتون
        نه خوب متاسفانه وبلاگ ها این امکان را ندارن ولی خوب کم کم سیستم های وبلاگ دهی هم دارن این امکان را میدن

    8. سلام من میخوام اگر میشه کمکم کنید تا یه فایل روبوت درست کنم.
      دو دامین دارم :vestel-dl.com و vestel-dl.mihanblog.com و نمیخوام که دامین میهن بلاگم ایندکس شه و میخوام همه ی ایندکسا و بازدیدا بره واسه دامنه دات کامم.
      بعد این از نظر سئو اشکالی نداره؟بعد یه وقت مشکل نشه واسه دامنه دات کامم؟اگر میشه برام بسازید.ممنون و سپاس فراوان امیر جون.

    9. راستی چون وبلاگه و هاست اختصاصی نیست بعد از ساختن فایل روبوت چطور ازش استفاده کنم؟

    10. مهدی گفت:

      تو فایل robots.txt سایت سئو sitemap رو از نوع xml.gz گذاشتید کدوم بهتره xml با xml.gz

    11. سلام یه سری برنامه هست که کل سایتو کپی میکنه استفاده از فایل مذکور چه عکس اعملی نسبت به این برنامه ها داره؟

    12. رسول گفت:

      یه سوالی برام پیش اومده بود تو فایل ربوت بعضی از ادرس ها با / تموم میشه بعضی ها نه
      مثل زیر

      بی /
      Disallow: /cgi-bin

      با /
      Disallow: /wp-admin/

      فرق این دوتا چیه و کدوم ادرس ها آخرش باید / باشته باشه کدوم ها نه ؟؟؟؟

      • امیر حیدری امیر حیدری گفت:

        سلام
        کلا فولدرها با / بسته میشن که هم نشون داده بشه فولدره و هم اینکه هر چی داخلشه را شامل میشه
        البته این فقط برای رعایت یه ریتم هست و اصلا فرقی نمیاره

    13. mohsen گفت:

      سلام
      این واسه وردپرسی ها
      اما نکته مهم رو دقت کنید
      در قسمتی که نقشه سایت هست اون دقیق بزتید وبا توجه به تنظیماتی که در مدیریت انجام دادید ادرس نقشه رو بزنید .به www خیلی توجه کنید.یعنی با اشتباه تون به راحتی سایت رو به فنا میدید

      ########################

      # All Bots
      User-agent: *
      Disallow: /cgi-bin
      Disallow: /wp-admin/
      Disallow: /wp-content/
      Disallow: /wp-includes/
      Disallow: /readme.html
      Disallow: /license.txt
      Disallow: /search/
      Disallow: /*?
      Disallow: /*.php$
      Disallow: /*.js$
      Disallow: /*.inc$
      Disallow: /*.css$
      Disallow: /*.gz$
      Disallow: /*.wmv$
      Disallow: /*.cgi$
      Disallow: /*.xhtml$
      Disallow: /*rurl=*
      Allow: /sitemap.xml$

      # Dugg Mirror
      User-agent: duggmirror
      Disallow: /

      # Google AdSense
      User-agent: Mediapartners-Google
      Disallow:
      Allow: /

      # Sitemap
      Sitemap: http://netkde.ir/sitemap.xml

      ########################

    14. ali گفت:

      User-agent: Mediapartners-Google*
      Disallow:

      User-agent: *
      Disallow: /admin.php
      Disallow: /admin/
      Disallow: /db/
      Disallow: /images/
      Disallow: /includes/
      Disallow: /install/
      Disallow: /themes/
      Disallow: /blocks/
      Disallow: /modules/
      Disallow: /language/
      ———————————-
      سلام وقت بخیر داداش این روبات منه فک میکنم همش به روی موتورهای جستجو گر بسته باشه؟! واسه همین آمار سایت پایینه؟

      • امیر حیدری امیر حیدری گفت:

        سلام
        نه فقط به نظر من پوشه image را بزار باز باشه.یعنی از تو کد حذف کن.وگرنه پوشه هایی که نباید ایندکس بهش را بسته و موردی نداره

    15. سوگند گفت:

      سلام
      ممنونم. عالی بود

    16. حسین گفت:

      سلام فیل robots.txt من را اگر ممکنه زحمتش را بکشید ببینید بهینس یعنی خوبه افزایش سرعت ایندیکس داره برام؟

    17. حسین گفت:

      با سلام من یک مشکلی داشتم که اصلا صفحه های سایتم ایندیکس نمیشن http://www.tanhamusic.net/page/2/
      این نمونه صفحه های سایتم
      اگر ممکنه کمکم کنید دلایل و رفع این مشکل را بهم بگید ممنون میشوم با تشکر

      • امیر حیدری امیر حیدری گفت:

        سلام
        این صفحه که زدید همون بهتره که ایندکس نشه چون صفحه ارزشمندی نیست
        ولی اگه مشکل مربوط به مطالبتون هم هست که اون دیگه خیلی بد میشه
        ولی همین مورد هم اگه میخواهید ایندکس بشه به احتمال زیاد تو تنظیمات افزونه های سئو زدید که ایندکس نشه و باید تیک مربوطه را بردارید تا ایندکس بشه


    دیدگاه خود را بیان کنید.





    :wink: :-| :-x :twisted: :) 8-O :( :roll: :-P :oops: :-o :mrgreen: :lol: :idea: :-D :evil: :cry: 8) :arrow: :-? :?: :!:

    seo telegram
    seo instagram