فایل robots.txt چیست؟
فایل robots.txt به موتورهای جستجو نشون می ده که اجازه دسترسی به چه قسمتهایی را دارند؟! یعنی شما اگر قسمتی از صفحات سایتتون را برای موتورهای جستجو و کاربران مناسب نمی بینید، باید در این فایل مشخص کنید که موتورهای جستجو به این بخش راه پیدا نکنند. البته با متاتگ NOINDEX و همچنین پسورد گذاری پوشه ها در فایل .htaccess هم میشه این کارو کرد!
تمامی موتورهای جستجو با مشاهده علامت * دیگه به پوشه هایی که شما مشخص کردید وارد نمیشن. البته شما میتونید این محدودیت را فقط برای یک یا چند روبوت جستجوگر بزارید. کد زیر نمونه ای از فایل robots.txt هستش:
در این فایل همه روبوتهای جستجوگر از دسترسی به پوشه ی privatefolder و صفحه privatefile.html منع شده اند. شما اگه در خط اول بجای * اسم روبوت مربوطه را بنویسید، اون روبوت از ورود منع میشه.
البته دوستانی که با برنامه نویسی آشنایی ندارند،بهتره که اصلا دست به این فایل نزارند و اون را ویرایش نکنند. دوستانی هم که نیاز به فایل روبوت خاصی دارند و میخواهند قسمتی را محدود کنند و به کمک نیاز دارند، بگن که تا کمکشون کنیم.
در زیر نمونه های آماده فایل روبوت برای بعضی از انواع سایت ها قرار داره که میتونید دانلود کنید و در سایت خودتون قرار بدید:
- تاریخ انتشار: 3 دی 1389
- 44 دیدگاه
سلام ببخشيد روم نميشه بگم ولي
فایل زیر را دانلود کنند و در قسمت روت سایتشون قرار بدند.
روت سايت کجا هست
منظور پوشه اصلیه که فایل index یا home سایتتون در اونجا قرار داره
باسلام بر شما
من سايت دانلود دارم اين فايلو دانلود كنم مشكلي نداره اگه ميشه براي سايت من به ادرس20dl.ir
يه فايل درست كنيد ممنون ميشم
سلام
نه موردی نداره.ولی شما سیستمت وردپرسه و میتونی از متن فایل خود سایت استفاده کنی یعنی 3eo.ir/robots.txt
میشه یه آموزش ویرایش این فایل رو بهم بدید ممنون میشم
با تشکر از محبت شما
چشم محسن جان.شما بفرمایید چیا لازمه تا توضیح بدم
داش امیر در مورد اینکه چطوری اجازه دسترسی بدیم محدودیت ایجاد کنیم برای سئو چطوری استفاده کنیم و کلا یه آموزش جامع مثل آموزش های کاملت که هست
به روی چشم.سعی می کنم همین چند روزه همین نوشته را به روزرسانیش کنم
سلام دوست گرامي
من همين فايلي كه شما بالا معرفي كردي من گذاشتم توي سايت
والان توي گوگل وبمستر قسمت Crawl errors
جلوي Restricted by robots.txt
نوشته 258860
ميخواستم بدونم اين چيه ارور هست يا چيز ديگري راهنمايي كنيد ممنون
سلام
این مربوط میشه به اینکه از ایندکس یکسری فایل ها جلوگیری شده. چیز بدی نیست و برای یکسری فایل ها و فولدرها لازمه
باسلام واحترام بر شما
اقا من اين فايلو پاك كردم چون ميخوام همه به همه مطالب دسترسي داشته باشن بدون محدوديت خواهش ميكنم يه فايل رباط برام بساز كه همه چيز ازاد باشه بدون هيچ محدوديتي ممنون ميشم اگه بسازي خدانگهدار
سلام
فایلی که تو نوشته هست برای همین کاره.همه چیز توش آزاده!
سلامی دوباره و خسته نباشید به شما
میشه یه نگاه به فایل ربوت من بندازید
www,funfar.ir/robots.txt
نظر شما چیه میشه یه فایل روبوت خوب بهم معرفی کنید تا ازش استفاده کنم
سلام و ممنون
ببینید فایل روبوت برای هر سایتی متفاوته.ما الان سایت داریم که یکسری از صفحاتش از تو قالب فراخوانی میشه. پس نمیشه پوشه wp-includes را تو اون سایت محدود کرد
ولی خوب یکسری چیزها عموما دسترسی بهشون بسته میشه.
فایل خود سایت سئو را یک نگاهی بندازید
سلام و خسته نباشید. مطالبتون بی نظیر و عالیه. یه سوال : واسه وبلاگ ها چی ؟ اونا که به روت دسترسی ندارن ؟ اصلا لازمه تغییری توش ایجاد کنند ؟ چون گوگل آنالیتیکس به من یه ارور در خصوص robot.txt میده.
سلام و ممنون بابات لطفتون
نه خوب متاسفانه وبلاگ ها این امکان را ندارن ولی خوب کم کم سیستم های وبلاگ دهی هم دارن این امکان را میدن
سلام من میخوام اگر میشه کمکم کنید تا یه فایل روبوت درست کنم.
دو دامین دارم :vestel-dl.com و vestel-dl.mihanblog.com و نمیخوام که دامین میهن بلاگم ایندکس شه و میخوام همه ی ایندکسا و بازدیدا بره واسه دامنه دات کامم.
بعد این از نظر سئو اشکالی نداره؟بعد یه وقت مشکل نشه واسه دامنه دات کامم؟اگر میشه برام بسازید.ممنون و سپاس فراوان امیر جون.
سلام
حالا یه سوالی؟
شما که وبلاگ هستید این فایل روبوت را کجا میخواهید بزارید؟
راستی چون وبلاگه و هاست اختصاصی نیست بعد از ساختن فایل روبوت چطور ازش استفاده کنم؟
متاسفناه امکان استفادش تو وبلاگ ها فعلا وجود نداره جز بلاگر که این امکان را داده
بجای دانلود فایل html روباتها کدی که گوگل آنالیستیک میده را در هدر وبلاگ میتونی بگذاری
تو فایل robots.txt سایت سئو sitemap رو از نوع xml.gz گذاشتید کدوم بهتره xml با xml.gz
فرقی ندارن. هر دو مرود قبوله ولی تو روبوت تکست معموله اون را بنویسن
سلام یه سری برنامه هست که کل سایتو کپی میکنه استفاده از فایل مذکور چه عکس اعملی نسبت به این برنامه ها داره؟
سلام
منظورتون این برنامه هاییه که از خبرخوان استفاده می کنه؟
بعد این چه ربطی به فایل روبوت داره؟
یه سوالی برام پیش اومده بود تو فایل ربوت بعضی از ادرس ها با / تموم میشه بعضی ها نه
مثل زیر
بی /
Disallow: /cgi-bin
با /
Disallow: /wp-admin/
فرق این دوتا چیه و کدوم ادرس ها آخرش باید / باشته باشه کدوم ها نه ؟؟؟؟
سلام
کلا فولدرها با / بسته میشن که هم نشون داده بشه فولدره و هم اینکه هر چی داخلشه را شامل میشه
البته این فقط برای رعایت یه ریتم هست و اصلا فرقی نمیاره
سلام
این واسه وردپرسی ها
اما نکته مهم رو دقت کنید
در قسمتی که نقشه سایت هست اون دقیق بزتید وبا توجه به تنظیماتی که در مدیریت انجام دادید ادرس نقشه رو بزنید .به www خیلی توجه کنید.یعنی با اشتباه تون به راحتی سایت رو به فنا میدید
########################
# All Bots
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /readme.html
Disallow: /license.txt
Disallow: /search/
Disallow: /*?
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.gz$
Disallow: /*.wmv$
Disallow: /*.cgi$
Disallow: /*.xhtml$
Disallow: /*rurl=*
Allow: /sitemap.xml$
# Dugg Mirror
User-agent: duggmirror
Disallow: /
# Google AdSense
User-agent: Mediapartners-Google
Disallow:
Allow: /
# Sitemap
Sitemap: http://netkde.ir/sitemap.xml
########################
User-agent: Mediapartners-Google*
Disallow:
User-agent: *
Disallow: /admin.php
Disallow: /admin/
Disallow: /db/
Disallow: /images/
Disallow: /includes/
Disallow: /install/
Disallow: /themes/
Disallow: /blocks/
Disallow: /modules/
Disallow: /language/
———————————-
سلام وقت بخیر داداش این روبات منه فک میکنم همش به روی موتورهای جستجو گر بسته باشه؟! واسه همین آمار سایت پایینه؟
سلام
نه فقط به نظر من پوشه image را بزار باز باشه.یعنی از تو کد حذف کن.وگرنه پوشه هایی که نباید ایندکس بهش را بسته و موردی نداره
سلام متاسفانه نمیدونم ربات چیه که در بخش تنظیمات سایتم ازم میخواد؟
ممنون
سلام
ممنونم. عالی بود
سلام فیل robots.txt من را اگر ممکنه زحمتش را بکشید ببینید بهینس یعنی خوبه افزایش سرعت ایندیکس داره برام؟
سلام
خوبه ولی کلا فایل روبوت ربط خاصی به افزایش سرعت ایندکس نداره!
با سلام من یک مشکلی داشتم که اصلا صفحه های سایتم ایندیکس نمیشن http://www.tanhamusic.net/page/2/
این نمونه صفحه های سایتم
اگر ممکنه کمکم کنید دلایل و رفع این مشکل را بهم بگید ممنون میشوم با تشکر
سلام
این صفحه که زدید همون بهتره که ایندکس نشه چون صفحه ارزشمندی نیست
ولی اگه مشکل مربوط به مطالبتون هم هست که اون دیگه خیلی بد میشه
ولی همین مورد هم اگه میخواهید ایندکس بشه به احتمال زیاد تو تنظیمات افزونه های سئو زدید که ایندکس نشه و باید تیک مربوطه را بردارید تا ایندکس بشه
عالی بود…
بازتاب: جدیدترین نسخه حرفه ای افزونه سئو All In One SEO Pack Pro
بازتاب: دانلود رایگان نرم افزار ساخت متا تگ
سلام، سایت رو معرفی کردم به گوگل ولی بعد از 2 روز این پیام برام ارسال شده
Indexed, though blocked by robots.txt
اصلا وب سایت در گوگل سرچ نمیشه، برای رفع این مشکل منو راهنمایی کنید باتشکر…
سلام . دوست عزیز خوب طبق این پیام و اینکه میگید ایندکس نشده که مشخصه فایل روبوت ایراد داره و دسترسی روبوت ها را احتمالا بستید
سلام
ممنون
برای ورژن های مختلف اپن کارت فرقی نمیکنه؟
سلام. ممکن هست که با اضافه شدن یا تغییر نام پوشه ها نیاز به تغییر باشه.