فایل robots.txt چیه؟
این فایل به موتورهای جستجو نشون می ده که اجازه دسترسی به چه قسمتهایی را دارند؟!
.
.
یعنی شما اگر قسمتی از صفحات سایتتون را برای موتورهای جستجو و کاربران مناسب نمی بینید،باید در این فایل مشخص کنید که موتورهای جستجو به این بخش راه پیدا نکنند.البته با متاتگ NOINDEX و همچنین پسورد گذاری پوشه ها در فایل .htaccess هم میشه این کارو کرد!
تمامی موتورهای جستجو با مشاهده علامت * دیگه به پوشه هایی که شما مشخص کردید وارد نمیشن.البته شما میتونید این محدودیت را فقط برای یک یا چند روبوت جستجوگر بزارید.کد زیر نمونه ای از فایل robots.txt هستش:
.
.
در این فایل همه روبوتهای جستجوگر از دسترسی به پوشه ی privatefolder و صفحه privatefile.html منع شده اند.شما اگه در خط اول بجای * اسم روبوت مربوطه را بنویسید،اون روبوت از ورود منع میشه.
البته دوستانی که با برنامه نویسی آشنایی ندارند،لازم نیست این فایل را دستکاری کنند و میتونند فایل زیر را دانلود کنند و در قسمت روت سایتشون قرار بدند.
دوستانی هم که نیاز به فایل روبوت خاصی دارند و میخواهند قسمتی را محدود کنند و به کمک نیاز دارند،بگن که تا کمکشون کنم.
امیر حیدری
دوست دارم مبانی بهینه سازی سایت، سئو و افزایش پیج رنک گوگل را بصورت اصولی و به دور از هرگونه دروغ و بزرگنمایی به وبمسترها ارائه بدم...
دنبال کردن در:
سلام ببخشید روم نمیشه بگم ولی
فایل زیر را دانلود کنند و در قسمت روت سایتشون قرار بدند.
روت سایت کجا هست
منظور پوشه اصلیه که فایل index یا home سایتتون در اونجا قرار داره
باسلام بر شما
من سایت دانلود دارم این فایلو دانلود کنم مشکلی نداره اگه میشه برای سایت من به ادرس۲۰dl.ir
یه فایل درست کنید ممنون میشم
سلام
نه موردی نداره.ولی شما سیستمت وردپرسه و میتونی از متن فایل خود سایت استفاده کنی یعنی ۳eo.ir/robots.txt
میشه یه آموزش ویرایش این فایل رو بهم بدید ممنون میشم
با تشکر از محبت شما
چشم محسن جان.شما بفرمایید چیا لازمه تا توضیح بدم
داش امیر در مورد اینکه چطوری اجازه دسترسی بدیم محدودیت ایجاد کنیم برای سئو چطوری استفاده کنیم و کلا یه آموزش جامع مثل آموزش های کاملت که هست
به روی چشم.سعی می کنم همین چند روزه همین نوشته را به روزرسانیش کنم
سلام دوست گرامی
من همین فایلی که شما بالا معرفی کردی من گذاشتم توی سایت
والان توی گوگل وبمستر قسمت Crawl errors
جلوی Restricted by robots.txt
نوشته ۲۵۸۸۶۰
میخواستم بدونم این چیه ارور هست یا چیز دیگری راهنمایی کنید ممنون
سلام
این مربوط میشه به اینکه از ایندکس یکسری فایل ها جلوگیری شده. چیز بدی نیست و برای یکسری فایل ها و فولدرها لازمه
باسلام واحترام بر شما
اقا من این فایلو پاک کردم چون میخوام همه به همه مطالب دسترسی داشته باشن بدون محدودیت خواهش میکنم یه فایل رباط برام بساز که همه چیز ازاد باشه بدون هیچ محدودیتی ممنون میشم اگه بسازی خدانگهدار
سلام
فایلی که تو نوشته هست برای همین کاره.همه چیز توش آزاده!
Pingback: گوگل و سلامت سایت شما!
سلامی دوباره و خسته نباشید به شما
میشه یه نگاه به فایل ربوت من بندازید
www,funfar.ir/robots.txt
نظر شما چیه میشه یه فایل روبوت خوب بهم معرفی کنید تا ازش استفاده کنم
سلام و ممنون
ببینید فایل روبوت برای هر سایتی متفاوته.ما الان سایت داریم که یکسری از صفحاتش از تو قالب فراخوانی میشه. پس نمیشه پوشه wp-includes را تو اون سایت محدود کرد
ولی خوب یکسری چیزها عموما دسترسی بهشون بسته میشه.
فایل خود سایت سئو را یک نگاهی بندازید
سلام و خسته نباشید. مطالبتون بی نظیر و عالیه. یه سوال : واسه وبلاگ ها چی ؟ اونا که به روت دسترسی ندارن ؟ اصلا لازمه تغییری توش ایجاد کنند ؟ چون گوگل آنالیتیکس به من یه ارور در خصوص robot.txt میده.
Reza در آخرین نوشته سایتشون گفتن: آپدیت دائمی آنتی ویروس Eset Nod 32
سلام و ممنون بابات لطفتون
نه خوب متاسفانه وبلاگ ها این امکان را ندارن ولی خوب کم کم سیستم های وبلاگ دهی هم دارن این امکان را میدن
سلام من میخوام اگر میشه کمکم کنید تا یه فایل روبوت درست کنم.
دو دامین دارم :vestel-dl.com و vestel-dl.mihanblog.com و نمیخوام که دامین میهن بلاگم ایندکس شه و میخوام همه ی ایندکسا و بازدیدا بره واسه دامنه دات کامم.
بعد این از نظر سئو اشکالی نداره؟بعد یه وقت مشکل نشه واسه دامنه دات کامم؟اگر میشه برام بسازید.ممنون و سپاس فراوان امیر جون.
محمدامین در آخرین نوشته سایتشون گفتن: عکس برداری پیشرفته در اندروید با ProCapture 1.37.1
سلام
حالا یه سوالی؟
شما که وبلاگ هستید این فایل روبوت را کجا میخواهید بزارید؟
راستی چون وبلاگه و هاست اختصاصی نیست بعد از ساختن فایل روبوت چطور ازش استفاده کنم؟
محمدامین در آخرین نوشته سایتشون گفتن: عکس برداری پیشرفته در اندروید با ProCapture 1.37.1
متاسفناه امکان استفادش تو وبلاگ ها فعلا وجود نداره جز بلاگر که این امکان را داده
تو فایل robots.txt سایت سئو sitemap رو از نوع xml.gz گذاشتید کدوم بهتره xml با xml.gz
فرقی ندارن. هر دو مرود قبوله ولی تو روبوت تکست معموله اون را بنویسن