موضوع: سوال در مورد robots.txt

آموزش نوشتن robots.txt ابتدایی تا پیشرفته

نوشته اصلی توسط hamid_shahrsaz

سلام دوستان.
این فایل کارش چی هستش؟
برای هر ساب دامین باید یکی جدا داشته باشیم؟یعنی من الان ساب دامین آلود سنتر هم دارم توی اون هم باید robots.txt باشه؟
الان توی زیر دامنه من برای انجمن 2 تا هستش یکی با حروف بزرگ و یکی با حروف کوچیک.فری دارن با هم؟
در مورد ادیتش باید چیگار کنم؟
ممنون

حتما درست کنید
باعث میشه bot ها جستجوگر ها جاهای اضافه نرن
نمونه:

کد:

User-agent: *
Disallow: /printthreadDisallow: /send messageDisallow: /registerDisallow: /loginDisallow: /new replyDisallow: /subscriptionDisallow: /privateDisallow: /miscDisallow: /show postDisallow: /reportDisallow: /new threadDisallow: /calendarDisallow: /pollDisallow: /linksDisallow: /arcadeDisallow: /searchDisallow: /FAQDisallow: /onlineDisallow: /vb shout Disallow: /calendar.phpDisallow: /editpost.phpDisallow: /member.phpDisallow: /memberlist.phpDisallow: /misc.phpDisallow: /newreply.phpDisallow: /newthread.phpDisallow: /printthread.phpDisallow: /private.phpDisallow: /register.phpDisallow: /report.phpDisallow: /search.phpDisallow: /showgroups.phpDisallow: /usercp.phpDisallow: /impressum.phpDisallow: /admincp/Disallow: /modcp/Disallow: /online.phpDisallow: /subscription.phpDisallow: /sendtofriend.phpDisallow: /threadrate.phpDisallow: /poll.phpDisallow: /attachment.phpDisallow: /avatar.phpDisallow: /faq.phpDisallow: /usercp.phpDisallow: /profile.php Disallow: http://www.webgozar.com/counter/stats.aspx?code=Disallow: http://www.persianstat.com/Results.aspx?id=&mode=1Disallow: /online.phpDisallow: /cv_rss_feeds.phpDisallow: /showgroups.phpDisallow: /admincpDisallow: /modcpDisallow: /usercp.phpDisallow: /calendar.phpDisallow: /search.phpDisallow: /members/albums.htmlDisallow: /clientscriptDisallow: /cpstylesDisallow: /customavatarsDisallow: /customgroupiconsDisallow: /customprofilepicsDisallow: /htaccessDisallow: /imagesDisallow: /includesDisallow: /signaturepicsDisallow: /infobar.cssDisallow: /login.phpDisallow: /ajax.phpDisallow: /attachment.phpDisallow: /calendar.phpDisallow: /cron.phpDisallow: /editpost.phpDisallow: /global.phpDisallow: /image.phpDisallow: /inlinemod.phpDisallow: /joinrequests.phpDisallow: /login.phpDisallow: /member.phpDisallow: /memberlist.phpDisallow: /misc.phpDisallow: /moderator.phpDisallow: /newattachment.phpDisallow: /newreply.phpDisallow: /newthread.phpDisallow: /online.phpDisallow: /poll.phpDisallow: /postings.phpDisallow: /printthread.phpDisallow: /profile.phpDisallow: /register.phpDisallow: /report.phpDisallow: /reputation.phpDisallow: /search.phpDisallow: /sendmessage.phpDisallow: /showgroups.phpDisallow: /subscription.phpDisallow: /threadrate.phpDisallow: /usercp.phpDisallow: /usernote.phpDisallow: /arcade.phpDisallow: /ajax.phpDisallow: /attachment.phpDisallow: /calendar.phpDisallow: /cron.phpDisallow: /editpost.phpDisallow: /image.phpDisallow: /inlinemod.phpDisallow: /joinrequests.phpDisallow: /login.phpDisallow: /member.phpDisallow: /memberlist.phpDisallow: /misc.phpDisallow: /moderator.phpDisallow: /newattachment.phpDisallow: /newreply.phpDisallow: /newthread.phpDisallow: /online.phpDisallow: /poll.phpDisallow: /postings.phpDisallow: /printthread.phpDisallow: /profile.phpDisallow: /register.phpDisallow: /report.phpDisallow: /reputation.phpDisallow: /search.phpDisallow: /sendmessage.phpDisallow: /showgroups.phpDisallow: /subscription.phpDisallow: /threadrate.phpDisallow: /usercp.phpDisallow: /usernote.php Disallow: /clientscript/Disallow: /includes/Disallow: /install/Disallow: /cron.phpDisallow: /inlinemod.phpDisallow: /joinrequests.phpDisallow: /calendar.phpDisallow: /editpost.phpDisallow: /login.phpDisallow: /member.phpDisallow: /memberlist.phpDisallow: /misc.phpDisallow: /moderator.phpDisallow: /newreply.phpDisallow: /newthread.phpDisallow: /printthread.phpDisallow: /register.phpDisallow: /report.phpDisallow: /search.phpDisallow: /showgroups.phpDisallow: /usercp.phpDisallow: /impressum.phpDisallow: /admincp/Disallow: /modcp/Disallow: /online.phpDisallow: /subscription.phpDisallow: /sendtofriend.phpDisallow: /sendmessage.phpDisallow: /spiders.phpDisallow: /subscription.phpDisallow: /threadrate.phpDisallow: /poll.phpDisallow: /attachment.phpDisallow: /avatar.phpDisallow: /usercp.phpDisallow: /usernote.phpDisallow: /profile.phpDisallow: /disclaimer.phpDisallow: /billspaypal.phpDisallow: /privacy.htmlDisallow: /customavatars/Disallow: /xmlrpc.phpDisallow: /cgi-bin/  # BEGIN XML-SITEMAP-PLUGIN Sitemap: http://site/sitemap_index.xml.gz # END XML-SITEMAP-PLUGIN

نوشته اصلی توسط hamid_shahrsaz

فقط کارش این هست که ربات هار محدود میکنه؟

بله!

نوشته اصلی توسط hamid_shahrsaz

خوب چه بخشهایی لازمه که توسط ربات ها بررسی نشه؟چه لزومی داره این کار؟

ایندکس کردن صفحات غیر ضروری مثل Calendar که اگه Diss allow نکنیدش، به تعداد ماه ها و روزهای سال میلادی ایندکس میشه توی گوگل و تاثیر منفی خواهد داشت.

نوشته اصلی توسط hamid_shahrsaz

خوب چه بخشهایی لازمه که توسط ربات ها بررسی نشه؟چه لزومی داره این کار؟

الله

ربات های گوگل و اسپایدرهای دیگه زمان خاصی رو توی انجمن شما سپری میکنن برای ایندکس کردن لینکاهتون . پس بهتره این زمان صرف لینکهایی بشه که ارزشش رو دارن و مفید هستن برای شما
ایندکس کردن لینک پروفایل کاربرا یا لینک هایی مثه ثبت نام و ادمین سی پی و ... قطعا هیچ ارزشی نداره
این فایل باعث میشه ربات ها مستقیم سراغ لینکهای اصلی و با ارزش سایت شما برن پس وجود یک فایل robots.txt خوب میتونه کمک بزرگی به پیشرفت انجمن شما داشته باشه .

برای اینکار از لینک زیر استفاده کن
آموزش نوشتن robots.txt ابتدایی تا پیشرفته