گیفت کارت آیتونز
صفحه 1 از 2 12 آخرینآخرین
نمایش نتایج: از 1 به 10 از 13

موضوع: فایل robot.txt چیست و چرا باید از آن استفاده کرد؟

  1. Top | #1
    کاربر سایت

    تاریخ عضویت
    Sep 2011
    ورژن ویبولتین
    5
    نوشته ها
    5,336
    مورد پسند
    4,795 بار
    اطلاعات
    Windows XP Firefox 13.0.1
    میزان امتیاز
    647

    پیش فرض فایل robot.txt چیست و چرا باید از آن استفاده کرد؟

    موتورهای جستجو همانند گوگل ، یاهو و بینگ مایکروسافت برای برای یافتن و ایندکس کردن صفحات مختلف وب و سایت های موجود از روبات های جستجو که به spider , robot و یا crawler معروف هستنداستفاده می کننید . این روبوت ها با پیمایش خودکار در صفحات وب اطلاعات مربوط به صفحات رو بدست میارند و اونها رو به موتور جستجوی مربوطه ارسال میکنند . معمولا بر اساس اینکه یک سایت چند مدت به چند مدت آپدیت میشه تعداد دفعاتی که این روبات های جستجوگر در روز به سایت مراجعه می کنند متفاوته .
    صفحات موجود در سایتهای مختلف از لحاظ امنیتی و درجه حساسیت متفاوت هستند و شاید شما دوست نداشته باشید بعضی از صفحات (مثل صفحات مدیریتی و ادمین سایت) در موتورهای جستجو ایندکس بشه و آدرسش در این موتورها در اختیار عموم باشه . برای اینکه به موتورهای جستجو بگید چه صفحات یا فولدرهایی در سایت رو پیمایش و ایندکس کنه و اینکه چه صفحاتی رو ایندکس نکنه می تونید از یک فایل با نام robot.txt در ایندکس هاستینگ سایتتون و یا در پوشه ای خاص استفاده کنید تا به موتورهای جستجو بگید جا مجازید پیمایش کنید و کجا مجاز نیستید :



    همونطور که در عکس بالا میبینید ، در سایتی که از فایل robot.txt استفاده نشده باشه روبات های موتورهای جستجو همه ی صفحات رو ایندکس می کنند در صورتی که با استفاده از این فایل میشه این ایندکس شدنها رو برای پوشه های مختلف کنترل کرد ! از این فایل همچنین برای جلوگیری از ایندکس شدن تکراری صفحات با url های مختلف استفاده میشه .
    خوب حالا که فهمیدید دلیل استفاده از فایل مهم robot.txt چی هست ، نحوه استفاده از اون رو براتون توضیح میدیم :
    فایل robot.txt یک فایل متنی ساده (دقیقا با همین نام و پسوند txt) است . در زیر چند تا از مهمترین دستوراتی که توی این فایل می تونید بیارید آوردم .

    User-agent
    در خط اول این فایل معمولا نوع روباتی که قراره محدودیت ایندکسینگ رو براش اعمال کنیم با دستور *:User-agent میاریم . به شکل زیر :
    کد:
    User-agent: *
    علامت * میگه که همه ی ربات های پیمایشگر ، این دستورات براشون اعمال بشه .
    مثلا اگه بخواید بگید فقط روبات های گوگل این محدودیت ها رو داشته باشند ، این دستور رو به این شکل داریم :
    کد:
    User-agent: googlebot
    در اینجا میتونید لیست همه ی روبوت های موجود و معروف رو ببینید .
    اگر فایل فقط حاوی این خط باشه همچنان پیمایشگران محترم موتورهای جستجو بدون محدودیت به ایندکس کردن همه صفحات ادامه می دن .

    Disallow
    برای جلوگیری از ایندکس شدن ادرس خاصی از سایت از دستور Disallow استفاده میشه . بزارید چندتا مثال بزنیم :
    کد:
    User-agent: googlebot Disallow: /
    این دوخط فوق باعث میشه که جلوی ایندکس شدن همه ی صفحات توسط روبوت های گوگل گرفته بشه .
    کد:
    User-agent: *
    Disallow: /admin.php
    در مثال فوق همه ی روبوت ها رو محدود میکنید که اجازه ایندکس کردن صفحه admin.php رو نداشته باشند .
    کد:
    User-agent: * Disallow: /cgi-bin/ Disallow: /images/ Disallow: /private.html
    در این مثال هم همه ی روبوت ها رو محدود میکنید که اجازه ایندکس کردن صفحه private.html و پوشه های cgi-bin و images رو نداشته باشند .
    البته میتونید برای روبوت های مختلف محدودیت های مختلف تعیین کنید :
    کد:
    User-agent: * Disallow: /cgi-bin/ Disallow: /admin/ Disallow: /private.html  User-agent: googlebot Disallow: /images/  User-agent: BadBot Disallow: /

    Allow
    از دستور Allow هم معمولا برای اجازه دادن ایندکسینگ به زیرپوشه ای که درون یک پوشه Dissallow شده قرار داده استفاده میشه . مثال زیر رو ببینید :
    کد:
    User-agent: * Disallow: /files/ Allow: /files/public/
    در اینجا ما می گیم که روبات ها اجازه ایندکس کردن محتویات درون پوشه files رو ندارند به جز پوشه public که در پوشه files قرار داره !



    robot.txt برای سایت های وردپرسی !
    در زیر یک فایل مناسب برای استفاده وب سایت هایی که با وردپرس ساخته شدند آوردم . می تونید ازش استفاده کنید . میبینید که به پوشه های مدیریتی و حاوی فایل ها قالب و پلاگین ها و … اجازه دسترسی داده نشده .
    کد:
    User-agent: *  Disallow: /feed/ Disallow: /trackback/ Disallow: /wp-admin/ Disallow: /wp-content/ Disallow: /wp-includes/ Disallow: /xmlrpc.php Disallow: /wp- Sitemap: http://www.7Learn.com/Sitemap.xml
    همونطور که در مثال بالا می بینید می تونید به این طریق Sitemap سایت خودتون رو هم در این فایل قرار بدید تا در معرض دید روبات ها باشه . انشاءالله در آینده در مورد فایل sitemap و دلایل استفاده از اون هم صحبت خواهیم کرد .

    robot.txt برای سایت های پیاده سازی شده با جوملا !

    کد:
    User-agent: * Disallow: /component
    در آخر هم بد نیست یه نگاهی به فایل robot.txt خود سایت گوگل بکنید !


    منبع
    ویرایش توسط Dastyar : 2012/07/08 در ساعت 01:05 PM

    5 تشکر توسط:





  2. گیفت کارت آیتونز

  3. Top | #2
    مدیر بازنشته

    تاریخ عضویت
    Feb 2011
    ورژن ویبولتین
    ☻Google
    نوشته ها
    5,116
    مورد پسند
    3,087 بار
    نوشته های وبلاگ
    4
    اطلاعات
    Windows 7/Server 2008 R2 Firefox 13.0.1
    میزان امتیاز
    603

    2 تشکر توسط:


  4. Top | #3
    DNA
    کاربر سایت

    تاریخ عضویت
    Jul 2012
    ورژن ویبولتین
    4.2
    نوشته ها
    87
    مورد پسند
    13 بار
    اطلاعات
    Windows 7/Server 2008 R2 Firefox 13.0.1
    میزان امتیاز
    15

    پیش فرض

    دمت گرم، خیلی عالی و کامل بود

  5. Top | #4
    کاربر سایت

    تاریخ عضویت
    Feb 2012
    ورژن ویبولتین
    4.1.10
    نوشته ها
    785
    مورد پسند
    116 بار
    اطلاعات
    Windows 7/Server 2008 R2 Firefox 14.0.1
    میزان امتیاز
    87

    پیش فرض

    با سلام دوست عزیز میشه یه نگاه بندازید ببینید درست ساختم یه روبات رو برای فروشگاه خودم یا خیر

    کد:
    User-agent: *
    Disallow: /modules/
    Allow: /2-option-206
    Allow: /3-dozdgir
    Allow: /31-option-tuning
    Allow: /32-sonax
    Allow: /24-option-maxima
    Allow: /12-other-option
    Allow: /8-option-207
    Sitemap: http://www.iroption.com/sitemap.xml
    Sitemap: http://www.iroption.com/sitemap1.xml
    Sitemap: http://www.iroption.com/sitemap2.xml
    یه ادرس رو ممنوع کردم بقیه پوشه های سایت رو اجازه دسترسی دادم که بره و محصولات سایت رو بتونه ثبت کنه

  6. Top | #5
    مدیریت کل سایت

    تاریخ عضویت
    Aug 2009
    ورژن ویبولتین
    4.2.2
    نوشته ها
    21,694
    مورد پسند
    54,990 بار
    نوشته های وبلاگ
    14
    اطلاعات
    Windows 7/Server 2008 R2 Chrome 21.0.1180.75
    میزان امتیاز
    3124

    پیش فرض

    Allow ؟

    چیر هایی که Disallow نیستند یعنی Allow هستند و فکر نمیکنم نیاز به ذکرشون باشه !

    3 تشکر توسط:


  7. Top | #6
    کاربر سایت

    تاریخ عضویت
    May 2011
    ورژن ویبولتین
    همه ورژن ها
    نوشته ها
    273
    مورد پسند
    141 بار
    نوشته های وبلاگ
    1
    اطلاعات
    Windows 7/Server 2008 R2 Firefox 14.0.1
    میزان امتیاز
    37

    پیش فرض

    نقل قول نوشته اصلی توسط VBIran نمایش پست ها
    Allow ؟

    چیر هایی که Disallow نیستند یعنی Allow هستند و فکر نمیکنم نیاز به ذکرشون باشه !
    واسه تاکید بیشتره
    مثله این میمونه که بگیم همه جا رو میتونی دنبال کنی ولی حتما اینو دنبال کن ...
    در روبوت.txt خوده گوگل هم چند جا دستور Allow رو داده ..

    Allow: /alerts/manage

  8. Top | #7
    کاربر ویژه

    تاریخ عضویت
    Jan 2011
    ورژن ویبولتین
    4.1.1
    سن
    25
    نوشته ها
    1,986
    مورد پسند
    720 بار
    اطلاعات
    Windows XP Firefox 7.0
    میزان امتیاز
    218

    پیش فرض

    نقل قول نوشته اصلی توسط VBIran نمایش پست ها
    Allow ؟

    چیر هایی که Disallow نیستند یعنی Allow هستند و فکر نمیکنم نیاز به ذکرشون باشه !
    خوب علی آقا یه robot.txt متناسب برای وی بی آماده کنید
    تا همه استفاده کنن

    کاربر مقابل از Yasna بابت این پست مفید تشکر کرده است:


  9. Top | #8
    کاربر سایت

    تاریخ عضویت
    Sep 2011
    ورژن ویبولتین
    4.2.2
    سن
    30
    نوشته ها
    873
    مورد پسند
    383 بار
    نوشته های وبلاگ
    1
    اطلاعات
    Windows XP Firefox 10.0
    میزان امتیاز
    100

    پیش فرض

    نقل قول نوشته اصلی توسط Yasna نمایش پست ها
    خوب علی آقا یه robot.txt متناسب برای وی بی آماده کنید
    تا همه استفاده کنن
    سلام

    منم با دوستمون موافق هستم

    لطفا اگه میشه یه فایل robot.txt کامل برای وی بی اماده کنید تا بتونیم استفاده بکنیم

    موفق باشید. یاحق
    تبليغات با قيمت باورنكردني در سايت با پيج رنك 3 گوگل
    {بنر زير هدر(250 تومان يكسال)-بنر بالاي فوتر(250 تومان يكسال)-بنر بين تاپيك اول و دوم(250 تومان يكسال)}
    كل بسته بالا به قيمت 750 هزار تومان براي يكسال فقط براي دو نفر

  10. Top | #9
    مدیر بازنشته

    تاریخ عضویت
    Nov 2010
    ورژن ویبولتین
    N/A
    سن
    27
    نوشته ها
    2,941
    مورد پسند
    2,996 بار
    نوشته های وبلاگ
    4
    اطلاعات
    Windows 7/Server 2008 R2 Chrome 19.0.1084.46
    میزان امتیاز
    361

    پیش فرض

    میتونید برای وی بی ایران رو ببینید.

    مواردی که لازم هست اومده تو فایلش.

    http://www.vbiran.ir/robots.txt

    2 تشکر توسط:


  11. Top | #10
    کاربر سایت

    تاریخ عضویت
    Sep 2011
    ورژن ویبولتین
    4.2.2
    سن
    30
    نوشته ها
    873
    مورد پسند
    383 بار
    نوشته های وبلاگ
    1
    اطلاعات
    Windows XP Firefox 10.0
    میزان امتیاز
    100

    پیش فرض

    نقل قول نوشته اصلی توسط Dark Knight نمایش پست ها
    میتونید برای وی بی ایران رو ببینید.

    مواردی که لازم هست اومده تو فایلش.

    http://www.vbiran.ir/robots.txt
    سلام

    این اختصاصی خود وی بی ایران هستش
    اگه علی اقا زحمتشو بکشن یه فایل کامل تهیه بکنند خیلی عالی میشه

    موفق باشید. یاحق
    تبليغات با قيمت باورنكردني در سايت با پيج رنك 3 گوگل
    {بنر زير هدر(250 تومان يكسال)-بنر بالاي فوتر(250 تومان يكسال)-بنر بين تاپيك اول و دوم(250 تومان يكسال)}
    كل بسته بالا به قيمت 750 هزار تومان براي يكسال فقط براي دو نفر

صفحه 1 از 2 12 آخرینآخرین

اطلاعات موضوع

کاربرانی که در حال مشاهده این موضوع هستند

در حال حاضر 1 کاربر در حال مشاهده این موضوع است. (0 کاربران و 1 مهمان ها)

موضوعات مشابه

  1. ارور دیتابیس هنگام استفاده از RSS Poster Robot
    توسط Ariyan در انجمن پرسش و پاسخ
    پاسخ: 12
    آخرين نوشته: 2012/07/11, 07:42 AM
  2. پاسخ: 5
    آخرين نوشته: 2012/04/08, 10:14 PM
  3. پاسخ: 11
    آخرين نوشته: 2012/03/22, 01:49 PM
  4. پاسخ: 2
    آخرين نوشته: 2011/09/18, 08:17 PM
  5. پاسخ: 3
    آخرين نوشته: 2011/07/07, 06:45 PM

کلمات کلیدی این موضوع

علاقه مندی ها (Bookmarks)

علاقه مندی ها (Bookmarks)

مجوز های ارسال و ویرایش

  • شما نمیتوانید موضوع جدیدی ارسال کنید
  • شما امکان ارسال پاسخ را ندارید
  • شما نمیتوانید فایل پیوست کنید.
  • شما نمیتوانید پست های خود را ویرایش کنید
  •