موضوع: مشکل با فایل Robots.txt

نوشته اصلی توسط MASTER OC 7

سلام
من داخل فایل روبات دستور بازدید نکردن از صفحه پروفایل کاربران رو وارد کردم ولی باز همچنان روبات ها وارد پروفایل کاربرا میشن.
http://free-premium.ir/robots.txt
خط 4 و 5
کسی میتونه راهنمایی کنه چه دستوری وارد کنم این مشکل حل بشه ؟

از تنظیمات کاربری ویبولتین ، کاربران مهمان را پیدا کنید و دسترسی به پروفایل کاربران رو بر روی خیر قرار دهید.

نوشته اصلی توسط MASTER OC 7

اینطوری تو گوگل وب مستر ارور 403 زیادی ایجاد میشه و تاثیر منفی تو رتبه سایت داره، میخوام فقط از طریق فایل robots این دستور رو وارد کنم.

فکر نمی کنم بشه از طریق فایل robots اینکارو کرد تنها راهی که هستش همینی که عرض کردم ، شاید به احتمال کم راه دیگری باشه با پلاگین یا چیزی !

استارتر محترم، چند تا سوال:

کد:

Disallow: /printthread/
Disallow: /send message
Disallow: /new reply/
Disallow: /subscription/
Disallow: /private/
Disallow: /misc/
Disallow: /report/
Disallow: /calendar/
Disallow: /poll/
Disallow: /links/
Disallow: /arcade/
Disallow: /FAQ
Disallow: /vb shout/

چرا این همه disallow؟ واقعا لازم هست به نظر شما؟
بعد بعضی آدرس ها برام نامفهوم هستند که چرا این ها رو هم غیرمجاز کردید.
چرا بعضی آدرس ها شبیه به ویبولتین 5 هستند؟ مگر از نسخه 5 استفاده می کنید؟

در مورد خط اول کد بالا، اگر می خواید print-friendly رو می تونید کلا غیرفعال کنید تا تمامی لینک های آرشیو به لینک تاپیک اصلی ریدایرکت بشن. توی تنظیمات اصلی، تنظیمات مربوطه اش هست.

کد:

Disallow: /Disallow: /private.php

این اشتباه هست. دوباره چکش کنید

بعد هم سایت مپ درستش همین هست. اضافه دیگه لازم نداره. همین رو بدید به گوگل. خود این فایل باز داخلش چند تا سایت مپ دیگه داره که گوگل خودش اونا رو می خونه
Sitemap: http://free-premium.ir/dbseositemap.php

خوشحال میشم پاسخ بدید. چون یک مقدار برام نامفهوم هست اصلا که چرا این روبوتس دات تی اکس تی رو دارید.

با تشکر

نوشته اصلی توسط Inna

استارتر محترم، چند تا سوال:

کد:

Disallow: /printthread/
Disallow: /send message
Disallow: /new reply/
Disallow: /subscription/
Disallow: /private/
Disallow: /misc/
Disallow: /report/
Disallow: /calendar/
Disallow: /poll/
Disallow: /links/
Disallow: /arcade/
Disallow: /FAQ
Disallow: /vb shout/

چرا این همه disallow؟ واقعا لازم هست به نظر شما؟
بعد بعضی آدرس ها برام نامفهوم هستند که چرا این ها رو هم غیرمجاز کردید.
چرا بعضی آدرس ها شبیه به ویبولتین 5 هستند؟ مگر از نسخه 5 استفاده می کنید؟

در مورد خط اول کد بالا، اگر می خواید print-friendly رو می تونید کلا غیرفعال کنید تا تمامی لینک های آرشیو به لینک تاپیک اصلی ریدایرکت بشن. توی تنظیمات اصلی، تنظیمات مربوطه اش هست.

کد:

Disallow: /Disallow: /private.php

این اشتباه هست. دوباره چکش کنید

بعد هم سایت مپ درستش همین هست. اضافه دیگه لازم نداره. همین رو بدید به گوگل. خود این فایل باز داخلش چند تا سایت مپ دیگه داره که گوگل خودش اونا رو می خونه
Sitemap: http://free-premium.ir/dbseositemap.php

خوشحال میشم پاسخ بدید. چون یک مقدار برام نامفهوم هست اصلا که چرا این روبوتس دات تی اکس تی رو دارید.

با تشکر

حرف شما درسته,تعداد دستوراتی زیادی و البته اضافه وجود داره که توسط یکی از دوستان چندوقت پیش انجام شده بود,ایشون کار رو نیمه کاره انجام دادن و الان خودم دنبال حل این مشکلات هستم,اکثرا رو اقدام به حذف میکنم
در مورد سایت مپ هم میخوام فقط اون انجمن ایندکس بشه و نمیخوام بقیه قسمت های سایت مپ ایندکس بشن.تو گوگل وب مستر هم انجمن های اضافه رو حذف کردم.
الان تنها مشکلی که وجود داره بازدید بیش از اندازه از پروفایل کاربران هست , حتی بیشتر از بازدید از انجمن و تاپیک ها که باعث شده تاپیک های انجمن دیر ایندکس بشن یا اصلا توسط موتورهای جستجو دیده نشن.

خب شما دسترسی مهمان رو از بازدید پروفایل بگیرید
اون بخش کدی هم که زدید قاعدتا باید کار کنه. چک می کنم ببینم کد دیگه ای هم هست یا نه.
دسترسی مهمان رو ببندید. خطای 403 هم گرفتید توی گوگل وبمستر mark as fixed بزنید