دلایل زیادی وجود دارد که دسترسی ربات گوگل به صفحات و یا کل یک سایت محدود و یا کاملا قطع شده باشد. یکی از این دلایل می تواند تنظیمات DNS دامین یا ایجاد مشکلاتی در سرور سایت باشد. این قبیل اتفاقات می‏تواند به Seoی سایت شما آسیب بزند و در موارد بسیاری، موتور جستجوگر و ربات گوگل نتواند صفحات سایت را ایندکس کند.
برای یافتن اینکه آیا در تنظیمات DNSتان مشکلی وجود دارد یا خیر، گوگل در سلسلۀ ابزارهای وبمستر (Webmaster/tools...) به شما کمک خواهد کرد. برای پیدا کردن وجود یک مشکل در بخش DNS سایت خود به صفحه وبمسترتولز خود بروید و از مسیر Crawl، می توانید گزارشی از 90 روز قبل تا کنون را توسط این ابزار و این بخش مشاهده کنید.

جهت مشاهده ی تصویر در ابعاد واقعی 501x74 پیکسل اینجا کلیک کنید.


جان مولر در این ارتباط می‏گوید:
این قبیل اتفاقات ممکن است در مدت کوتاهی بر سئو سایت شما تاثیر گذار باشد ولی در دراز مدت به جایگاه قبلی خود باز خواهید گشت. زمانیکه دسترسی روبات های گوگل به صفحات سایت شما ممکن شده و به بازخوانی مجدد و ایندکس آنها بپردازند دوباره جایگاه خود را در نتایج گوگل کسب خواهید کرد. ولی این امر نیازمند گذشت زمان خواهد بود. البته توجه داشته باشید که برگشت به جایگاه قبلی در صورتی رخ خواهد داد که تغییری اساسی در الگوریتم های گوگل در این زمان ایجاد نشده باشد.

این سخنان بدان معناست که سرور هر سایتی ممکن است حتا با توجه به آپتایم 99 درصدی، در مواقعی (حتی دقایقی) با قطعی مواجه شود و یا با تنظیمات اشتباه و دسترسی‏ها و محدودیت‏ها با استفاده از فایل robots.txt، موجب بروز خسارتی چون عدم ایندکس شدن صفحات سایت توسط ربات گوگل گردد که با استفاده از یکی دیگر از امکانات وبمسترتولز یعنی بخش Crawl Errors نیز تا حد قابل توجهی حل شدنیست.
برای رفع این موضوع به بخش Crawl و زیرمنوی Crawl Errors بروید و لیست صفحاتی که به دلیل عدم وجودشان، خطا گرفته و ایندکس نشده اند را در دو نسخۀ وب و گوشی هوشمند، مشاهده نمایید. در 95 درصد از مواقع، این صفحات، صفحاتی هستند که دیگر وجود ندارند و همان خطای معروف 404 را با خود به یدک می کشند.

جهت مشاهده ی تصویر در ابعاد واقعی 617x320 پیکسل اینجا کلیک کنید.


2 راه برای رفع این مساله وجود دارد: 1- نشانی های مورد نظر را محتوادار نموده و سپس Mark as fixed کنیم. 2- و یا از طریق حذف لینک ها به 3 روش (که توضیح آن از حوصلۀ این جستار خارج است) از وجود لینک های اضافی در سایت خود جلوگیری کنیم.
سپس می توانید از طریق گزینۀ Fetch as Google تا 500 دفعه، دستور دوباره ایندکس شدن صفحۀ اصلی و یا تمام صفحات سایت را وارد کنید تا مجددا گوگل، سایت شما را بازبینی و ایندکس نماید.

منبع : طراحی سایت