موضوع: درباره Spider یا خزنده (عنکبوت) در موتورهای جستجو بیشتر بدانیم

موتورهای جستجو با فرستادن spider محتویات و اطلاعات یک وب سایت را بانک اطلاعاتی خود جمع آوری می کنند که در اصطلاح به آنها bots می گویند.این bots ها برای گشتن لینکها از یک پرونده به پرونده دیگر طراحی شده اند. Google و Yahooموتورهای جستجوی اصلی اند مدعی می شوند که در روز تقریبا ۱۵۰ میلیون مورد با نرم افزارهای خزنده در بانک اطلاعاتی خود ذخیره می نمایند. خزنده های موتورهای جستجو محتوا های صفحه را خط به خط و از چپ به راست (در سایتهای انگلیسی) می خواند و ذخیره می نمایند.چنانچه این خزنده ها در محتواهای سایت به لینکهایی برخورد نمایند آن را ذخیره کرده و یک BOT جدید را برای بررسی و جمع کردن اطلاعات آن ارسال می کنند. بخاطر همین وبمسترها احتیاجی به ثبت دستی سایت خود در موتورهای جستجو ندارند،(با آنکه این عمل سبب می گردد سایتشان زودتر تر در موتورهای جستجو ثبت گردد.) چونکه Spider ها می توانند کلیه سایت های تحت وب را پیدا کنند.