Örümcek Nedir?

Google ,Yahoo ,Badiu gibi arama motorları tarafından çokça kullanılan bu yazılımlar web sayfaların içeriklerini okurlar ve indekslerler.