Robot.txt Nedir ve Ne İşe Yarar?

http://4.bp.blogspot.com/-8eX99gQFfo...o%2Bworld).png

Robots.txt bir metin dosyasıdır Sayfaları arama robotları söylemek tanıtmak sitenizde ana dizinde bulunan dosyasıdır. Robots.txt Her arama motorları için zorunlu anlamına gelir O robots.txt sitenizi taramasını arama motorları engelleyecek bir yol netleştirmek için önemlidir ve bir robots.txt dosyası koymak için gerçeği (yani bir güvenlik duvarı veya şifre koruması ) gibi bir şeydir Bir kilidi kapıya ", girmeyiniz Lütfen" not koyarak - örn geliyor hırsızlar engel olamaz ama iyi adamlar kapı açın ve girmeyecektir.
Robots.txt'nin konumu çok önemlidir. Aksi takdirde kullanıcı arayüzlerinin (arama motorları) bulmak mümkün olmayacaktır çünkü ana dizinde olmalıdır -Sitenizde robots.txt adlı bir dosya olmalıdır adı değişik olmamalıdır. Bunun yerine, botlar ( ana dizinde ilk bakacakları yer siteadı/robots.txt ) ve robots.txt dosyası olmadığını varsayalım ve bu nedenle onlar yol boyunca ana dizinde robots.txt ararlar.


http://2.bp.blogspot.com/-hjy02XbFhz...dI/s1600/1.jpg

Robots.txt Dosyasının içeriği
Disallow kullanarak index istemediğiniz yeri belirleyebilirsiniz Disallow kullandığınızda arama motoru indexlemiyecek ve arama botlar girmiyecektir

Örnek ana dizinde bulunan robots.txt dosyası



Sitenizi indexlenmeye kapatmak için komut:

Sitenizdeki belli bir resmin Google görsel aramalarında yer almasını engellemek için..

Sitenizdeki hiç bir resmin Google görsel aramalarında yer almamasını istiyorsanız,işte komutunuz;

Sitenizdeki sadece belli sayfaların gözükmesini engellemek için ise şu eklemeyi kullanabilirsiniz;