arkadaşlar ben bu işte yeniyim, bu işleri yeni öğreniyorum. Bu robot txt dosyası ne işe yarıyor acaba. Bu bütün siteler için gerekli midir veya bununla neler yapabiliriz. Gerçi yukarıda bazı kodlar vermişsiniz, bunların da çoğunun ne anlama geldiğini bilmiyorum.

Biraz geç olmuş ama ben elimden geldiği kadarıyla yanıtlamaya çalışayım sorunuzu. robot txt dosyası , sitenize indexlemek için gelen arama motoru botlarına yol gösteren dosyadır. robot txt dosyası sayesinde botlara indexletmek istemediğiniz linkleri es geçmesi konusunda komut verirsiniz , botlarda sizin belirttiğiniz linkleri indexlemez , görmezden gelir.

Gerekli midir ? Yani hiç bilmediğiniz bir yere gittiğinizi farz edelim. Eğer ki insanlar sizin dilinizi konuşuyorsa muhakak yolunuzu bulursunuz ancak tabi sora sora . Buda biraz zaman alır. Ancak elinizde bir harita ya da sizi yönlendiren bir şeyler olduğunu varsayarsak o zaman bulmanız çok daha kolay olur, öyle değil mi? Bu şekilde düşünebiliriz robot txt dosyasını da.