arkadaşlar ben bu işte yeniyim, bu işleri yeni öğreniyorum. Bu robot txt dosyası ne işe yarıyor acaba. Bu bütün siteler için gerekli midir veya bununla neler yapabiliriz. Gerçi yukarıda bazı kodlar vermişsiniz, bunların da çoğunun ne anlama geldiğini bilmiyorum.