Nasıl Kullanılır
Bir User-agent seçin, Allow/Disallow kuralları ekleyin ve robots.txt oluşturun. Sitemap URL ve Crawl-delay de ayarlayabilirsiniz.
- User-agent seçimi (*, Googlebot, Bingbot, vb.)
- Allow/Disallow kuralları ekleme
- Sitemap URL ayarı
- Crawl-delay ayarı
- Önizleme + Kopyalama
Kullanım alanları
- Yeni site için robots.txt oluştururken
- Tarama kurallarını görsel olarak ayarlarken
- Birden fazla User-agent ile çalışırken