Come usare
Seleziona un User-agent, aggiungi regole Allow/Disallow e genera robots.txt. Puoi anche impostare l'URL Sitemap e il Crawl-delay.
- Selezione User-agent (*, Googlebot, Bingbot, ecc.)
- Aggiungi regole Allow/Disallow
- Impostazione URL Sitemap
- Impostazione Crawl-delay
- Anteprima + Copia
Casi d'uso
- Quando crei robots.txt per un nuovo sito
- Quando imposti regole di crawling visualmente
- Quando gestisci più User-agent