Gebruik
Selecteer een User-agent, voeg Allow/Disallow-regels toe en genereer robots.txt. Je kunt ook Sitemap URL en Crawl-delay instellen.
- User-agent selectie (*, Googlebot, Bingbot, enz.)
- Allow/Disallow-regels toevoegen
- Sitemap URL instelling
- Crawl-delay instelling
- Voorbeeld + Kopiëren
Gebruiksmogelijkheden
- robots.txt maken voor een nieuwe site
- Crawlregels visueel instellen
- Meerdere User-agents beheren