Hur man använder
Välj en User-agent, lägg till Allow/Disallow-regler och generera robots.txt. Du kan också ställa in Sitemap URL och Crawl-delay.
- User-agent-val (*, Googlebot, Bingbot, etc.)
- Lägg till Allow/Disallow-regler
- Sitemap URL-inställning
- Crawl-delay-inställning
- Förhandsvisning + Kopiera
Användningsområden
- Skapa robots.txt för en ny webbplats
- Ställa in crawl-regler visuellt
- Handskas med flera User-agents