Jak używać
Wybierz User-agent, dodaj reguły Allow/Disallow i wygeneruj robots.txt. Możesz również ustawić URL mapy witryny i Crawl-delay.
- Wybór User-agent (*, Googlebot, Bingbot itp.)
- Dodawanie reguł Allow/Disallow
- Ustawienie URL mapy witryny
- Ustawienie Crawl-delay
- Podgląd + kopiowanie
Zastosowania
- Tworzenie robots.txt dla nowej strony
- Wizualne ustawianie reguł crawlowania
- Obsługa wielu User-agent