Як користуватися
Оберіть User-agent, додайте правила Allow/Disallow та згенеруйте robots.txt. Також можна задати URL Sitemap та Crawl-delay.
- Вибір User-agent (*, Googlebot, Bingbot тощо)
- Додавання правил Allow/Disallow
- Налаштування URL Sitemap
- Налаштування Crawl-delay
- Перегляд + Копіювання
Випадки використання
- Створення robots.txt для нового сайту
- Візуальне налаштування правил сканування
- Обробка кількох User-agent