Cách sử dụng
Chọn User-agent, thêm quy tắc Allow/Disallow và tạo robots.txt. Bạn cũng có thể đặt URL Sitemap và Crawl-delay.
- Chọn User-agent (*, Googlebot, Bingbot, v.v.)
- Thêm quy tắc Allow/Disallow
- Cài đặt URL Sitemap
- Cài đặt Crawl-delay
- Xem trước + Sao chép
Trường hợp sử dụng
- Khi tạo robots.txt cho trang web mới
- Khi đặt quy tắc thu thập trực quan
- Khi xử lý nhiều User-agent