使い方
User-agentを選択し、Allow/Disallowルールを追加してrobots.txtを生成します。Sitemap URLやCrawl-delayも設定できます。
- User-agent選択（*, Googlebot, Bingbot等）
- Allow/Disallowルール追加
- Sitemap URL設定
- Crawl-delay設定
- プレビュー＋コピー
こんなときに使おう
- 新サイトのrobots.txtを作成したいとき
- クロールルールを視覚的に設定したいとき
- 複数のUser-agentに対応したいとき