使い方
対象のUser-agent（すべて・Googlebot・Bingbotなど）を選び、Allow/Disallowのルールを追加していくと、robots.txtの内容がプレビューにリアルタイムで組み立てられます。Sitemap URLの記載やCrawl-delayの設定にも対応しています。 完成したらコピーして、サイトのルートディレクトリに robots.txt として設置するだけです。書式ミスでクロールを意図せず全部ブロックしてしまう、といった事故を防ぎながら作成できます。
- User-agent選択（*, Googlebot, Bingbot等）
- Allow/Disallowルール追加
- Sitemap URL設定
- Crawl-delay設定
- プレビュー＋コピー
こんなときに使おう
- 新サイトのrobots.txtを作成したいとき
- クロールルールを視覚的に設定したいとき
- 複数のUser-agentに対応したいとき