使い方
対象のUser-agent（すべて・Googlebot・Bingbotなど）を選び、Allow/Disallowのルールを追加していくと、robots.txtの内容がプレビューにリアルタイムで組み立てられます。Sitemap URLの記載やCrawl-delayの設定にも対応しています。 完成したらコピーして、サイトのルートディレクトリに robots.txt として設置するだけです。書式ミスでクロールを意図せず全部ブロックしてしまう、といった事故を防ぎながら作成できます。
- User-agent別のルール設定（*・Googlebot・Bingbot等）
- Allow / Disallow ルールの追加・編集
- Sitemap URLの記載に対応
- Crawl-delayの設定に対応
- リアルタイムプレビューとコピー
こんなときに使おう
- 新しいサイトのrobots.txtを作成するとき
- 管理画面など特定ディレクトリをクロール対象外にしたいとき
- クローラーごとに異なるルールを設定したいとき
- 既存のrobots.txtの書き方を確認・整理したいとき