robots.txt チェッカー

URL を入れるだけで、Google・AI・X・AdSense などのクローラーがそのページを読めるかを調べます。どの行で止められているか、noindex やサイトマップも確かめられます。

サイトの中のページの URL を入れると、そのサイトの robots.txt を読んで、そのページを各クローラーが読めるかを調べます。

🔍使い方
  1. 調べたいページの URL を入れて 「🔍 調べる」 を押します。
  2. チェックに、止めてしまっているもの・書き方の間違いなどが出ます。
  3. クローラーごとの結果で、Google・AI・X・AdSense などが、そのページを読めるかと、決めた行が分かります。パスを書き換えると、ほかのページもすぐ試せます。
  4. 「✏️ 書き換えて試す」で robots.txt を書き換えると、サーバーに置く前に結果を確かめられます。
📘robots.txt の読まれ方
  • クローラーは、自分の名前が書かれた User-agent の決まりだけを使います。なければ User-agent: * の決まりを使います。
  • 当てはまる行がいくつかあるときは、いちばん長く当てはまる行が勝ちます。同じ長さなら Allow が勝ちます。
  • * は「何でも」、行の終わりの $ は「ここで終わり」です。
  • robots.txt がない（404）ときは、全部読んでよい扱いです。サーバーが落ちている（5xx）ときは、Google はしばらくサイト全体を読みに来なくなります。
  • Google の広告のクローラー（AdSense・AdsBot）は、User-agent: * の決まりを見ません。名前を書いたときだけ従います。
  • Discord などは robots.txt を見ません。X・Slack・LinkedIn は、画像も robots.txt を見てから読みます。
💡ヒント・注意点
  • robots.txt は「読みに来ないで」というお願いで、検索に出なくする設定ではありません。検索に出したくないページは noindex を使い、robots.txt では止めないでください（止めると noindex を読めません）。
  • AI の学習用（GPTBot・ClaudeBot・Google-Extended など）だけを止めても、検索やリンクの表示には影響しません。
  • 入れた URL のサイトの robots.txt とページは、このサイトのサーバー（donnma.com）が代わりに取りに行きます。調べた URL や結果は保存しません。
  • 判定は、Google が公開している決まり（RFC 9309）に合わせた、このツールでの計算です。各クローラーの実際の動きと少し違うことがあります。