2-2 robots.txt とサイトマップ

robots.txt って何？— お店の「案内板」

robots.txt は、Google のロボット（クローラー）に対する「案内板」です。「このページは見てOK」「このページは見ないで」を指定できます。

たとえば、お店に例えるなら「客席は自由に見てください。でも厨房やバックヤードは立入禁止です」と伝えるのと同じです。

Webサイトでは、管理画面（/admin/）や API（/api/）など、一般に公開する必要がないページをロボットに「見なくていいよ」と伝えます。

# robots.txt の書き方（サイトのルートに置くファイル）

User-agent: *          # すべてのロボットに対して
Allow: /               # サイト全体は見てOK
Disallow: /admin/      # 管理画面は見ないで
Disallow: /api/        # API は見ないで

Sitemap: https://example.com/sitemap.xml

サイトマップって何？— お店の「メニュー一覧」

サイトマップ（sitemap.xml）は、サイト内の全ページのリストです。レストランのメニュー一覧のように、「うちのサイトにはこれだけのページがありますよ」と Google に伝えます。

サイトマップがあると、Google のロボットがページを見落とす確率が大幅に減ります。特に新しく作ったページは、サイトマップに登録しないといつまでも検索結果に表示されないことがあります。

Claude Code を使えば、サイトマップの確認や自動生成ができます。

# サイトマップをチェック・生成
> /seo sitemap https://あなたのサイト.com

# サイトマップがなければ自動で作ってくれます
# すでにある場合は、問題がないかチェックしてくれます

やってみよう：テクニカル SEO をまとめてチェック

robots.txt やサイトマップだけでなく、テクニカル SEO 全体をまとめて診断しましょう。Claude Code がチェックしてくれる項目の全体像です。

# テクニカル SEO の包括チェック
> /seo technical https://あなたのサイト.com

# チェックされる主な項目:
# - robots.txt は正しく設定されているか
# - サイトマップは存在するか、中身に問題はないか
# - canonical（正規URL）の設定は正しいか
# - 「検索結果に出さないで」の設定を間違えていないか