# AI検索には出したい。AIの学習素材にはしない。（2026-07-27 作成 / 2026-08-10 更新）
#
# 🔴 2026-08-21 訂正＝2026-08-10 にここへ書いた次の一文は **誤りでした。**
#    「本番では Cloudflare が上に固まりを差し込み、Google-Extended と Applebot-Extended を
#      Disallow にしている。Content-Signal も Cloudflare の側が宣言している」
#    → 本番を開いて確かめたところ、**何も差し込まれていません。**
#      本番と、この手元のファイルは **1バイトも違いません**（どちらも1行目からこの注記です）。
#    ＝ **Google-Extended も Applebot-Extended も、いままで素通しでした。**
#      ＝ 公開している「AIと自動化の方針」の面と、実物が食い違っていました。訂正します。
#    🔴 教訓＝**「よそが上でやってくれているはず」で自分の設定を省かない。**
#      省いた所は、点検の緑をすり抜けます（robots.txt は200を返し続けます）。
#    ⚠ 本番の中身は必ず https://sozai.nyanchulabo.com/robots.txt を開いて確かめること。

# 学習には使わせない、という宣言を自分で1行出します（Cloudflareの表記に合わせた形）。
Content-Signal: search=yes, ai-input=yes, ai-train=no
User-agent: *
Allow: /
Disallow: /go/
Disallow: /go?
Disallow: /s/
Disallow: /admin/
Disallow: /api/
Disallow: /_admin/

# --- AI検索の巡回は通す（引用してもらうため） ---
User-agent: OAI-SearchBot
Allow: /
Disallow: /go/
Disallow: /go?
Disallow: /s/
Disallow: /admin/
Disallow: /api/
Disallow: /_admin/

User-agent: ChatGPT-User
Allow: /
Disallow: /go/
Disallow: /go?
Disallow: /s/
Disallow: /admin/
Disallow: /api/
Disallow: /_admin/

User-agent: PerplexityBot
Allow: /
Disallow: /go/
Disallow: /go?
Disallow: /s/
Disallow: /admin/
Disallow: /api/
Disallow: /_admin/

User-agent: Perplexity-User
Allow: /
Disallow: /go/
Disallow: /go?
Disallow: /s/
Disallow: /admin/
Disallow: /api/
Disallow: /_admin/

User-agent: Claude-SearchBot
Allow: /
Disallow: /go/
Disallow: /go?
Disallow: /s/
Disallow: /admin/
Disallow: /api/
Disallow: /_admin/

User-agent: Claude-User
Allow: /
Disallow: /go/
Disallow: /go?
Disallow: /s/
Disallow: /admin/
Disallow: /api/
Disallow: /_admin/

# Google-Extended / Applebot-Extended は、このファイルの下のほうで断っています。

User-agent: Bingbot
Allow: /
Disallow: /go/
Disallow: /go?
Disallow: /s/
Disallow: /admin/
Disallow: /api/
Disallow: /_admin/

User-agent: Googlebot
Allow: /
Disallow: /go/
Disallow: /go?
Disallow: /s/
Disallow: /admin/
Disallow: /api/
Disallow: /_admin/

# --- 学習目的のクロールは断る ---
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: anthropic-ai
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: meta-externalagent
Disallow: /

User-agent: Amazonbot
Disallow: /

User-agent: Diffbot
Disallow: /

User-agent: Omgilibot
Disallow: /

Sitemap: https://sozai.nyanchulabo.com/sitemap.xml
Sitemap: https://sozai.nyanchulabo.com/sitemap-omo.xml

# --- AIの学習・材料集めのための巡回は断る（2026-08-21 に明示しました） ---
# 🔴 Google-Extended を断っても Google検索の順位は落ちません
#    （Gemini等の学習・材料集めの可否の話で、検索の扱いとは別です）。
# 🔴 引用してもらう側（OAI-SearchBot / PerplexityBot / Claude-SearchBot）は上で通しています。
User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /