# Çilek Havuz: robots.txt
# IndexNow-Key: 5bbf842819f0c79fe3932f34bd36006f
# (Bing/Yandex/Naver anlık URL bildirimi; bkz. src/lib/indexnow.ts)

User-agent: *
Allow: /
Disallow: /*?*utm_*
Disallow: /*?*fbclid=*
Disallow: /*?*gclid=*
Disallow: /*?*msclkid=*

# Welcome AI / answer-engine crawlers explicitly (GEO).
# 9 Eki 2026: Vertex, Amazon, DuckDuckGo, Mistral, Meta ve Cohere ajanları da açıkça listelendi (kurallar aynı).
User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: ClaudeBot
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: Claude-Web
User-agent: anthropic-ai
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
User-agent: Google-CloudVertexBot
User-agent: Amazonbot
User-agent: DuckAssistBot
User-agent: MistralAI-User
User-agent: Meta-ExternalAgent
User-agent: Meta-ExternalFetcher
User-agent: cohere-ai
Allow: /
# 29 Eyl 2026 (radar RDR-F06): bu grup * kurallarını DEVRALMAZ; izleme parametreli kopyalar burada da kapalı.
Disallow: /*?*utm_*
Disallow: /*?*fbclid=*
Disallow: /*?*gclid=*
Disallow: /*?*msclkid=*

# Bytespider (ByteDance eğitim botu): GPTBot ve CCBot ile aynı karar (izinli), ayrı grup.
# 9 Eki 2026 (B-GEO-01): eğitim botunun kararı açıkça belgeli; kurallar yukarıdaki grupla birebir.
User-agent: Bytespider
Allow: /
Disallow: /*?*utm_*
Disallow: /*?*fbclid=*
Disallow: /*?*gclid=*
Disallow: /*?*msclkid=*

# ZAFİYET TARAYICILARI: açıkça reddedilir (3 Ağu 2026).
# robots.txt teknik bir engel değildir; ama bu ajanlar reddi OKUYUP durabilir
# ve reddin yazılı olması, izinsiz taramanın "kaza" olmadığını kayda geçirir.
# Politikanın tam metni: /.well-known/security.txt
User-agent: Nuclei
User-agent: Nikto
User-agent: sqlmap
User-agent: WPScan
User-agent: Acunetix
User-agent: Nessus
User-agent: masscan
User-agent: zgrab
User-agent: Nmap Scripting Engine
Disallow: /

# LLM haritası (kısa): https://www.cilekhavuz.com.tr/llms.txt · uzun, özet paragraflı: https://www.cilekhavuz.com.tr/llms-full.txt
Sitemap: https://www.cilekhavuz.com.tr/sitemap.xml