# robots.txt · syndilibre.fr
# Dernière mise à jour : août 2026
#
# Domaine canonique unique : https://syndilibre.fr
# syndilibre.ai / .com / .eu redirigent en 308 permanent vers syndilibre.fr
#
# Ce fichier autorise explicitement les crawlers IA majeurs et les
# crawlers de moteurs de recherche traditionnels à indexer le site.
# Pour la liste complète des ressources LLM, voir /llms.txt et /llms-full.txt.

# ============================================================
# Crawlers IA · autorisés explicitement
# ============================================================

# OpenAI (GPT, ChatGPT search)
User-agent: GPTBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: OAI-SearchBot
Allow: /

# Anthropic (Claude)
User-agent: ClaudeBot
Allow: /

User-agent: Claude-Web
Allow: /

User-agent: anthropic-ai
Allow: /

# Perplexity
User-agent: PerplexityBot
Allow: /

User-agent: Perplexity-User
Allow: /

# Google AI (Bard / Gemini / AI Overviews)
User-agent: Google-Extended
Allow: /

# Apple (Apple Intelligence)
User-agent: Applebot-Extended
Allow: /

# Common Crawl (corpus d'entraînement)
User-agent: CCBot
Allow: /

# Mistral
User-agent: MistralAI-User
Allow: /

# Cohere
User-agent: cohere-ai
Allow: /

# Meta AI
User-agent: FacebookBot
Allow: /

User-agent: meta-externalagent
Allow: /


# ============================================================
# Crawlers moteurs de recherche traditionnels · autorisés
# ============================================================

User-agent: Googlebot
Allow: /

User-agent: Bingbot
Allow: /

User-agent: DuckDuckBot
Allow: /

User-agent: Qwantify
Allow: /


# ============================================================
# Règle par défaut pour tous les autres crawlers
# ============================================================

User-agent: *
Allow: /


# ============================================================
# Ressources principales
# ============================================================

Sitemap: https://syndilibre.fr/sitemap.xml

# Pour les agents IA : voir aussi /llms.txt (résumé curé)
# et /llms-full.txt (contenu exhaustif markdown)