# robots.txt — williamgamba.com
# Aggiornato: luglio 2026 (sito statico)

# Crawler di ricerca standard — accesso completo
User-agent: *
Allow: /

# Google — ricerca + Gemini/AI Overviews
User-agent: Googlebot
Allow: /

# Google Gemini training (separato da Googlebot — bloccare questo NON influisce sulla ricerca)
User-agent: Google-Extended
Allow: /

# Bing / Microsoft Copilot
User-agent: Bingbot
Allow: /

# ChatGPT — ricerca web e browsing
User-agent: GPTBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

# Claude (Anthropic)
User-agent: ClaudeBot
Allow: /

User-agent: anthropic-ai
Allow: /

# Perplexity AI
User-agent: PerplexityBot
Allow: /

# Common Crawl — dataset aperto usato per training modelli
# Lasciamo aperto per massimizzare la citability AI
User-agent: CCBot
Allow: /

# Sitemap
Sitemap: https://www.williamgamba.com/sitemap.xml

# LLMs.txt — contesto strutturato per crawler AI
# https://www.williamgamba.com/llms.txt