# robots.txt — Doorman (doormanlatam.com)
# Última actualización: 2026-08-17

# Permitir a todos los bots rastrear el sitio comercial
User-agent: *
Allow: /
Allow: /beneficios
Allow: /planes
Allow: /dudas
Allow: /blog
Allow: /nosotros

# /politicas-de-privacidad y /libro-de-reclamaciones NO se bloquean aquí a
# propósito: ya llevan <meta name="robots" content="noindex"> en la página. Si
# se bloquean también por robots.txt, los bots nunca llegan a leer esa etiqueta
# y la URL puede quedar indexada sin descripción si alguien la enlaza desde
# afuera.

# ─── Crawlers de IA ──────────────────────────────────────────────────────────
#
# NINGUNO se bloquea, a propósito. GPTBot, ClaudeBot, PerplexityBot y
# Google-Extended son los que alimentan las respuestas generativas: excluirlos
# sacaría a Doorman de ChatGPT, Claude y las vistas de IA de Google. Eso es
# perder GEO, y pesa mucho más que lo que se ahorraría en tráfico.
#
# CCBot es el caso aparte: es el 34% de las peticiones del sitio y el 83% de
# las suyas terminan en 404, o sea pide URLs que no existen. No se le prohíbe
# el acceso —su corpus también alimenta modelos— pero se le pide que baje el
# ritmo. Common Crawl documenta que respeta Crawl-delay.
User-agent: CCBot
Crawl-delay: 10

# Sitemap
Sitemap: https://www.doormanlatam.com/sitemap.xml