# OJO: un rastreador sigue SOLO el grupo más específico que le aplica (el que
# nombra su User-agent) e ignora el grupo `*`. Por eso CADA grupo con nombre
# repite las rutas privadas: si no, Googlebot, GPTBot y compañía las
# rastrearían. Al añadir o quitar una ruta privada, tocar TODOS los grupos
# (lo comprueba frontend/scripts/seo-artifacts.test.mjs).
#
# `Disallow: /api/` solo documenta la intención: la API vive en otro host
# (api.licitaia.org) y este fichero no la cubre. (corregido 2026-09-27: en
# licitaia.org sí existe `/api/fichas/*`, que Caddy proxea al backend; aquí se
# bloquea a propósito, porque la ficha se indexa por su URL pública
# /licitaciones/<uuid>/ y los sitemaps por /sitemap-licitaciones*.xml, que
# Caddy reescribe por dentro.) NO poner un robots.txt
# restrictivo en api.licitaia.org: Googlebot necesita esas XHR para
# renderizar las fichas.
#
# `Disallow: /analizar` es prefijo de /analizar-gratis; el `Allow` más largo
# gana, así que la herramienta pública sigue abierta.

# Buscadores y asistentes que ENVÍAN tráfico: todo abierto salvo lo privado
# (las fichas son indexables desde 2026-09-25).
User-agent: Googlebot
User-agent: Bingbot
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: ChatGPT-User
Allow: /
Allow: /analizar-gratis
Disallow: /api/
Disallow: /dashboard
Disallow: /perfil
Disallow: /analizar
Disallow: /documentos/
Disallow: /copilot

# Rastreadores de ENTRENAMIENTO: el blog y las guías sí, la base de fichas no.
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Bytespider
Allow: /
Allow: /analizar-gratis
Disallow: /licitaciones/
Disallow: /api/
Disallow: /dashboard
Disallow: /perfil
Disallow: /analizar
Disallow: /documentos/
Disallow: /copilot

User-agent: *
Allow: /
Allow: /blog/
Allow: /analizar-gratis
Allow: /precios
Allow: /legal/
# Solo intención: la API está en api.licitaia.org (ver cabecera).
Disallow: /api/
Disallow: /dashboard
Disallow: /perfil
Disallow: /analizar
Disallow: /documentos/
Disallow: /copilot

Sitemap: https://licitaia.org/sitemap.xml
Sitemap: https://licitaia.org/sitemap-licitaciones.xml