Qué rastreadores de IA permitir en robots.txt (y cuáles solo entrenan modelos)

Para seguir apareciendo en las respuestas de IA, permite en robots.txt (el archivo de tu sitio web que indica a los robots qué pueden leer) los rastreadores (crawlers) que alimentan la búsqueda y las respuestas: OAI-SearchBot (ChatGPT), Claude-SearchBot y Claude-User (Claude), PerplexityBot (Perplexity), Googlebot (Búsqueda de Google, AI Overviews, AI Mode), Bingbot (Bing y Copilot) y Applebot (Siri, Spotlight, Safari). GPTBot, ClaudeBot, Google-Extended y Applebot-Extended solo controlan el entrenamiento de modelos, según la documentación de cada empresa. Puedes bloquearlos sin perder visibilidad en la búsqueda, aunque en el caso de Google-Extended hay una salvedad.

Tres tipos de rastreadores de IA

Hoy cada empresa de IA tiene varios robots, y cada uno hace un trabajo distinto. Tratarlos como un solo grupo («bloquear la IA») puede sacar un sitio web de las respuestas de IA cuando el propietario solo quería excluirlo del entrenamiento. La documentación de OpenAI, Anthropic, Perplexity, Google y Apple los divide en tres tipos:

• Los rastreadores de búsqueda y respuesta construyen el índice en el que busca un asistente cuando responde a una pregunta. Si los bloqueas, el asistente no puede citar tus páginas.
• Los rastreadores o tokens de entrenamiento deciden si tu contenido puede usarse para entrenar modelos futuros. Según las propias empresas, bloquearlos no te saca de la búsqueda.
• Los robots de visita a petición del usuario abren una página concreta porque una persona se lo ha pedido al asistente, por ejemplo al pegar un enlace. Algunos no siguen robots.txt, porque la visita se considera una acción del usuario.

Tabla de referencia por robot

Según la documentación de cada empresa, consultada el 9 de noviembre de 2026. Las empresas añaden robots y les cambian el nombre, así que revisa las páginas enlazadas antes de modificar un archivo en producción.

OpenAI: OAI-SearchBot es el que cuenta para la búsqueda de ChatGPT

La documentación de OpenAI sobre sus rastreadores es explícita. OAI-SearchBot muestra sitios web en las funciones de búsqueda de ChatGPT, y los sitios que lo excluyan no se mostrarán en las respuestas de búsqueda de ChatGPT. GPTBot rastrea contenido que puede usarse para entrenar los modelos fundacionales de OpenAI, es decir, sus grandes modelos de base. Prohibirle el acceso indica que el sitio web no debe usarse en el entrenamiento. OpenAI afirma que cada ajuste es independiente de los demás, de modo que un sitio web puede permitir OAI-SearchBot y prohibir GPTBot. Si se permiten los dos, OpenAI puede usar un mismo rastreo para ambos fines. OpenAI señala además que los cambios que afectan a la búsqueda pueden tardar unas 24 horas en aplicarse después de actualizar robots.txt.

ChatGPT-User es distinto. Se ocupa de las visitas que inicia un usuario, y OpenAI dice que las reglas de robots.txt pueden no aplicársele.

El índice de Bing también cuenta para ChatGPT. El estudio de BrightLocal sobre las respuestas locales de ChatGPT comprobó que la búsqueda de ChatGPT se apoyaba sobre todo en el índice de Bing (diciembre de 2024). Un sitio web que bloquea Bingbot renuncia también a esa vía.

Anthropic: tres robots, y los tres respetan robots.txt

La página de ayuda de Anthropic enumera ClaudeBot para el entrenamiento, Claude-SearchBot para indexar sitios web y mejorar los resultados de búsqueda, y Claude-User para recuperar páginas cuando un usuario hace una pregunta. Anthropic dice que sus robots respetan las directivas de robots.txt. Bloquear ClaudeBot indica que el contenido futuro del sitio web debe quedar fuera de los conjuntos de datos de entrenamiento. Bloquear Claude-SearchBot significa que el contenido no se indexará para la búsqueda, y bloquear Claude-User significa que las páginas no se recuperarán para las consultas de los usuarios. Anthropic dice que ambas cosas pueden reducir la visibilidad en las respuestas de Claude.

Dos notas prácticas de la misma página. Anthropic admite la directiva no estándar Crawl-delay, que fija una pausa entre visitas, y pone ClaudeBot como ejemplo. Y desaconseja bloquear las direcciones IP de Anthropic, porque eso puede impedir que los robots lleguen siquiera a leer robots.txt. Cada subdominio necesita su propio robots.txt.

Perplexity: permite PerplexityBot

La documentación de Perplexity sobre sus rastreadores dice que PerplexityBot está pensado para mostrar y enlazar sitios web en los resultados de búsqueda de Perplexity y que no se usa para rastrear contenido destinado a modelos fundacionales de IA. Perplexity recomienda permitirlo en los sitios web que quieran aparecer en los resultados. Perplexity-User visita páginas cuando un usuario hace una pregunta, y la documentación dice que por lo general no tiene en cuenta las reglas de robots.txt. Tampoco se usa para el entrenamiento.

En el caso de los negocios locales, Perplexity lee además datos bajo licencia. Muestra datos de Yelp desde marzo de 2024 y tiene licencia sobre las reseñas y fichas de Tripadvisor desde enero de 2025. Robots.txt solo cubre tu propio sitio web, no esas fichas.

Google: Googlebot para la búsqueda, Google-Extended para Gemini

Google no tiene un rastreador aparte para la IA. AI Overviews (los resúmenes de IA en los resultados) y AI Mode (el Modo IA del buscador) usan el índice de búsqueda habitual. La guía de Google sobre las funciones de IA dice que para aparecer en ellas no hay más requisitos que estar indexado y poder mostrarse con un fragmento (snippet), el texto breve que acompaña a un resultado. Para limitar lo que aparece, Google remite a nosnippet, data-nosnippet, max-snippet y noindex, no a un token de robots.txt.

Google-Extended, descrito en la página de rastreadores comunes de Google, es un token de robots.txt sin agente de usuario propio, es decir, sin un robot que se identifique con ese nombre. Controla si el contenido puede usarse para entrenar futuros modelos Gemini, y también regula el uso del contenido como apoyo de las respuestas (grounding): el contenido del índice de la Búsqueda que se entrega al modelo en el momento de la consulta en Gemini Apps y en Grounding with Google Search en Vertex AI. Google afirma que no afecta a la inclusión en la Búsqueda de Google y que no es una señal de posicionamiento.

Ese segundo uso es la salvedad para el propietario de un negocio. Prohibir Google-Extended no es solo excluirse del entrenamiento. También limita el uso de tus páginas como apoyo de las respuestas en la aplicación Gemini.

Bingbot y Applebot

Microsoft describe la ficha de Bing Places como la ficha de empresa para el buscador Bing y para Maps (octubre de 2025); Copilot busca con Bing. Bingbot construye el índice de Bing. El blog de Bing para webmasters señala que Bingbot lee el robots.txt situado en la raíz de cada host, y que un grupo de reglas escrito expresamente para bingbot hace que no tenga en cuenta las demás directivas del archivo.

La página de Apple sobre Applebot dice que los datos de Applebot alimentan la búsqueda en Spotlight, Siri y Safari. Applebot-Extended no rastrea páginas. Permite a los editores excluirse del entrenamiento de los modelos generativos de Apple, y Apple dice que las páginas que lo prohíben pueden seguir incluyéndose en los resultados de búsqueda.

Un robots.txt recomendado

El archivo siguiente permite todos los rastreadores de búsqueda y respuesta de la tabla, y muestra como bloque opcional las exclusiones que solo afectan al entrenamiento. Sustituye las rutas y el dominio de ejemplo por los tuyos.

Antes, una regla que conviene conocer. Según el estándar de robots.txt, RFC 9309, un rastreador que encuentra un grupo de reglas que lo nombra sigue ese grupo y no tiene en cuenta el grupo User-agent: *. Por eso, cualquier ruta que quieras mantener privada hay que repetirla en cada grupo con nombre.

# Search and answer crawlers: allowed
User-agent: Googlebot
User-agent: Bingbot
User-agent: Applebot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
Disallow: /admin/
Disallow: /cart/

# Optional: opt out of model training only.
# Delete this block if you are fine with training use.
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Applebot-Extended
Disallow: /

# Google-Extended also limits grounding in Gemini Apps.
# Uncomment only if you accept that.
# User-agent: Google-Extended
# Disallow: /

# Everyone else
User-agent: *
Disallow: /admin/
Disallow: /cart/

Sitemap: https://www.example.com/sitemap.xml

La RFC 9309 permite poner varias líneas User-agent encima de un mismo conjunto de reglas, y así el archivo queda corto. Después de publicarlo, abre yoursite.com/robots.txt en un navegador para confirmar que está activo, y recuerda que OpenAI dice que los cambios que afectan a la búsqueda tardan alrededor de un día.

Bloquear los rastreadores de entrenamiento es una decisión, no una solución

No hay una única respuesta correcta para los robots de entrenamiento. Razones para bloquearlos: no quieres que tus textos o tus fotos se usen para entrenar modelos comerciales, o quieres reducir la carga que el rastreo supone para tu servidor. Razones para permitirlos: un modelo que ha leído tu sitio web puede describir tu negocio con más exactitud cuando responde sin buscar, y en el caso de Google-Extended, bloquearlo limita además el uso de tus páginas como apoyo de las respuestas en la aplicación Gemini. Las dos opciones son legítimas. Lo que no tiene sentido es bloquear por error los rastreadores de búsqueda al intentar bloquear el entrenamiento.

Cuando en AIReputa auditamos un sitio web, robots.txt es uno de los primeros archivos que leemos, porque una sola línea puede hacer que un negocio sea invisible para un asistente, con independencia de sus reseñas o de sus fichas.