¿Qué es un crawler de IA?

¿Qué es un crawler de IA?

Un crawler de IA es un programa automatizado que visita sitios web para recopilar datos para entrenar u operar modelos de inteligencia artificial. A diferencia de los crawlers tradicionales de motores de búsqueda como Googlebot, que indexan páginas para ofrecer resultados, los crawlers de IA recopilan contenido para construir grandes modelos de lenguaje, generadores de imágenes y otros sistemas de IA.

La solicitud llega por HTTP como cualquier otra. Lo que separa a un crawler de IA de un lector es el stack de software detrás y el propósito que se atiende tras la descarga.

Por qué los crawlers de IA importan ahora

El contenido que toman los crawlers de IA tiene valor económico real. Si sus artículos, descripciones de producto, datos de precios o investigación entran en un modelo, no recibe compensación, atribución ni tráfico. El modelo resultante responde las mismas preguntas que su contenido atendía.

El volumen es grande. Cloudflare Radar reporta que el 39% de los principales millones de sitios son accedidos por bots de IA a principios de 2026, mientras que solo el 2,98% los bloquea activamente. La relación crawl-a-referral de Anthropic en 2025 fue de aproximadamente 500.000 a 1: medio millón de páginas descargadas por cada visitante devuelto.

Tipos de crawlers de IA

En los registros aparecen cuatro categorías. Los crawlers de entrenamiento como GPTBot, ClaudeBot, Google-Extended, Bytespider, Applebot-Extended y CCBot recorren la web de forma amplia para construir corpus. Los crawlers de recuperación como PerplexityBot, OAI-SearchBot y ChatGPT-User descargan páginas en tiempo real para fundamentar respuestas. El tráfico agente procede de agentes que actúan por un usuario humano específico. Y los crawlers sin etiquetar o suplantados — cohere-ai, Meta-ExternalAgent, servicios comerciales como BrightData y Oxylabs — forman la categoría más grande y desordenada.

Cómo funcionan los crawlers de IA

Mecánicamente, los crawlers de IA son clientes HTTP. Cada solicitud tiene un user agent, un handshake TLS, configuraciones HTTP/2 y un cuerpo. Lo que separa a un crawler de un navegador es el stack y la intención.

Los crawlers de entrenamiento son los más simples: un planificador ejecuta, un descargador abre conexiones, un parser extrae texto y enlaces, y los resultados van a un conjunto de datos. Publican rangos de IP y respetan robots.txt en la mayoría de los casos. Los crawlers de recuperación son con estado y ráfagas, impulsados por consultas de usuarios. El tráfico agente es el más difícil de caracterizar: Chromium parcheado, navegadores headless o clientes HTTP directos, frecuentemente enrutados por proxies residenciales.

Cómo identificar crawlers de IA en su sitio

El user agent es el punto de partida, no la respuesta. Los principales operadores publican sus cadenas (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, PerplexityBot, CCBot). Para el resto, se necesitan señales que el cliente no controla por completo: el fingerprinting TLS (JA4) expone la biblioteca detrás del handshake, los frames HTTP/2 SETTINGS separan navegadores de bibliotecas, los patrones de comportamiento separan lectores de crawlers programados, y la consistencia entre capas es la verificación decisiva. Centinel mantiene una base de 1.600+ fingerprints y combina estas señales en tiempo real.

Cómo responder al tráfico de crawlers de IA

Hay tres respuestas disponibles: bloquear, verificar o monetizar. Bloquee crawlers de entrenamiento sin licencia y tráfico suplantado que falla en las verificaciones de consistencia. Verifique y permita indexadores de búsqueda y agentes socios. Monetice operadores dispuestos a pagar una tarifa de licencia — OpenAI, Perplexity y Google ya han firmado acuerdos con editores.

robots.txt por sí solo no ejecuta ninguna de estas acciones. El 32% de los scrapes de IA la evitan. La aplicación vive en el edge.

Conclusiones clave

- Los crawlers de IA son una categoría separada de los bots de motores de búsqueda: extraen contenido para entrenar modelos que compiten con su sitio en lugar de devolver tráfico. - Cuatro clases importan — entrenamiento, recuperación, agéntico y sin etiquetar — cada una requiere una política distinta. - Los user agents por sí solos no bastan; el fingerprinting TLS, las señales HTTP/2 y las verificaciones cruzadas capturan el 32% que ignora robots.txt. - La respuesta es bloquear, verificar o monetizar — una decisión por agente aplicada en el edge.