¿Qué es el web scraping?

¿Qué es el web scraping?

El web scraping es la extracción automatizada de datos de sitios web. Un scraper envía solicitudes a un servidor web, recibe la respuesta HTML y extrae los datos específicos que necesita: precios de productos, texto de artículos, conteos de inventario, contenido editorial.

La técnica es tan antigua como la web comercial. Lo que ha cambiado en 2026 es quién hace scraping, a qué escala y qué hace con el resultado.

Por qué el web scraping importa ahora

El web scraping atiende muchos propósitos. Sitios de comparación de precios, investigación de mercado, reclutamiento, inteligencia competitiva — y cada vez más, empresas de IA que recorren toda la web para entrenar modelos.

Tollbit’s Q4 2025 State of the Bots muestra la escala: de 550 mil millones de visitas analizadas, 9 mil millones fueron scrapes de bots de IA, y 2,9 mil millones de esos evitaron robots.txt. En sitios de editores, la proporción de bot de IA a humano fue de 1 a 31, desde 1 a 50 dos trimestres antes.

El panorama legal varía por jurisdicción. En EE.UU., la Computer Fraud and Abuse Act y el derecho de autor ofrecen protección limitada con aplicación irregular. En la UE, la Directiva de Bases de Datos protege los datos estructurados con más fuerza. Varias demandas contra OpenAI y Anthropic prueban si el entrenamiento de IA constituye uso legítimo. El derecho se pone al día; la infraestructura tiene que aguantar mientras tanto.

Tipos de web scraping

Cuatro tipos de tráfico de scraper aparecen en producción. **Herramientas personales e investigación**: un desarrollador con BeautifulSoup, una periodista con un script de Python. Pequeña escala, identificables, fáciles de limitar. **Servicios comerciales de scraping**: BrightData, Oxylabs, ScraperAPI — proxies residenciales rotatorios, automatización de navegadores, resolución de CAPTCHA. La detección es significativamente más difícil. **Crawlers de entrenamiento de IA**: GPTBot, ClaudeBot, Google-Extended, Bytespider, Applebot-Extended, CCBot — en su mayoría identificados y conformes, aunque el largo cola de crawlers sin etiquetar es donde está el volumen. **Scrapers adversariales**: apuntan a contenido de paywall o datos competitivos, usan Chromium parcheado, curl-impersonate o bibliotecas TLS personalizadas para reproducir un navegador real byte por byte.

Cómo funciona el web scraping

En su forma más simple, un scraper es un programa que descarga páginas web y extrae datos del HTML. Los scrapers modernos son mucho más sofisticados: renderizan JavaScript, resuelven CAPTCHAs, rotan por redes de proxies para evitar detección e imitan comportamiento real de navegador hasta los movimientos de ratón.

La solicitud es HTTP. Lo que el scraper controla: user agent, handshake TLS, configuraciones HTTP/2, cookies, timing. Lo que no controla del todo: la consistencia entre esas capas. Una biblioteca Python que se hace pasar por Chrome envía un fingerprint TLS que revela el engaño en el primer byte.

Cómo identificar scraping en su sitio

Cuatro señales indican que hay scraping. Ninguna es decisiva sola; juntas sí. **Anomalías de tráfico**: subidas bruscas en páginas de producto o artículos, especialmente fuera del horario laboral. **Honestidad del user agent**: un user agent de Chrome desde un ASN de nube es sospechoso; un GPTBot desde una IP fuera del rango de OpenAI es un impostor. **Patrones de frecuencia**: los humanos se detienen, la automatización golpea en cadencia. **Saltos de origen y señales de proxy**: veinte páginas desde veinte ISPs distintos en la misma ciudad es un scraper con veinte máscaras.

Cómo prevenir scraping no deseado

La protección efectiva requiere múltiples capas: limitación de tasa, análisis de reputación IP, fingerprinting TLS, análisis de comportamiento e identificación de crawlers. Ninguna técnica aislada basta porque los scrapers se adaptan. El objetivo es económico: hacer el scraping más caro que el valor de los datos, y los atacantes pasan a blancos más fáciles.

Empiece en el edge, antes de que la solicitud llegue al origen. Compare el fingerprint TLS y el frame HTTP/2 SETTINGS con firmas conocidas. Verifique la consistencia del user agent. Para la cola larga: comparación con una base de fingerprints — Centinel mantiene 1.600+ — y decisión por solicitud de bloquear, desafiar o monetizar.

Conclusiones clave

- El web scraping en 2026 está dominado por crawlers de entrenamiento y recuperación de IA, no por scrapers de precios clásicos (Tollbit: 9 mil millones de scrapes de IA de 550 mil millones de visitas). - Cuatro clases de scraper requieren manejo distinto: herramientas personales, servicios comerciales, crawlers de entrenamiento de IA, scrapers adversariales. - La detección es un problema de varias capas: user agents, fingerprints TLS, configuraciones HTTP/2 y patrones de comportamiento juntos identifican lo que cada señal suelta. - La prevención es económica, no absoluta. Haga que el scraping cueste más de lo que vale.