Cómo Evitar Que los Crawlers y Bots Ralenticen tu Sitio Web

Tu sitio web es como una cafetería. Las personas entran y revisan el menú. Algunos piden lattes, se sientan, toman un sorbo y se van.

Pero, ¿qué pasaría si la mitad de tus “clientes” solo ocupan mesas, desperdician el tiempo de tus baristas y nunca compran café?

Mientras tanto, los clientes reales se van porque no hay mesas disponibles y el servicio es lento.

Bueno, esa es la realidad de los crawlers y bots web.

Estos programas automatizados consumen tu ancho de banda, ralentizan tu sitio y alejan a los clientes reales.

Estudios recientes muestran que casi el 51% del tráfico en internet proviene de bots. Así es: más de la mitad de tus visitantes digitales podrían estar solo desperdiciando los recursos de tu servidor.

¡Pero no entres en pánico!

Esta guía te ayudará a identificar problemas y controlar el rendimiento de tu sitio, todo sin necesidad de programar o llamar a tu primo experto en tecnología.

Un Recordatorio Rápido Sobre los Bots

Los bots son programas de software automatizados que realizan tareas en internet sin intervención humana. Ellos:

• Visitan sitios web
• Interactúan con contenido digital
• Ejecutan funciones específicas basadas en su programación 

Algunos bots analizan e indexan tu sitio (potencialmente mejorando el ranking en los motores de búsqueda). Otros pasan su tiempo raspando tu contenido para conjuntos de datos de entrenamiento de IA, o lo que es peor, publicando spam, generando reseñas falsas o buscando vulnerabilidades y agujeros de seguridad en tu sitio web.

Por supuesto, no todos los bots son iguales. Algunos son críticos para la salud y visibilidad de tu sitio web. Otros son, en el mejor de los casos, neutrales, y algunos son completamente tóxicos. Conocer la diferencia — y decidir qué bots bloquear y cuáles permitir — es crucial para proteger tu sitio y su reputación.

¿Bot Bueno, Bot Malo? ¿Qué Es Qué?

Los bots conforman el internet.

Por ejemplo, el bot de Google visita cada página en internet y la agrega a sus bases de datos para su clasificación. Este bot ayuda a proporcionar tráfico valioso de búsqueda, lo cual es importante para la salud de tu sitio web.

Pero no todos los bots aportan valor, y algunos son simplemente malos. Aquí te mostramos cuáles mantener y cuáles bloquear.

Los Bots VIP (Mantén Estos)

• Los rastreadores de motores de búsqueda como Googlebot y Bingbot son ejemplos de estos crawlers. No los bloquees, o te volverás invisible en línea.
• Los bots de análisis recogen datos sobre el rendimiento de tu sitio, como el bot de Google Pagespeed Insights o el bot de GTmetrix.

Los Problemáticos (Necesitan Gestión)

• Bots que roban tu contenido para usarlo en otros lugares
• Bots de spam que llenan tus formularios y comentarios con basura
• Malhechores que intentan hackear cuentas o explotar vulnerabilidades

La escala de los bots malos podría sorprenderte. En 2024, los bots avanzados representaron el 55% de todo el tráfico de bots avanzados malos, mientras que los buenos representaron el 44%.

Esos bots avanzados son astutos: pueden imitar el comportamiento humano, incluidos los movimientos del mouse y los clics, lo que los hace más difíciles de detectar.

¿Están los Bots Ralentizando tu Sitio Web? Busca Estas Señales de Advertencia

Antes de saltar a las soluciones, vamos a asegurarnos de que los bots sean realmente el problema. Revisa las señales a continuación.

Señales de Advertencia en Tus Analíticas

• Picos de tráfico sin explicación: Si el número de visitantes aumenta repentinamente, pero las ventas no lo hacen, los bots podrían ser la causa.
• Todo se vuelve más lento: Las páginas tardan más en cargar, lo que frustra a los clientes reales que podrían abandonar el sitio para siempre. Aberdeen muestra que el 40% de los visitantes abandonan sitios web que tardan más de tres segundos en cargar, lo que lleva a…
• Altas tasas de rebote: Superar el 90% generalmente indica actividad de bots.
• Patrones extraños en las sesiones: Los humanos no suelen visitar durante milisegundos o quedarse en una página durante horas.
• Comienzas a recibir mucho tráfico inusual: Especialmente de países donde no haces negocios. Eso es sospechoso.
• Envíos de formularios con texto aleatorio: Comportamiento clásico de bots.
• Tu servidor se sobrecarga: Imagina ver 100 clientes a la vez, pero 75 solo están mirando.

Revisa los Registros de tu Servidor

Los registros de tu servidor contienen un registro de cada visitante.

Esto es lo que debes buscar:

• Demasiadas solicitudes sucesivas desde la misma dirección IP.
• Cadenas extrañas de user-agent (la identificación que los bots proporcionan).
• Solicitudes para URLs inusuales que no existen en tu sitio.

Una solicitud legítima de Googlebot podría verse así en tus registros:

66.249.78.17 – – [13/Jul/2015:07:18:58 -0400] “GET /robots.txt HTTP/1.1” 200 0 “-” “Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)”

Si ves patrones que no coinciden con el comportamiento normal de navegación humana, es hora de tomar medidas.

El Problema del GPTBot a Medida que Aumentan los Crawlers de IA

Recientemente, muchos propietarios de sitios web han reportado problemas con los crawlers de IA generando patrones de tráfico anormales.

Según la investigación de Imperva, el GPTBot de OpenAI realizó 569 millones de solicitudes en un solo mes, mientras que el bot de Claude hizo 370 millones a través de la red de Vercel.

Busca lo siguiente:

• Picos de errores en tus registros: Si de repente ves cientos o miles de errores 404, verifica si provienen de crawlers de IA.
• URLs extremadamente largas e ilógicas: Los bots de IA podrían solicitar URLs extrañas como las siguientes:

 /Odonto-lieyectoresli-541.aspx/assets/js/plugins/Docs/Productos/assets/js/Docs/Productos/assets/js/assets/js/assets/js/vendor/images2021/Docs/…

• Parámetros recursivos: Busca parámetros que se repiten infinitamente, por ejemplo:

amp;amp;amp;page=6&page=6

• Picos de ancho de banda: Readthedocs, una conocida empresa de documentación técnica, declaró que un crawler de IA descargó 73TB de archivos ZIP, con 10TB descargados en un solo día, lo que les costó más de $5,000 USD en cargos por ancho de banda.

Estos patrones pueden indicar que los crawlers de IA están funcionando mal o están siendo manipulados para causar problemas.

Cuándo Solicitar Ayuda Técnica

Si ves estas señales pero no sabes qué hacer a continuación, es hora de pedir ayuda profesional. Pide a tu desarrollador que revise los agentes de usuario específicos como este:

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.2; +https://openai.com/gptbot)

Existen muchas cadenas de agentes de usuario registradas para otros crawlers de IA que puedes buscar en Google para bloquear. Ten en cuenta que las cadenas cambian, lo que significa que podrías terminar con una lista bastante grande con el tiempo.

👉 ¿No tienes un desarrollador en tu lista de contactos? El equipo DreamCare de DreamHost puede analizar tus registros e implementar medidas de protección. Ellos ya han visto estos problemas antes y saben exactamente cómo manejarlos.

Tu Kit de Herramientas para Combatir Bots: 5 Pasos Simples Para Recuperar el Control

Ahora vamos a lo bueno: cómo evitar que estos bots ralenticen tu sitio. Arremángate y pongámonos a trabajar.

1. Crea un Archivo robots.txt Adecuado

El archivo robots.txt es un archivo de texto simple que se encuentra en el directorio raíz de tu sitio y le indica a los bots bien comportados qué partes de tu sitio no deben acceder.

Puedes acceder al archivo robots.txt de prácticamente cualquier sitio web añadiendo /robots.txt a su dominio. Por ejemplo, si quieres ver el archivo robots.txt de DreamHost, añade robots.txt al final del dominio así: https://dreamhost.com/robots.txt

No hay ninguna obligación de que los bots acepten las reglas.

Pero los bots educados lo respetarán, y los problemáticos pueden elegir ignorarlas. Es mejor agregar un archivo robots.txt de todos modos para que los bots buenos no empiecen a indexar páginas de inicio de sesión de administrador, páginas post-compra, páginas de agradecimiento, etc. 

Cómo Implementarlo

1. Crea un archivo de texto simple llamado robots.txt
2. Agrega tus instrucciones utilizando este formato:

User-agent: *          # Esta línea se aplica a todos los bot

Disallow: /admin/      # No rastrear el área de administración

Disallow: /private/    # Evitar las carpetas privadas

Crawl-delay: 10        # Esperar 10 segundos entre solicitudes

User-agent: Googlebot  # Reglas especiales solo para Google

Allow: /               # Google puede acceder a todo

3. Sube el archivo al directorio raíz de tu sitio web (para que esté en tudominio.com/robots.txt)

La directiva “Crawl-delay” es tu arma secreta aquí. Obliga a los bots a esperar entre solicitudes, evitando que sobrecarguen tu servidor.

La mayoría de los principales crawlers respetan esto, aunque Googlebot sigue su propio sistema (que puedes controlar a través de Google Search Console).

Consejo pro: Prueba tu robots.txt con la herramienta de pruebas de robots.txt de Google para asegurarte de que no hayas bloqueado accidentalmente contenido importante.

2. Configura Limitación de Tasa (Rate Limiting)

La limitación de tasa restringe la cantidad de solicitudes que un solo visitante puede hacer en un período de tiempo específico.

Evita que los bots sobrecarguen tu servidor, permitiendo que los usuarios humanos naveguen por tu sitio sin interrupciones.

Cómo Implementarlo

Si usas Apache (común en sitios de WordPress), añade estas líneas a tu archivo .htaccess:

<IfModule mod_rewrite.c>

RewriteEngine On

RewriteCond %{REQUEST_URI} !(.css|.js|.png|.jpg|.gif|robots.txt)$ [NC]

RewriteCond %{HTTP_USER_AGENT} !^Googlebot [NC]

RewriteCond %{HTTP_USER_AGENT} !^Bingbot [NC]

# Allow max 3 requests in 10 seconds per IP

RewriteCond %{REMOTE_ADDR} ^([0-9]+.[0-9]+.[0-9]+.[0-9]+)$

RewriteRule .* - [F,L]

</IfModule>

Si estás en Nginx, añade esto a tu configuración del servidor:

limit_req_zone $binary_remote_addr zone=one:10m rate=30r/m;

server {

    ...

    location / {

        limit_req zone=one burst=5;

        ...

    }

}

Muchos paneles de control de alojamiento, como cPanel o Plesk, también ofrecen herramientas de limitación de tasa en sus secciones de seguridad.

Consejo pro: Comienza con límites conservadores (como 30 solicitudes por minuto) y monitorea tu sitio. Siempre puedes ajustar las restricciones si el tráfico de bots sigue aumentando.

3. Usa una Red de Entrega de Contenidos (CDN)

Las CDNs hacen dos cosas buenas para ti:

1. Distribuyen el contenido a través de redes de servidores globales para que tu sitio web se entregue rápidamente en todo el mundo.
2. Filtran el tráfico antes de que llegue al sitio web para bloquear cualquier bot irrelevante y ataques.

La parte de los “bots irrelevantes” es lo que nos interesa por ahora, pero los otros beneficios también son útiles. La mayoría de las CDNs incluyen gestión de bots integrada que identifica y bloquea automáticamente a los visitantes sospechosos.

Cómo Implementarlo

1. Regístrate en un servicio CDN como DreamHost CDN, Cloudflare, Amazon CloudFront o Fastly.
2. Sigue las instrucciones de configuración (puede requerir cambiar los servidores de nombres).
3. Configura los ajustes de seguridad para habilitar la protección contra bots.

Si tu servicio de alojamiento ofrece un CDN por defecto, te ahorras todos los pasos, ya que tu sitio web se alojará automáticamente en el CDN.

Una vez configurado, tu CDN:

• Almacenará en caché el contenido estático para reducir la carga del servidor.
• Filtrará el tráfico sospechoso antes de que llegue a tu sitio.
• Aplicará aprendizaje automático para diferenciar entre solicitudes legítimas y maliciosas.
• Bloqueará automáticamente a los actores maliciosos conocidos.

Consejo pro: El plan gratuito de Cloudflare incluye protección básica contra bots que funciona bien para la mayoría de los sitios web de pequeñas empresas. Sus planes de pago ofrecen opciones más avanzadas si las necesitas.

4. Agrega CAPTCHA para Acciones Sensibles

Los CAPTCHA son esos pequeños rompecabezas que te piden identificar semáforos o bicicletas. Son molestos para los humanos, pero casi imposibles para la mayoría de los bots, lo que los convierte en perfectos guardianes para áreas importantes de tu sitio.

Cómo Implementarlo

1. Regístrate en Google reCAPTCHA (gratis) o hCaptcha.
2. Agrega el código CAPTCHA a tus formularios sensibles:
   • Páginas de inicio de sesión
   • Formularios de contacto
   • Procesos de pago
   • Secciones de comentarios

Para usuarios de WordPress, plugins como Akismet pueden manejar esto automáticamente para los comentarios y envíos de formularios.

Consejo pro: Los CAPTCHAs invisibles modernos (como reCAPTCHA v3) funcionan en segundo plano para la mayoría de los visitantes, mostrando desafíos solo a los usuarios sospechosos. Usa este método para obtener protección sin molestar a los clientes legítimos.

5. Considera el Nuevo Estándar llms.txt

El estándar llms.txt es un desarrollo reciente que controla cómo los crawlers de IA interactúan con tu contenido.

Es como el archivo robots.txt, pero específicamente para decirle a los sistemas de IA qué información pueden acceder y qué deben evitar.

Cómo Implementarlo

1. Crea un archivo markdown llamado llms.txt con esta estructura de contenido:

# Nombre de tu sitio web

> Breve descripción de tu sitio

## Áreas principales de contenido

- [Páginas de productos](https://yoursite.com/products): Información sobre productos

- [Artículos del blog](https://yoursite.com/blog): Contenido educativo

## Restricciones

- Por favor, no usen nuestra información de precios en entrenamientos

2. Súbelo a tu directorio raíz (en tudominio.com/llms.txt) → Contacta a un desarrollador si no tienes acceso directo al servidor. 

¿Es llms.txt el estándar oficial? Aún no.

Es un estándar propuesto a finales de 2024 por Jeremy Howard, que ha sido adoptado por Zapier, Stripe, Cloudflare y muchas otras grandes empresas. Aquí tienes una lista creciente de sitios web que adoptan llms.txt.

Entonces, si quieres unirte, tienen documentación oficial en GitHub con las directrices de implementación.

Consejo pro: Una vez implementado, verifica si ChatGPT (con búsqueda web habilitada) puede acceder y entender el archivo llms.txt.

Verifica que llms.txt sea accesible para estos bots pidiéndole a ChatGPT (u otro LLM) que “Verifique si puedes leer esta página” o “¿Qué dice la página?”

No podemos saber si los bots respetarán llms.txt pronto. Sin embargo, si la búsqueda de IA puede leer y entender el archivo llms.txt ahora, es posible que también empiecen a respetarlo en el futuro.

Monitoring and Maintaining Your Site’s Bot Protection

So you’ve set up your bot defenses — awesome work! 

Just keep in mind that bot technology is always evolving, meaning bots come back with new tricks. Let’s make sure your site stays protected for the long haul.

• Schedule regular security check-ups: Once a month, look at your server logs for anything fishy and make sure your robots.txt and llms.txt files are updated with any new page links that you’d like the bots to access/not access.
• Keep your bot blocklist fresh: Bots keep changing their disguises. Follow security blogs (or let your hosting provider do it for you) and update your blocking rules at regular intervals.
• Watch your speed: Bot protection that slows your site to a crawl isn’t doing you any favors. Keep an eye on your page load times and fine-tune your protection if things start getting sluggish. Remember, real humans are impatient creatures!
• Consider going on autopilot: If all this sounds like too much work (we get it, you have a business to run!), look into automated solutions or managed hosting that handles security for you. Sometimes the best DIY is DIFM — Do It For Me!

¿Un Sitio Web Libre de Bots Mientras Duermes? ¡Sí, por favor!

Date una palmadita en la espalda. ¡Has recorrido un largo camino!

Sin embargo, incluso con nuestra guía paso a paso, estas cosas pueden volverse bastante técnicas. (¿Qué exactamente es un archivo .htaccess, de todos modos?)

Y aunque la gestión de bots DIY (hazlo tú mismo) es ciertamente posible, podrías encontrar que tu tiempo es mejor aprovechado gestionando el negocio.

DreamCare es el botón de “nosotros nos encargamos de todo” que estás buscando.

Nuestro equipo mantiene tu sitio protegido con:

• Monitoreo 24/7 que detecta actividad sospechosa mientras duermes
• Revisiones de seguridad regulares para mantenerte a la vanguardia de las amenazas emergentes
• Actualizaciones automáticas de software que parchean vulnerabilidades antes de que los bots puedan explotarlas
• Escaneo y eliminación integral de malware si algo se cuela

Mira, los bots han llegado para quedarse. Y considerando su auge en los últimos años, podríamos ver más bots que humanos en el futuro cercano. Nadie lo sabe.

Pero, ¿por qué perder el sueño por ello?

Esta página contiene enlaces de afiliados. Esto significa que podemos ganar una comisión si compras servicios a través de nuestro enlace sin ningún costo adicional para ti.