Robots.txt: controla el rastreo sin ocultar tus mejores páginas

1. Decide qué debe poder rastrearse

Anota qué páginas deberían encontrar tus clientes: servicios, productos, guías útiles e información de contacto. Después identifica las áreas con otra función, como las búsquedas internas o las combinaciones repetidas de filtros. No las bloquees automáticamente. Primero comprueba si su rastreo está causando un problema y si tienen contenido útil para las búsquedas. En un sitio de una pequeña empresa, mantener reglas breves y comprensibles suele resultar más sencillo que copiar un archivo extenso de una web diferente.

2. Revisa el archivo que está publicado

Abre /robots.txt en el mismo host y protocolo que utiliza la página que estás revisando. Las reglas de un subdominio de tienda no controlan automáticamente el sitio principal. Lee los grupos de user-agent antes de interpretar cada ruta. Disallow indica una restricción de rastreo, mientras que Sitemap señala un archivo de descubrimiento. Si robots.txt no existe y devuelve un error 404, eso no implica un fallo de SEO: Google lo interpreta como ausencia de restricciones. Un error del servidor es un hallazgo diferente que requiere otra revisión.

3. Revisa los patrones con ejemplos reales

Una regla aplicada a la ruta raíz puede bloquear mucho más que otra limitada a una carpeta. Antes de cambiar un patrón, prepara algunas URL que deberían permitirse y otras que deberían bloquearse. Incluye las mayúsculas, las barras finales y los parámetros que utiliza tu sitio. Pide a quien mantiene la web que pruebe esos casos con las reglas del rastreador correspondiente. Guarda una explicación breve de cada decisión junto al registro del cambio para que otra persona entienda por qué existe esa restricción.

4. Separa la privacidad de la indexación

Robots.txt contiene instrucciones públicas; no es un sistema de control de acceso. Los archivos confidenciales necesitan autenticación u otra protección real. La URL de una página bloqueada todavía puede aparecer en Google si recibe enlaces. Si quieres excluirla de las búsquedas, considera usar noindex y permitir que el rastreador acceda a esa instrucción. Evita bloquear scripts o estilos esenciales sin entender cómo depende de ellos la página. Una regla que parece correcta en un archivo puede dificultar la interpretación del contenido.

5. Verifica el cambio y conserva pruebas

Guarda la versión anterior antes de editar. Tras publicar, vuelve a abrir el archivo público y revisa páginas representativas en Search Console. Registra la fecha y las URL exactas en lugar de escribir solo “robots corregido”. Suprara revisa el HTML público y señales de robots.txt y del sitemap para ayudarte a organizar los próximos pasos en un PDF personalizado. Utiliza el plan de acción y repite el análisis para comparar las señales públicas después del cambio. Esa comparación no demuestra qué ha rastreado o indexado Google; verifica esos resultados por separado.

Preguntas frecuentes