29.6.26
El archivo robots.txt es uno de los primeros elementos que consultan los robots de los motores de búsqueda cuando visitan una página web. Su función es indicar qué directorios o archivos pueden rastrearse y cuáles deben evitarse. Configurarlo correctamente ayuda a mejorar el rastreo del sitio y evita que Google dedique recursos a páginas sin interés para el posicionamiento.
Se trata de un archivo de texto que se coloca en la raíz del dominio. Contiene una serie de instrucciones dirigidas a los robots de los buscadores para controlar el acceso a determinadas zonas de la web.
Por ejemplo, es habitual bloquear carpetas de administración, archivos temporales o directorios que no aportan valor a los usuarios.
Entre sus principales funciones destacan:
• Controlar el rastreo de determinadas páginas
• Evitar que los robots accedan a zonas privadas
• Optimizar el presupuesto de rastreo (crawl budget)
• Facilitar la localización del sitemap XML
El archivo debe estar situado en la raíz del dominio y suele ser accesible mediante una dirección similar a:
https://www.tudominio.com/robots.txt
Un archivo básico puede contener instrucciones como estas:
User-agent: * Disallow: /admin/ Allow: / Sitemap: https://www.tudominio.com/sitemap.xml
En este ejemplo se bloquea la carpeta admin, se permite el acceso al resto del sitio y se indica la ubicación del sitemap.
Una configuración incorrecta puede impedir que Google rastree páginas importantes.
Los errores más frecuentes son:
• Bloquear todo el sitio por error
• Impedir el acceso a imágenes o archivos CSS y JavaScript
• No actualizar el archivo tras realizar cambios en la web
• Olvidar indicar la ubicación del sitemap XML
Es importante saber que bloquear una URL mediante robots.txt no garantiza que desaparezca del índice de Google. Si una página debe dejar de indexarse, normalmente será necesario utilizar la etiqueta noindex o eliminarla correctamente.
Si quieres conocer mejor el proceso de indexación, puedes consultar nuestro artículo sobre cómo indexar una web en Google.
Conviene revisar el archivo robots.txt siempre que se publique una nueva web, se cambie de servidor o se modifique la estructura del sitio. También es recomendable comprobar periódicamente que no existan reglas que impidan el rastreo de páginas importantes.
Una auditoría SEO realizada por un consultor SEO puede detectar este tipo de problemas y evitar pérdidas de visibilidad en los buscadores.
El archivo robots.txt es una herramienta sencilla pero muy importante dentro del SEO técnico. Configurarlo correctamente facilita el trabajo de los motores de búsqueda y contribuye a que el rastreo de la página web sea más eficiente.
Archivo >> Artículos >> Webmasters
Enlace de interés relacionado
Cómo Crear un Sitemap XML para tu Web